기술 요약: LLM 지원 사이버 위협 인텔리전스의 취약점 규명

문제 정의

대형 언어 모델 (LLM) 은 취약점 평가부터 사고 대응에 이르기까지 사이버 위협 인텔리전스 (CTI) 작업을 자동화하기 위해 점점 더 많이 배포되고 있습니다. 그러나 운영 워크플로우에서는 여전히 상당한 신뢰성 격차가 존재합니다. 기존 문헌은 이러한 실패를 환각 (hallucination) 이나 탈옥 (jailbreaking) 과 같은 일반적인 모델 한계로 종종 귀인시키지만, 본 논문은 지배적인 병목 현상은 위협 환경 자체의 고유한 특성에 있다고 주장합니다. CTI 데이터는 이질성, 변동성, 분열성을 특징으로 합니다. 증거는 종종 얽혀 있고, 크라우드소싱되며, 시간적으로 불안정합니다. 이러한 속성은 표준 LLM 평가에서 거의 포착하지 못합니다. 결과적으로 LLM 은 이러한 조건 하에서 효과적으로 추론하는 데 어려움을 겪어, 중요한 보안 작업에서 상당한 실패율을 초래합니다.

방법론

저자들은 CTI 추론에서 LLM 실패를 식별하고 분류하기 위한 포괄적인 실증 연구와 새로운 방법론적 프레임워크를 제안합니다.

1. 대규모 실증 평가

본 연구는 산업 최고 수준의 범용 LLM(예: GPT-5, Claude-Sonnet-4, Gemini-2.5) 과 사이버 보안 특화 에이전트 (예: DeepHat, SecGPT, Cyber-Zero) 를 포함한 다양한 모델 세트를 평가합니다. 평가는 다음 네 단계에 걸친 완전한 CTI 라이프사이클을 포괄합니다.

• 맥락화 (Contextualization): 로그를 CVE 에 매핑하는 것과 같이 원시 관찰에 맥락을 부여합니다.
• 귀속 (Attribution): 적대자를 식별하고 사건을 행위자 프로필에 연결합니다.
• 예측 (Prediction): 악용 가능성과 캠페인 진화를 예측합니다.
• 완화 (Mitigation): 패치, 탐지 규칙 및 대응 플레이북을 제안합니다.

데이터셋에는 확립된 벤치마크 (CTIBench, SevenLLM-Bench, SWE-Bench, CyberTeam) 와 권위 있는 출처 (NVD, CISA, 벤더 권고) 의 실제 위협 보고서가 포함됩니다.

2. 인간-루프 (Human-in-the-Loop) 실패 분류

하드 레이블 없이 실패 모드를 신뢰성 있게 분류하는 과제를 해결하기 위해 저자들은 계층화된 인간-루프 프레임워크를 도입합니다.

• 계층화 샘플링: 모델 출력과 참조 자료 간의 유사도 점수를 기반으로 인스턴스를 분위수 층 (quantile strata) 으로 분할합니다. 각 층 내의 '앵커' 샘플에 대한 수동 검사를 통해 '정답' 대 '실패' 출력에 대한 점수 범위를 설정하여, 수동 작업량을 전체 인스턴스의 1.5% 미만으로 최소화합니다.
• 반복적 분류 체계 정제: LLM 지원 분류와 인간 검사를 오가는 자기회귀적 프로세스를 통해 새로운 실패 패턴이 분류 체계에 추가되어 수렴할 때까지 반복합니다.
• 다중 에이전트 심의: 안정성을 보장하기 위해 여러 LLM 이 인스턴스를 독립적으로 분류한 후, 두 번째 심의 라운드를 거칩니다. 에이전트 간 합의가 없거나 예측이 라운드 간에 변동하는 경우 (<1.8% 의 사례) 에만 인간 검사자가 개입합니다.

주요 기여

1. 세 가지 도메인 특화 인지 실패 식별

본 연구는 범용 LLM 결함과 구별되는 CTI 에서 LLM 효과성을 제약하는 세 가지 지배적인 취약점 카테고리를 식별합니다.

• 허위 상관관계 (Spurious Correlations): LLM 은 인과적 연결보다는 피상적이거나 공존하는 특징을 기반으로 과도하게 귀속합니다. 예로는 코-멘션 편향 (Co-mention bias) 으로 상품 도구를 행위자 특정 증거로 오인하거나, 고의로 재활용된 침해 지표 (IoCs) 를 기반으로 인프라 재사용을 과도하게 귀속하는 경우가 포함됩니다.
• 모순된 지식 (Contradictory Knowledge): CTI 출처 간의 불일치 (예: 상충되는 보고서, 오래된 증거와 최근 증거 간의 시간적 모순, 명명상의 의미적 충돌) 는 모델을 혼란스럽게 하여 불안정하거나 상충되는 예측을 초래합니다.
• 제약된 일반화 (Constrained Generalization): LLM 은 익숙한 분포를 넘어 확장하는 데 어려움을 겪어, 신종 (제로데이) 위협이나 보이지 않는 패턴에서 실패합니다. 여기에는 분포 편향 (일반적인 훈련 데이터에 대한 과도한 의존) 과 환경 무지 (특정 배포 제약을 무시) 가 포함됩니다.

2. CTI 단계별 근본 원인 분석

본 논문은 이러한 취약점을 특정 CTI 단계 및 기법에 매핑합니다. 예를 들어, 코-멘션 편향은 검색 시스템이 공존하는 개체를 인과적으로 관련된 것으로 취급할 때 맥락화 단계에서 자주 발생합니다. 모순된 지식은 출처가 행위자 신원이나 패치 효능에 대해 이견을 보일 때 귀속 및 완화를 자주 불안정하게 만듭니다. 제약된 일반화 실패는 훈련 데이터에 존재하지 않는 새로운 공격 벡터나 환경적 제약을 마주할 때 예측 및 완화 단계에서 가장 두드러집니다.

3. 인과적 개입을 통한 검증

저자들은 인과적 개입 연구를 통해 이러한 근본 원인을 검증합니다. 인과적 속성 (예: TTP, 악용 메커니즘) 은 유지하면서 비인과적 맥락 토큰 (예: 날짜, 부문) 을 교란시켜 LLM 예측이 종종 뒤집히는 것을 보여줌으로써, 허위 상관관계에 대한 의존을 확인합니다.

4. 방어 전략

본 논문은 표적 완화 전략을 제안하고 평가합니다.

• 인과적 개입 ($C^3$): 비인과적 맥락이 변경될 때 결론이 안정적인지 모델을 검증하도록 강제하는 추론 시간 반사실적 일관성 검사입니다.
• 세분화된 완화: 코-멘션 편향을 제거하기 위한 검색 시간 증거 필터링, 모순 해결을 위한 시간 인식 재순위화, 보이지 않는 패턴 처리를 위한 신종 인식 추론과 같이 각 취약점 하위 유형에 대한 구체적인 기법입니다.

결과

• 성능 격차: 평가는 모든 모델에서 보편적인 격차를 드러냅니다. 범용 LLM 은 이해 중심 작업 (예: 출처 신뢰성 점수 매기기) 에 뛰어나지만 운영 출력에서는 어려움을 겪습니다. 사이버 특화 에이전트는 특정 운영 순위에서 더 나은 성능을 보이지만, 신종 위협에 대한 제약된 일반화로 고통받습니다.
• 실패율: 완화 조치 없이 모든 단계에서 실패율이 상당합니다. 예를 들어, 범용 모델은 가짜 깃발 탐지 및 인프라 재사용에서 높은 실패율을 보입니다.
• 방어의 효과성:
  • 제안된 $C^3$ 인과적 개입은 보편적인 성능 향상을 가져오며, 가짜 깃발 탐지 (최대 +0.115 F1) 및 사건 타임라인 구성 (평균 Δ ≈ 0.08) 에서 주목할 만한 개선을 보입니다.
  • 세분화된 완화는 취약성 비율을 크게 줄입니다. "완전형" 접근 방식 (검색 필터링과 추론 제약 결합) 은 모든 카테고리의 실패율을 감소시킵니다. 예를 들어, 범용 LLM 의 시간적 모순 실패율은 검색 전용 완화로 17.53% 에서 4.25% 로 감소한 반면, 허위 상관관계 실패는 추론 전용 검사가 가장 효과적으로 해결했습니다.

의의 및 주장

본 논문은 CTI 도메인에 특화된 현재 LLM 취약점의 '맹점'을 규명했다고 주장합니다. 실패는 위협 환경의 고유한 속성 (이질성, 변동성, 분열성) 에 뿌리를 두고 있으므로 표준 모델 적응이나 프롬프트 엔지니어링만으로는 부족하다고 주장합니다.

이 연구의 의의는 다음과 같습니다.

1. 초점 이동: 환각과 같은 범용 LLM 결함에서 사이버 위협 데이터의 본질에 의해 주도되는 도메인 특화 추론 실패로 담론을 전환합니다.
2. 로드맵 제공: 회복력 있고 도메인 인식을 갖춘 CTI 에이전트를 구축하기 위한 구체적이고 분류 체계에 기반한 경로를 제시합니다.
3. 실현 가능성 입증: 대규모 재훈련 없이 경량화된 표적 방어 (인과적 일관성 검사 및 검색 필터링) 가 이러한 특정 실패 모드를 상당 부분 완화할 수 있음을 보여줍니다.

저자들은 견고한 LLM 기반 CTI 분석은 위협 환경의 이질성에 명시적으로 맞춤화된 보호 장치가 필요하다고 결론지으며, 사이버 중심 LLM 시스템의 향후 원칙적 적응을 위한 기초적인 통찰력을 제공합니다.