1. 문제 정의 (Problem)

내부자 위협 탐지는 단일 신호가 아닌 시간과 다양한 아티팩트 (Slack, 이메일, 로그 등) 에 분산된 신호를 상관관계 분석해야 하는 복잡한 문제입니다. 그러나 현재 이 분야를 평가하는 데 사용되는 표준 벤치마크인 CERT 내부자 위협 데이터셋에는 다음과 같은 치명적인 한계가 존재합니다.

• 사실적 일관성 부재: 외부 사실 제약 없이 생성된 데이터로 인해 서로 다른 아티팩트 간 모순 (예: Slack 메시지는 3 시, JIRA 티켓은 9 시에 같은 사건 기록) 이 발생할 수 있어 신뢰할 수 있는 Ground Truth 를 보장할 수 없음.
• 현대적 시나리오 부재: LLM 시대에 필요한 다양한 아티팩트 (Slack, JIRA, Pull Request 등) 와 IDP(Identity Provider) 로그, 사회공학적 패턴이 포함되지 않음.
• 정적 구조: 새로운 조직 구성이나 위협 프로필을 가진 labeled 인스턴스를 생성할 수 있는 메커니즘이 없음.
• LLM 생성 데이터의 환각 문제: LLM 만으로 데이터를 생성할 경우, 사실적 일관성을 검증할 수 없어 평가 기준으로 사용하기 어려움.

2. 방법론 (Methodology)

저자는 OrgForge-IT라는 새로운 합성 벤치마크를 제안하며, 이는 OrgForge 시뮬레이션 프레임워크를 기반으로 합니다.

2.1 아키텍처: 물리 - 인지 경계 (Physics-Cognition Boundary)

• 결정론적 엔진: 모든 사실적 상태 (Ground Truth) 는 Python 기반의 결정론적 엔진이 관리합니다.
• LLM 의 역할: LLM 은 오직 '표면적 문장 (Surface Prose)'만 생성합니다. 즉, LLM 은 이벤트 로그를 직접 작성하거나 상태를 변경할 수 없으며, 검증된 제안 (Validated Proposals) 에 기반하여 텍스트만 렌더링합니다.
• 결과: 이 아키텍처는 아티팩트 간의 모순을 구조적으로 불가능하게 만들어, Ground Truth 를 '경험적 주장'이 아닌 '아키텍처적 보장'으로 만듭니다.

2.2 코퍼스 (Corpus) 특성

• 규모: 51 일간의 시뮬레이션, 2,904 개의 관측 가능한 telemetry 기록.
• 노이즈 비율: 96.4% (실제 기업 환경의 높은 노이즈 반영).
• 위협 시나리오: 3 가지 위협 클래스 (부주의, 불만족, 악의적) 와 8 가지 행동 패턴을 포함.
• 4 가지 탐지 시나리오 (단일 표면/단일 일일 전략을 무효화하도록 설계):
  1. Ghost Logins: 하위 활동이 없는 IDP 인증 성공 (부재의 추론 필요).
  2. Vishing (보이스 피싱): 공격자의 전화 기록과 피해자의 IDP 인증 성공을 시간적으로 연결 (교차 행위자 Temporal Join 필요).
  3. 3 단계 호스트 데이터 수집: 3 일에 걸쳐 파일 복사, 압축, 클라우드 전송이 이루어지는 다단계 유출 (슬라이딩 윈도우 전략 실패 유도).
  4. 신뢰 구축 사회공학적 공격: 초기 benign 접촉과 이후 공격 사이의 간극 유지 (장기적 컨텍스트 유지 필요).

2.3 평가 파이프라인

• 3 단계 평가:
  1. 기선 보정 (Baseline Calibration): 사전 발생 (Pre-onset) 데이터로 위양성 (False Positive) 비율 측정.
  2. 트라이지 (Triage): 7 일 슬라이딩 윈도우와 2 신호 에스컬레이션 임계값 적용.
  3. 판결 (Verdict): 에스컬레이션된 대상에 대한 상관관계 분석 및 최종 판결 (Structured JSON).

3. 주요 기여 (Key Contributions)

1. 검증 가능한 합성 벤치마크: 결정론적 엔진과 LLM 의 역할을 분리하여 아티팩트 간 일관성을 보장하는 최초의 내부자 위협 벤치마크.
2. 고급 탐지 시나리오: CERT 에 없던 IDP 이상, 3 단계 데이터 유출, Vishing 등 다중 신호 및 교차 행위자 추론이 필요한 시나리오 도입.
3. 다양한 SIEM 포맷 지원: JSONL, CEF, ECS, LEEF 등 주요 SIEM(Splunk, Elastic 등) 에 직접 ingestion 가능한 포맷 제공.
4. 10 개 모델 리더보드 및 새로운 통찰: 트라이지 (Triage) 와 판결 (Verdict) 단계의 성능이 분리됨을 발견하고, '피해자 귀속 (Victim Attribution)'이 모델 성능을 가르는 핵심 지표임을 규명.

4. 결과 (Results)

10 개의 LLM 모델 (Devstral, Claude, Mistral, Llama 등) 을 평가한 결과는 다음과 같습니다.

• 트라이지/판결 분리 (Triage/Verdict Dissociation):
  • 10 개 모델 중 8 개가 트라이지 단계에서 동일한 F1 점수 (0.80) 를 기록했으나, 판결 단계에서는 두 그룹으로 나뉨.
  • Tier A (F1=1.0): Devstral 2 123B, Claude Opus 4.6.
  • Tier B (F1=0.80): 나머지 8 개 모델.
• 위양성율 (Baseline False-Positive Rate) 의 중요성:
  • 동일한 판결 정확도를 가져도 모델 간 위양성율이 2 차수 (orders of magnitude) 까지 차이남.
  • Llama 3.3 70B 는 판결 F1 이 0.80 이지만, 위양성율이 81.3% 로 운영상 사용 불가능한 수준. 반면 DeepSeek 등은 0.021 로 매우 낮음.
• 피해자 귀속 (Victim Attribution) 의 결정적 역할:
  • Vishing 시나리오에서 Tier A 모델은 공격자 (Jax) 와 피해자 (Chris) 를 정확히 구분하여 Chris 를 무죄로 판단함.
  • Tier B 모델은 공격을 탐지했으나, Chris 의 계정에서 이상 세션이 발견되었다는 사실만으로 Chris 를 '의심스러운 대상'으로 잘못 분류함. 이는 동시 발생하는 정상 세션과 이상 세션을 비교하여 공격자를 식별하는 추론 능력의 부재를 의미함.
• 프롬프트 민감도:
  • 구조화되지 않은 프롬프트 (v2 natural) 를 사용할 경우, 모든 모델 (Tier A 포함) 이 '어휘 환각 (Vocabulary Hallucination)'을 보임. 즉, 의미는 정확하지만 표준 용어와 일치하지 않는 라벨을 생성하여 점수를 받지 못함.
  • Tier A 모델은 용어 변화에도 불구하고 추론 논리 (Chris 무죄 판단) 는 유지했으나, Tier B 모델은 Vishing 탐지 능력 자체를 상실함.

5. 의의 및 결론 (Significance)

• 운영적 유효성 지표의 재정의: 내부자 위협 탐지 모델 평가 시 '판결 F1'만으로는 부족하며, **'기선 위양성율 (Baseline FP Rate)'**을 반드시 함께 고려해야 함을 강조. 높은 정확도로 모든 직원을 의심하는 시스템은 탐지 시스템이 아님.
• 추론 능력의 계층화: 단순 신호 탐지 (Triage) 와 복잡한 상황 판단 (Verdict, 특히 피해자 귀속) 은 서로 다른 능력을 요구함. Tier A 모델은 다중 신호와 시간적 맥락을 통합하여 '누가 공격자이고 누가 피해자인가'를 추론할 수 있음.
• 시뮬레이션의 진화: LLM 이 텍스트만 생성하고 엔진이 사실을 관리하는 '물리 - 인지 경계' 아키텍처는 향후 보안 평가용 합성 데이터 생성의 표준이 될 수 있음.
• 오픈 소스 및 확장성: 코드, 시뮬레이션 프레임워크, 데이터셋이 오픈 소스로 제공되어 커뮤니티가 다양한 모델과 시나리오를 평가할 수 있는 기반을 마련함.

이 논문은 LLM 기반 보안 운영 (SOC) 의 현실적인 한계를 드러내면서도, 향후 모델 개발과 평가가 나아가야 할 방향 (다중 신호 추론, 피해자 식별, 낮은 위양성율 유지) 을 명확히 제시했다는 점에서 중요한 의의를 가집니다.