기술 요약: DiagChain

문제 정의

대규모 언어 모델(LLM) 에이전트는 로그 검사, 도구 호출, 그리고 이질적인 텔레메트리(telemetry)에 대한 추론을 통한 공격 체인 재구성 등 사이버 보안 조사에 점점 더 많이 활용되고 있습니다. 그러나 기존의 벤치마크는 주로 최종 출력이나 종합적인 정확도만을 평가합니다. 이러한 접근 방식은 중간 조사 과정에 대한 가시성을 제한하며, 증거 발견(evidence discovery), 그룹화(grouping), 순서 지정(ordering), 근거 제시(grounding), 또는 귀속(attribution)과 같은 서로 다른 유형의 실패를 구분하지 못합니다. 결과적으로, 현재의 평가는 에이전트의 증거 기반 공격 체인 재구성(Evidence-Grounded Attack Chain Reconstruction) 능력을 부분적인 관점에서만 보여줍니다.

저자들은 현재의 지형에서 세 가지 구체적인 한계를 식별했습니다:

1. 시나리오 커버리지: 기존 데이터셋은 여러 운영 체제, 제어된 노이즈 수준, 그리고 다양한 체인 길이를 동시에 아우르는 경우가 드뭅니다.
2. 진단적 평가: 종합 점수는 어디에서 실패가 시작되었는지(예: 증거 발견 단계인지 아니면 순서 지정 단계인지)를 밝혀내지 못합니다.
3. 조사 워크플로우: 대부분의 연구는 대화형 도구 사용 또는 순차적 체인 생성을 분리하여 평가하며, 증거 검색과 진화하는 구조화된 작업 상태를 결합한 통합된 워크플로우를 갖추고 있지 않습니다.

방법론

1. 데이터셋 구축: MAIN-69

커버리지의 한계를 해결하기 위해 저자들은 69개의 공격 체인 시나리오로 구성된 MAIN-69 데이터셋을 구축했습니다.

• 출처: 이 데이터셋은 AutoLabel(Linux 로그), ExCyTIn-Bench(엔터프라이즈/클라우드 경보), OTRF Security-Datasets(Windows 호스트 이벤트/APT29)에서 유도된 23개의 소스 유닛으로부터 데이터를 합성합니다.
• 변형: 각 소스는 세 가지 증거 프로필로 변환됩니다: Clean(핵심 공격 증거), Noisy(핵심 증거와 양성/방해 활동 포함), Raw(광범위한 원본 Windows 데이터).
• 구조: 시나리오는 체인 길이(Small: S, 2–5단계; Medium: M, 6–15단계; Large: L, ≥16단계)에 따라 분류됩니다.
• 정답(Ground Truth): 각 케이스는 특정 증거 식별자 및 엔티티에 매핑된 순서화된 공격 단계들을 포함하는 수동 검증된 "골드 레퍼런스 패키지(Gold Reference Package)"를 포함합니다. 데이터셋은 849개의 참조 단계와 780개의 시간적 엣지(temporal edges)를 다룹니다.

2. 에이전트 워크플로우: ECRAG

논문은 재구성 과정을 지원하기 위해 **증거 중심 검색 증강 생성(Evidence-Centric Retrieval-Augmented Generation, ECRAG)**을 도입합니다. 표준 RAG와 달리, ECRAG는 증거 검색을 체인의 진화하는 구조적 표현과 결합합니다.

• 상태(State): 에이전트는 관찰된 증거 카드($O$), 작업 중인 체인($C$), 그리고 메모리($m$)로 구성된 상태 $S_t$를 유지합니다.
• 검색 메커니즘: ECRAG는 3단계 검색 프로세스를 채택합니다:
  1. 어휘 검색(Lexical Retrieval): 시드 매치를 찾기 위한 TF-IDF 랭킹.
  2. 그래프 확장(Graph Expansion): **엔티티 확장(Entity Expansion)**은 시드와 가시적인 엔티티를 공유하는 카드를 검색하며, **시간적 확장(Temporal Expansion)**은 동일한 소스 내에서 직전 또는 직후의 레코드를 검색합니다.
  3. 재점수화(Rescoring): 후보군들은 텍스트 유사성, 토큰 중복, 정확한 단서 매칭, 메타데이터 보너스를 결합한 복합 점수($r(e)$)를 사용하여 다시 순위가 매겨집니다.
• 워크플로우: 에이전트는 반복적으로 증거를 쿼리하고, 단계를 검증하며, 작업 중인 체인을 업데이트합니다. 최종 제출 시 모든 단계는 관찰된 증거를 반드시 인용해야 합니다.

3. 진단적 평가 지표

단일 정확도 점수 대신, DiagChain은 특정 실패 단계를 진단하기 위해 다섯 가지 상호 보완적인 지표를 사용합니다:

1. 검색 단계 커버리지 (Ret.): 에이전트가 적어도 하나의 지원 증거 항목을 관찰한 참조 단계의 비율.
2. 그룹화 F1 (Grp.): 증거가 (검색과 독립적으로) 일관된 단계로 얼마나 잘 분할되었는지 측정 (B3 클러스터링 사용).
3. 순서 정확도 (Ord.): 비교 가능한 단계 쌍들이 올바른 연대순으로 배치된 비율.
4. 증거 근거 제시 F1 (Grd.): 정렬된 단계 내에서 인용된 지원 내용의 정밀도와 완전성.
5. 귀속 격차율 (Gap): 관찰된 참조 증거 중 발견되었으나 최종 체인 인용에서 누락된 비율.

주요 결과

저자들은 MAIN-69에서 6개의 LLM 구성(Qwen-3-32b, DeepSeek-V4-Pro, GLM-5.2, GLM-5.2-T, Llama4-17b-Scout, GPT-5.5)을 평가했습니다.

전반적인 능력 (RQ1)

• 지배적인 모델 없음: 모든 단계에서 뛰어난 성능을 보이는 단일 모델은 없었습니다. GPT-5.5는 검색과 순서 지정에서 가장 일관된 강점을 보였고, GLM-5.2 변형들은 종종 가장 작은 귀속 격차를 달성했습니다.
• 검색 vs. 조립: 높은 검색 커버리지가 성공적인 재구성을 보장하지는 않습니다. 예를 들어, Raw Medium 체인에서 Qwen-3-32b와 DeepSeek-V4-Pro는 유사한 검색 커버리지(~0.84)를 보였으나, DeepSeek는 훨씬 더 나은 근거 제시 능력(0.64 vs. 0.51)을 달성했습니다.
• 긴 체인의 병목 현상: 작은 모델들(Qwen, Llama)은 긴 체인에서 그룹화(F1 0.18–0.25)에 크게 어려움을 겪은 반면, 큰 모델들은 더 높은 그룹화 점수(0.53–0.81)를 유지했습니다.

실패 분석 (RQ2)

• 모델 크기와 실패 모드:
  • 작은 모델: 주로 증거 보유(Evidence Retention)(E2: 관찰되었으나 사용되지 않음)에서 실패합니다. 이들은 검색된 증거를 출력에 포함시키는 데 어려움을 겪습니다.
  • 큰 모델: 주로 전역 순서 지정(Global Ordering)(E4: 잘못 정렬된 증거)에서 실패합니다. 이들은 증거를 성공적으로 검색하지만, 이를 올바르게 순서대로 배치하는 데 어려움을 겪습니다.
• 노이즈 및 길이의 영향: Raw 증거 프로필은 "증거 미관찰(Evidence Not Observed)"(E1) 실패를 증가시킵니다. 긴 체인은 단일 지배적 오류 유형보다는 순서 지정 및 조립 오류 쪽으로 병목 현상을 이동시킵니다.
• 발견 vs. 사용: 모든 모델에서 증거 관찰과 증거 인용 사이에 격차가 나타났습니다. 작은 모델들은 가장 넓은 차이를 보였습니다(예: Llama4-17b-Scout는 골드 증거의 72%를 관찰했으나 34%만 인용함). 이는 관찰을 귀속으로 전환하는 능력의 약점을 나타냅니다.

절제 및 민감도 분석 (RQ3 & RQ4)

• 스캐폴드(Scaffold)의 중요성: "전체 스캐폴드"(검색 + 구조화된 체인 메모리 + 성찰 + 근거 체크)는 약간의 검색 커버리지 트레이드오프에도 불구하고, "검색 전용" 또는 "LLM 전용"에 비해 순서 지정(0.943)과 귀속(Gap 0.054)을 크게 향상시켰습니다.
• 예산 민감도: 검색 깊이($k$)나 상호작용 턴 수를 일정 수준(예: $k=32$, 15턴) 이상으로 늘리는 것이 최종 체인 품질을 일관되게 개선하지는 않았습니다. 과도한 턴 수는 토큰 비용을 증가시키고 귀속 오류를 줄이지 못한 채 순서 지정을 불안정하게 만들었습니다.

의의 및 주장

본 논문은 DiagChain이 사이버 보안 에이전트를 위한 엔드 투 엔드 정확도 지표에서 진단적 평가로의 필수적인 전환을 제공한다고 주장합니다.

• 진단적 통찰: 이 벤치마크는 "더 강력한" 모델이 실패를 제거하는 것이 아니라, 병목 현상을 증거 보유에서 전역 체인 조직으로 이동시킨다는 것을 보여줍니다.
• 실행 가능한 설계: 연구 결과는 모델 크기에 따라 서로 다른 전략이 필요함을 시사합니다. 작은 모델은 더 나은 증거 통합 메커니즘이 필요하며, 큰 모델은 더 나은 전역 순서 지정 및 조립 로직이 필요합니다.
• 감사 가능성: 증거 검색을 구조화된 작업 체인 및 명시적인 근거 체크와 결합함으로써, DiagChain은 재구성 과정을 감사 가능하게 만들어 연구자들이 에이전트가 정확히 어디에서, 왜 실패하는지(예: 발견인가 귀속인가)를 정확히 파악할 수 있게 합니다.

저자들은 더 큰 상호작용 예산이 재구성 실패에 대한 보편적인 해결책이 아님을 결론지으며, 신뢰할 수 있는 사이버 보안 조사를 개선하기 위해 증거 인식 에이전트 설계와 진단적 평가의 필요성을 강조합니다.