1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 을 활용한 취약점 탐지 기술은 코드 의미론을 이해하는 데 있어 유망한 결과를 보이고 있지만, 근본적인 근거 없는 추론 (ungrounded reasoning) 문제에 직면해 있습니다.

• 근거 부재의 딜레마: 기존 접근법 (에이전트 기반 논쟁, 검색 증강) 은 대부분 고립된 코드 스니펫이나 일반화된 보안 지식에 의존합니다. 이로 인해 에이전트들은 실제 저장소 (repository) 의 데이터 흐름 (data-flow) 위계 구조와 연결되지 않은 가상의 의존성을 생성하거나 (할루시네이션), 구체적인 취약점의 전파 경로를 추적하지 못합니다.
• 성능 한계: PrimeVul 과 같은 엄격한 벤치마크에서 기존 최첨단 (SOTA) 모델들은 단순한 패턴 매칭에 의존하여 높은 오탐 (False Positive) 비율을 보이며, 취약점과 그 패치 (patch) 를 구별하는 능력 (Pair-wise Discrimination) 이 부족합니다. 특히 논쟁 (debate) 을 반복할수록 에이전트들이 서로의 가정을 강화하며 오히려 성능이 저하되는 현상이 관찰되었습니다.

2. 방법론 (Methodology)

저자들은 "증거에서 결론까지 (From Clues to Verdicts)" 라는 철학을 기반으로 한 새로운 멀티 에이전트 프레임워크인 Aegis를 제안합니다. Aegis 는 추측성 논의를 폐쇄적이고 검증 가능한 사실적 기반 (closed factual substrate) 으로 전환하는 4 단계 파이프라인을 따릅니다.

1 단계: 실마리 발견 (Clue Discovery)

• 목적: 타겟 함수 내에서 의심스러운 코드 이상 (anomalies) 을 포착합니다.
• 전략: 최악의 경우 오염 가정 (Worst-Case Taint Assumption) 을 적용하여, 함수 외부에서 유입된 데이터나 불확실한 소스를 모두 오염된 것으로 간주합니다.
• 출력: 신뢰도 점수가 매겨진 '실마리 (clue)' 목록을 생성하며, 이 단계는 높은 회수율 (recall) 을 목표로 하여 모든 잠재적 위험을 포착합니다.

2 단계: 그래프 기반 맥락 확장 (Graph-Guided Context Augmentation)

• 핵심 혁신: 각 실마리에 대해 저장소 수준의 코드 속성 그래프 (Code Property Graph, CPG) 를 기반으로 온디맨드 슬라이싱 (on-demand slicing) 을 수행합니다.
• 동작:
  • 의심스러운 변수의 출처 (source) 와 목적지 (sink) 를 추적하여 교차 파일/교차 함수 의존성 체인을 동적으로 재구성합니다.
  • 불필요한 그래프 확장을 방지하기 위해 LLM 이 외부 함수 확장의 필요성을 판단하는 2 단계 전략을 사용합니다.
  • 결과: 추론에 필요한 모든 증거가 포함된 폐쇄된 사실적 기반 (Closed Factual Substrate) 을 생성합니다. 이는 추후 에이전트들이 그래프 바깥의 가정을 할 수 없도록 제한합니다.

3 단계: 변증법적 검증 (Dialectical Verification)

• 역할: 단일 '검증자 (Verifier)' 에이전트가 증거 기반의 변증법적 논쟁을 수행합니다.
• 프로세스:
  • Red Team: 취약점 존재를 주장하는 공격 시나리오를 구성 (구체적인 전파 경로 제시).
  • Blue Team: 안전성을 주장하는 방어 시나리오를 구성 (완화 조치 식별).
  • Adjudication: 두 주장을 비교하여 증거 (Trace) 에 기반한 최종 판정을 내립니다.
• 특징: 다중 에이전트 논쟁이 아닌 단일 에이전트의 구조화된 대립을 통해, 증거가 없는 공간에서의 논쟁으로 인한 성능 저하를 방지합니다.

4 단계: 메타 감사 (Meta-Auditing)

• 역할: '감사자 (Audit Agent)' 가 검증자의 논리 과정을 독립적으로 검토하고 최종 판정을 내립니다.
• 기능:
  • 검증자의 주장이 증거 (Trace) 에 명시적으로 존재하는지 교차 검증합니다.
  • 논리적 결함 탐지: 가상의 완화 조치 (Phantom Mitigation), 추측 (Speculation), 초기 의심에 대한 고착 (Anchoring), 검증되지 않은 외부 라이브러리 신뢰 (Over-Trust) 등의 오류를 식별합니다.
  • 거부권 (Veto Power): 논리적 결함이 발견되면 검증자의 판정을 뒤집어 최종 결정을 내립니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 패러다임: 취약점 탐지를 '고립된 논쟁'에서 '폐쇄된 사실 기반의 법의학 검증'으로 전환하는 Aegis 프레임워크를 제안했습니다.
2. 동적 그래프 유도 맥락 증강: LLM 기반 취약점 탐지를 위해 최초로 '실마리 기반 (clue-anchored)'이고 '수요 주도 (demand-driven)'인 CPG 슬라이싱 메커니즘을 도입하여, 정적 경계나 학습된 쿼리 생성에 의존하지 않고 동적으로 의존성 체인을 재구성합니다.
3. SOTA 성능 달성: PrimeVul 벤치마크에서 435 개의 테스트 페어 중 122 개의 쌍별 정답 (Pair-wise Correct Predictions) 을 기록하여, 해당 벤치마크에서 100 을 넘긴 최초의 접근법이 되었습니다.
4. 비용 효율성: 특정 작업에 대한 추가 학습 (fine-tuning) 없이도, 샘플 당 평균 $0.09의 비용으로 기존 최상위 모델 대비 오탐률을 최대 54.40% 까지 감소시켰습니다.

4. 실험 결과 (Results)

• 성능: PrimeVul 데이터셋에서 Aegis 는 122 개의 P-C (Pair-wise Correct) 를 달성하여, 학습된 VulTrial (96 개) 및 다른 검색 증강/에이전트 기반 방법론들을 압도했습니다.
• 정확도: 오탐률 (FPR) 을 VulInstruct 대비 54.40% 포인트, VulTrial 대비 21.96% 포인트 감소시켰습니다. 이는 실제 환경에서 경보 피로 (alert fatigue) 를 크게 줄여줍니다.
• Ablation Study:
  • 증거 구축 (Phase I-II): CPG 기반 맥락 확장이 취약점 위치 파악 (Localization) 의 회수율을 획기적으로 높였습니다 (단일 Phase I 대비 16.3% → 71.3% 상승).
  • 변증법 구조 (Phase III): 논쟁 구조가 없으면 오탐률이 급증하거나 회수율이 급감하는 등 성능이 크게 저하됨을 확인했습니다.
  • 메타 감사 (Phase IV): 감사 에이전트는 검증자의 편향 (Confirmation Bias) 을 교정하여 오탐을 줄이는 데 핵심적인 역할을 했습니다.
• 비용 분석: 상위 2 개 (k=2) 의 실마리만 분석할 때 가장 높은 성능과 비용 효율성을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 기반 코드 분석의 핵심 병목이 '추론 프로토콜의 복잡성'이 아니라 '증거의 토대 (Evidence Grounding)' 에 있음을 규명했습니다.

• 설계 원칙의 전환: 에이전트들이 얼마나 많은 논쟁을 벌이는지보다, 그들이 검증 가능한 폐쇄된 사실 기반 (Closed Factual Substrate) 에 접근할 수 있는지가 성능을 결정한다는 것을 증명했습니다.
• 범용성: 이 접근법은 취약점 탐지뿐만 아니라 법률, 의료, 금융 감사 등 사실에 기반한 판단이 필요한 모든 LLM 멀티 에이전트 시스템에 적용 가능한 설계 원칙을 제시합니다.
• 실용성: 추가 학습 없이도 상용 LLM 을 활용하여 높은 정확도와 낮은 오탐률을 동시에 달성함으로써, 실제 소프트웨어 보안 운영 (SecOps) 에 즉시 적용 가능한 솔루션을 제시했습니다.

요약하자면, Aegis 는 동적 그래프 분석을 통해 구체적인 증거를 수집하고, 이를 기반으로 변증법적 검증과 엄격한 감사를 거치는 체계적인 프로세스를 통해 LLM 의 할루시네이션을 극복하고 신뢰할 수 있는 취약점 탐지를 실현한 획기적인 연구입니다.