기술 요약: LLM 기반 에이전트를 활용한 다단계 추론을 통한 취약점 유발 커밋 탐지

문제 정의

코드 변경 사항(diff), 커밋 메시지, 주변 컨텍스트 코드와 같은 이질적인 정보 소스 전반에 걸친 코드 변경의 의미론적 영향을 추론하는 것은 매우 어렵기 때문에, 제출 시점에 **취약점 유발 커밋(Vulnerability-Inducing Commits, VICs)**을 탐지하는 것, 즉 적시 취약점 탐지(Just-In-Time Vulnerability Detection, JIT-VD)는 소프트웨어 공급망을 보호하는 데 있어 매우 중요합니다.

특징 기반 방법부터 딥러닝 모델(예: 신경망, 그래프 기반 모델, 트랜스포머)에 이르는 기존 방식들은 복잡한 커밋 의미론과 개발자 의도를 완전히 포착하는 데 어려움을 겪는 경우가 많습니다. 최근의 대규모 언어 모델(LLM) 기반 접근 방식과 에이전트 프레임워크(예: CodeAgent, ReAct)가 코드 이해 측면에서 가능성을 보여주었으나, 이들은 주로 일반적인 취약점 탐지나 코드 리뷰를 위해 설계되었습니다. 이러한 방식들은 진화하는 코드베이스 내에서 VIC를 추론하기 위한 특화된 메커니즘이 부족한 경우가 많습니다. 또한, 반복적인 추론 루프(예: ReAct)는 오류 누적을 초래할 수 있으며 결과 검증을 위한 명시적인 메커니즘이 부족하여 투명성과 신뢰성을 제한합니다.

방법론: VIC-RAGENT

저자들은 효과적이고 설명 가능한 취약점 탐지를 위해 설계된 LLM 기반 멀티 에이전트 프레임워크인 VIC-RAGENT를 제안합니다. 이 시스템은 탐지 작업을 역할별로 특화된 구성 요소와 점진적인 정제 단계로 분해하는 구조화된 다단계 추론 파이프라인을 채택합니다.

프레임워크 아키텍처

프레임워크는 입력값(커밋 메시지, 코드 diff, 파일 수준 컨텍스트)을 처리하기 위해 특정 에이전트를 활용하여 네 가지 순차적 단계를 통해 작동합니다.

1. 단계 0: 준비 (Preparation)

   • 코드 분석가 (Code Analyst, CA): 수정된 코드가 시스템과 어떻게 상호작용하는지 이해하기 위해 코드 diff와 컨텍스트로부터 구조적 정보(예: 단순화된 호출 그래프, 데이터 흐름 패턴)를 추출합니다.
   • 대상 분석가 (Target Analyst, TA): 커밋 메시지를 분석하고 이를 수정된 파일들과 정렬하여 개발자의 의도를 해석합니다. 변경 사항의 유형(예: 버그 수정, 리팩토링)을 분류하고, 위험을 나타낼 수 있는 목표와 구현 간의 불일치를 식별합니다.

2. 단계 1: 예비 검사 (Preliminary Inspection - 후보 생성)

   • 취약점 검사기 (Vulnerability Inspector, VI): 고재현율(High-recall) 필터 역할을 합니다. 단계 0에서 얻은 구조 및 의도 표현의 안내를 받아, 6가지 취약점 카테로리(I/O 검증, 메모리 안전성, 웹 보안, 인증/인가, 리소스 관리, 파일/경로 처리)를 기준으로 수정된 코드 조각을 스캔합니다.
   • 이 단계에서는 미묘한 위험이 조기에 폐기되지 않도록 재현율을 우선시하며, 가능한 모든 취약점 가설의 "상위 집합(Superset)"을 생성하기 위해 검증 제약 조건을 의도적으로 완화합니다.

3. 단계 2: 재분석 (Reanalysis - 유형 가이드 검증)

   • 취약점 검사기 (VI): 제약된 추론을 통해 단계 1의 후보들을 정제합니다. 예측된 취약점 유형을 기반으로 각 코드 조각을 재평가합니다.
   • 지식 증강 추론 (Knowledge-Augmented Reasoning): 시스템은 과거 보안 보고서가 포함된 취약점 지식 베이스를 활용합니다. 검색 증강 생성(RAG)을 사용하여 유사한 과거 사례를 검색함으로써 사례 기반 추론을 위한 근거를 제공합니다. 유사 사례가 없는 경우 컨텍스트 정보에 의존합니다.

4. 단계 3: 최종 결정 (Final Decision - 검증 및 집계)

   • 취약점 검사기 (VI): 정제된 가설에 대해 보수적이고 낮은 온도의 검증을 수행합니다.
   • 집계 (Aggregation): 적어도 하나의 코드 조각이 확인되면 해당 커밋을 취약한 것으로 분류합니다.
   • 문서 전문가 (Document Specialist, DS): 커밋이 취약한 것으로 확인되면, 향후 사용을 위해 지식 베이스에 저장될 구조화된 보안 보고서를 생성합니다.
   • 감사 감독관 (Audit Supervisor, AS): 프로세스 전반에 걸쳐 에이전트의 출력이 사전 정의된 요구 사항과 일치하는지 모니터링합니다.

구현 세부 사항

• LLM: DeepSeek-V3.2, Qwen-Plus, GPT-4o-mini를 사용하여 평가되었습니다.
• 온도 설정 (Temperature Settings): 창의성과 결정론 사이의 균형을 맞추기 위해 단계별로 다르게 설정됩니다 (예: 후보 생성을 장려하기 위해 예비 검사 단계에서는 0.4, 보수적인 판단을 보장하기 위해 최종 결정 단계에서는 0.1 적용).
• 지식 베이스: 벡터 인덱스(CodeBERT 임베딩 사용)를 사용하여 취약점 유형별로 정리되어 유사도 기반 검색을 지원합니다. 오류 전파를 방지하기 위해 정기적으로 오탐(False Positive, FP) 보고를 제거하는 유지 관리 메커니즘을 포함합니다.

주요 기여

1. JIT-VD를 위한 멀티 에이전트 프레임워크: 구조적 분석, 의도 이해, 취약점 검사를 특화된 에이전트를 통해 통합하여 잠재적 취약점을 분석하는 VIC-RAGENT를 도입했습니다.
2. 다단계 추론 프로세스: 조잡함에서 정교함으로 나아가는 추론(Coarse-to-fine reasoning)을 가능하게 하여 탐지 신뢰성을 높이는 구조화된 워크플로(예비 검사 $\rightarrow$ 재분석 $\rightarrow$ 최종 결정)를 제공합니다.
3. 지식 증강 추론: 재분석 단계에서 검색 증강 추론을 통해 역사적인 취약점 사례를 활용할 수 있는 취약점 지식 베이스를 설계했습니다.
4. 실증적 평가: 실제 데이터셋(V-SZZ)에 대한 포괄적인 실험을 통해 다양한 LLM에서의 프레임워크 성능을 입증했습니다.

실험 결과

프레임워크는 V-SZZ 데이터셋(241개 커밋: 106개 VIC, 135개 VFC)에서 평가되었으며, 세 가지 베이스라인인 Direct(순수 프롬프팅), Chain-of-Thought (CoT), CodeAgent와 비교되었습니다.

• 성능: VIC-RAGENT는 세 가지 서로 다른 LLM 모두에서 모든 베이스라인을 일관되게 능가했습니다.
  • 가장 강력한 베이스라인인 CodeAgent와 비교했을 때, VIC-RAGENT는 1.2~1.7배 더 높은 F1-score를 달s성했습니다.
  • 재현율(Recall) 측면에서 상당한 개선을 보였으며, 가장 강력한 베이스라인보다 최대 2배 높은 재현율을 기록했습니다. 예를 들어, GPT-4o-mini를 사용했을 때 VIC-RAGENT는 75%의 재현율을 기록한 반면 CodeAgent는 60%를 기록했습니다.
• 절제 연구 (Ablation Study):
  • **단계 2 (재분석)**를 제거하면 재현율과 F1-score가 감소하여, 범위 확보 및 의심스러운 코드 조각의 모호성 해소에 있어 재분석의 중요성을 보여주었습니다.
  • **단계 3 (최종 결정)**를 제거하면 재현율은 높아졌으나 오탐(FP)이 크게 증가하여, 단계 3이 예측 신뢰성을 높이기 위한 필수적인 보수적 필터임을 입증했습니다.
• 일반화 능력: 학습 중에 보지 못한 최근 CVE에 대해 테스트했을 때, VIC-RAGENT는 모든 방법 중 가장 높은 재현율(55%)과 F1-score(60%)를 유지하며 우수한 일반화 능력을 보여주었습니다.
• 비용: VIC-RAGENT는 다단계 추론으로 인해 높은 계산 비용(커밋당 약 0.0487 USD vs Direct의 0.0079 USD)이 발생하지만, 저자들은 정확도가 지연 시간보다 우선시되는 오프라인 또는 CI 통합 보안 감사 환경에서는 이것이 정당하다고 주장합니다.

의의 및 주장

본 논문은 VIC-RAGENT가 현대적인 소프트웨어 개발 워크플로에서 VIC를 탐지하기 위한 강력하고 설명 가능하며 실용적인 솔루션을 제공한다고 주장합니다. 이 연구의 주요 의의는 추론 목적을 명시적으로 분리하는 구조화된 다단계 추론 프로세스를 도입함으로써 기존의 단일 패스 또는 범용 에이전트 접근 방식의 한계를 해결했다는 점에 있습니다.

저자들은 **탐색(단계 1의 높은 재현율)**과 검증(단계 3의 보수적 필터링) 사이의 균형을 맞추고, 지식 증강 추론을 결มี한 프레임워크의 능력이 다른 방법들이 놓치는 미묘한 취약점을 탐지할 수 있게 해준다고 강조합니다. LLM의 일관성에 대한 의존성 및 지식 베이스의 수동 오탐 제거 필요성 등의 한계를 인정하면서도, 취약점 탐지 작업을 특화된 역할과 단계로 분해하는 것이 탐지 성능과 신뢰성을 크게 향상시킨다는 것을 본 연구는 입증하고 있습니다.