기술 요약: MulVul

문제 정의

본 논문은 대규모 언어 모델(LLM)을 이용한 코드 취약점 탐지 자동화의 두 가지 핵심적인 한계를 다룹니다:

1. 취약점 패턴의 이질성(Heterogeneity of Vulnerability Patterns): 취약점 유형(예: 버퍼 오버플로 vs. 인젝션 공격)은 서로 다른 추론 능력을 요구합니다. 단일 통합 모델은 공유된 잠재 공간(latent space) 내에서 이러한 다양한 유형별 패턴을 포착하는 데 어려움을 겪으며, 이는 취약점 미탐지 또는 높은 오탐율로 이어집니다.
2. 프롬프트 엔지니어링의 확장성(Scalability of Prompt Engineering): 실제 시스템에는 수백 개의 CWE(Common Weakness Enumeration) 항목이 포함되어 있습니다. 수많은 카테고리에 대해 특화된 에이전트를 위한 고유한 프롬프트를 수동으로 설계하는 것은 불가능합니다. 또한, 프롬프트 생성과 평가를 모두 단일 모델에 의존하면 자기 수정 편향(self-correction bias)이 발생하며, 멀티 에이전트 시스템은 적절히 근거를 갖추지 못할 경우 환각(hallucination) 현상을 증폭시킬 위험이 있습니다.

기존 방법들은 외부 근거(grounding) 없이 고정된 프롬프트에 의존하거나, 단일 모델을 사용하여 모든 취약점 유형을 동시에 탐지하려고 시도하며, 이는 계산 효율성과 광범위한 커버리지 사이의 균형을 맞추는 데 실패합니다.

방법론: MulVul 프레임워크

MulVul은 정밀하고 광범위한 커버리지를 가진 취약점 탐지를 위해 설계된 검색 증강 멀티 에이전트 프레임워크입니다. 이는 **단계적 세분화 전략(coarse-to-fine strategy)**을 통해 작동하며 **교차 모델 프롬프트 진화(Cross-Model Prompt Evolution)**를 채택합니다.

1. 아키텍처: 라우터-디텍터(Router-Detector)

시스템은 CWE 분류 체계와 정렬된 계층적 아키텍처를 활용합니다:

• 라우터 에이전트(Router Agent): 디스패처 역할을 수행합니다. 먼저 상위-$k$개의 거친 입도(coarse-grained) 취약점 카테고리(예: "메모리 버퍼 오류")를 예측합니다. 또한 **글로벌 검색 도구(Global Retrieval Tool)**를 사용하여 지식 베이스를 쿼리함으로써 교차 카테고리 증거를 확보하고, 올바른 카테고리가 조기에 필터링되지 않도록 보장합니다.
• 디텍터 에이전트(Detector Agents): 라우터가 선택한 카테고리에 대해서만 특화된 에이전트가 호출됩니다. 각 디텍터는 세밀한 수준의 특정 취약점 유형(예: "CWE-119 버퍼 오버플로")을 식별합니다.
  • 격리(Isolation): 디텍터들은 에러 전파를 방지하기 위해 에이전트 간 통신 없이 독립적으로 작동합니다.
  • 대조 검색(Contrastive Retrieval): 각 디텍터는 세 가지 풀(in-category positives, clean examples, out-of-category "hard negatives")에서 증거를 검색하는 특화된 도구를 사용합니다. 이러한 대조적 접근 방식은 미세한 보안 결함을 구별하는 데 도움을 줍니다.

2. 지식 베이스 (SCALE)

프레임워크는 SCALE(Structured Code Representation)을 사용하여 구축된 취약점 지식 베베이스에 의존합니다. SCALE은 코드 스니펫을 구조화된 주석 트리(제어 흐름을 인코딩하는 AST 노드에 부착된 자연어 주석)로 변환합니다. 이러한 표현식은 (UniXcoder를 사용하여) 임베딩되고 효율적인 최근접 이웃(nearest-neighbor) 검색을 위해 인덱싱됩니다.

3. 교차 모델 프롬프트 진화 (Cross-Model Prompt Evolution)

프롬프트 엔지니어링의 확장성 병목 현상을 해결하기 위해, MulVul은 프롬프트 생성과 평가를 분리하는 새로운 최적화 메커니즘을 도입합니다:

• 생성 LLM ($M_{evo}$): (예: Claude) 후보 프롬프트를 반복적으로 제안하고 변이시킵니다.
• 실행 LLM ($M_{exec}$): (예: GPT-4o) 해당 프롬프트로 에이전트를 실행하고 성능 피드백(라우터의 경우 Recall@k, 디텍터의 경우 F1)을 반환합니다.
• 프로세스: 이러한 분리는 단일 모델 최적화에 내재된 자기 수정 편향을 완화합니다. 라우터 프롬프트는 재현율(Recall)을 위해 최적화되며(올바른 카테즘이 상위-$k$ 안에 포함되도록 함), 디텍터 프롬프트는 정밀도-재현율 균형(F1 점수)을 위해 최적화됩니다.

주요 기여

1. MulVul 프레임워크: 입력값을 필요한 경우에만 전문가에게 라우팅함으로써 계산 효율성과 탐지 커버리지 사이의 균형을 맞추는 새로운 검색 증강 멀티 에이전트 시스템을 제시합니다.
2. 교차 모델 프롬프트 진화: 서로 다른 LLM 간에 생성과 실행을 분리하여 특화된 지침을 자동으로 최적화함으로써, 수동 엔지니어링의 확장성 문제를 효과적으로 해결합니다.
3. 최첨단 성능(SOTA): 다중 클래스 취약점 탐지에서 기존 베이스라인보다 유의미한 개선을 보여주는 종합적인 실험 결과를 제시합니다.

실험 결과

프레임워크는 130개의 CWE 유형에 걸쳐 6,968개의 취약한 함수와 229,764개의 정상 C/C++ 함수를 포함하는 PrimeVul 벤치마크에서 평가되었습니다.

• 전반적인 성능: MulVul은 유형 수준(type-level)에서 **Macro-F1 34.79%**를 달 기록하며, 가장 우수한 베이스라인(LLM×CPG)보다 10.21 퍼센트 포인트 높은 성능을 보였습니다(상대적 개선율 41.5%).
• 정밀도-재현율 트레이드오프: 시스템은 Macro-Precision 27.90%와 Macro-Recall 46.19%를 달성하였으며, 이는 하나를 희생하여 다른 하나를 얻는 경향이 있는 베이스라인들과 비교해 우수한 균형을 보여줍니다.
• 어블레이션 연구(Ablation Studies):
  • 검색(Retrieval): 검색을 제거했을 때 성능 저하가 가장 컸습니다(F1이 34.56%에서 21.80%로 하락). 이는 추론을 증거로 뒷받침하는 과정의 필요성을 확인시켜 줍니다.
  • 프롬프트 진화: 진화된 프롬프트를 수동 템플릿으로 교체했을 때 성능이 11.76% 감소하여, 교차 모델 진화 전략의 효과를 입증했습니다.
  • 멀티 에이전트: 에이전트 아키텍처를 제거(단일 모델 사용)했을 때 5.95%의 성능 저하가 발생했습니다.
• 퓨샷(Few-Shot) 성능: MulVul은 희귀 CWE 유형(샘플 100개 미만)에서도 견고한 성능을 보였으며, 가장 우수한 베이스라인의 약 25% 대비 약 48%의 F1을 달성했습니다. 이는 관련 취약점 패턴 간의 지식 전이 능력을 강조합니다.
• 라우팅 파라미터 ($k$): 최적의 라우팅 파라미터는 $k=3$으로 나타났으며, 이때 Macro-F1이 34.79%로 정점에 도달했습니다.

의의 및 주장

본 논문은 MulVul이 다중 클래스 취약점 탐지의 새로운 최첨단(SOTA)임을 주장합니다. 그 의의는 다음과 같습니다:

• 이질성 해결: 작업을 거친 라우팅과 세밀한 탐지로 분해함으로써, 다양한 취약점 패턴을 처리하는 데 있어 통합 모델의 한계를 극복합니다.
• 확장성: 교차 모델 프롬프트 진화 메커니즘은 수백 개의 카테고리에 대한 특화된 지침 생성을 자동화하여, 수동 엔지니어링 없이도 광범위한 커버리지 탐지를 가능하게 합니다.
• 견고성: 검색 증강 생성과 격리된 에이전트 운영의 결면합은 멀티 에이전트 LLM 시스템의 흔한 문제인 환각과 에러 증폭을 효과적으로 완화합니다.

저자들은 평가가 C/C++ 코드에 국한되었다는 점, 여러 LLM API 호출에 따른 계산 비용, 그리고 다른 LLM 백본으로의 프롬프트 전이 가능성에 대한 추가 평가가 필요하다는 점 등 한계점을 인정합니다. 또한 자동화된 취약점 탐지 도구의 잠재적인 이중 용도(dual-use) 위험에 대해서도 언급하였습니다.