1. 문제 정의 (Problem)

소프트웨어 취약점 탐지 분야에서 기존 접근 방식은 다음과 같은 한계를 가지고 있습니다.

• 정적 분석 도구 (Static Analysis Tools): CodeQL, Bandit 등은 높은 정밀도 (Precision) 를 보이지만, 실제 취약점 탐지율 (Recall) 이 매우 낮습니다 (PyVul 벤치마크에서 각각 10.8%, 5.3% 탐지).
• LLM 기반 접근: 대규모 언어 모델 (LLM) 은 탐지율을 높일 수 있으나, 제로샷 (Zero-shot) 상태에서는 성능이 부족하고, 고성능을 내기 위해서는 라벨링된 취약점 데이터로 인한 파인튜닝 (Fine-tuning) 이 필수적입니다.
• 성능 격차: PyVul 벤치마크에서 GPT-3.5 의 제로샷 성능 (61.1% Recall) 과 파인튜닝 성능 (81.3% Recall) 사이에는 약 20% 포인트의 큰 격차가 존재합니다. 이 격차는 라벨링된 데이터 확보 비용 때문입니다.

핵심 질문: 학습 데이터 (파인튜닝) 없이도, 다중 에이전트 (Multi-Agent) 앙상블을 통해 파인튜닝된 모델의 성능을 능가할 수 있는가?

---

2. 방법론 (Methodology)

저자들은 MultiVer라는 제로샷 다중 에이전트 시스템을 제안합니다. 이 시스템은 코드를 분석할 때 보안, 정확성, 성능, 스타일 등 다양한 차원을 동시에 분석하여 취약점을 포착합니다.

A. 아키텍처 (4 에이전트 앙상블)

코드는 병렬로 실행되는 4 개의 전문화된 에이전트에 의해 분석됩니다. 각 에이전트는 가중치 (Weight) 를 가지며, 최종 판단은 연합 투표 (Union Voting) 또는 가중 투표 방식을 통해 이루어집니다.

1. 보안 에이전트 (Security, 가중치 0.45): CWE 매핑 패턴 매칭과 RAG(검색 증강 생성) 기반 LLM 분석 수행.
2. 정확성 에이전트 (Correctness, 가중치 0.35): AST 분석을 통한 예외 처리 및 입력 유효성 검사 버그 탐지.
3. 성능 에이전트 (Performance, 가중치 0.15): 알고리즘적 비효율성 식별.
4. 스타일 에이전트 (Style, 가중치 0.05): 코드 품질 평가.

B. 3 단계 분석 파이프라인

각 에이전트는 비용과 정확도를 최적화하기 위해 3 단계 파이프라인을 따릅니다.

1. Tier 1 (패턴 매칭): CWE 기반 취약점 서명 (SQL 인젝션 등) 에 대한 결정론적 패턴 매칭 (50ms 내, 비용 0).
2. Tier 2 (RAG): FAISS 를 사용하여 커스터마이징된 지식 베이스 (CVEFixes 등) 에서 유사한 예시 5 개와 관련 명세 3 개를 검색 (약 100ms 지연).
3. Tier 3 (LLM 분석): Claude Opus 4.5 를 사용하여 패턴 결과, 검색된 예시, 명세를 바탕으로 구조화된 판정 (PASS/WARNING/FAIL) 과 신뢰도 생성. (약 30 초 지연, 주요 비용 발생).
   • 선택적 LLM 호출: 패턴 매칭 회수율에 따라 LLM 호출 여부를 결정 (예: 스타일 에이전트는 패턴만으로 충분하여 LLM 호출 생략).

C. 투표 전략 (Voting Strategy)

• 연합 투표 (Union Voting): 회상율 (Recall) 극대화를 목표로 합니다. 보안 또는 정확성 에이전트 중 하나라도 경고 (WARNING) 또는 실패 (FAIL) 를 보내면 전체적으로 취약점으로 간주합니다. 이는 보안 감사에서 '누락 (False Negative)'이 '오경보 (False Positive)'보다 훨씬 치명적이라는 설계 철학을 반영합니다.
• 가중 투표 (Weighted Voting): 정밀도와 회상율의 균형을 맞춥니다. 에이전트 가중치, 판정 심각도, 신뢰도를 곱하여 점수를 계산합니다.

D. 자기 일관성 (Self-Consistency)

보안 에이전트의 경우, 변동을 줄이기 위해 자기 일관성 샘플링을 적용합니다. 3 번의 병렬 호출 (1 번은 Extended Thinking 포함, 2 번은 다양한 온도 설정) 을 수행하고 다수결로 최종 판정을 내립니다.

---

3. 주요 기여 (Key Contributions)

1. 학습 데이터 없는 파인튜닝 모델 초월: PyVul 벤치마크에서 제로샷 다중 에이전트 시스템이 파인튜닝된 GPT-3.5(81.3% Recall) 를 능가하는 82.7% 의 회상율을 달성했습니다. 이는 해당 벤치마크에서 제로샷 시스템이 파인튜닝 성능을 넘어선 첫 사례입니다.
2. 경쟁력 있는 F1 점수: 61.4% 의 F1 점수를 기록하여, 기존 제로샷 시스템 (CodeQwen 61.8%, GPT-3.5 55.5%) 과 경쟁 가능한 수준을 입증했습니다.
3. 성분 기여도 규명 (Ablation Study):
   • 다중 에이전트 앙상블은 보안 전용 분석 대비 17% 포인트의 회상율 향상을 가져왔습니다.
   • 특히 '정확성 에이전트'만으로도 11% 포인트의 기여를 했습니다. 이는 취약점이 보안뿐만 아니라 코드 정확성, 성능 등 다양한 차원에서 나타남을 입증했습니다.
4. 회상율 - 정밀도 트레이드오프 분석: 연합 투표 방식이 높은 회상율 (82.7%) 을 제공하지만 정밀도 (48.8%) 는 낮아지는 경향을 보였으며, 이는 보안 감사의 목적 (누락 방지) 에 부합하는 설계 선택임을 설명했습니다.

---

4. 실험 결과 (Results)

PyVul 벤치마크 (실제 Python 취약점)

• 회상율 (Recall): 82.7% (±0.6) → 파인튜닝 GPT-3.5(81.3%) 보다 1.4% 포인트 높음.
• 정밀도 (Precision): 48.8% → 파인튜닝 GPT-3.5(63.9%) 보다 낮음.
• F1 점수: 61.4% → 파인튜닝 GPT-3.5(71.6%) 보다 낮으나, 제로샷 기준으로는 최상위권.
• 의미: 학습 데이터 없이도 파인튜닝 모델보다 더 많은 취약점을 찾아냈습니다.

SecurityEval 벤치마크 (합성 취약점)

• 탐지율: 91.7% (121 개 중 111 개).
• 이는 전문화된 시스템인 Aardvark(92%) 와 유사한 성능이며, Vul-RAG(78.9%) 를 크게 상회합니다.

Ablation Study (성분 분석)

• 다중 에이전트 효과: 보안 에이전트 단독 (65.7%) 대비 전체 시스템 (82.7%) 은 17% 포인트 향상.
• RAG 효과: RAG 를 제거하면 회상율은 92.0% 로 증가하지만, 오경보율 (FPR) 도 94.1% 로 급증합니다. RAG 는 패턴 기반 분석을 grounding 하여 오경보를 줄이는 역할을 하지만, 새로운 유형의 취약점 탐지에는 제약이 될 수 있음을 보여줍니다.

---

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: 취약점 탐지에서 '학습 데이터 (파인튜닝)'가 필수적이라는 통념을 깨고, 다중 에이전트 앙상블을 통해 제로샷 환경에서도 최상위 성능을 달성할 수 있음을 증명했습니다.
• 실무적 함의:
  • 높은 회상율의 가치: 보안 감사 (Security Audit) 에서는 취약점을 놓치는 것 (False Negative) 이 오경보 (False Positive) 보다 훨씬 큰 비용 (보안 침해) 을 초래합니다. MultiVer 는 정밀도를 일부 희생하더라도 회상율을 극대화하여 이러한 요구사항에 부합합니다.
  • 적용 범위: 높은 오경보율 (85% FPR) 과 비용 ($0.46/샘플, 55 초 지연) 으로 인해 실시간 CI/CD 차단에는 부적합하지만, 배포 전 심층 감사 (Pre-deployment Audit) 나 고가치 코드 분석에는 매우 효과적입니다.
• 미래 과제: 정밀도를 높이기 위해 취약점/패치 쌍에 대한 대조 학습 (Contrastive Training) 이나 지식 수준의 RAG(유사 코드 대신 취약점 원인/해결책 검색) 도입이 필요하며, 이를 통해 오경보를 줄이면서 회상율을 유지하는 것이 향후 핵심 과제로 제시되었습니다.

요약하자면, MultiVer 는 학습 데이터 없이도 다중 에이전트 협업을 통해 기존 파인튜닝 모델보다 더 많은 취약점을 찾아내는 혁신적인 접근법을 제시하며, 보안 분야에서 '누락 방지'가 최우선인 시나리오에 적합한 솔루션임을 입증했습니다.