MAS-SZZ: Multi-Agentic SZZ Algorithm for Vulnerability-Inducing Commit Identification

"MAS-SZZ: 취약점 유발 커밋 식별을 위한 다중 에이전트 SZZ 알고리즘"에 대한 상세 기술 요약입니다.

1. 문제 제기

정확한 취약점 유발 커밋 (VICs) 식별은 취약점 탐지, 심각도 평가, 영향받은 버전 분석과 같은 소프트웨어 보안 작업에 필수적입니다. 표준 접근법인 SZZ 알고리즘은 취약점 수정 커밋 (VFC) 에서 코드 변경 사항을 역추적하여 버그를 도입한 원래 커밋을 찾습니다.

그러나 기존 SZZ 알고리즘 (B-SZZ, AG-SZZ 와 같은 기초 변형 및 LLM4SZZ 와 같은 최첨단 LLM 기반 접근법을 포함) 은 두 가지 주요 한계를 겪고 있습니다:

1. 부정확한 앵커 선택: 전통적인 방법은 "앵커 문장"을 선택하여 역추적하기 위해 단순한 diff 기반 휴리스틱 (예: 삭제/수정된 줄) 에 의존합니다. 이는 취약점이 수정되지 않은 컨텍스트에 숨겨져 있거나 "복합" 및 "유령" 커밋이 노이즈를 유발할 경우 실패하여 높은 오탐지율을 초래합니다. LLM4SZZ 역시 보안 수정과 리팩토링과 같은 비보안 변경 사항을 항상 구별하지 못하기 때문에 어려움을 겪습니다.
2. 부족한 역추적 능력: 표준 알고리즘은 종종 단일 단계 역추적을 수행하거나 조기에 중단되는 (과도한 추적) 유사도 기반 휴리스틱을 사용하거나 진정한 기원을 놓치는 (추적 부족) 방식으로 작동합니다. 취약점이 도입된 정확한 시점을 결정하는 데 필요한 동적 추론이 부족합니다.

2. 방법론: MAS-SZZ

저자들은 이러한 과제를 극복하기 위해 대규모 언어 모델 (LLM) 과 자율 에이전트를 활용하는 MAS-SZZ(다중 에이전트 SZZ) 시스템을 제안합니다. 이 시스템은 감사관 (Auditor), 판사 (Judge), 검토자 (Reviewer), 평가자 (Evaluator), 로케이터 (Locator), 추적자 (Tracer) 와 같은 전문 에이전트들이 조율하여 세 가지 명확한 단계로 운영됩니다.

1 단계: 증거 기반 근본 원인 분석

• 입력: CVE 설명 및 해당 VFC(커밋 메시지 및 코드 diff).
• 과정:
  • 감사관 에이전트는 입력을 분석하여 취약점의 근본 원인을 요약합니다. 특히, 환각을 방지하기 위해 모든 주장을 CVE 또는 코드 diff 의 특정 부분과 연결하는 증거 포인트를 생성합니다.
  • 판사 에이전트는 두 가지 차원에서 신뢰성 검사를 수행합니다:
    1. 증거 추적 가능성: 제공된 입력에 증거를 매핑할 수 있는가?
    2. 논리적 일관성: 근본 원인이 커밋 메시지와 일치하는가?
  • 검사에 실패할 경우, 판사는 감사관에게 3 회까지 타겟팅된 재생성을 위한 교정 피드백을 제공합니다.

2 단계: 의도 기반 앵커 문장 선택

• 목표: 리팩토링, 잡무 (chores) 와 같은 비보안 변경 사항을 필터링하여 취약점을 담당하는 특정 줄을 식별합니다.
• 과정:
  • 검토자 에이전트는 각 패치 hunks 를 분석하기 위해 구조화된 단계별 프롬프팅 전략(Chain-of-Thought) 을 사용합니다. 이는 Conventional Commits Specification 을 기반으로 변경 의도를 추론하고 ("수정", "리팩토링", "잡무" 등) 분류합니다.
  • 평가자 에이전트는 "수정" hunks 의 의도가 이전에 확립된 근본 원인과 일치하는지 확인합니다.
  • 로케이터 에이전트는 코드 변경 사항, 주변 컨텍스트 및 근본 원인을 고려하여 관련 hunks 에서 구체적인 앵커 문장을 선택합니다.

3 단계: 자율 저장소 탐색

• 목표: 저장소 기록을 역으로 추적하여 취약점을 포함하는 첫 번째 커밋을 찾습니다.
• 과정:
  • 추적자 에이전트는 앵커 문장에서 시작하여 커밋 기록을 역방향으로 이동하기 위해 git blame을 반복적으로 실행합니다.
  • 각 단계에서 에이전트는 ExpandContext 및 LocateSymbol 과 같은 도구를 사용하여 커밋 메시지와 코드 상태를 분석하여 해당 수정판에 취약점이 존재하는지 판단합니다.
  • 동적 중지 기준: 고정 단계 알고리즘과 달리, 추적자는 현재 커밋에서는 취약점이 더 이상 발견되지 않지만 이전 커밋에는 존재했을 때 중단합니다. 취약점이 존재했던 마지막 커밋이 VIC 로 식별됩니다.

3. 주요 기여

1. 다중 에이전트 아키텍처: 근본 원인 분석, 의도 식별 및 자율적 기록 탐색을 처리하기 위해 전문 에이전트들이 협력하는 새로운 시스템인 MAS-SZZ 를 설계했습니다.
2. 최적화 전략:
   • 증거 기반 분석: 환각을 줄이기 위해 입력에 대한 검증 가능한 근본 원인 요약을 보장합니다.
   • 의도 기반 선택: LLM 을 사용하여 노이즈와 보안 수정 사항을 구별하여 앵커 선택 문제를 해결합니다.
   • 자율 탐색: 정적 휴리스틱을 근본 원인에 의해 안내되는 동적 반복 역추적으로 대체합니다.
3. 종합 평가: C/C++ 및 Java 를 다루는 두 가지 인간 주석 달기 벤치마크 데이터셋 (V-SZZ 및 Java-SZZ) 에서 기존 SZZ 알고리즘 7 개에 대해 접근 방식을 검증했습니다.

4. 실험 결과

저자들은 B-SZZ, AG-SZZ, L-SZZ, R-SZZ, MA-SZZ, V-SZZ, LLM4SZZ 를 포함한 베이스라인에 대해 Gemini-3.1-pro를 백본 LLM 으로 사용하여 MAS-SZZ 를 평가했습니다.

• 성능: MAS-SZZ 는 모든 데이터셋에서 F1-score 측면에서 모든 베이스라인을 능가했습니다.
  • Java-SZZ 데이터셋에서 최상위 베이스라인 대비 F1-score 에서 65.22% 의 상대적 개선을 달성했습니다.
  • 9 가지 평가 지표 조합 (세 가지 데이터셋에 대한 정밀도, 재현율, F1) 중 8 가지에서 상위 2 위 성능을 달성했습니다.
• Ablation Study:
  • **앵커 선택 제거 (w/o AS)**는 정밀도를 최대 59.52% 까지 크게 떨어뜨려 관련 없는 코드 hunks 를 필터링하는 필요성을 입증했습니다.
  • **에이전트 역추적 제거 (w/o AB)**는 F1-score 를 최대 54.17% 까지 급격히 떨어뜨려 정적 단일 단계 추적이 아닌 자율적 반복 탐색이 우수함을 보여주었습니다.
• LLM 선택: 무거운 모델 (예: Gemini-3.1-pro) 이 경량 모델보다 일반적으로 우수한 성능을 보였으며, Gemini-3.1-pro 가 전체적으로 가장 좋은 결과를 달성했습니다.

5. 의의

MAS-SZZ 는 휴리스틱 기반 라인 매핑에서 의미 기반 다중 에이전트 추론으로 전환함으로써 취약점 분석의 패러다임 전환을 의미합니다.

• 신뢰성: 증거에 기반한 근본 원인 분석과 의도 기반 필터링을 통해 복합 또는 유령 커밋으로 인한 오탐지를 크게 줄입니다.
• 적응성: 자율 역추적 메커니즘을 통해 기존 유사도 지표가 실패하는 복잡한 버전 기록을 처리할 수 있습니다.
• 실용적 영향: 정확도에서 상당한 개선 (최대 65% 향상) 을 보인 것은 MAS-SZZ 가 취약점의 기원을 정확하게 식별하여 더 빠른 조치 및 더 나은 위험 평가를 가능하게 하는 실제 소프트웨어 공급망 보안 도구에 신뢰성 있게 배포될 수 있음을 시사합니다.