Refute-or-Promote: An Adversarial Stage-Gated Multi-Agent Review Methodology for High-Precision LLM-Assisted Defect Discovery

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 을 활용한 결함 (Defect) 및 취약점 발견은 현재 정확성 (Precision) 위기에 직면해 있습니다.

• 허위 양성 (False Positive) 과다: LLM 은 '정확성'보다 '설득력 (Plausibility)'에 최적화되어 있어, 실제 존재하지 않는 취약점을 그럴듯하게 보고하는 경우가 많습니다.
• 운영자 피로 및 신뢰도 하락: 오픈소스 유지보수자들은 LLM 이 생성한 허위 보고서로 인해 '서비스 거부 (DoS)' 공격을 당하는 것과 같은 상황을 경험하고 있으며, 이는 실제 취약점 발견에 대한 신뢰도를 떨어뜨립니다. (예: curl 의 버그 바운티 프로그램 폐쇄, HackerOne 의 일시 중단 등)
• 동일한 편향의 공명: 여러 LLM 에이전트라도 동일한 학습 데이터 편향을 공유하면, 잘못된 결론에 대해 '만장일치 (Unanimity)'로 동의하는 현상이 발생할 수 있습니다. (예: OpenSSL 의 존재하지 않는 Bleichenbacher 패딩 오라클을 80 개 이상의 에이전트가 모두 지지한 사례)

2. 방법론: Refute-or-Promote (Methodology)

이 논문은 LLM 의 허위 양성을 필터링하고 정밀도를 높이기 위해 적대적 단계 게이트 (Adversarial Stage-Gated) 멀티 에이전트 리뷰 프로세스를 제안합니다. 이 프로세스는 4 단계의 적대적 파이프라인으로 구성되며, 각 단계에서 '창의적 (Creative)' 트랙과 '적대적 (Adversarial)' 트랙이 병렬로 실행됩니다.

핵심 구성 요소

1. 계층적 컨텍스트 헌팅 (Stratified Context Hunting, SCH):
   • 후보 (Candidate) 생성 시, 서로 다른 컨텍스트 (과거 CVE, Git 핫스팟, 명세 텍스트 등) 와 범위 (서브시스템) 로 에이전트를 분산시켜 다양한 관점에서 탐색합니다.
2. 적대적 킬 명령 (Adversarial Kill Mandates):
   • 각 후보는 '취약점임'을 주장하는 창의적 에이전트와 '취약점이 아님'을 증명하려는 적대적 에이전트에게 동시에 검토됩니다.
   • 킬 (Kill): 적대적 에이전트가 코드 기반의 반박을 성공하면 후보는 즉시 폐기됩니다.
   • 승인 (Promote): 적대적 에이전트가 반박에 실패하고 창의적 에이전트가 타당한 공격 경로를 제시해야만 다음 단계로 넘어갑니다.
3. 컨텍스트 비대칭성 (Context Asymmetry):
   • 에이전트들이 서로 다른 정보 (전체 합성, 냉각 시작 (Cold-start), 요약 등) 를 기반으로 검토하도록 하여, 동일한 편향이나 '앵커링 (Anchoring)' 효과를 방지합니다.
4. 크로스-모델 비평가 (Cross-Model Critic, CMC):
   • 같은 모델 계열 (Family) 의 검토를 거친 후보를, **서로 다른 모델 계열 (예: Claude vs. GPT)**의 에이전트가 독립적으로 검토합니다. 이는 동일 계열 모델이 공유하는 학습 데이터 편향 (Correlated Blind Spots) 을 포착하기 위함입니다.
5. 강제 검증 게이트 (Mandatory Empirical Gate):
   • 최종 공개 (Disclosure) 전, 반드시 실험적 검증 (PoC 실행, 테스트 케이스 통과 등) 을 통과해야 합니다. 이는 이론적 주장만으로는 통과할 수 없게 합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 방법론 제시: 후보 생성 (SCH), 적대적 킬 명령, 크로스-모델 비평가, 컨텍스트 비대칭성, 실험적 검증을 결합한 4 단계 적대적 파이프라인을 제안했습니다.
2. 실제 세계 평가 (Real-world Evaluation):
   • 보안 라이브러리, ISO C++ 표준, 주요 컴파일러 등 7 개 타겟에 걸쳐 31 일간 캠페인을 수행했습니다.
   • 결과: 4 개의 CVE 할당, ISO C++ Working Paper 에 채택된 결함 (LWG 4549), 5 개의 편집 PR 병합, 3 개의 컴파일러 준수 버그, 8 개의 보안 관련 수정 사항 등 36 개 이상의 검증된 결과를 도출했습니다.
   • 평가 기준: 벤치마크 점수가 아닌, 유지보수자의 병합 (Merge), CVE 할당, 표준 기구 승인 등 외부 수용 신호로 평가되었습니다.
3. 정량적 허위 양성 분석:
   • 전체 후보의 약 **79%**가 적대적 검토 단계에서 폐기되었습니다 (전망적 하위 집합 기준 83%).
   • 적대적 검토를 통해 심각도 점수 (CVSS) 가 과대평가된 경우를 9 건 중 8 건 수정했습니다.
4. 실패 사례의 정직한 보고:
   • OpenSSL Bleichenbacher 실패: 80 개 이상의 에이전트가 존재하지 않는 취약점을 만장일치로 지지했으나, 단일 실험적 테스트로만 폐기된 사례를 통해 '만장일치'가 항상 옳지 않음을 증명했습니다.
   • lcms2 부활 사례: 만장일치로 폐기된 후보가 인간 오버라이드 (Creative uplift agent) 를 통해 다시 살아나 CVE 로 등록된 사례를 통해, '만장일치'가 오히려 위험 신호가 될 수 있음을 시사했습니다.

4. 결과 및 성과 (Results)

• 정밀도 향상: 초기 171 개의 후보 중 약 135 개 (79%) 가 적대적 검토를 통해 폐기되었으며, 최종적으로 검증된 36 개 이상의 결함이 도출되었습니다.
• 다양한 도메인 적용:
  • 보안: libfuse (2 개 CVE), wolfSSL, OpenSSL (CVE-2026-34183) 등.
  • 표준 및 컴파일러: ISO C++ 표준 결함 수정, GCC/MSVC 컴파일러 버그 발견.
  • 전송 테스트 (Transfer Test): SWE-bench Verified 에서 기존에 해결되지 않았던 SymPy 인스턴스 5 개와 Hard Task 1 개를 해결하여 방법론의 일반화 가능성을 입증했습니다.
• 비용 효율성: 연구자 인건비를 제외하고 약 250 달러의 LLM 구독 비용으로 4 개의 CVE 를 포함한 36 개 이상의 성과를 거두었습니다 (CVE 당 약 62 달러).

5. 의의 및 시사점 (Significance)

• 합의 (Consensus) 의 한계 재조명: AI 에이전트 간의 합의가 정답을 보장하지 않으며, 오히려 공유된 편향으로 인한 집단적 오류를 초래할 수 있음을 실증했습니다.
• 정밀도 중심의 패러다임 전환: 기존 '커버리지 (Coverage)' 중심의 자동화 스윕에서 벗어나, '정밀도 (Precision)'를 최우선으로 하는 적대적 검증 구조를 제시했습니다.
• 인간 - AI 협업의 새로운 모델: 완전 자동화가 아닌, 인간 오케스트레이터가 최종 판단과 오버라이드를 수행하는 하이브리드 모델을 통해, LLM 의 허위 양성을 효과적으로 필터링하면서도 중요한 결함을 놓치지 않는 시스템을 구축했습니다.
• 미래 방향: 이 방법론은 보안 취약점 발견을 넘어, 코드 리뷰, 표준 명세 검증, 자율 에이전트의 행동 검증 등 다양한 분야에서 LLM 출력의 신뢰성을 높이는 데 적용될 수 있는 잠재력을 가집니다.

결론적으로, 이 논문은 LLM 기반 결함 발견의 핵심 병목인 '허위 양성'을 해결하기 위해 적대적 검증, 모델 다양성, 실험적 검증을 결합한 체계적인 방법론을 제시하고, 이를 통해 실제 산업 및 표준 기구에서 검증된 성과를 입증했습니다.