기술 요약: 판결에서 진단으로: 풀 리퀘스트(Pull Request)에 대한 귀속 가능한 보안 검토

1. 문제 정의: 판결-진단(Verdict–Diagnosis, VD) 격차

현재의 자동화된 코드 리뷰어들은 주로 악성 풀 리퀘스트(PR)에 대해 "차단(blocking)" 판결을 내리는 능력에 따라 평가됩니다. 그러나 본 논문은 이러한 평가 패러다임의 결정적인 결함을 식별합니다. 즉, 리뷰어가 잘못된 이유로 PR을 올바르게 차단할 수 있다는 점입니다. 차단이 특정 취약점(PR을 안전하지 않게 만드는 구체적인 원인)이 아닌 무관한 문제(예: 포맷팅 오류 또는 비심각한 경고)로 인해 발생할 수 있습니다.

이러한 불일치를 판결-진단(VD) 격차라고 부릅니다.

• 판결(Verdict): PR을 승인하거나 차단하는 결정.
• 진단(Diagnosis): 특정 취약점의 식별 및 이를 뒷받침하는 증거.
• 격차(The Gap): 올바른 차단 판결과 부정확하거나 근거 없는 진단이 결합된 상태. 이러한 경우, 복구 노력이 잘못된 방향으로 유도되어 실제 취약점이 해결되지 않은 채 남게 됩니다.

본 논문은 기존의 벤치마크와 평가 지표가 단순히 "차단"하는 시스템과 보안 결함을 올바르게 "진단"하는 시스템을 구분하지 못한다고 주장합니다. 또한, 많은 취약점(특히 필수적인 가드(guard)가 누락된 "부재형(absence-type)" 결함)은 변경되지 않은 저장소의 일부로부터 증거를 필요로 하며, 표준적인 디프(diff) 기반 분석은 이를 놓치는 경우가 많습니다.

2. 방법론

2.1 MALPR-BENCH: 메커니즘 기반 벤치마크

VD 격차를 측정하기 위해 저자들은 세 가지 별개의 차원을 평가하도록 설계된 MALPR-BENCH를 도입합니다:

1. 판결 정확성 (V): 시스템이 PR을 차단했는가?
2. 대상 취약점 식별 (I): 시스템이 특정 취약점 메커니즘을 올바르게 식별했는가?
3. 증거 검증 (E): 시스템이 구체적이고 감사 가능한 저장소 사실(코드 위치, 변경되지 않은 파일 등)에 근거하여 진단을 내렸는가?

구성:

• 규모: 44개의 저장소와 8개의 언어 제품군에 걸친 89개의 악성 PR과 50개의 양성 컨트롤(benign controls).
• 출처:
  • 기록 마이닝(Mined History): 프로젝트 이력에서 불완전한 수정 사항을 복구.
  • 어드바이저리 유도(Advisory-Derived): 공개 보안 어드바이저리를 바탕으로 악성 상태 구축 (Pool A: 불완전한 수정; Pool B: 역전된 강제 적용).
  • 실제 세계 발견(Real-World Discovery): 저자들의 도구에 의해 발견된 이전에 공개되지 않은 취약점.
• 그라운드 트루스(Ground Truth): 각 케이스에는 대상 취약점, 요구되는 증거 체인, 허용되는 설명이 명시된 "동결된 루브릭(frozen rubric)"이 포함됩니다. 이를 통해 리뷰가 "귀속 가능한지"(즉, $A = V \land I \land E$)를 정밀하게 채점할 수 있습니다.
• 결함 분류: 케이스는 존재형(Present-type)(위험한 동작이 디프에 보임) 또는 부재형(Absence-type)(필수 보안 강제 기능이 누락됨)으로 분류됩니다. 증거 위치는 L0(디프만 해당)부터 L2b(관련 없는 파일 간의 의미론적 대응)까지 분류됩니다.

2.2 PRGUARD: 귀속 가능한 보안 리뷰어

VD 격차를 해결하기 위해 저자들은 취약점 식별과 증거 검증을 분리하는 시스템인 PRGUARD를 제안합니다. 엔드 투 엔드(end-to-end) 모델처럼 디프에서 바로 판결로 넘어가는 것과 달리, PRGUARD는 단계별 파이프라인을 통해 작동합니다:

• 단계 0 (구조적 수집): 모델 추론이 수행되기 전, 변경된 코드 주변의 구조적 컨텍스트(호출자, 피호출자, 임포트 등)를 결정론적으로 수집합니다.
• 단계 1 (변경 특성화): 모델은 특정 취약점을 제안하기 전에 변경 사항의 보안 관련 동작을 설명합니다.
• 단계 2 & 2.5 (증거 획득):
  • 경로 1 (지식 지향): 개발 사례에서 유도된 메커니즘 지식 베이스(KB)를 사용하여 타입 관계(예: SIBLING-ENDPOINT)를 통해 특정 저장소 증거를 검색합니다.
  • 경로 2 (코드 지향): 변경된 코드의 구조를 기반으로 저장소 경로의 작업 목록(worklist)을 구축하며, 이는 KB와 독립적입니다.
• 단계 3 (후보 생성): 수집된 증거를 바탕으로 구체적인 후보 취약점을 공식화합니다.
• 단계 4 (증거 검증): 별도의 모델 호출을 통해 후보들을 저장소 증거와 대조 테스트합니다. 이는 보안 핵심 전제 조건(공격자 제어 가능성, 도달 가능성, 누락된 가드 등)을 검증합니다. 후보는 검증됨(VALIDATED), 등급 하향(DOWNGRADED), 또는 **거부됨(REJECTED)**으로 표시됩니다.
• 단계 5 (리뷰 합성): 결정론적 정책을 사용하여 검증 결과를 판결(차단, 코멘트, 승인)로 매핑하고, 특정 코드 위치와 함께 검증된 결과를 설명하는 리뷰를 합성합니다.

3. 주요 기여

1. VD 격차의 정식화: 본 논문은 현재의 자동화된 보안 리뷰의 근본적인 한계로서 판결-진단 격차를 정의하고 특징화하며, 기존의 평가 지표가 이러한 실패 모드를 은폐한다고 주장합니다.
2. MALPR-BENCH: 판결 정확성을 취약점 식별 및 증거 검증과 분리하여, 그라운드 트루스를 위한 사전 커밋된 루브릭을 사용하는 체계적인 평가 프레임워크 및 벤치마크를 제공합니다.
3. PRGUARD: 가설 생성과 증거 검증을 분리하고 디프 이상의 컨텍스트를 검색하는 귀속 가능한 PR 보안 리뷰어 아키텍처를 제안합니다.
4. 실증적 검증: 식별과 검증을 분리하는 것이 특히 부재형 결함에 대해 진단의 귀속성을 향상시킨다는 것을 입증합니다.

4. 결과

4.1 공통 커버리지 도전 과제 세트에서의 성능

CodeRabbit(널리 사용되는 상용 AI 리뷰어)을 대상으로 31개의 홀드아웃(held-out) 악성 PR(19개 자기 일반화 + 12개 발견 케이스)에 대해 평가했습니다:

• 차단 성능: 두 시스템 모두 유사한 차단율을 보였습니다 (CodeRabbit: 24/31; PRGUARD/DeepSeek: 22/31).
• 취약점 식별 (I): PRGUARD/DeepSeek는 CodeRabbit보다 1.38배 더 많은 대상 취약점을 식별했습니다 (22 vs. 16).
• 부재형 결함: 필수 가드가 누락된 14개 케이스에서 두 시스템 모두 9개의 PR을 차단했습니다. 그러나 PRGUARD/DeepSeek는 대상 취약점을 9/14 케이스에서 식별한 반면, CodeRabbit은 3/14 케이스에서만 식별했습니다 (3배 차이).
• 귀속 가능한 차단 (A): PRGUARD/DeepSeek는 31개 중 19개의 귀속 가능한 차단을 달ian한 반면, CodeRabbit은 16/31을 기록했습니다.
• 증거 위치: CodeRabbit은 변경된 파일 외부의 증거가 필요한 7개 케이스(L2a/L2b)에서 단 하나의 대상도 식별하지 못했으나, PRGUARD는 대부분의 케이스에서 성공했습니다.

4.2 전체 파이프라인 평가

편향을 피하기 위해 발견 티어를 제외한 63개의 홀드아웃 악성 케이스에 대해 평가했습니다:

• Pool B (역전된 강제 적용): 두 백엔드(GPT-5.5 및 DeepSeek) 모두 모든 37개의 대상 취약점을 식별했습니다 (I=37/37). 그러나 증거 검증 (E) 측면에서는 차이가 있었습니다 (GPT-5.5 26/37, DeepSeek 34/37). 이는 식별이 증거의 유효한 근거를 보장하지 않음을 보여줍니다.
• 양성 컨트롤: PRGUARD는 낮은 오탐률(50개 양성 컨트롤 중 4~5개 차단)을 보였으며, 이는 CodeRabbit(일부 6개 컨트롤 중 0개 차단)과 유사한 수준입니다.

4.3 실제 세계 발견

생산 환경의 저장소에 적용한 결과, PRGUARD는 5개의 널리 사용되는 프로젝트에서 12개의 이전에 공개되지 않은, 개념 증명(PoC)이 뒷받격된 취약점을 찾아냈습니다.

• PRGUARD와 CodeRabbit 모두 이 발견 티어에서 10/12개의 PR을 차단했습니다.
• 그러나 PRGUARD는 10/12개의 귀속 가능한 차단을 생성한 반면, CodeRabbit은 4/12개만을 생성했습니다. 이는 동일한 판결 총수가 진단 품질에서 2.5배의 차이를 가릴 수 있음을 입증합니다.

5. 의의 및 주장

본 논문은 판결-진단 격차가 현재의 자동화된 보안 리뷰의 근본적인 한계라고 주장합니다. "성공적인" 차단이라 할지라도 취약점을 올바르게 식별하고 입증하지 못한다면, 이는 효과적인 복구를 어렵게 만들기 때문에 불충분합니다.

• 귀속 가능성이 핵심이다: 저자들은 보안 리뷰가 귀속 가능해야 한다고 주장합니다. 즉, 판결은 식별된 메커니즘을 검증하는 특정 저장소 증거에 근거해야 합니다.
• 관심사의 분리: 식별과 검증을 분리하는 것이 진단의 신뢰성, 특히 파일 간 컨텍스트를 요구하는 복잡한 결함에 대해 개선을 가져온다는 것을 결과가 시사합니다.
• 한계: PRGUARD가 만능 해결책은 아님을 인정합니다. 프롬프트 인젝션과 판단 오류를 잔여 공격 표면으로 취급합니다. 실제 취약점의 발견은 능력을 입증하지만, 후보 스트림이 수동 검증을 위해 필터링되었으므로 임의의 PR에 대한 재현율(recall rate)을 추정한다고 주장하지는 않습니다.

요약하자면, 이 연구는 평가의 초점을 "차단했는가?"에서 "올바른 이유로, 증거와 함께 차단했는가?"로 전환하며, 오진된 보안 리뷰의 위험을 측정하고 완화하기 위한 방법론과 도구 세트를 도입합니다.