技術要約：判定から診断へ：プルリクエストにおける帰属可能なセキュリティレビュー

1. 問題定義：判定と診断のギャップ（VDギャップ）

現在の自動コードレビュアーは、主に悪意のあるプルリクエスト（PR）に対して「ブロック」の判定を下せる能力によって評価されている。しかし、本論文は、この評価パラダイムにおける決定的な欠陥を指摘している。すなわち、レビュアーが「誤った理由」でPRを正しくブロックしてしまう可能性があるということである。ブロックが、特定の脆弱性ではなく、無関係な問題（例：フォーマットエラーや非クリティカルな警告）によって引き起こされる場合がある。

この不一致を判定–診断（Verdict–Diagnosis: VD）ギャップと呼ぶ。

• 判定 (Verdict): PRを承認するかブロックするかという決定。
• 診断 (Diagnosis): 特定の脆弱性の識別とその根拠となるエビデンス。
• ギャップ (The Gap): 正しいブロック判定が出ているにもかかわらず、診断が不正確または根拠不十分である状態。このような場合、修復作業の方向性が誤りとなり、実際の脆弱性が未解決のまま残ってしまう。

本論文は、既存のベンチマークや評価指標が、「単にブロックする」システムと、基礎となるセキュリティ欠陥を「正しく診断する」システムを区別できていないと主張している。さらに、多くの脆弱性（特に、必要なガードが欠落している「不在型」の欠陥）は、変更されていないリポジトリの構成要素からのエビデンスを必要とするが、標準的な差分ベースの解析ではこれを見逃すことが多い。

2. メソドロジー

2.1 MALPR-BENCH: メカニズムに基づいたベンチマーク

VDギャップを測定するために、著者らは3つの異なる次元を個別に評価するように設計されたベンチマーク、MALPR-BENCHを導入する：

1. 判定の正確性 (V): システムはPRをブロックしたか？
2. ターゲット脆弱性の特定 (I): システムは特定の脆弱性のメカニズムを正しく特定したか？
3. エビデンスの検証 (E): 診断が、具体的な、かつ監査可能なリポジトリの事実（コードの場所、変更されていないファイルなど）に基づいているか？

構築方法:

• 規模: 44のリポジトリと8つの言語ファミリーにわたる、89個の悪意のあるPRと50個の良性コントロール。
• ソース:
  • 履歴からのマイニング: プロジェクトの履歴から不完全な修正を復元。
  • アドバイザリ由来: 公開されているセキュリティアドバイザリから悪意のある状態を構築（プールA：不完全な修正、プールB：強制力の逆転）。
  • 実世界の発見: 著者らのツールによって発見された、未公開の脆弱性。
• グラウンドトゥルース (正解): 各ケースには、ターゲットとなる脆弱性、必要なエビデンスチェーン、および受理される記述を指定する「固定されたルーブリック（評価基準）」が含まれている。これにより、レビューが「帰属可能（attributable）」であるか（すなわち、$A = V \land I \land E$ であるか）を精密に採点できる。
• 欠陥の分類: ケースは、存在型 (Present-type)（危険な挙動が差分内に見える）または不在型 (Absence-type)（必要なセキュリティ強制力が欠落している）に分類される。エビデンスの場所は、L0（差分のみ）からL2b（無関係なファイル間の意味的対応関係）まで分類される。

2.2 PRGUARD: 帰属可能なセキュリティレビュアー

VDギャップに対処するため、著者らは脆弱性の特定とエビデンスの検証を分離したシステムであるPRGUARDを提案する。エンドツーエンドのモデルのように差分から直接判定を下すのではなく、PRGUARDは段階的なパイプラインを通じて動作する。

• ステージ 0 (構造的収集): モデルによる推論が行われる前に、変更されたコードの周囲の構造的コンテキスト（呼び出し元、呼び出し先、インポート）を決定論的に収集する。
• ステージ 1 (変更の特性化): モデルは、特定の脆弱性を提案する前に、変更のセキュリティに関連する挙動を記述する。
• ステージ 2 & 2.5 (エビデンス取得):
  • パス 1 (知識指向): 開発事例から派生したメカニズム知識ベース（KB）を使用し、型付きの関係（例：SIBLING-ENDPOINT）を介して、特定のリポジトリエビデンスを検索する。
  • パス 2 (コード指向): 変更されたコードの構造に基づき、KBとは独立して、リポジトリのパスのワークリストを構築する。
• ステージ 3 (候補の構築): 収集されたエビデンスに基づき、具体的な候補となる脆弱性を定式化する。
• ステージ 4 (エビデンス検証): 別のモデル呼び出しを行い、候補をリポジトリのエビデンスに対してテストする。これは、セキュリティに重要な前提条件（攻撃者の制御、到達可能性、欠落しているガード）を検証する。候補は、検証済み (VALIDATED)、格下げ (DOWNGRADED)、または拒絶 (REJECTED) とマークされる。
• ステージ 5 (レビュー合成): 決定論的なポリシーにより、検証結果を判定（ブロック、コメント、承認）にマッピングし、検証された知見を具体的なコード位置とともに説明するレビューを合成する。

3. 主な貢献

1. VDギャップの定式化: 本論文は、正しいブロック判定と正しい診断の間の不一致を定義し、現在の評価指標がこの失敗モードを隠蔽していることを指摘した。
2. MALPR-BENCH: 判定の正確性と、脆弱性の特定およびエビデンスの検証を分離した、体系的な評価フレームワークおよびベンチマーク。
3. PRGUARD: 仮説生成とエビデンス検証を分離し、差分を超えたコンテキストを検索する、帰属可能なPRセキュリティレビュアー・アーキテクチャ。
4. 実証的検証: 特定と検証を分離することが、特に不在型の欠陥において、セキュリティ知見の帰属（attribution）を向上させることを示した。

4. 結果

4.1 共通カバレッジ・チャレンジセットにおける性能

広く展開されている商用AIレビュアーである CodeRabbit に対し、保持された31個の悪意のあるPRを用いて評価を行った：

• ブロック性能: 両システムとも同様のブロック率を達成（CodeRabbit: 24/31; PRGUARD/DeepSeek: 22/31）。
• 脆弱性の特定 (I): PRGUARD/DeepSeekは、CodeRabbitよりも 1.38倍 多くターゲット脆弱性を特定した（22 vs 16）。
• 不在型の欠陥: 必要なガードが欠落していた14のケースにおいて、両システムとも9つのPRをブロックした。しかし、PRGUARD/DeepSeekはターゲット脆弱性を 9/14 のケースで特定したが、CodeRabbitは 3/14 しか特定できなかった（3倍の差）。
• 帰属可能なブロック (A): PRGUARD/DeepSeekは19/31の帰属可能なブロックを達成したのに対し、CodeRabbitは16/31であった。
• エビデンスの場所: CodeRabbitは、触れられたファイルの外側にエビデンスを必要とするケース（L2a/L2b）において、ターゲットを特定することに失敗したが（0/7）、PRGUARDはほとんどのケースで成功した。

4.2 フルパイプライン評価

63個の保持された悪意のあるケース（バイアスを避けるためディスカバリー層を除く）における評価：

• プール B (強制力の逆転): 両バックエンド（GPT-5.5 および DeepSeek）は、すべてのターゲット脆弱性を特定した（I=37/37）。しかし、エビデンスの検証 (E) は異なっていた（GPT-5.5は26/37、DeepSeekは34/37）。これは、特定ができることが、有効なエビデンスへの接地を保証しないことを浮き彫りにしている。
• 良性コントロール: PRGUARDは、50個の良性コントロールに対して低い誤検知率（50個中4〜5個のブロック）を示し、CodeRabbit（一部の6個のコントロールに対して0ブロック）と同等であった。

4.3 実世界の発見

プロダクション環境のリポジトリに適用した結果、PRGUARDは広く使用されている5つのプロジェクトにおいて、12個の未公開かつPoC（概念実証）に裏付けられた脆弱性を発見した。

• PRGUARDとCodeRabbitの両方を独立して実行したところ、このディスカバリー層において両者とも 10/12 のPRをブロックした。
• しかし、PRGUARDは 10/12 の帰属可能なブロックを生成したのに対し、CodeRabbitは 4/12 であった。これは、同一の判定合計数が、診断の質の面での2.5倍の差を隠蔽していることを示している。

5. 意義と主張

本論文は、判定–診断ギャップが現在の自動セキュリティレビューにおける根本的な限界であると主張している。「ブロックに成功した」ことは、それが正しい理由でブロックしたか、あるいは証明を伴っているかを特定できない限り、不十分である。

• 帰属可能性が鍵: 著者らは、セキュリティレビューは「帰属可能」であるべきだと主張している。すなわち、判定は、特定されたメカニズムを検証する具体的なリポジトリのエビデンスに基づいている必要がある。
• 関心の分離: 候補となる脆弱性の特定と、エビデンスに対する検証を分離することで、特にクロスファイル・コンテキストを必要とする複雑な欠陥において、診断の信頼性が向上することが結果から示唆されている。
• 限界: PRGUARDは万能薬ではない。プロンプトインジェクションや判断ミスを残留する攻撃表面として扱っている。実世界の脆弱性の発見は、その能力を示すものであるが、任意のPRに対するリコール率を推定することを目的としたものではない（候補ストリームは手動検証のためにフィルタリングされているため）。

要約すると、本研究は評価の焦点を「ブロックしたか？」から「正しい理由で、証明と共にブロックしたか？」へとシフトさせ、誤診されたセキュリティレビューのリスクを測定し軽減するためのメソドロジーとツールセットを導入している。