Evidence Quality in Assurance-Oriented Benchmark Construction

技術要約：アシュアランス指向ベンチマーク構築におけるエビデンスの品質

問題提起
公開されたソフトウェアインシデント（脆弱性アドバイザリ、リポジトリのイシュー、インシデントレポート）から構築されるアシュアランス（保証）指向のベンチマークは、根本的なエビデンス品質の問題を抱えている。パッチや修正後の状態は可視化されている場合があるものの、ダウンストリームのアシュアランス分析に必要とされる意味論的な主張（影響を受ける状態の再構成、デプロイメント・コンテキスト、リプレイ決定、オラクル実現可能性、リリース条件など）は、しばしば不完全または曖昧である。既存の研究（例：Vul4J、ReposVul）は、再現性と固有のデータ品質（正確性、一貫性、完全性）のために公開脆弱性をフィルタリングする必要性を確立している。しかし、より狭いギャップとして、ソフトウェア・アシュアランスのための再構成されたシステム表現を構築するために必要な「タスク相対的なエビデンス品質」が存在する。具体的には、影響を受ける状態と修正後の状態のペアが利用可能であっても、アナリストはソース／結果の境界、コンテキスト・フィールド、および強制活動（enforcement activities）を自ら記述しなければならない。これらの「記述された意味論（authored semantics）」のエビデンスとしてのステータスは、単なるソースの可用性とは異なるものであり、技術的な再構成が可能であっても、公開が制限される場合がある。

手法
本研究は、ソフトウェアエンジニアリングの透明性の原則に従い、探索的な経験的ケーススタディ手法を採用している。分析単位は、インシデントに由来する「影響を受ける／修正される」のペアである。

1. AIRR-40 レジストリの構築: 著者による、ツールを使用するエージェントおよびModel Context Protocol (MCP) に関する公開インシデントの、凍結された40ケースのフレームの構築。このレジストリ（AIRR-40）には、公開エビデンスへのポインタ、タイムスタンプ、ソースの階層、パッチの可用性、デプロイメントの再構成可能性、リプレイ・トリアージの状態、オラクルの実現可能性、リリース可能性、および対となる制御の可用性をカバーする49のフィールドが含まれている。
2. 資格認定プロトコル: ケースは、「厳格な（strict）」定義（正確なアップストリームの忠実度と特定のリリース条件を要求する）と、「寛容な（lenient）」定義（リプレイの決定可能性と一致するもの）に対してスクリーニングされた。ブロッカーは、非排他的なカテゴリ（例：再構成、リリース可能性、ペアリング）として記録された。
3. 深いエビデンス境界表現の監査: 10ケースのサブセット（8つの厳格なプライマリケース、2つの寛容なケースのみのストレスケース）に対し、詳細な監査を行った。これには以下が含まれる：
   • 影響を受ける／修正されるアーティファクトの独立した再取得。
   • 表現 $R = (G, \Gamma, P, U)$ の構築。ここで、$G$ はソースから結果へのグラフ、$\Gamma$ はアナライザー相対の意味論（機能、コンテキスト、バインディング、変換、活動）、$P$ は要素を公称プロバナンス・カテゴリにマッピングするもの、$U$ は未解決の代替案を記録するものである。
   • 190の表現行を公称プロバナンス・カテゴリ（例：Direct Anchor Supported、Synthesis Explicit）に分類。
   • 52のすべてのアナライザー関連意味属性が、独立したグラウンドトゥルースではなく、ソースに基づいた情報であることを検証。
4. アナライザーの役割: パス／機能の媒介およびコンテキスト・バインディングをチェックするために、2名のアナライザー（A0およびA1）を使用した。本研究は、未解決の仮定（特にケースC4において）が、異なる許容される割り当て（fail-open vs. fail-closed）の下で、静的なアシュアランスの結論をどのように変化させるかに焦点を当てている。

主な結果

• 資格認定による減少（Qualification Attrition）: 40の候補のうち、39/40がパッチまたは修正後の状態を露呈していた。しかし、20/40のみが厳格なペアリング基準を満たした。「パッチが利用可能」であることと「厳格な包含」の間には乖離があり、技術的な修正がアシュアランス準備が整ったエビデンスを保証するわけではないことを浮き彫りにしている。
• ブロッカーの分解: 厳格な包含に失敗した15のプレフィックス生存者の間で、最も頻度の高い非排他的なブロッカーは以下の通りである：
  • 再構成 (14ケース)
  • リリース可能性 (9ケース)
  • リプレイ／ソース解決 (4ケース)
  • ペアリング (3ケース)
  • オラクル実現可能性 (1ケース)
  • 注： ケースC38は技術的には再構成可能（正確なアップストリーム）であったが、条件付きのリリース可能性のみを理由に除外された。これは、リリース制約が技術的なエビデスの品質とは独立していることを示している。
• プロバナンス監査: 190行の深い監査において、52のすべてのアナライザー関連意味属性は、独立したグラウンドトゥルースではなく、**ソースに基づいた情報（source-informed）**であった。深いサブセットにおいて、直接的または文書化のみの帰結境界は存在しなかった。宣言されたすべての帰結シンク（consequence sink）は推論されたものであった。
• 結論に関連する不確実性（ケースC4）: ケースC4は、未解決の強制活動フィールドが、割り当て（fail-open vs. fail-closed）に応じて異なる固定状態の結論をもたらすことを示した。ある割り当ての下では、結果は Witness となるが、もう一方の下では No-Witness-under-Abstraction となる。これは、未解決の代替案（$U$）が単なるドキュメンテーションのオーバーヘッドではなく、アシュアランスの結論を根本的に変え得ることを証明している。

主要な貢献

1. エビデンス品質の経験的特性付け: 本研究は、公開開示と厳格なアシュアランス準備完了済みベンチマークの間のギャップを定量化し（39/40 vs. 20/40）、包含を妨げる具体的なブロッカー（再構成、リリース可能性など）を分解している。
2. 要素レベルのプロバナンス監査: アナライザー相対の意味論（$\Gamma$）、公称プロバナンス（$P$）、および未解決の代替案（$U$）を分離するためのフレームワークを導入し、ソースペアのリカバリが自動的に意味属性の独立したグラウンドトゥルースを提供するわけではないことを明示している。
3. 不確実性の境界の特定: ケースC4を通じて、本研究は未解決の表現の仮定が静的なアシュアランスの結論を変更し得ることを示し、未解決の代替案は負の結果として強制されるのではなく、第一級のエンティティとして保持されるべきであることを主張している。
4. AIRR-40 リソース: 20ケースの正確なアップストリーム厳格マニフェスト、公開エビデンスへのポインタ、および再現性アーティファクトを備えた、再利用可能な凍結された40ケース・49フィールドのレジストリの公開。

意義および主張
本論文は、以下の事項を主張しないことを明示している：

• 母集団の準備性や検出器の精度を推定すること。
• 新しいISO/IEC 25012データ品質モデルや、普遍的な序数エビデンス強度スケールを提案すること。
• 検出器のための学習コーパスを提供すること。
• 公開脆弱性の一般的なフィルタリングにおける新規性を主張すること（Vul4JやCroftらによる先行研究を認める）。

むしろ、その意義はアシュアランス指向のベンチマーク構築のためのエビデンス品質を特性付けることにある。本研究は、ツールを使用するエージェントやアシュアランス研究にとって、エビデンスの「適合性」はパッチの存在によってのみ決まるのではなく、システム表現の再構成可能性、リリースの実現可能性、および未解決の意味論的代替案の明示的な取り扱いによって決定されると主張している。AIRR-40リソースにより、研究者はこれらのタスク相対的な品質条件を検査し、結果を再計算し、本研究の厳格な基準を普遍的なルールとして受け入れることなく、代替の許容ポリシーを適用することができる。本研究の知見は、$R \neq S$（表現はシステムと等価ではない）であり、基礎となるエビデンスに特定の意味論的プロバナンスが欠けている場合、アシュアランスの問い自体が成立しない可能性があるという警告として機能する。