テクニカル・サマリー：ベンチマークの推論が結合しないとき

1. 問題：正当化されたリンクの非結合性

本論文は、AI評価における決定的な認識論的ギャップ、すなわち「個別に正当化された推論ステップが、自動的に正当化された連鎖へと結合するという仮定」を取り上げている。標準的なAI評価のワークフローでは、ベンチマークの結果（例：マルチドメイン・バッテリーにおける高スコア）が、ある帰結的な主張（例：専門的な使用への認可）のエビデンスとして扱われることが多い。この連鎖には通常、以下の複数のステップが含まれる：

1. 汎化 (Generalization): 同一のルール下での新しいアイテムへのベンチマーク・パフォーマンスの拡張。
2. 解釈 (Interpretation): スコアを特定の能力（例：「法的推論」）に帰属させること。
3. 外挿 (Extrapolation): その能力を新しいタスクやシステム構成（例：検索拡張型アプリケーション）へと投影すること。
4. 輸送 (Transport): 主張を異なる集団、サイト、または時期へと移動させること。
5. 結合 (Combination): システムの出力を人間のレビューおよびダウンストリームの政策的帰結と統合すること。

特定された中心的な問題は、各主張に対してエビデスの必要性を求める妥当性中心のアプローチ (validity-centred approaches) が、これらの主張間の「インターフェース」を考慮できていない点にある。たとえあるベンチマーク研究が健全であり、かつ別のデプロイメント研究も健全であったとしても、それらを組み合わせたものが最終的な主張を正当化するとは限らない。本論文は、「正当化されたリンクが集まっても、自動的に正当化された連鎖にはならない」と主張している。

この失敗は、主に以下の3つの要因から生じる：

• エンドポイントの不一致 (Endpoint Mismatch): ある研究のターゲット（例：与えられたテキストに基づくベースモデルの回答）が、次の研究のソース（例：検索と人間によるレビューを伴うデプロイされたアプリケーション）になっていない。
• 隠れた依存関係 (Hidden Dependencies): 共有データ、モデルの系譜、あるいは前提条件が、一見独立している研究同士を依存関係に陥らせ、エビデンスの累積的な強さを損なわせる。
• 情報の損失 (Information Loss): 集約された指標（例：安定した平均スコア）は、ダウンストリームの投影において極めて重要なアイテムレベルの差異（例：集中した失敗や特定の誤りのタイプ）を消し去ってしまう。

2. メソドロジー：投影可能性監査 (Projectibility Audit)

本論文は、議論に基づく妥当性フレームワーク（Kane, 2013; Messick, 1995に基づく）内での診断ツールとして、投影可能性監査 (projectibility audit) を提案している。コンストラクトの意味や因果的輸送性のみに焦点を当てるフレームワークとは異なり、このアプローチは隣接する推論ステップ間の「インターフェース」を明確に標的とする。

コア概念

• 投影可能性 (Projectibility): 観測されたケースから未観測のケースへの限定的な拡張が正当化されるかどうかと定義される。これはシステムのスカラ量ではなく、主張に固有のステータス（支持されている、論破された、あるいは未解決である）である。
• 経験的ノード (Empirical Nodes): 監査では、各研究または推論ステップを、型付けされたノード $N = \langle \text{対象, 集団, 条件, 結果, 期間} \rangle$ として表現する。
• 投影エッジ (Projection Edges): エッジ $e$ は、主張、仮定、およびエビデンスによって定義されるソースノードとターゲットノードを接続する。

非結合の原理

本論文は、核心となる失敗モードを以下のように定式化する：
$$\text{Warr}(C_1) \land \text{Warr}(C_2) \not\Rightarrow \text{Warr}(C_2 \circ C_1)$$
ここで、$C_1$ と $C_2$ は隣接するリンクである。結合が正当化されるのは、以下の条件を満たす場合のみである：

1. エンドポイントの整合性: $C_1$ のターゲットが、5つのフィールド（対象、集団、条件、結果、期間）にわたって $C_2$ のソースと一致していること。
2. 正当性の伝達 (Warrant Transmission): 仮定と効果修飾子が互換性を持ち、依存関係や不確実性がリセットされるのではなく、伝播されること。

監査手順

メソドロジーは、データ分析前に行うべき10段階の宣言プロセスで構成される：

1. ソース・ターゲット間の主張を定義する: 観測されたデータと、新たな主張を明示する。
2. エンドポイントの型付け: ソースとターゲットについて5つのフィールドを記録する。
3. 拡張の名前を付ける: 投影のタイプ（汎化、外挿、輸送など）を指定する。
4. 論破要因 (Defeaters) をリストアップする: 連鎖を断ち切る可能性のある差異（例：ライブ検索 vs 与えられたテキスト）を特定する。
5. エビデンスと所有権を割り当てる: 各論破要因に対して誰が適切なエビデンスを提示できるかを決定する。
6. サンプリングを主張に適合させる: ホールドアウト・ユニット（例：テンプレート、クライアント・ファイル、期間）が、主張の範囲と一致していることを確認する。
7. 観測と損失を定義する: 何がスコア化され、何が「レッドライン（許容限界）」の結末となるかを正確に指定する。
8. 支持／論破／未解決を登録する: 各ステータスのための統計的基準を事前定義する。
9. インターフェースを監査する: すべての隣接するリンクにおける整合性と伝達を確認する。
   1 van 10. 経験的主張と決定を分離する: エビデンスと、政策的価値およびトレードオフを区別する。

3. 主要な貢献と結果

A. 法務リサーチのケーススタディ

本論文は、仮説的な法務リサーチのシナリオを用いて監査を説明している。ある開発者が、与えられたテキストに基づく法的質問に対するベースモデルの高いスコアを報告している。法律事務所は、このモデルを、人間によるレビューを伴う検索拡張型ワークフローに導入しようとしている。

• 結果: 監査により、開発者のベンチマーク（与えられたテキスト）と法律事務所のローカル研究（ライブ検索 ＋ レビュー）は、結合的ではなく並行的 (parallel) であることが明らかになった。ベンチマークはライブ検索におけるパフォーマンスを予測せず、またローカル研究はベースモデルの一般的な能力を検証するものでもない。
• 結果としての結論: ローカル研究は、特定の要求タイプ（例：終了条項）に対する限定的な認可を支持することはできるが、他の要求（例：合理的な通知要求）については論破することになる。しかし、それは広範な「法的推論」という主張を検証することはできない。ベンチマークのスコアはスクリーニングとしては有用であるが、ブリッジング研究なしにはデプロイメントの文脈へと転送されない。

B. 集約と情報の損失

本論文は、集約がいかにインターフェースのエビデンスを破壊するかを示している。公開されたモデル評価（Zhang et al., 2026）の再分析とシミュレーションを用いて：

• 安定した平均、不安定なアイテム: 安定した平均スコア ($L \approx 0$) は、重大なアイテムレベルの不安定性（高い $INS$）や、ワースト・パフォーマンスの裾における集中した悪化（高い$WTD$）を隠蔽する場合がある。
• 相殺効果: 正の変化と負の変化が、集計の中で相殺されることがあり、特定のクリティカルなアイテムが失敗している事実を隠してしまう。
• 示唆: もしソース・レポートが合計スコアのみを公開している場合、ダウンストリームの評価者は、ソース側の失敗が自身のターゲットのリスクを定義する特徴と一致しているかどうかを判断できない。

C. AGI評価における区別

本論文は、AGI評価におけるベンチマークの役割を明確にしている：

• 可換性 (Commensurability) vs 代償可能性 (Compensability): スコアの加重和が意味を持つのは、構成要素が可換であり、かつその代償可能性が特定の決定において許容される場合に限られる。
• 記述 vs 予測 vs 決定: スコアは、妥当な潜在的コンストラクトの指標ではなくても、妥当な記述的インデックスであり得、また因果メカニズムではなくても、妥当な予測因子であり得る。
• カバレッジ (Coverage) vs 到達範囲 (Reach): ドメインを増やすことはカバレッジを高めるが、それが自動的に無制限の汎用性を確立するわけではない。「グッドマンの問題（ライバルとなる拡張）」は依然として残る。つまり、より多くのタスクに合格したとしても、正しい拡張のルールが選択されたことにはならない。

4. 重要性と主張

本論文は、控えめながらも厳格な主張を行っている。すなわち、分散型のAI評価において、個別の研究はそれぞれの結論を正当化するものの、それらを組み立てた「連鎖」を正当化するには至らないという、頻発する失敗モードを特定した点である。

• 新しい帰納理論ではない: 本論文は、帰納の問題（グッドマンの謎）を解決するものではなく、特定の帰納を検査可能かつ修正可能にするためのフレームワークを提供するものである。
• 妥当性理論の代替ではない: これは議論に基づく妥当性の中で機能しており、既存のフレームワークが暗黙的または自動的として扱いがちな、推論間の「インターフェース」に対して特定の精査レイヤーを加えるものである。
• 診断的有用性: 主要な価値は診断にある。これにより、評価者はベンチマークから使用への議論における「サポートされていない結合 (unsupported joins)」を特定できる。これは、システムが安全であることや有能であることを保証するものではなく、むしろ、現在エビデンスによって支持されているものの「範囲」を明確にするものである。
• 分散された責任: このフレームワークは、エビデンスの負担をシフトさせる。開発者は詳細なソース記述と系譜に対して責任を負い、デプロイメント側は文脈に応じたサンプリングとワークフローのエビデンスに対して責任を負う。どちらの当事者も、協力やブリッジング研究なしに、単独で完全な連鎖を正当化することはできない。

本論文は、正当化されたベンチマーク・ツー・ユースの議論とは、エンドポイントが整列し、仮定が互換性を持ち、不確実性が伝播される、「宣言され、修正可能な連鎖」であるべきだと結論づけている。これなしでは、成功した評価の蓄積は、無制限の一般的能力のエビデンスにはなり得ない。