技術要約：HypoArena – LLMにおける前向きな仮説生成のベンチマーク

1. 問題定義：調査的推論におけるギャップ

現在の大規模言語モデル（LLM）のベンチマークは、主に反応的な質問応答（QA）、すなわち、明確に定義された問いに対して回答を検索したり、既定のタスクを完了したりする能力を評価しています。しかし、科学研究、事故調査、財務分析における現実世界の発見は、明確な問いから始まるのではなく、「現実世界の混沌」から始まることが多々あります。それは、異常な観察、断片的な事実、不完全な記録が絡み合った状態です。

現在の評価において欠落している決定的な能力は、**前向きな仮説生成（Prospective Hypothesis Discovery: PHD）**です。PHDには、結論に達する前に、決定的な証拠から、根拠に基づいた、識別可能で、かつ検証可能な仮説空間を自律的に構築する能力が求められます。既存のベンチマークがこれを測定できない理由は以下の通りです：

• データの限界： 専門家による文書（論文、レポート）は、結論が出た後に書かれるため、明示的な因果関係や最終的な主張が含まれており、PHDを単純な「再記述」へと崩壊させてしまいます。
• 指標の限界： 高品質なPHDの出力は、単一の参照回答ではなく、オープンエンドな仮説空間です。従来の指標（完全一致や絶対的なルーブリック・スコアリング）では、ゴールドセット（正解集合）から外れた妥当な仮説を過小評価したり、表面的な質が似通ったオープンエンドな出力間の識別が困難であったりします。

2. メソドロジー：HypoArena フレームワーク

著者らは、PHDを隔離して測定するために設計されたベンチマークおよび評価フレームワークであるHypoArenaを導入しています。このフレームワークは、HypoData（データセット）とHypoEval（評価プロトコル）という2つのコアコンポーネントで構成されています。

2.1 HypoData：遡及的コンテキスト回帰

回答のリークを防ぎつつ有効なテストケースを作成するために、著者らは遡及的コンテキスト回帰（Retrospective Context Regression）を利用した、スケーラブルなForge–Auditパイプラインを提案しています。

• ソース資料： 6つのドメイン（生物医学、機械学習、社会科学、財務分析、IT運用、安全調査）にわたる専門家文書から988のケースを厳選しています。
• コンテキスト構築（The "Forge"）： パイプラインは、ソース文書から「結論前」のコンテキスト（$C$）を再構築します。ここでは、事実的な基盤（タイムスタンプ、観察事項、断片的な記録）を保持しつつ、明示的な結論、ターゲットとなる仮説、および遡及的な因果関係の帰属を厳格にフィルタリングします。
  • 科学ドメイン： 発見前の文献をマージすることで、事実的な基盤を合成します。
  • 分析ドメイン： 「構造的脱結論化（Structural De-conclusion）」を用いて、専門家の判定を除去しつつ、詳細な事実を保持します。
• リファレンス構築： 生成時にはモデルに隠蔽されますが、リファレンス側には、ソースから導出された元の仮説・証拠ペア（$H, E$）が含まれており、検証とキャリブレーションのためのグラウンドトゥルースとして機能します。
• 監査ループ（Audit Loop）： 自動監査エージェントが、リーク（コンテキスト内に回答側の情報が含まれていないか）、忠実性（仮説がソースによって支持されているか）、支持可能性（証拠が仮説の根拠となっているか）の3つの制約に対して候補を検証します。人間による品質監査では、サンプリングされたケースにおいて92%の合格率が確認されました。

2.2 HypoEval：アリーナ形式の評価

単一のコンテキストに対して複数の妥当な仮説が存在し得ることを認識し、HypoEvalは単一のリファレンス照合から脱却しています。

• 主要指標（アリーナ・プロトコル）： モデルはペアによる対戦を行います。LLM-as-a-judgeが、同じコンテキストから生成された2つの仮説セットを比較します。
  • 判断次元： 以下の6つの次元が評価されます：コンテキストへの接地性、推論の洞察力、証拠による正当化、仮説空間の広がり、方向性の明確性、および分析的有用性。
  • 集計： 判定（$A \gg B$ から $B \gg A$ まで）は、**ブラッドリー・テリー・デイビッドソン（BTD）**モデルを用いて集計され、タイ（引き分け）を明示的にモデル化した堅牢なグローバルリーダーボードを生成します。
• 二次指標（ルーブリック・スコアリング）： 診断的プロファイリングのために、1〜5段階のスコアリング・トラックも併用されており、特定の強みや弱み（例：接地性は高いが洞察力が弱いなど）の分析を可能にします。

3. 実験設定および結果

著者らは、15の最先端LLM（claude-sonnet-4.6、gpt-5.4、kimi-k2.6などを含む）を、ベースライン・モード（直接生成）とエージェント・モード（「競合仮説分析」や「時系列分析」など12種類の構造化された分析スキルのライブラリを使用）の両方で評価しました。

3.1 主な知見

• 能力の層別化： アリーナ評価により、明確な性能の層別化が明らかになりました。モデル間で360 BTDポイント以上の開きが見られました。トップティアのモデル（claude-sonnet-4.6、claude-opus-4.6、gpt-5.4）は、他のモデルを大きく上回りました。
• アリーナ vs ルーブリックの解像度：
  • スコアの圧縮： ルーブリック・スコアは極端な天井効果を示し、評価の95〜98%が4.0/5.0以上となり、モデル間の差異が狭い範囲に圧縮されました。
  • 識別力： アリーナ・プロトコルは高い解像度の分離（ドメインごとに345〜490ポイントの開き）を提供し、ルーブリック・スコアリングが見逃した微細な差異を解決しました。
  • ランキングの不安定性： プロトコル依存の順位変動が観察されました。ルーブリック・スコアで高くランクされたモデルがアリーナのランキングで低下したり、その逆のケースがあったりしました。
• 分析スキルのモデル依存的影響： 構造化された分析スキル（エージェント・モード）の使用は、一様な向上をもたらしませんでした。改善は不均一であり、モデルに依存していました。例えば、kimi-k2.5は約88ポイント上昇しましたが、claude-opus-4.6は約60ポイント低下しました。
• 失敗モード： 定性的分析により、**候補の圧縮（candidate compression）**が主要な失敗モードであることが特定されました。これは、モデルが内部的には多様な推論パスを生成しているものの、最終的な提出物においてはそれらを過度に狭いものへと圧縮してしまう現象です。
• 整合性： アリーナのランキングは、人間の専門家による判断（ケンドールの $\tau = 0.90$）と強く一致しており、また外部のシグナル（MLサブセットにおけるICLR 2026の採択結果）とも相関しており、プロトコルの忠実性が検証されました。

4. 貢献と意義

本論文は、以下の貢献を主張しています：

1. タスク定義とベンチマーク： 前向きな仮説生成（PHD）の定式化、および6つの多様なドメインにわたる988のケースからなるHypoArenaの導入。
2. HypoDataの構築： 専門家による完了済みの文書から「コンテキストの遡及的回帰」を用いて、完成前のコンテキストを再構築する、スケーラブルなForge–Audit手法。これにより、生の科学文献を使用する際に生じるデータリークの問題を解決しています。
3. HypoEvalフレームワーク： ペアによるアリーナ・ランキング（BTD集計による）と、診断用のルーブリック・スコアリングを組み合わせた二系統の評価システム。これにより、リファレンス照合や絶対的スコアリングの限界に対処しています。
4. 経験的知見： 15のLLMに対する系統的な分析を通じて、アリーナ評価が従来のルーブリックよりも微細なモデルの分離を提供すること、および構造化された分析スキルが普遍的な性能向上策ではなく、モデル依存的な介入であることを示しました。

意義： 著者らは、PHDがLLMの、現実世界の調査における推論に不可ぎ欠な、これまでほとんど測定されてこなかった独自の能力であると主張しています。PHDを特定の評価対象として扱うことで、HypoArenaは、モデルが「現実世界の混沌」をナビゲートし、将来の調査に向けた実行可能で根拠のある方向性を提案できる能力を、より現実的かつ厳密に評価する手段を提供します。これは、現在の「反応的な質問応答」というパラダイムを超越するものです。