技術要約：解決できないものをどのように判断するか

問題提起

大規模言語モデル（LLM）の最近の進歩は、研究レベルの数学に対するもっともらしい試行を生成する能力を示している。しかし、決定的なボトルネックとして「検証」が残っている。これらの解を検証するには、通常、希少な専門家の時間が必要となるか、あるいはLLMジャッジや報酬モデルのような「オラクルフリー（正解を知らない状態での）」評価者に頼ることになるが、これらはしばしば信頼性に欠け、スタイルの手がかりや権威を装った記述に惑わされやすい。

対処される核心的な課題は、正解（グラウンドトゥルース）が存在せず、現在の最先端モデルによって未解決であり、かつ専門家による検証がスケーラブルではない「研究レベルの問い」に対して、候補となる解の正当性をどのように評価するかである。既存のオラクルフリーの手法（多数決、報酬モデル、LLMジャッジなど）は、この高難度領域において、正しい解と誤った解を区別することに苦慮しており、「もっともらしいが誤っている」ハルシネーション（幻覚）と妥当な推論を分離することに失敗することが多い。

手法：結果に基づく有用性（Consequence-Based Utility: CBU）

著者らは、数学的概念である「帰結による支持（support by by consequences）」に基づいた、オラクルフリーの評価フレームワークである**Consequence-Based Utility (CBU)**を提案している。中心となる仮説は、正しい解には関連する問題へと効果的に転移するメソッドレベルの情報が含まれているが、誤った解には含まれていないというものである。

コアメカニズム

1. 近傍の構築（Neighborhood Construction）: 対象となる研究レベルの問い $Q$ と候補となる解 $C$ に対して、システムは近傍の問い $\mathcal{N}(Q)$ を構築する。これらは $Q$ の変種（例：パラメータの変更や関連する定理）であり、$C$ の論理を用いて解くことが可能でありながら、検証可能（既知の正解を持つ）で、かつ元の問題よりもわずかに容易であるように設計されている。
2. インコンテキスト転移（In-Context Transfer）: 候補となる解 $C$ は、ソルバーモデル $M_\theta$ のための**インコンテキスト・エグゼンプラー（例示）**として使用される。ソルバーは、$(Q, C)$ という条件の下で、各質問 $Q^* \in \mathcal{N}(Q)$ を解くよう促される。
3. 有用性スコアリング（Utility Scoring）: 有用性スコア $U(C)$ は、$C$ が提供された際の近傍の問いに対するソルバーの平均精度として定義される。
   $$U(C) = \frac{1}{|\mathcal{N}(Q)|} \sum_{Q^* \in \mathcal{N}(Q)} \mathbb{E}_{\tilde{C} \sim M_\theta(\cdot|Q,C,Q^*)} [v(Q^*, \tilde{C})]$$
   ここで、$v$ はソルバーの出力の正当性を確認する検証器である。
4. ランキング（Ranking）: 候補は、誘導された有用性スコアによってランク付けされる。スコアが高いほど、その候補がより有用で転移可能な推論を提供していることを意味し、それが正しい可能性が高いことを示唆する。

データセット：EXPERTMATH

このアプローチを評価するために、著者らは以下の要素からなるベンチマーク EXPERTMATH を導入している。

• 192個の専門家作成による研究レベルの問題（表現論、代数組合せ論、幾何学、ホモトピー論にわたる）。その半分は、主要なモデル（例：GPT-5, Gemini-3-Pro）によって未解決のままである。
• 既存の文献から派生した425個のLLM生成問題。
• グラウンドトゥルース（正解）: 各問題には、専門家が作成した解と、人間によって手動検証された9つのLLM生成候補解（4つの正解、5つの不正解）がペアになっている。

主な貢献

1. Consequence-Based Utility (CBU): 解のテキストを直接検査するのではなく、関連する検証可能な問いに対するダウンストリームのパフォーマンスに基づいて解をスコアリングする、新しいオラクルフリーの検証手法。
2. EXPERTMATH ベンチマーク: 現在のモデルが直接解けない問題を評価するために特別に設計された、専門家が検証した解とLLM生成の候補を含む、高難度の研究レベルの数学問題データセット。
3. 経験的な優位性: CBUが、LLMジャッジ、報酬モデル（RM）、および生成的報酬モデル（GenRM）を含む既存のオラクルフリーのベースラインを一貫して上回ることを実証した。
4. エラー分析と失敗モード: LLMジャッジにおける特定の失敗モード（例：冗長性への過度な依存、不当な圧縮、権威的な手がかり）を特定し、これらがCBUによってどのように回避されているかを明らかにした（CBUは、推論の転移に失敗する解を罰することでこれを回避する）。

実験結果

GPT-OSS-120B や Qwen3-235B-A22B などのモデルを用いて EXPERTMATH 上で評価を行った：

• ランキングの質: CBUは、ベースラインと比較してランキング指標を大幅に改善する。
  • GPT-OSS-120B がソルバー兼評価者として機能する場合、CBUは Acc@1（トップランクの解の精度）を 67.2% から 76.3% へ、AUC（曲線下の面積）を 71.4% から 79.6% へ向上させる。
  • 同様の向上が、より小さなモデル（例：GPT-OSS-20B の AUC が 69.0 から 79.2 へ）でも観察される。
• ソルバーと評価者のギャップ: CBUは、基礎となるソルバー自体が解けない問題に対しても、正しい解と誤った解の間の大きな分離を維持する。LLMジャッジの正解と不正解を区別する能力は問題の難易度が上がるにつれて急激に低下するが、CBUは堅牢性を保つ。
• 予測力: CBUスコアで訓練されたロジスティック回帰分類器は、LLMジャッジのスコアで訓練されたものよりも、二値の正当性を予測する上で高い精度を達成する（バックボーン全体で +6 から +18 ポイントの向上）。
• スタイルへの堅牢性: 冗長または「権威的」に聞こえる誤った解に惑わされやすいLLMジャッジとは異 달리、CBUは、不当な圧縮（ステップの欠落）や誤った推論を含む解を、それらが近傍の問いに対して転移可能な情報を提供できないという理由で低く評価する。

意義と主張

本論文は、Consequence-Based Utility が、研究レベルの科学的出力に対する、人間による専門的な検証に代わる、スケーラブルで信頼できる選択肢を提供すると主張している。その意義は以下の点にある：

• オラクルフリーの検証: 特定のターゲット問題に対する正解（オラクル）を必要とせずに、「解決不能」な問題を評価することを可能にする。
• 評価パラダイムの転換: 評価を「静的な検査（証明のテキストを判断すること）」から「動的な有用性（関連する問題を解決することを可能にする能力を判断すること）」へと移行させる。
• 実用的な適用可能性: 著者らは実務家向けのガイドを提供しており、近傍の問いがLLMによって生成された場合でも（ターゲットの問いが十分に困難であれば）CBUは有効であり、適度な数のロールアウト（例：$n \ge 8$）で安定した推定が可能であることを示している。

著者らは、CBUが、微妙な推論の誤りやスタイルのバイアスによって従来のLLMジャッジが失敗するような、高い信頼性を持って正しい仮説と誤った仮説を分離する必要がある、高ステークスの科学的検証に特に適していると結論付けている。