技術要約: MIRA-Math

問題定義

現在の数学的推論ベンチマーク（GSM8K、MATHなど）は、通常、問題を解くために必要なすべての事実を提供しており、完全な状態から最終的な答えを計算するモデルの能力のみを評価しています。対照的に、広範なインタラクティブ・ベンチマークは、数学的推論をツールの使用、検索、ウェブナビゲーション、および長期的な対話管理と混同してしまう傾向があります。これにより、診断上のギャップが生じています。すなわち、モデルが「不足している情報を特定できない」のか、「その情報を正確に要求できない」のか、あるいは「取得した情報を正しい解法へと統合できない」のかを切り分けることが困難になっています。

MIRA-Mathは、**最小限の情報要求（minimal information requesting）**のためのベンチマークを導入することで、この問題に対処します。核心となる問題は、潜在的な完全状態が一意の答えを持つ数学的問題を解くことですが、ソルバー（解読者）が見ている状態は意図的に不完全であり、必ず一つの必要な原子的事実（atomic fact）が欠落しています。ソルバーは、欠落している事実を認識し、厳格な予算（budget）の下で自然言語を用いてそれを要求し、返された事実を統合して正確な最終回答を導き出さなければなりません。

メソドロジー

タスクの定式化

各インスタンスは、一意のターゲット回答 $y = f(z)$ を決定する潜在的な完全状態 $z$ から生成されます。ソルバーは、一つの必要な原子的事実を省略したプライベートなビュー $v_A = \phi_A(z)$ を受け取ります。ベンチマークは以下の2つの条件を強制します：

1. グローバルな良設定性 (Global Well-Posedness): 完全な状態（ビュー ＋ 欠落した事実）は、正確に一つの整合した回答をもたらす。
2. ローカルな未決定性 (Local Underdetermination): ソルバーのプライベートなビューのみでは、複数の整合した回答が考えられる。

インタラクション・プロトコル

評価には2つのエージェントが関与します：

• ソルバー (Agent A): プライベートなビューと要求予算 $B$ を受け取ります。自由形式の自然言語による要求を行うか、最終回答を提供します。
• 情報保持者 (Agent B): 保持している欠落した原子的事実のみを知っている、固定された制約付きLLM（実験では gpt-4o-mini として実装）です。これは構造化出力プロトコルに従って動作します：
  • 提供 (Offer): 要求が保持している事実と意味的に一致する場合、has_exact_match=true と共に事実を返します。
  • 拒絶 (Decline): 要求が一致しない場合、固定された拒絶メッセージを返します。
  • 保持者は、問題を解いたり、説明したり、交渉したり、追加のヒントを自発的に提供したりすることはありません。

データセット構築

MIRA-Mathは、22の型化された数学的ファミリー（代数、確率、線形システム、信号処理、マルコフ連鎖などを網羅）に由来する2,310のインスタンスを含んでいます。データセットは以下の2つのタイプに分かれています：

• タイプA (固定ヒントスロット): 欠落している情報は構造的に決定されています（例：ベイズ則のインスタンスでは常に事前確率が欠落している）。
• タイプB (可変ヒントスロット): 欠落している位置がインスタンスごとに異なります（例：線形システムの欠落した係数や、回路の欠落した抵抗器）。これには、欠落しているスロットを特定してから要求する能力が求められます。

リリースには、再現性を確保するために、ジェネレーターコード、正確な検証器、標準的なヒント仕様、および生のインタラクションログが含まれています。

指標

本ベンチマークは、以下の指標を用いて、情報の取得と数学的統合を分離して評価します：

• 要求ヒット率 (Request Hit Rate): 全メッセージに対する受理された要求の割合。
• 初回要求成功率 (First-Request Success): 最初の要求が受理されたインスタンスの割合。
• トレースレベルの分解 (Trace-Level Decomposition): インスタンスは以下の3つの互いに排他的なカテゴリに分類されます：
  1. 標準ヒント未取得 (No Canonical Hint Acquired): ソルバーが正しい事実を要求できなかった。
  2. ヒント取得、統合失敗 (Hint Acquired, Integration Failed): ヒントは取得したが、誤った回答を計算した。
  3. 成功 (Success): ヒントを取得し、正しい回答を計算した。

主な結果

フロンティアモデルおよび小型モデル（gpt-5.1、Gemma-4、gemini-2.5-flash、Grok-4.20、Llama-3.1-8B を含む）にわたる実験により、「要求すること」と「解くこと」は分離可能なスキルであることが明らかになりました：

1. スキルの乖離: 高い要求性能は、高い最終回答精度を保証しません。例えば、gemini-2.5-flash はゼロショット設定において最高の要求ヒット率を達成しましたが、最終的な精度は gpt-5.1 や Gemma-4 よりも低くなりました。逆に、Gemma-4 は最高の要求指標を達成することなく、最高のゼロショット最終精度を達成しました。
2. 失敗モード:
   • 取得の失敗: モデルはしばしば特定の欠落スロットを特定できなかったり、要求が曖昧すぎたりするために、拒絶を繰り返します。
   • 統合の失敗: 強力なモデルは、標準的なヒントを正常に取得できることが多いものの、その後の正確な算術、記号的再構成、または回答の正規化に失敗します。
3. プロンプティングの効果: 4ショット・プロンプティング（最小限の要求の例を提供すること）は、パフォーマンスを一様に向上させることはありませんでした。欠落スロットが変化するタイプBのファミリーでは、数ショットの例示が「例示へのアンカリング (exemplar anchoring)」を引き起こし、モデルが特定の欠落スロットに適応するのではなく、示された要求形式を模倣してしまうことで、性能を低下させる可能性があることが示されました。
4. タイプA vs タイプB: タイプB（可変スロット）は、最終的な精度において一律に難しいわけではありませんでした。強力なモデルは、タイプAよりもタイプBで高いパフォーマンスを示すことがよくありました。しかし、タイプAには、要求自体は容易だが、その後の計算が脆弱なタスク（例：正確な中国剰余定理の再構成）が含まれていました。

重要性と主張

本論文は、MIRA-Mathを完全情報に基づいた数学ベンチマークの代替品としてではなく、隠れた構造と評価のギャップを露呈させるための診断ツールとして位置づけています。その主な意義は以下の通りです：

• 特定のボトルネックの隔離: 情報の取得能力と、最終的な回答を計算する能力を分離し、モデルが低決定な問題を認識し、欠落している原子的事実を特定し、それを正確に要求する能力を明示的に測定します。
• データ中心のデザイン: 責任あるデータセット設計の最近の傾向に従い、ジェネレーター、検証器、および生ログを提供することで、コミュニティが「要求から解決へのパイプライン」を監査できるようにし、再現性を優先しています。
• 評価の精緻化: 結果は、標準的な数学ベンチマークにおけるモデルの性能が、必ずしも情報取得における能力を意味しないことを示しています。モデルは数学には強いものの、MIRA-Mathにおいては「何が足りないか」を特定できずに失敗する可能性があり、あるいは「聞き上手」であっても「解くこと」に失敗する可能性があります。

著者らは、MIRA-Mathが将来のモデルのためのベースライン・スイートであり、言語モデルが数学的な欠落情報を推測するのではなく、どのように要求するかを研究するための分析ツールであると結論付けています。なお、これはオープンエンドなコラボレーション、人間とのコミュニケーション、または現実世界の意思決定を測定することを目的としたものではありません。