技術的サマリー：適切な質問をすること（ARQ）

問題定義

大規模言語モデル（LLM）は、事後学習や推論時の足場構築を通じて、数学やコーディングなどの複雑な推論タスクの解決において顕著な進歩を遂げていますが、現在の手法は主に、問題を直接解決するための長い思考連鎖（CoT）の生成、または提案された解決策の検証に焦点を当てています。困難な問題を管理可能な中間ステップに分解する「洞察を促す関連する質問」を提起する能力は、人間の知性の核心的な要素であるにもかかわらず、あまり注目されていません。既存の推論時手法（例：Self-Ask、類推推論者）は、補助的な質問を引き出すためにプロンプトに依存することが多いですが、これらはすでに長い CoT を生成する現代的な推論 LLM に適用された場合、限界効用逓減を示します。さらに、LLM が元の目標タスクの成功率を真に向上させる「足場石（より単純で関連する部分問題）」を生成できるかどうか、またそのような生成能力が事後学習を通じて習得可能かどうかについての体系的な研究は不足しています。

手法：ARQ フレームワーク

著者は、**ARQ（Asking the Right Questions：適切な質問をすること）**を提案します。これは、**質問生成器（$\phi$）と問題解決器（$\pi$）**という 2 つの異なるモジュールから構成されるフレームワークです。

1. 推論手順

目標問題 $x$ を直接解決して解 $y \sim \pi(x)$ を生成する代わりに、ARQ は多段階の推論パイプラインを導入します：

1. 生成：生成器 $\phi$ が、$x$ に条件付けられた「足場石」問題 $z$ を生成します（$z \sim \phi(x)$）。足場石とは、$x$ に関連しているが解決が容易な問題（例：特殊な場合、簡略化されたバージョン、または関連する部分問題）として定義されます。
2. 石の解決：解決器 $\pi$ が、足場石 $z$ の解 $y_z$ を生成します（$y_z \sim \pi(z)$）。
3. 目標の解決：解決器 $\pi$ に、元の問題 $x$、足場石 $z$、およびその解 $y_z$ を入力して、最終的な解 $y$ を生成させます（$y \sim \pi(x; z, y_z)$）。

このフレームワークは、複数の石に対する 2 つの戦略をサポートします：

• 逐次的：$x$ およびすべての以前の石（$z_1, \dots, z_{i-1}$）に条件付けられた石 $z_i$ を生成します。
• 再帰的：以前の石 $z_{i-1}$ を解決するのを助ける新しい石 $z_i$ を生成し、逆方向にカリキュラムを構築します。

2. 事後学習とデータキュレーション

市販の LLM は有用な足場石と有害な足場石の混合を生成することに着目し、著者は生成器 $\phi$ を改善するための事後学習パイプラインを提案します：

• スコアリング関数：生成された石 $z$ の品質は、$z$ に条件付けられた状態で目標 $x$ を解決する際の解決器 $\pi$ の期待報酬によって評価されます。形式的には：$S(z, x) = \mathbb{E}_{y_z, y} [R(x, y)]$ であり、モンテカルロロールアウトを通じて推定されます。
• 教師あり微調整（SFT）：生成器は、目標問題のデータセットに対して生成された最高スコアの石を用いて微調整されます。
• 直接選好最適化（DPO）：同一の目標に対して高スコアの石と低スコアの石をペアにした選好データセットが構築されます。生成器は、低スコアの石よりも高スコアの石を生成する尤度を最大化するように、DPO を用いてさらに微調整されます。
• 合成データ：このパイプライン全体は、足場石の人手による高価な注釈を不要にするため、最先端モデル（例：GPT-120B）を用いた合成データ生成に依存しています。

主要な貢献

1. 良質な足場石の存在と転移性：本論文は、「良質な」足場石が存在し、転移可能であることを実証しています。強力なモデルによって生成された高品質な石は、能力の異なる解決器（より小さなモデルを含む）の成功率を大幅に向上させ、その恩恵が特定の解決器のバイアスへの過学習によるものではないことを示しています。
2. ARQ フレームワーク：質問生成と問題解決を分離する新しい推論時の足場であり、足場石生成を孤立して研究することを可能にします。
3. 事後学習レシピ：合成データと解決器の性能から導出された報酬信号を用いて、LLM をより優れた足場石生成器に微調整する方法です。これは、適切な質問を提起する能力が学習可能であることを示しています。
4. 多石拡張：フレームワークを、複数の足場石を逐次的または再帰的に生成するように拡張し、逐次的生成がさらなる性能向上をもたらすことを示しました。

実験結果

著者は、ARQ を 3 つの困難な数学ベンチマーク：AIME 2024、AIME 2025、およびBeyondAIMEで評価しました。

• 推論時パフォーマンス：強力な市販モデル（GPT-120B）を生成器として使用し、20 個の候補から最良の足場石を選択した場合、ARQ は解決器の成功率を平均**13%**向上させました。ただし、有害な石の存在により、20 個すべての石の平均性能は低く、より良い生成の必要性を浮き彫りにしました。
• 転移性：参照解決器（GPT-120B）によって選択された良質な足場石は、それ自体によって選択された石と同程度の度合いで、より弱い解決器（GPT-20B、Qwen3-4B）のパフォーマンスを向上させました。
• 事後学習の影響：合成足場石データセットを用いて Qwen3-8B および Qwen2.5-32B を微調整した結果、大幅な改善が見られました。微調整されたモデルは、平均してそれぞれ**3.1%および2.9%**の解決器性能向上をもたらす石を生成し、ベースラインの「Solver Only（解決器のみ）」および事前学習バージョンを上回りました。
• 多石スケーリング：ARQ を 3 つの逐次的足場石を生成するように拡張すると、さらにパフォーマンスが向上しました。GPT-120B の場合、単一の石を使用する場合と比較して、最良ケースのスコアは5.2%、平均は**3.9%**向上しました。再帰的生成は、逐次的アプローチと比較して変動するか、性能が低下する傾向を示しました。
• 比較：ARQ は、類推推論、Least-to-Most、Plan-and-Solve などの他の中間ステップ手法を上回りました。既存の LLM においては、解決策の反復的洗練であるSelf-Refineをわずかに下回りましたが、これは Self-Refine が既存の RLVR 学習パイプラインとより直接的に整合しているためと考えられます。ただし、ARQ は補完的であり、さらなる成果のために Self-Refine と組み合わせることができます。

意義と主張

本論文は、ARQ が「どの質問が価値あるものか」を特定し、LLM にそれらを生成させるという、未開拓の研究分野への有望な一歩であると主張しています。著者は以下を強調しています：

• 足場石は独自の推論能力である：それらは単に長い CoT ではなく、直観を構築し戦略を検証するために、関連するより簡単な問題を構築することを含みます。
• 生成能力は学習可能である：適切な質問を提起する能力は、すべての推論モデルに内在する性質ではなく、合成データを用いたターゲットを絞った事後学習を通じて大幅に強化可能です。
• スケーラビリティ：このアプローチは、直接の解決策生成が困難であり、人間がアイデアを検証するために日常的に簡略化されたプロトタイプを使用する、極めて困難な領域（例：IMO レベルの数学、科学研究）において特に有望です。

著者は、現在の事後学習実験の規模（計算資源とデータソースの制約に限定される）については謙虚であり、より大規模なデータセット、コーディングなどの他のドメインへのスケーリング、および質問生成のためのオンライン RL の探求を将来の課題として提案しています。