技術要約：豊かなフィードバックを用いた分布的DAggerによる強化学習

問題定式化

本論文は、推論モデルの学習における支配的なパラダイムである「検証可能な報酬からの強化学習（RLVR）」の限界に対処するものである。RLVRでは、モデルは複数の候補解を生成し、最終的な回答に基づいて各解に単一のバイナリ報酬（正解/不正解）が割り当てられる。このアプローチには、以下の2つの決定的な欠陥がある：

1. 不適切なクレジット割り当て（Credit Assignment）: 終端報酬がレスポンス内のすべてのトークンに対して一様にブロードキャストされるため、どの特定の推論ステップが成功または失敗に寄与したのかを区別できない。
2. 検証不可能な領域への適用不能: RLVRは最終回答の自動検証に依存しているため、正解（グラウンドトゥルース）が利用できない、あるいはチェックが困難なタスクには適していない。

多くの設定では「豊かなフィードバック」（例：実行トレース、エラーログ、エキスパートによる修正、自己評価など）が利用可能であるが、これらをオンポリシーの自己蒸留（例：SDPO, OPSD）を通じて活用しようとする現在の手法は、理論的および実践的な障壁に直面している。既存のアプローチは通常、生徒（Student）のポリシーとフィードバック条件付きの教師（Teacher）ポリシーとの間の$f$−ダイバージェンス（逆KLダイバージェンスやイェンセン・シャノン・ダイバージェンスなど）を最小化しようとする。著者らは、これらの手法は単調なポリシー改善の保証を欠いており、シーケンスレベルのクレジット割り当てを行うことができず、しばしば劣最適な収束を招くと主張している。

手法：DistIL

著者らは、豊かなフィードバックを伴う強化学習に適応させた、古典的なDAggerアルゴリズムの分布的バリアントであるDistIL（Distributional Imitation Learning）を提案する。

コア目的

DistILは、生徒が訪問した状態における、生徒のポリシー（$\pi_\theta$）とフィードバック条件付きの教師ポリシー（$\pi_T$）の間のフォワード交差エントロピー損失を最適化する：
$$\mathcal{L}_{\text{DistIL}}(\theta) := \mathbb{E}_{x \sim \rho, y \sim \pi_\theta(\cdot|x)} \left[ \sum_{t=1}^H H_\times(\pi_T(\cdot | s_t), \pi_\theta(\cdot | s_t)) \right]$$
ここで、$H_\times(p, q) = -\mathbb{E}_{y \sim p}[\log q(y)]$ はフォワード交差エントロピーである。極めて重要な点は、教師 $\pi_T$ は豊かなフィードバック $f$（実行ログや正解など）によって条件付けられているが、生徒の更新中には固定されていることである。

勾配とクレジット割り当て

局所的なトークンごとの不一致のみを使用して勾配を近似する（実質的に状態分布を凍結させる）従来の自己蒸留手法とは異なり、DistILはフル勾配を利用する。勾配は以下の2つの項に分解される：

1. 局所的模倣（Local Imitation）: 現在の状態における教師の分布に生徒を一致させるように更新する、教師重み付きの項。
2. 未来を考慮したクレジット割り当て（Future-Aware Credit Assignment）: 将来のタイムステップで観察された交差エントロピーの不一致を、より早い段階の決定へと伝播させる項。これにより、教師と生徒の不一致が高い状態への軌道に影響を与える初期のトークン選択に対して、適切なクレジットまたはペナルティが与えられることが保証される。

このアルゴリズムは、教師の対数確率（log-probability）へのアクセスを必要とせず、サンプルまたは目的関数の推定のみを必要とするため、ブラックボックス・ティーチャー（外部モデルや人間のエキスパート）をサポートしている。

主な貢献

1. 既存手法の理論的限界

本論文は、既存の$f$−ダイバージェンス（逆KLおよびイェンセン・シャノンを含む）に基づくオンポリシーの自己蒸留目的関数が、2つの根本的な問題に苦しんでいることを示す形式的な証明を提供している：

• 単調改善の保証の欠如: たとえ教師が厳密に高い期待報酬を持っていたとしても、$f$−ダイバージェンスを最小化することは、自然勾配ステップが期待報酬を増加させることを保証しない。更新方向は、対数比による重み付けによって、意図せず劣最適なアクションの確率を高めてしまう可能性がある。
• 局所近似による劣最適な収束: 「未来のクレジット」項（現在の行動が将来の状態分布に与える影響）を無視することで、局所的な勾配近似は厳密に劣最適なポリシーに収束する可能性がある。著者らは、単純な2ステップMDPにおいて、局所的な更新が高報酬の状態に到達するために不可欠な初期の決定に対してクレジットを割り当てることに失敗することを証明している。

2. DistILの理論的保証

DistILは、最適化を報酬最大化と一致させる特性を備えていることが示されている：

• 単調なポリシー改善: 標準的な局所的な実現可能性の仮定の下で、フォワード交差エントロピーの目的関数は、より優れた教師に向かうことが生徒の期待報酬を増加させることを保証する。
• リグレット界（Regret Bounds）: アルゴリズムは、濃縮係数（concentrability coefficients）と教師の分散に依存する劣線形のリグレット界を持つ。
• Pass@N 最適化: この目的関数は、教師重み付きの成功確率の下限を最大化することが証明されている。これは、なぜDistILがすべての$N$においてPass@Nメトリクス（$N$個のサンプルの中に少なくとも1つの正解が含まれる確率）を向上させるのかに対する、原理的な説明を提供している。

3. 実証的パフォーマンス

DistILは以下の3つのドメインで評価された：

• 科学的推論: SciKnowEval（化学、物理、生物、材料科学）において、DistILはSDPOおよびGRPO（オンポリシーおよびオフポリシー）を上回り、より高いBest@16およびMaj@16スコアを達成した。特筆すべきは、SDPOが特定のドメインで顕著な振動と性能崩壊を示したのに対し、DistILは安定した学習を示した点である。
• コーディング: LiveCodeBenchにおいて、実行トレースをフィードバックとして利用することで、DistILは正確な正解性と部分的な正確性の両方においてSDPOおよびGRPOを上回った。
• 困難な数学的推論: ベースモデルのパス率がゼロである困難な問題（AIME, HMMT）において、RLVR手法（GRPO）はアドバンテージ信号がゼロであるために改善に失敗した。DistILは、正解（グラウンドトゥルース）の解を利用して性能を向上させることに成功し、自己蒸留のベースライン（SDPO, OPSD）およびSFTを上回った。

意義と主張

本論文は、豊かなフィードバックから学習するための理論的に裏付けられたフレームワークを提供することにより、模倣学習と強化学習の間のギャップを埋めるものであると主張している。その意義は以下の点にある：

1. 目的関数の修正: （報酬と整合しない可能性がある）$f$−ダイバージェンスの最小化から、教師がより優れている場合に単調な改善を保証するフォワード交差エントロピーへと移行すること。
2. シーケンスレベルの学習の実現: フル勾配を利用することで、DistILは長いホライゾンの推論に内在するクレジット割り当て問題を解決し、初期の決定がその下流の結果に基づいて評価されることを確実にする。
3. 実践的な堅牢性: この手法はブラックボックスの教師および多様なフィードバックのタイプ（バイナリの正誤から実行ログまで）に対応しており、標準的なRLVRよりも幅広い推論タスクへの適用が可能である。

著者らは、報酬に整合した目的関数と未来を考慮したクレジット割り当ての組み合わせが、豊かなフィードバックを推論モデルに効果的に蒸留するために不可欠であり、それが最新のベースラインに対する一貫した実証的な利点につながると結論付けている。