🤖 machine learning

When Does Online Imitation Learning Help in LLM Post-Training? The Role of (Non-)Realizability Beyond Horizon

本論文は、オンライン模倣学習の成功を誤差の蓄積が駆動しているとする従来の観点に異議を唱え、その優位性はむしろ非実現可能性によって決定されるものであり、オンラインの相互作用が、オフラインの手法ではホライゾンが1であっても解決できない誤設定された設定における情報理論的なボトルネックを克服することを実証するものである。

原著者： Huaqing Zhang, Jingchu Gai, Juno Kim, Bingbin Liu, Andrej Risteski

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Huaqing Zhang, Jingchu Gai, Juno Kim, Bingbin Liu, Andrej Risteski

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、この論文の解説を分かりやすい言葉と独創的な比喩を用いて説明したものです。

大きな問い：いつ「習うより慣れろ（実践）」が「教科書から学ぶ」に勝るのか？

あなたが学生（AIモデル）に複雑な数学の問題を解く方法を教えようとしていると想像してください。あなたには2つの方法があります。

教科書方式（オフライン学習）： 天才的な教師が書いた、正解の集まり（解答集）を学生に渡します。学生はそれを読み、パターンを暗記しようとします。これは**教師あり微調整（Sally SFT）**と呼ばれます。
家庭教師方式（オンライン学習）： 学生が問題を解こうとすると、天才教師がその学生の具体的な試みを見て、「これが正解である確率はこれくらいだ」とか、「代わりにこれを試してみなさい」と教えます。学生は教師とリアルタイムでやり取りしながら学びます。これはオンライン模倣学習（またはオンポリシー蒸留）と呼ばれます。

現実の世界では、「家庭教師方式」の方が「教科書方式」よりも優れた結果をもたらすことがよくあります。しかし、なぜでしょうか？

長い間、人々はその答えは**「誤差の蓄積（Error Accumulation）」**にあると考えてきました。

旧説： もし学生が長い数学の問題のステップ1で小さなミスをすると、ステップ2、3、4で迷子になってしまう可能性があります。教科書方式はこの初期段階の小さなミスを捉えられないため、エラーが雪玉のように転がりながら膨れ上がってしまいます。家庭教師は、それらを即座に捕まえます。

この論文はこう言います：「それは物語のすべてではありません。」
著者たちは、オンライン学習が優れている真の理由は別のところにあると主張しています。それは**「サイズの不一致（非実現可能性 / Non-Realizability）」**です。

コアとなる発見：「小さなバックパック」問題

この論文は**「実現可能性（Realizability）」**という概念を導入しています。

実現可能（Realizable）： 学生が教師と同じくらい賢い（あるいは同じ「脳のサイズ」を持っている）状態。学生は教師の思考を完璧にコピーできます。
非実現可能（Non-Realizable / Misspecified）： 学生が教師よりも小さかったり、能力が低かったりする状態。学生の「バックパック」は、教師の複雑な推論をすべて運ぶには小さすぎます。

シナリオA：学生が十分に賢い場合（実現可能）

教師も学生も共に博士号を持っていると想像してください。

論文の発見： もし博士号を持つ学生に教科書（オフライン学習）を与えたなら、彼らはすべてを完璧に学びます。彼らは教師のスコアに到達します。
結果： 生の家庭教師（オンライン学習）を加えても、彼らがより賢くなったり速くなったりすることはありません。「教科書方式」で既に完璧なのです。
比喩： 都市の完璧な地図を持っているなら、GPSガイドは必要ありません。ただ地図に従えばよいのです。

シナリオB：学生が小さい場合（非実現可能）

教師はチェスのグランドマスターですが、学生は初心者だと想像してください。教師の指し手は、学生にとって複雑すぎて、直接理解したりコピーしたりすることができません。

教科書の問題点： 教師の解答集には「ナイトをF3に動かせ」と書いてあるかもしれません。しかし、学生の脳はあまりに単純なので、なぜその動きが有効なのかを理解できなかったり、あるいはその特定の動き自体を効率的に行うことができなかったりします。学生は答えの「見た目」を暗記しようとしますが、学生の脳が異なるため、行き詰まってしまいます。彼らは情報ボトルネックに突き当たります。教科書にある「正しい」動きが、自分たちの限られた脳には適合しないため、正しい動きを学ぶことができないのです。
家庭教師の力： 学生が手を動かし、教師に尋ねると、教師は学生の現在の試みに合わせてカスタマイズされたフィードバックを与えます。たとえ学生が小さくても、教師は「学生が実際に実行可能な中で最善の動き」へと導くことができます。
論文の発見： ここでオンライン学習が輝くのは、それが学生に対し、彼らの限られた能力の中で「自分自身のベストなバージョン」を見つける手助けをするからです。一方で教科書は、彼らが到底こなせないバージョンのゲームを見せているだけなのです。

「スタイル vs 実体」の比喩

この論文は、単に「学生が教師とどれくらい異なって見えるか」（分布の乖離）を測定することが、なぜ誤解を招くのかについても説明しています。

例えば、教師が3ステップで数学の問題を解き、学生が10ステップで解くとします。

旧来の見方： 「おや、学生は教師と全く違っている！言葉遣いも経路も違う。学生は失敗しているに違いない。」
論文の見方： 「待ってください、両者とも正解に辿り着いています（正解率100%）。違いは単なる『スタイル』（3ステップか10ステップか）に過ぎません。学生は実際には素晴らしい成果を出しているのです！」

「非実現可能」な設定では、学生は教師の優雅なショートカットを実行できないため、正解に辿り着くために、より長く、不器用な経路を辿らなければならない場合があります。

オフライン学習（教科書）： 学生に教師の優雅な3ステップの経路をコピーさせようとします。しかし、学生にはそれができないため、失敗します。
オンライン学習（家庭教師）： 学生が3ステップの経路で苦戦しているのを見て、「なるほど、君にはそれは無理だね。でも、この10ステップの経路を通れば、それでも正解に辿り着けるよ」と教えます。家庭教師は、たとえその「スタイル」が教師のオリジナルとは大きく異なっていたとしても、学生が「報酬（正解を得ること）」を最大化できるよう支援するのです。

論文の主張のまとめ

もし学生が十分に賢ければ（実現可能）： 「教科書方式（オフライン）」は既に完璧です。オンライン学習を追加しても価値はありません。
もし学生が小さければ（非実現可能）： 「教科書方式」は壁に突き当たります。それは、学生が物理的に表現できないことを教えようとしてしまうからです。
真の勝者： 非実現可能なケースにおいてオンライン学習が勝るのは、それが単に教師のスタイルをコピーしようとするのではないからです。それは、たとえ教師の元の解法とは全く異なって見えたとしても、**「学生が実際に達成可能な中で最善の解決策」**を見つけ出すからです。
「雪玉」の神話： 論文は、「エラーが時間の経過とともに積み重なっていく」という古い考えが、オンライン学習が勝る主な理由ではないと主張しています。たとえエラーが蓄積できないような短く単純なタスクであっても、学生が教師よりも小さい場合には、オンライン学習が勝利します。

要約すると： オンライン学習が役立つのは、間違いをより速く修正するからではなく、たとえ教師を完璧にコピーできなくても、より小さな学生が成功するための「最善の道」を見つける手助けをしてくれるからです。

テクニカルサマリー：LLMのポストトレーニングにおいて、オンライン模倣学習はいつ役立つのか？

問題提起

本論文は、大規模言語モデル（LLM）のポストトレーニングにおける根本的な問いに取り組んでいる。すなわち、なぜ、そしてどのような時に、オンライン模倣学習（IL）、特にオンポリシー蒸留が、オフラインの教師あり微調整（SFT）を上回る性能を示すのか？ という問いである。

経験的な研究ではオンラインILが優れていることが示唆されているが、その支配的な理論的説明――DAgger型アルゴリズムに見られるような、長いホライゾンにおける「誤差の蓄積」を軽減するという説――は、近年の知見によって疑問視されている。Fosterら[15]は、**実現可能（realizable）**な設定（エキスパートのポリシーが学習者の仮説クラス内に存在する設定）においては、ログ尤度目的関数を用いたオフラインILが、オンライン手法と同等のサンプル複雑性の保証を達成することを実証した。これは、誤差の蓄積が唯一の要因ではないならば、実用的なLLMのトレーニング（学習者モデルが模倣するエキスパートよりも小さく、能力が低い場合が多い）において、オンラインILの優位性の源泉は何なのか？という疑問を投げかけている。

著者らは、非実現可能性（misspecification：誤設定）――学習者のポリシー集合 $\Pi$ がエキスパートのポリシー $\pi_e$ を表現できないシナリオ――こそが決定的な要因であると提案している。彼らは、長いホライゾンの累積誤差が存在しない場合（すなわち、ホライゾン $H=1$ のコンテキスト・バンディット問題）においても、オンラインの相互作用が恩恵をもたらすかどうかを調査している。

メソドロジー

理論的枠組み

著者らは、LLMのポストトレーニングを、ホライゾン $H=1$ のコンテキスト・バンディット問題として抽象化している。

コンテキスト ( $X$ ): プロンプト。
アクション ( $Y$ ): 生成された応答シーケンス。
ポリシー ( $\pi$ ): 応答に対する条件付き分布。
実現可能性: $\pi_e \in \Pi$ と定義される。 $\pi_e \notin \Pi$ の場合、設定は非実現的である。

彼らは以下の2つの学習パラダイムを分析している：

オフラインIL (SFT): 静的なi.i.d.エキスパートデモンストレーション $(x_i, y_i)$ から学習し、振る舞いクローニング（behavior cloning）損失（負の対数尤度）を最小化する。
オンラインIL (オンポリシー蒸留): 学習者が自身の現在のポリシー $\pi$ からサンプルを抽出し、エキスパートに対して $\pi_e(y|x)$ の確率を問い合わせ、逆KLダイバージェンス目的関数（または一般的なシェイピング関数 $f(\pi_e(y|x))$ ）を最適化する。

主要な分析ツール

不一致分析（Discrepancy Analysis）: 本論文は、エキスパートと学習者の間の分布の不一致（全変動距離やヘリンジャー距離など）に依存する従来の境界（bounds）を批判している。著者らは、これらの境界は非実現的な設定において過度に悲観的であり、真の報酬目的関数と整合していないと主張している。
情報理論的下限（オフライン）: 著者らは、非実現的な設定におけるオフラインILのサンプル複雑性に関する下限を導出し、それがカバレッジ係数 $C_\infty^e$ に比例することを示した。この係数は、制限された学習者クラスにおけるエキスパートの分布と、達成可能な最良のポリシーとの間のミスマッチを測定するものである。
オンラインILの構造的条件（Misspecification–Reward Alignment）: オンラインILの成功を説明するために、著者らは、エキスパートの信号（蒸留に使用されるもの）が、学習者が活用できる形で報酬関数と整列（align）しているという条件を提案している。
- 仮定1 (Misspecification–Reward Alignment): エキスパートの信号 $f(\pi_e(y|x))$ は、報酬に整合した成分 $\alpha r(x,y)$ と残差 $h(x,y)$ に分解される。この条件は、オンライン目的関数に対して最適に近いポリシーの集合内において、残差項 $h$ が報酬パフォーマンスの差を大きく区別しないことを要求する。本質的に、「誤設定（misspecification）」は報酬に対して直交しているか、あるいは学習者クラスによって表現不可能なものでなければならない。

主要な貢献と結果

1. 実現可能な設定：オフラインILで十分である

著者らは、実現可能な設定においては、オンラインILはオフラインILに対して優位性を持たないことを経験的に検証した。

実験: 合成データ（Countdown）および実世界の数学推論（GSM8K, DeepScaleR）タスクを用いて実験を行った。これらの設定では、「エキスパート」は学習者と同じファミリーのRL訓練済みモデルによって生成されており、実現可能性が保証されている。
結果: SFT（オフライン）はエキスパートの性能を完全に回復した。オンポリシー蒸留（オンライン）は、最終的な精度や学習速度においてSFTと比較して何の利点も提供しなかった。これは、誤差の蓄積がこのレジームにおけるオンラインILの主要な駆動要因ではないことを裏付けている。

2. 非実現的な設定：情報ボトルネック

非実現的な設定（エキスパートがはるかに大規模、あるいは異なるモデルである場合）において、本論文はオフラインILの根本的な限界を特定している。

定理1: i.i.d.のエキスパートデータから学習するオフラインILアルゴリズムは、情報理論的な障壁に直面する。もしエキスパートが、制限された学習者クラスが学習可能な特定の応答に対して低い確率質量しか置いていない場合（高い $C_\infty^e$ ）、オフラインILはサンプルサイズに関わらず、劣位性を消失させることができない。エキスパートのデモンストレーションには、学習者が自身のクラス内で最適なポリシーを学習するために必要な「正しい」例が含まれていない可能性がある。

3. 構造的整列によるオンラインILの優位性

本論文は、なぜオンラインILが非実現的な設定で成功するのかについて、理論的な正当性を提示している。

定理2: Misspecification–Reward Alignment 条件の下では、オンラインILは大きな分布の不一致があっても、低い報酬劣位性を達成できる。
メカニズム: オンラインの相互作用により、学習者は実際に自身が訪問する状態（プロンプト）についてエキスパートに問い合わせることができる。もしエキスパートの信号が、報酬に関連する情報を学習者がアクセス可能な形で構造化しているならば（たとえエキスパートの全分布がそうではなくても）、オンラインILは高報酬のポリシーへと収束することができる。
経験的検証: DeepSeek-R1モデルを用いて、分布の不一致（応答の長さやキーワードの頻度など）が極めて大きい場合でも（例：TV距離で約30%）、パフォーマンスの差は小さい（例：約5%）ことを示した。これは、不一致に基づく境界が緩いという主張を支持している。さらに、より「整列（alignment）」したエキスパート（Skywork-7B）から蒸留することで、整列度の低いエキスパート（R1-Distill-7B）よりも有意に優れた学習者性能が得られることを示し、これは彼らの理論的境界推定と一致している。

意義と主張

本論文は、LLMのポストトレーニングに関する理論的理解を、誤差蓄積の観点から**誤設定（misspecification）**の観点へとシフトさせることを主張している。

優位性の再定義: LLMにおけるオンラインILの主な利点は、単に長いホライゾンにおける累積誤差を修正することではなく、非実現性に起因する情報理論的なボトルネックを克服することにある。実現可能な設定では、オフラインのSFTで理論的にも経験的にも十分である。
報酬を考慮した分析の必要性: 著者らは、ILを単に分布の不一致（KLダイバージェンスなど）を通じて分析することは不十分であり、しばしば誤解を招くと主張している。学習者がエキスパートを完全に模倣できない場合でも、なぜオンライン手法が成功するのかを説明するには、報酬依存の分析が必要である。
実用的な含意: 本研究の結果は、実務で見られるSFTとオンライン手法（RLやオンポリシー蒸留など）の性能差は、多くの場合、エキスパートに対する学習者の非実現性に起因することを示唆している。もしエキスパートが強力すぎる、あるいは構造的に異なっている場合、オフラインのデータは不十分となり、学習者のポリシー空間内の高報酬領域へと導くためにオンラインの相互作用が必要となる。

本論文は、提案するフレームワークがオフラインとオンラインの差を説明する一方で、なぜオンポリシー蒸留が（同じくオンライン相互作用を用いる）RLよりもサンプル効率が高い場合があるのかについては完全には説明できていないと結論付けており、言語生成のマルチステップ構造や密な報酬信号の研究が今後の課題であることを示唆している。