技術的要約：Behavioral Cloning（行動クローニング）だけでは不十分である

問題提起

本論文は、模倣学習（Imitation Learning: IL）における中心的な謎に対処している。理論的には、クリーンなエキスパート設定においては、Behavioral Cloning（BC）のようなオフライン手法が、ホライゾンに依存しない最適性能を達成できることが示唆されている。しかし、現代のアプリケーション（特にオンポリシー蒸留、すなわちOn-Policy Distillation: OPDを用いた大規模言語モデルの学習）における経験的な証拠は、オンライン手法がオフライン手法よりも優れた性能を示すことを一貫して示している。

著者らは、この乖離を説明するために**ノイジー・エキスパート・モデル（noisy expert model）**を提案する。この設定では、学習者は完全なエキスパート・ポリシー $\pi^\star$ にアクセスできるのではなく、汚染されたバージョン $\pi^\star_\eta = (1-\eta)\cdot\pi^\star + \eta\cdot\nu$ にアクセスすることになる。ここで $\eta$ はノイズレベル、$\nu$ はノイズ分布である。学習者の目標は、ノイジー・エキスパートから生成された軌跡のみを利用して、クリーンなエキスパート $\pi^\star$ の期待報酬に匹敵するポリシー $\hat{\pi}$ を学習することである。このモデルは、不完全な人間によるテキストを用いた言語モデルの学習、完全に収束していない大規模な教師モデルからの蒸留、あるいは「エキスパート」が確率的である推論タスクといった、現実世界のシナリオを捉えている。

手法および理論的枠組み

著者らは、ノイジー・エキスパートの仮定の下で、Hellinger距離をレグレットのプロキシとして用い、オフラインおよびオンラインの両方のIL設定を分析している。

1. オフライン模倣学習（困難性の結果）

オフライン設定では、学習者は $\pi^\star_\eta$ から得られた $n$ 個の軌跡からなる固定されたデータセットを与えられる。

• 分析: 著者らは、クリーンなエキスパート $\pi^\star$ に近いポリシーを復元するためには、ノイズを反転させる必要があることを示している。彼らは、クリーンな軌跡のHellinger距離 $D_H^2(P_{\pi^\star}, P_{\hat{\pi}})$ と、ノイジーな軌跡のHellinger距離 $D_H^2(P_{\pi^\star_\eta}, P_{\hat{\pi}_\eta})$ を関連付ける境界を導出している。
• 主要な知見: 追加の仮定がない場合、クリーンなエキスパートと競合するために必要なサンプル複雑性は、ホライゾン $H$ に対して指数関数的に増大する（具体的には $(1-\eta)^{-H}$ に比例する）。「ドミネーション条件」（ノイズ分布がポリシー集合によって支配されているという条件）がある場合でも、ノイズが $1/H$ に対して無視できない程度であれば、依存関係は $H$ に対して指数関数的なままとなる。
• 下界: 著者らは、この指数関数的な依存関係が根本的なものであることを証明している。彼らは、一定の誤差を達成するために、いかなるオフラインアルゴリズムも $H$ に対して指数関数的なサンプル複雑度を必要とするカウンターエグザンプルを構築しており、これにより、長期間のノイジーな設定においてオフラインILは根本的に実行不可能であることを示している。

2. オンライン模倣学習（解決策）

オンライン設定では、学習者は環境と相互作用し、自身の現在のポリシーをロールアウトし、訪問した状態におけるアクションに対してノイジー・エキスパートにクエリを投げることができる。

• 拡張された軌跡分布（Augmented Trajectories）: 著者らは、拡張された軌跡分布 $P_{\pi, \pi'}$ の概念を導入する。これは、学習者がポリシー $\pi$ をロールアウトする一方で、各状態においてエキスパート $\pi'$ にアクションを問い合わせるものである。これにより、学習者は自身の軌跡分布を、同じ状態におけるエキスパートの挙動と比較することが可能になる。
• 理論的保証: 学習されたポリシーの劣劣性は、拡張された軌跡分布（学習者とノイジー・エキスパートの間）のHellinger距離（またはKLダイバージェンス）によって抑えられることを証明している。決定的なことに、$\kappa$-ドミネーション条件（ノイズ分布がエキスパートおよび学習者のポリシーによって支配されているという条件）の下では、この境界は**ホライゾンに依存しない（horizon-free）**ものとなる。この条件がない場合でも、ホライゾンへの依存性は多項式的（$\sqrt{H}$）であり、オフラインの場合の指数関数的な依存とは対照的である。
• アルゴリズム (NAIL): 著者らは NAIL (Noise-robust Aggregation for Imitation Learning) を提案する。ステップごとのポリシーを学習する標準的なDAggerとは異なり、NAILは拡張された軌跡の負の対数尤度に対する指数重みを用いて、軌跡レベルでポリシーを集約する。
  • 既知の汚染（Known Corruption）: NAILは、$(H \sqrt{\log|\Pi|/n})$ とスケールするレグレット境界を達成する。
  • 未知の汚染（Unknown Corruption / Deterministic Expert）: エキスパートが決定論的であり、ノイズが「滑らか（smooth）」である（任意の行動に対して有限の確率質量を持つ）場合、著者らは NAILGUN を提案する。このアルゴリズムは、ノイズレベル $\eta$ や分布 $\nu$ の知識を必要とせずに、ホライゾンに依存しない $\log|\Pi|/n$ のレグレット境界を達成する。

主な貢献

1. 理論的分離: 本論文は、ノイジーなエキスパートが存在する場合における、オフラインILとオンラインILの鋭い分離を確立している。オフライン学習は根本的に困難（ホライゾンに対して指数関数的）である一方、オンライン学習はホライゾンに依存しない、あるいは多項式のホライゾン保証を達成できることを証明している。
2. ノイジー・エキスパート・モデル: 不完全な人間によるテキストを用いた言語モデルの学習や、教師モデルと生徒モデルのアーキテクチャが同一である場合（ミスペシフィケーションのみが原因であることを排除するため）の、教師モデルからのOPDの経験的な成功を説明する、一般的なノイジー・エキスパート・モデル ($\pi^\star_\eta$) を導入している。
3. 拡張された軌跡の分析: クリーンなエキスパートの性能を、拡張された軌跡分布（$P_{\hat{\pi}, \pi^\star_\eta}$ 対 $P_{\hat{\pi}, \hat{\pi}_\eta}$）の間のダイバージェンスに関連付ける境界を導出し、オンポリシー蒸留の目的関数に対する理論的な正当化を提供している。
4. アルゴリズムと境界:
   • NAIL: 近似最適に近いサンプル複雑度を持つ、既知の汚染設定のためのアルゴリズム。
   • NAILGUN: 未知の汚染設定（決定論的エキスパート）において、ホライゾンに依存しない保証を達成するアルゴリズム。
   • 下界: 提案されたアルゴリズムが、定数倍の範囲内で最適であることを示す、一致する下界。

実験結果

著者らは、2つのタスクで理論を検証している。

1. Modular Addition (合成タスク): 数値を 7 を法として加算するための思考の連鎖（Chain of Thought）を必要とするタスク。
   • クリーンなエキスパート: オフラインBC（SFT）が最も高い性能を示し、理論と一致している。
   • ノイジーなエキスパート: オフラインBCおよび標準的なOPDは学習に失敗する。提案されたNAILのバリアント（拡張された軌跡上のフォワード/リバースKLを最小化するもの）は、完璧な精度を達成する。
2. GSM-8K (自然言語): Gemma モデルを用いた数学的推論ベンチマーク。
   • クリーンなエキスパート: オンライン手法がオフラインBCよりも優れた性能を示す。
   • ノイジーなエキスパート: NAILのバリアントのみが効果を維持し、非自明な精度を達成するが、標準的なOPDおよびSFTは完全に失敗する（精度 0%）。

これらの結果は、拡張された軌跡に関する理論的分析から導かれた損失関数（具体的には、標準的な教師あり学習の目的関数よりも、拡張された軌跡のダイバージェンスを最小化するもの）が、ノイジーなエキスパートのフィードバックに対してより堅牢であることを裏付けている。

意義と主張

本論文は、不完全な教師から言語モデルを学習する際、なぜオンポリシー蒸留（OPD）が標準的な教師あり微調整（SFT）よりも優れているのかについて、理論的な基礎を提供すると主張している。

• 経験的現象の説明: 「クリーンな」エキスパートという仮定が、（ノイジーな人間によるデータや不完全な教師モデルのために）実務ではしばしば破られていることを示すことで、ILにおける「理論と実践」の乖離を解消している。そして、そのようなノイズの下では、オンラインでの相互作用は単に有益であるだけでなく、指数関数的なサンプル複雑度を回避するために不可欠であることを示している。
• 原理に基づいた損失関数: 本分析は、実験的に検討されることが多い（拡張された軌跡上のダイバージェンスを最小化するという）代替の損失関数を導き出している。これまで厳密な正当性が欠けていたものに対し、本論文は正当性を与えている。
• 限界: 著者らは、自らの主張に対して謙虚であり、結果が有限のポリシー集合、理想化された汚染モデル、および特定の仮定（未知の汚染ケースにおける決定論的エキスパートなど）に依存していることを述べている。これらの結果を実務に直接翻訳するには、より洗練されたノイズモデルやスケーリング実験に関するさらなる研究が必要であることを認めている。

要約すると、本論文は、エキスパートがノイジーである場合、Behavioral Cloning だけでは不十分であると主張している。代わりに、長期間のタスクにおいてクリーンなエキスパートの挙動を復元するためには、On-Policy Distillation が理論的に最適である。