技術サマリー：Diffusion ReRoll

問題提起

逐次的な予測は、ビデオ予測、長期的プランニング、方策学習、行動合成といったタスクを包含する、ロボティクスにおける基礎的な要素である。拡散モデルは、高次元で時間的に相関したマルチモーダルな出力を捉える能力により、これらのタスクにおける標準的な手法となっているが、「修正可能性（revisability）」という決定的な限界に直面している。

標準的なフルシーケンス拡散モデルは、全シーケンスが単一のノイズレベルを共有する単調なデノイジング・プロセスを実行する。これはしばしば**早期のコミットメント（premature commitment）**を引き起こす。つまり、シーケンスの初期セグメントが、終端の制約や将来のコンテキストが十分に組み込まれる前に、低ノイズ（決定論的）な状態に達してしまうのである。もし初期の予測が誤っていた場合、その「プレフィックス（接頭辞）」はすでに固定されてしまっているため、後続のプロセスで修正することが困難になる。

Diffusion Forcingのような先行研究は、因果的なデノイジング（先行するトークンを後続のトークンより先に解決すること）を可能にするために、トークンごとのノイズレベルを導入した。しかし、因果的な構造を用いたとしても、一度デノイズされたトークンは通常、固定されたままとなる。既存の修正手法（インペインティングやマスク再予測など）は、個別のモジュールを必要とするか、あるいは生成プロセス自体の中で「どの部分を修正すべきか」をどのように決定するかという問題に直接対処していない。核心となる課題は、シーケンスの構造を破棄したり新しいモデルアーキテクチャを必要としたりすることなく、いかにして反復的なクロスホライゾン修正（iterative cross-horizon revision）、すなわち、初期セグメントと後続セグメントが互いに洗練し合えるようにするかである。

手法：Diffusion ReRoll

著者らは、デノイジング・プロセス自体を修正インターフェースとして扱うフレームワークであるDiffusion ReRollを提案する。単一の単調な軌跡ではなく、Diffusion ReRollは、リニアチャンク（linear chunks）と呼ばれる、区分線形なノイズレベル・パターンを定義するスケジュール行列を用いて生成プロセスを構成する。

コアメカニズム

1. スケジュール行列とリニアチャンク：
   本フレームワークは、スケジュール行列 $S$ を通じて、各デノイジングステップにおける各トークンに特定のノイズレベルを割り当てる。全シーケンス拡散（共有ノイズ）や標準的な因果的デノイジング（単調なトークンごとのノイズ）とは異なり、Diffusion ReRollは仮想的なリニアチャンクを構築する。これらのチャンクは、共にデノイズされるホライゾンの領域を表す。

2. ReRollイベント（選択的再ノイズ化）：
   主要な革新はReRollイベントである。リニアチャンクの先端が規定のリセットノイズレベル（$k_{reset}$）に達したとき、対応するトークン領域は**再ノイズ化（re-noised）**される（最大ノイズレベル $K$ までのノイズが注入される）。

• これにより、再ノイズ化された領域は、シーケンスの他の部分からの更新されたコンテキストを用いて再度洗練されることが可能になる。
• 一部の領域がデノイジングを継続する一方で、他の領域は高ノイズ状態に戻るため、誤った予測への早期のコミットメントを防ぐことができる。
• これにより、最終的なシーケンスが生成される前に、初期セグメントと後続セグメントが互いに修正し合える反復的なクロスホライゾン修正が可能になる。

3. ランダム化されたリニアチャンクによる学習：
   この構造化されたデノイジング・スケジュールをサポートするために、モデルはランダム化されたリニアチャンクを用いて学習される。トークンごとのノイズレベルを独立してサンプリングする（Diffusion Forcingのように）のではなく、学習プロセスでは以下をサンプリングする：

• チャンクの数（$N_{chunk}$）。
• 各チャンク内のノイズプロファイルの傾き。
• 各チャンクの開始ノイズレベル。
• 双方向学習のためのマスキング戦略（例：双方向スケジュールにおける合流点のマスキング）。
  これにより、モデルは構造化された区分線形な確率的変動にさらされ、学習分布がデプロイメント時のスケジュールと一致するように調整される。

4. 双方向スケジュール：
   本フレームワークは、デノイジングの波がホライゾンの始点と終点の両方から発生する双方向スケジュールをサポートしている。2つのバリアントが提案されている：

• ミーティング行列（Meeting Matrix）： 前方および後方からの波が合流し、両方向から修正を継続する。
• テイキングオーバー行列（Taking Over Matrix）： 後方からの波は初期のコンテキストを提供するが、最終的には前方からの因果的な波によって上書きされ、因果的な最終構造を維持する。

実装の詳細

• アーキテクチャ： Diffusion ReRollは新しいバックボーンを必要としない。トークンごとのノイズレベル・コンディショニングを備えた標準的なTransformerまたはU-Netアーキテクチャを利用する。各トークンは独自のノイズレベル・エンベディングを受け取る。
• 推論： デノイジングプロセスはスケジュール行列に従い、下方への遷移（デノイジング）にはDDIMアップデートを使用し、ReRoll遷移（ノイズのリセット）には明示的な前方ノイジングを使用する。

主な貢献

1. Diffusion ReRollフレームワーク： 仮想的なリニアチャンクと選択的再ノイズ化を利用した、修正可能なロボットシーケンス生成のためのスケジュール行列ベースのフレームワーク。
2. プログラム可能な修正インターフェース： スケジュール行列は、基礎となるモデルアーキテクチャを変更することなく、特定の修正および情報の流れ（因果的、後方的、または双方向）を誘導するための制御可能なインターフェースとして機能する。
3. 実証的検証： 長期的なプランニング、方策学習、および統一されたビデオ・アクション・モデリングの3つの異なるドメインにおいて、改善を実証した。

実験結果

著者らは、OGBench PointMazeおよびAntMazeにおける長期プランニング、LIBERO-10およびRoboCasaにおける方策学習、および統一ビデオ・アクション・モデリング（UWM）のベンチマークにおいて、Diffusion ReRollを、フルシーケンス拡散（Diffuser）、因果的デノイジング（Diffusion Forcing）、および標準的な拡散方策（Diffusion Policy）と比較評価した。

1. 長期プランニング (OGBench PointMaze & AntMaze)

• ガイダンスに基づく再プランニング： Diffusion ReRollは平均成功率88.1%を達成し、Diffusion Forcing（72.8%）に対して21%の相対的な向上を示した。
• ゴール・インペインティング： 成功率90.8%を達成し、Diffuser（73.8%）に対して23%の相対的な向上を示した。
• 観察事項： ReRollは、フルシーケンス拡散が無効な経路へのコミットメントを引き起こした初期のプランニングエラーから効果的に回復した。

2. 方策学習 (LIBERO-10 & RoboCasa)

• LIBERO-10 マルチタスク： 様々な観測履歴および予測ホライゾンにおいて、Diffusion ReRollは平均成功率をDiffusion Policyの**40.1%から62.7%**へと向上させ、56.5%の相対的な向上を実現した。
• RoboCasa シングルタスク： 改善は見られたが、マルチタスク設定ほど一貫しておらず、クロスホライゾン修正の恩恵は、多様な時間的コンテキストを持つタスクにおいて最も顕著であることを示唆している。

3. 統一ビデオ・アクション・モデリング (UWM)

• パフォーマンス： LIBERO-10において、ReRollはOOD（分布外）ジョイント方策の成功率を**57.2%から71.0%**へと向上させた。
• 一貫性： 最も低いゼロ・アクション誤差（UWMの0.324mに対し0.301m）を達成しており、これは特にOOD条件下において、生成されたアクションと視覚的ダイナミクスの間の優れた一貫性を示している。

意義と主張

本論文は、選択的再ノイジングが、修正可能なロボットシーケンス生成のための効果的なメカニズムであることを主張している。デノイジングを単なるノイズ除去としてではなく、反復的なクロスホライゾン修正が可能なプロセスとして扱うことで、Diffusion ReRollはモデルが将来のコンテキストを用いて初期の誤りを修正することを可能にする。

著者らは以下を強調している：

• 向上は、選択的再ノイジングメカニズムによって駆動されており、これにより誤ったプレフィックスへの早期のコミットメントを防いでいる。
• スケジュール行列は柔軟な設計インターフェースとして機能し、モデルのアーキテクチャを再学習させることなく、情報の流れ（因果的か非因果的か）を制御できる。
• このアプローチは、時間的依存関係が複雑であり、初期セグメントの誤りが壊滅的な伝播を引き起こす可能性がある長期的なおよびマルチタスクのシナリオにおいて特に効果的である。

本研究の範囲については、すべての実験が現在シミュレーション内で行われていること、および新しいタスクに対してはスケジュールのチューニング（傾き、リセットレベル、イベント数）が必要であることを述べ、謙虚な姿勢を示している。しかし、拡散スケジュールを、堅牢なロボットプランニングおよび方策学習のための制御可能なメカニズムとして用いるための新しいパラダイムを確立している。