技術概要：RoboAlign-R1

1. 問題定義

既存のロボット動画世界モデルは、主に再構成損失（例：MSE）や知覚的類似性（例：LPIPS、SSIM）といった低レベルの目的関数を用いて訓練されている。著者らは、これらの目的関数が、指示追従、操作の成功、物理的な妥当性など、ロボット意思決定に不可欠な能力と整合性が取れていないと主張する。その結果、モデルは視覚的に正確なフレームを生成する一方で、タスクとして誤っていたり物理的に不自然だったりする可能性がある。

さらに、これらのモデルは、長視野の自己回帰予測中に誤差蓄積に悩まされている。ステップごとの小さな誤差が時間とともに累積し、物理的な現実性やタスクの一貫性を劣化させる。最近の取り組みでは強化学習（RL）による事後学習が探求されているが、これらは主に MSE や LPIPS といった低レベルの報酬に依存しており、高レベルの特性を捉えきれていない。より強力なマルチモーダル評価器は存在するが、高い遅延とコストにより、オンライン最適化には計算的に実行不可能である。

本論文は、以下の 2 つの主要な課題を特定している：

1. 報酬の不一致：低レベル指標はスケーラブルだが弱く、強力なマルチモーダル評価器はオンライン RL には高すぎる。
2. 長視野のドリフト：自己回帰生成は誤差を蓄積し、時間の経過とともに品質を劣化させる。

2. 手法

著者らは、訓練時の整合性と推論時の安定性の両方に対処する統合フレームワークRoboAlign-R1を提案する。このフレームワークは、以下の 3 つの中核コンポーネントで構成される：

A. RobotWorldBench とマルチモーダルティーチャジャッジ

高品質でタスク整合性の取れた監督データの欠如に対処するため、著者らは 4 つのロボットデータセット（RT-1、BridgeData V2、CALVIN、LIBERO）から厳選された 10,000 件の注釈付き動画 - 指示ペアからなるベンチマークRobotWorldBenchを構築した。

• 注釈：動画は、指示追従、操作成功、動作 - 結果の一貫性、時間的一貫性、接触の現実性、物理的遵守の 6 つの次元にわたる生スコアベクトルで注釈付けられる。
• ティーチャジャッジ（RoboAlign-Judge）：Qwen3-VL-8B-Thinkingから微調整されたマルチモーダルティーチャモデルが、生成された動画の微細な 6 次元評価を提供するために RobotWorldBench で訓練される。このティーチャは報酬信号の真実の源泉として機能するが、直接オンラインで使用するには遅すぎる。

B. RL 事後学習のための蒸留された学生報酬モデル

効率的な RL 事後学習を可能にするため、重いティーチャジャッジが軽量な学生報酬モデル（$g_\psi$）に蒸留される。

• アーキテクチャ：学生は、部分的に凍結されていない ViT-Base/16 と軽量なテキスト Transformer からなるコンパクトな視覚 - テキストエンコーダと、シグモイド活性化ヘッドで構成され、パラメータ数は約 98M である。
• 蒸留プロセス：学生は回帰を通じてティーチャの正規化された 6 次元スコアを予測するように訓練される。分布のシフトからの報酬ハッキングを防ぐため、著者らはオンライン反復蒸留を採用する。これは、RL プロセス中にティーチャが定期的に新しいロールアウトを再スコアリングし、学生を更新するものである。
• RL アルゴリズム：蒸留された学生は、**グループ相対方策最適化（GRPO）**のための複合報酬を提供する。この報酬は 6 つの次元の加重和であり、世界モデルがピクセル類似性だけでなく、タスクの成功と物理的な妥当性を最適化できるようにする。

C. スライディングウィンドウ再エンコーディング（SWR）

再訓練なしで長視野の誤差蓄積を緩和するため、著者らはトレーニング不要の推論戦略である**スライディングウィンドウ再エンコーディング（SWR）**を導入する。

• メカニズム：連続したトークン列を生成する代わりに、ロールアウトはウィンドウサイズ $W$ のセグメントに分割される。各セグメントの終わりで、最後の予測フレームがピクセル空間にデコードされ、次のセグメントのための新しいコンテキストトークンとして再エンコードされる。
• 効果：これにより生成コンテキストが定期的に更新され、トークンレベルのドリフトの連鎖が断ち切られる。理論的解析は、この手法が誤差の成長を $O(T)$（$T$ は全視野）ではなく $O(W)$ に制限することを示唆している。

3. 主な貢献

1. 報酬整合型訓練フレームワーク：RoboAlign-R1 は、弱い低レベルのオンライン報酬を、タスク成功と整合した蒸留されたマルチモーダル報酬に置き換える。これにより、最強力なベースラインに対してドメイン内評価の集計スコアが**+10.1%向上し、オンライン報酬計算コストは10 倍以上**削減された。
2. ベンチマークとスケーラブルな報酬蒸留：RobotWorldBench（1 万ペア）の導入と、8B マルチモーダルジャッジを約 50 動画/秒で実行可能な 98M の報酬モデルに圧縮するティーチャ - スチューデント蒸留パイプラインの提案。
3. 安定した長視野推論：最小限のオーバーヘッド（約 1% の追加遅延）で長視野予測の品質を向上させる**スライディングウィンドウ再エンコーディング（SWR）**の提案。これにより SSIM で +2.8%、LPIPS で -9.8% の改善が得られた。

4. 実験結果

本フレームワークはRT-1およびBridgeData V2データセットで評価された。

• 全体的な性能：RoboAlign-R1 は、集計された RoboAlign-Judge スコアで8.52を達成し、最強力なベースライン（iVideoGPT、7.74）を**+10.1%**上回った。パラメータ数が少ないにもかかわらず、Kling 2.6（6.84）などのすべてのクローズドソース商用モデルを上回った。
• 具体的な改善：
  • 操作精度：+7.5% の改善。
  • 指示追従：+4.6% の改善。
  • 低レベル指標：RT-1 において LPIPS を 4.9% 削減、BridgeData V2 において MSE を 8.7% 削減（次点のモデルと比較）。
• 検証：ランキングの改善は以下の方法で検証された：
  • 外部 VLM ベースのクロスチェック（GPT-4.1 など 8 つの代替ジャッジとの比較）。
  • 小規模なブラインド人間評価において、RoboAlign-R1 はペア比較の約 60-66% でベースラインを好まれた。
• SWR の効率性：ウィンドウサイズ $W=6$ の SWR は、長視野の品質を向上させ（SSIM +2.8%、LPIPS -9.8%）、壁時計時間はわずか**約 1.1%**の増加で済んだ。また、ピークメモリ使用量を 4.2% 削減し、最大シーケンス長を制限することで、標準的な自己回帰デコードで見られる線形遅延ドリフトを防いだ。

5. 意義と主張

本論文は、報酬整合型事後学習と安定化された長視野デコーディングが、ロボット動画世界モデルの改善に不可欠であると主張する。具体的には：

• タスクの一貫性と物理的現実性：ピクセルレベルの再構成を超えて報酬整合型の目的関数へ移行することで、指示追従能力と物理的妥当性の維持（例：正しい把持、接触の現実性）が大幅に向上する。
• マルチモーダル報酬のスケーラビリティ：蒸留パイプラインは、大規模なティーチャモデルを効率的な学生報酬モデルに圧縮することで、高忠実度なマルチモーダル判断をオンライン RL において実用的にできることを実証している。
• 推論の安定性：SWR 戦略は、自己回帰生成に内在するドリフトを緩和するシンプルでトレーニング不要な手法を提供し、長視野計画をより信頼性の高いものにする。

著者らは、現在の評価が単一アームの卓上操作に限定されており、下流の方策の改善は未検証であることを指摘している。多様な実体への拡張と、制御レベルの利益の測定を、今後の有望な研究方向として特定している。