技術的サマリー：CreFlow：疎な報酬を伴う具象化ビデオ拡散 RL のための是正リフロー

1. 問題定義

異質なウェブ規模データで訓練されたビデオ生成モデル（VGMs）は、具象化操作タスクに適用された際、物理的制約に違反する視覚的に妥当なロールアウトを生成することが多い。強化学習（RL）によるポストトレーニングは、これらのモデルを特定の報酬目標に整合させる道筋を提供するが、既存のアプローチは操作の文脈において 2 つの決定的な限界に直面している：

1. 不十分な報酬設計: 現在のビデオ RL 報酬は、多くの場合、低レベルの視覚的指標（視覚的品質、運動の滑らかさ、テキスト整合性など）または単一次元のスコアに依存している。これらは、物体の持続性、運動学的妥当性、因果的順序付けなど、複数の論理条件の同時満足に成功が依存する操作タスクの構成的性質を捉え損なう。その結果、物体のテレポートや運動学的違反など、下流の実行失敗につながる微妙かつ決定的なエラーを含んでいても、ビデオは高い報酬スコアを受け取る可能性がある。
2. 高次元における非効率的な最適化: 操作ビデオは高次元であるが、タスクに重要なエラーはしばしば疎な時空領域のみを占める。ビデオテンソル全体に均一な RL 更新を適用することは、報酬と無関係なピクセルや時間ステップに勾配を浪費する。これは、すでに妥当な領域やタスクと無関係な領域を攪乱し、特に疎な二値報酬を扱う際に、多様体からの逸脱や方策の崩壊を引き起こす可能性がある。

2. 手法：CreFlow

著者らは、疎で構成的な報酬を用いて具象化ビデオ拡散モデルをポストトレーニングするためのオンライン RL フレームワークであるCreFlow（Corrective Reflow）を提案する。このフレームワークは、構成的制約ベースの報酬モデルと、新規の訓練目的からなる 2 つの主要コンポーネントで構成される。

2.1 構成的制約モニター

包括的な視覚的スコアに依存する代わりに、CreFlow はタスクの成功を線形時相論理（LTL）の集合として定式化する。

• 仕様の合成: 与えられたタスク文脈（指示と初期観測）に対して、コーディングエージェントがタスク固有の LTL 式 $\Phi_c$ を合成する。この式は、持続性、終端配置、因果的結合、順序付けの 4 つのファミリーを網羅する原子述語（例：GRASP(arm, cup), IN(cup, drawer)）の論理積である。
• 状態の引き上げと評価: 生成された各ロールアウトについて、システムはビジョン基盤モデル（マスク/軌道用の SAM3、ロボット状態用の IDM、属性チェック用の VLM）を用いてビデオを状態トレースに引き上げる。有限トレース LTL モニターが、ロールアウトを $\Phi_c$ に対して評価する。
• 出力: モニターは二値の成功ラベル（$r \in \{0, 1\}$）を返すとともに、決定的にどの制約が、どの実体に対して、どの時間ステップで違反されたかを特定する違反トレース（$V$）を返す。

2.2 訓練目的

CreFlow は、疎な二値フィードバックを、2 つの主要な損失関数を通じて局所的で実行可能な監督に変換する。

1. クレジット感知型 NFT 損失:

   • 標準的なネガティブ感知型ファインチューニング（NFT）は均一に更新を適用する。CreFlow は、ロールアウト群からの違反トレースを集約して時空マスク（$M$）を構築する。
   • このマスクは、タスク失敗の原因となる特定の実体とフレームを特定する。
   • 損失は、正負の速度コントラストをこのマスクに制限し、RL 更新を報酬関連領域に限定する。これにより、モデルがビデオの無関係で妥当な領域を攪乱するのを防ぐ。

2. 是正リフロー損失:

   • 既存の手法は、しばしば失敗したロールアウトを孤立して扱うか、方策の指数移動平均（EMA）に基づく反射ターゲットを使用するが、これらはノイズを導入する。
   • CreFlow は、同一の初期観測と指示の下で生成されたグループ内の成功したロールアウトを集約し、経験的平均（$\bar{x}^+_0$）を形成する。
   • この平均は、失敗したロールアウトの違反領域に対する明示的な是正ターゲットとして機能する。単に負のサンプルを抑制するのではなく、モデルは同一条件内の成功した結果の分布へ向かうよう明示的に誘導される。

最終的な目的関数は、クレジット感知型 NFT 損失、是正リフロー損失、および凍結された参照方策に対する KL 正則化項を組み合わせたものである。

3. 主要な貢献

1. 構成的制約ベースの報酬モデル: 著者らは、タスク要件を LTL 制約として自動的に定式化する報酬モデルを導入する。これは、下流の実行と整合した忠実な二値成功信号だけでなく、疎な報酬学習に不可欠な局所的な診断情報（制約、実体、フレームごとの違反）も提供する。
2. CreFlow フレームワーク: 疎な構成的違反を局所的な是正推定量に変換する新規のオンライン RL フレームワーク。以下を独自に組み合わせる：
   • 失敗に関連する時空領域に更新を制限するクレジット感知型 NFT 損失。
   • グループ内の正のサンプルを明示的な是正ターゲットとして使用し、訓練を安定させ分散を低減する是正リフロー損失。
3. 経験的検証: 8 つの両手操作タスク（RoboTwin）における広範な実験により、CreFlow が既存のビデオ RL ベースラインおよび方策レベルの参照を上回ることを実証した。

4. 実験結果

本論文は、8 つの RoboTwin 両手操作タスク（例：ピックアンドプレイス、可動部操作、多物体配置）において CreFlow を評価した。

• 下流の成功: CreFlow は、ベース Vidar モデルと比較して下流実行の成功率を平均23.8 パーセントポイント向上させ、他の RL ポストトレーニング手法（DanceGRPO、DiffusionNFT）および報酬ベースライン（EVA、WMReward）を大幅に上回った。
• 報酬忠実度: 構成的報酬モデルは、人間の成功ラベルと88.0%、シミュレータ実行ラベルと**91.0%**の一致率を達成し、連続報酬モデルおよび VLM-as-judge ベースラインを大幅に上回った。
• 訓練効率: CreFlow はベースラインよりも速く収束し、より高い累積報酬に到達する。アブレーション研究により、クレジット感知型マスクと是正リフロー損失の両方が必要であることが確認された。いずれかを除去すると、性能低下または不安定な訓練につながる。
• 定性的分析: 視覚的アブレーションにより、クレジット感知型マスクがない場合、標準的な RL 更新はタスク外の領域（例：背景物体）を劣化させるのに対し、CreFlow は非重要領域では事前学習された事前分布を維持しつつ、タスク固有の失敗を是正することが示された。

5. 意義と主張

本論文は、CreFlow が具象化ビデオ生成における根本的なギャップ、すなわち、グローバルな視覚的妥当性と物理的操作の論理的・構成的要件とのミスマッチを解消すると主張する。

• 忠実な評価: 低レベルの視覚的指標から論理ベースの検証へ移行することで、CreFlow はタスク成功と真に整合した報酬信号を提供し、視覚的には良く見えるが物理的に失敗するビデオにおける成功の「幻覚」を回避する。
• 疎な報酬の処理: このフレームワークは、最適化を失敗の特定の領域に局所化し、成功サンプルから導出された明示的な是正ターゲットによって誘導される場合、疎な二値報酬が高次元ビデオ生成に効果的に活用できることを示している。
• 実用的影響: この手法は、密で手作業で設計された報酬を必要とせずに、特定のロボットタスクに対する汎用ビデオモデルのポストトレーニングを可能にし、実行成功率を大幅に向上させる。

限界: 著者らは、現在のモニターが 2D 画像平面状態上で推論し、微細な 3D 空間関係を完全に解決できないことを認めている。彼らは、深度または 3D 状態推定を用いた制約評価の拡張を将来の研究方向として特定している。