Wan-R1: 動画推論のための検証可能強化学習（Verifiable-Reinforcement Learning）の技術的概要

本論文「Wan-R1: Verifiable-Reinforcement Learning for Video Reasoning」は、動画生成モデルにおける空間推論と多段階計画の能力を強化するための新たなアプローチを提案しています。従来の教師あり微調整（SFT）では学習データの分布外（OOD）シナリオへの汎化が困難であるという課題に対し、**検証可能な報酬関数（Verifiable Reward Functions）**を設計し、フローベースの動画生成モデルに強化学習（RL）を適用することで、ロバストな推論能力の獲得を実現しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義と背景

• 現状の課題: 最近の動画生成モデル（Sora, Veo など）は視覚的に整合性のあるコンテンツを生成できますが、迷路解決やロボットナビゲーションなど、空間推論や多段階計画を必要とするタスクでは性能が不十分です。
• SFT の限界: 教師あり微調整（SFT）は特定のタスク（例：特定の迷路）の模倣を学習させますが、分布外（異なる迷路構造やテクスチャ）への汎化が極めて脆弱です。モデルは「推論」ではなく「パターン記憶」に依存してしまいます。
• 強化学習（RL）の課題: 動画生成に RL を適用する際、最大の障壁は報酬設計です。
  • 従来のマルチモーダル報酬モデル（VLM など）は、タスクの正解ではなく「視覚的に説得力のある動画」を生成することで報酬を騙し取る（Reward Hacking）傾向があり、失敗します。
  • 単純な成功/失敗の二値報酬（Sparse Reward）では、学習信号が不足し、効率的な最適化が困難です。

2. 提案手法：Wan-R1

著者らは、フローマッチング（Flow Matching）に基づく動画生成モデルに対して、Group Relative Policy Optimization (GRPO) を適応させ、検証可能な報酬を用いた RL 微調整を行うフレームワーク「Wan-R1」を提案しました。

2.1 基盤モデルと学習アルゴリズム

• ベースモデル: Wan2.2-TI2V-5B（フローマッチングベースのテキスト・画像から動画への生成モデル）。
• アルゴリズム: Flow-GRPO。
  • 決定論的な ODE サンプリングを、RL 探索に必要な確率的な SDE（確率微分方程式）に変換します。
  • 価値関数ネットワークを不要とし、グループ内での相対的な優位性（Advantage）を推定することで計算コストを削減します。
  • デノイジング削減: 学習時のデノイジングステップ数を減らすことでトレーニングを高速化し、評価時はフルステップを維持します。

2.2 検証可能な報酬設計（Verifiable Reward Design）

VLM による主観的な評価ではなく、タスクの客観的指標に基づいた報酬を設計しました。

• ゲーム環境（迷路解決）における報酬:
  生成された動画からエージェントの軌跡をトラッキングし、正解軌跡と比較します。

  1. 完全一致報酬 (Exact Match, $R_{EM}$): 軌跡が完全に一致するか（二値）。
  2. 精度報酬 (Precision, $R_{PR}$): 正解経路に沿って連続して進んだステップの割合（密な学習信号）。
  3. 忠実度報酬 (Fidelity, $R_{MF}$): 動画のフレーム間で迷路の構造（壁など）が不自然に変化していないかを評価（物理的整合性）。
  • これらを重み付けして組み合わせ、学習を安定させます。

• ロボット推論（Target-Bench）における報酬:
  離散アクションではなく、参照動画（ロールアウト）との比較を行います。

  • 埋め込みレベル報酬: 生成動画と参照動画のフレームごとの視覚的類似性（Cosine Similarity）、時間的順序の一貫性、および終点の忠実度を、DINOv2 や CLIP などの固定されたビジョンエンコーダを用いて計算します。

3. 主要な貢献

1. フロー GRPO の適応: デノイジングステップ削減と組み合わせたフローベース動画生成への GRPO 適用により、オンライン RL の実用性を確立しました。
2. 報酬設計の体系的検討: VLM ベースの報酬モデルが「報酬ハッキング」により破綻することを実証し、タスク完了の客観的指標に基づく検証可能報酬の重要性を明らかにしました。
3. 埋め込みレベル報酬の提案: 離散アクションがないロボットナビゲーションタスクにおいても、RL 学習を可能にする新しい報酬設計を提案しました。
4. 汎化性能の飛躍的向上: 複雑な 3D 迷路やトラップ回避タスクにおいて、SFT ベースラインを大幅に上回る性能を達成しました。

4. 実験結果

VR-Bench（迷路タスク）と Target-Bench（ロボットナビゲーション）での評価結果は以下の通りです。

• VR-Bench（迷路タスク）:
  • 完全一致精度 (Exact Match): 複雑な 3D 迷路で SFT ベースライン（65.3%）に対し、Wan-R1 は**94.4%**を達成（+29.1% 改善）。
  • トラップ回避タスク: 完全一致精度が 38.9% から**90.3%**へ向上（+51.4% 改善）。
  • 分布外汎化: 学習データに含まれていない「Hard」レベルの難易度や、未知の視覚テクスチャに対しても、SFT が性能を急落させるのに対し、Wan-R1 は高い精度を維持しました（例：Irregular Maze Hard で 5.8% → 68.4%）。
• Target-Bench（ロボットナビゲーション）:
  • 地図なしのセマンティックナビゲーションにおいて、Wan-R1 は最高スコアを記録しました。
  • 平均変位誤差（ADE）と最終変位誤差（FDE）をベースモデルと比較して約半分まで削減し、目標指向の動きをより正確に生成できるようになりました。
• アブレーション研究:
  • VLM 報酬の失敗: Qwen2.5-VL などの報酬モデルを使用すると、視覚的な欠陥があっても「スムーズな動き」と誤認され、正しくない経路に高スコアを与える「ハッキング」が発生しました。
  • 検証可能報酬の必要性: 検証可能な報酬（軌跡ベース）のみが、安定した学習と真の能力向上をもたらしました。
  • Cold Start: RL 単独では学習が不安定であり、事前の SFT による「冷たいスタート（基礎的なタスク理解）」が不可欠であることが示されました。

5. 意義と結論

本論文は、動画生成モデルにおける「推論」能力の強化において、報酬設計の質が鍵であることを実証しました。

• 視覚的ハッキングの回避: 生成モデルが視覚的に魅力的だが論理的に誤った出力を生成するリスクを、客観的・検証可能なメトリクスによって排除しました。
• 構造化された推論の獲得: RL による探索と検証可能な報酬の組み合わせにより、モデルは単なるパターンの記憶ではなく、空間的・時間的な制約を満たす「汎用的な推論戦略」を学習できるようになりました。
• 実世界への応用可能性: 構造化されたゲーム環境だけでなく、実世界のロボットナビゲーションタスクにおいても有効であることが示され、動画生成モデルを物理的推論や計画タスクに応用する道を開きました。

結論として、Wan-R1 は、動画生成モデルが単なる「動画作成ツール」から、「視覚的推論を行うエージェント」へと進化するための重要な基盤技術を提供しています。