💻 computer science

Learning Spatiotemporal Sensitivity in Video LLMs via Counterfactual Reinforcement Learning

本論文は、対照的ビデオ変換と関係に基づく報酬を活用して、Video LLM が静的なショートカットへの依存を避けつつ真の空間時間的感度を獲得するように訓練する、二重ブランチ型強化学習フレームワークである対照的関係方策最適化（CRPO）を導入する。

原著者： Dazhao Du, Jian Liu, Jialong Qin, Tao Han, Bohai Gu, Fangqi Zhu, Yujia Zhang, Eric Liu, Xi Chen, Song Guo

公開日 2026-05-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dazhao Du, Jian Liu, Jialong Qin, Tao Han, Bohai Gu, Fangqi Zhu, Yujia Zhang, Eric Liu, Xi Chen, Song Guo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢い学生（ビデオ AI）に、映画を見てその内容に関する質問に答える方法を教えると想像してください。現在、この学生はテストで高得点を取ることは得意ですが、それはカンニングによるものです。実際には映画全体を見て動きを追跡するのではなく、近道を取っています。例えば、単に1枚のフレームだけを見て、質問の文言から推測したり、訓練に基づいて「こうあるべきだ」と思うことに頼ったりするのです。

例えば、「ボールは左に動いているか、右に動いているか？」と尋ねられた場合、この学生は「右」と毎回推測するかもしれません。なぜならそれが一般的な答えだから、あるいは別の動画で右に動くボールを見たことがあるからです。彼らは実際にボールの動きを追跡しているわけではありません。

この論文の著者であるCRPOは、標準的な訓練方法が実際にはこのカンニングを悪化させていることに気づきました。学生が正解を推測しただけで（たとえカンニングしていたとしても）「よくやった」という報酬を与えられれば、彼らはカンニングを続けるでしょう。

解決策：「もしも？」ゲーム

これを修正するために、研究者たちは反事実（「もしも？」を意味する洗練された言葉）に基づいた新しい訓練ゲームを導入しました。

ゲームの仕組みは以下の通りです：

設定：学生に動画を見せ、質問をします。
ひねり：学生が答える前に、教師が動画を特定の方法で密かに変更します。
- 鏡のトリック：動画を水平方向に反転させます（鏡を見るように）。ボールが左に動いていた場合、今は右に動いているように見えます。
- 巻き戻しのトリック：動画を逆再生します。花が咲いていた場合、今は閉じているように見えます。
テスト：学生は、変更された動画に対して同じ質問に答えなければなりません。

ゲームの黄金律：

質問が動きに関するもの（例：「ボールはどちらに向かっているか？」）の場合、動画が反転または逆再生されたときに、学生は必ず答えを変えなければなりません。元の動画で「右」と答え、鏡像でも「右」と答えた場合は不合格です。鏡像では「左」と答える必要があります。
質問が静的な事実に関するもの（例：「ボールの色は何色か？」）の場合、学生は必ず同じ答えを維持しなければなりません。元の動画でボールが赤なら、鏡像でもまだ赤です。

「ダブルブランチ」コーチ

研究者たちは、学生がこのゲームを2つの画面で同時にプレイする様子を見る特別なコーチ（CRPO）を構築しました。

画面 A：元の動画。
画面 B：「もしも？」動画（反転または逆再生されたもの）。

コーチは単に答えが正しいか間違っているかだけをチェックするわけではありません。2つの答えの関係性をチェックします。

学生は、変えるべきときに答えを変えましたか？（よくやった！）
学生は、同じにすべきときに答えを同じに保ちましたか？（よくやった！）

学生が両方の画面に同じ答えを与えることで近道（カンニング）を試みれば、コーチはペナルティを与えます。これにより、学生は実際に動画を見て、物事が時間とともにどのように動き、変化するかを理解することを強いられます。

新しいテスト：DyBench

学生がもはやカンニングしていないことを証明するために、研究者たちはDyBenchと呼ばれる新しいテストを作成しました。

単一の質問を尋ねるのではなく、元の動画用と「もしも？」動画用の一対の質問を尋ねます。
テストに合格するには、学生は両方の答えを正しく得なければなりません。
これは厳格なルールです。学生がすべてに「青」と推測するだけであれば、運良く1つは正解するかもしれませんが、動画が変化したときに両方を正しく得られないため、ペアとして不合格になります。

結果

この新しい方法を強力な AI モデル（Qwen3-VL）でテストしたところ：

AI は動き、方向、出来事の順序を理解する能力が大幅に向上しました。
怠惰な近道に頼ることをやめました。
一般的な質問に答える能力を失うことなく、動画を見る方法についてより賢くなりました。

要約すると：この論文は、世界がどのように見えるかだけでなく、どのように変化するかを理解していることを証明する「もしも？」ゲームを AI に強制することで、ビデオ AI が推測するのをやめ、実際に見るように教えるものです。

技術サマリー：対照的強化学習による動画 LLM における時空間感度の学習

1. 問題定義

動画大規模言語モデル（Video LLM）は標準ベンチマークで高い性能を達成しているが、最近の研究では、高い精度は真の時空間理解ではなく「ショートカット」に由来する可能性が示されている。モデルは頻繁に、事象が時間とともにどのように展開するかを追跡できず、静的な手がかり（例えば、単一フレームの特徴）や言語の事前知識に依存して質問に回答する。この問題は、強化学習（RL）によるポストトレーニング中に悪化する。GRPO などの標準的な RL 手法は、通常、正解のみを報酬とする。もしモデルが静的なショートカットを用いて質問に正しく回答できる場合、動的な動画コンテンツを処理することを学ぶことなく高い報酬を得る。その結果、正解のみの RL はこれらのショートカット方策を強化し、ベンチマークスコアを向上させる一方で、モデルの動的証拠に対する感度を潜在的に弱める可能性がある。

これを解決しようとする既存の試み、例えば報酬形成のために摂動を加えた動画（例えば、フレームをシャッフルしたものや時間的逆転）を使用する方法は、摂動を加えた動画を元のブランチに対する診断信号としてのみ扱う傾向がある。それらは対照的入力そのものに対して方策を能動的に訓練しないため、一貫した時空間推論を強制する能力が制限されている。

2. 手法：対照的関係方策最適化（CRPO）

著者らは、時空間感度を向上させるために設計された二重ブランチ RL フレームワークである**対照的関係方策最適化（Counterfactual Relational Policy Optimization: CRPO）**を提案する。核心的な洞察は、モデルは制御された対照的な視覚的世界に対して予測可能に応答すべきであるという点である。つまり、質問が固定されたまま視覚的証拠が変化するならば、動的な質問に対する回答は変化するべき（等変性）であり、静的な質問に対する回答は同じであるべき（不変性）である。

2.1 二重ブランチ・アーキテクチャ

CRPO は、標準的な GRPO フレームワークを拡張し、各トレーニングプロンプトに対して 2 つの並列ブランチを維持する：

オリジナルブランチ： オリジナルの動画 $X$ と質問 $Q$ を処理する。
対照的ブランチ： 変換された動画 $X_T$ と同じ質問 $Q$ を処理する。

タスクルーター（テキストのみの推論モデルとして実装）は、仮想的な変換テスト（例えば、「世界を水平に反転させたら、回答は変わるか？」）に基づき、質問を 4 つのタイプ（空間的、時間的、時空間的、静的）のいずれかに分類する。この分類に基づき、特定の変換 $T$ が適用される：

空間的/時間的/時空間的： 水平反転または時間的逆転。
静的： 変換は適用されるが、報酬信号は回答の不変性を促す。

2.2 対照的関係報酬（CRR）

重要な革新は、2 つのブランチをリンクする**対照的関係報酬（Counterfactual Relation Reward: CRR）**である。以前の手法が摂動を元のブランチの報酬形成のみに使用したのに対し、CRPO は両方のブランチからの勾配を用いて方策を更新する。

報酬関数は以下の組み合わせからなる：

正解報酬（ $R_{correct}$ ）： オリジナルブランチに対する標準的な精度報酬。
行動報酬（ $R_{behave}$ ）： 対照的ブランチに適用される。動的タスクでは回答が変化した場合（ $o^T \neq o^*$ ）、静的タスクでは回答が正しく維持された場合（ $o^T = o^*$ ）にモデルを報酬する。
ブランチ間関係項（ $R_{CRR}$ ）：
- オリジナルブランチに対して、 $R_{CRR}$ は、対照的ブランチの回答が期待される挙動（動的な場合は変化し、静的な場合は同じである）を示し、かつ元の回答が正しい場合に方策を報酬する。
- 対照的ブランチに対して、 $R_{CRR}$ は、元のブランチが正しく、かつ対照的回答が期待される挙動を示す場合に方策を報酬する。

これにより、対称的な相互報酬構造が生まれる。最高報酬は、モデルがオリジナル動画に正しく回答しかつ対照的動画で正しい関係的挙動を示した場合にのみ達成される。これにより、動画変換に関わらず同じ回答を与えるようなショートカット方策は、両方のブランチで一貫して報酬を最大化することが困難になる。

2.3 最適化とヌルオプション

CRPO は、アドバンテージのハイブリッド正規化戦略を採用し、両方のブランチ（2G 値）にわたって標準偏差を共同で計算することで、安定したトレーニングを確保する。対照的動画の正解が元の多肢選択オプションに含まれていない場合（例えば、逆転した動画は異なる方向を意味する）を処理するために、「上記のいずれでもない（None of the above）」というヌルオプションが付加される。動的タスクでこのオプションを選択することは、有効な回答変更とみなされ、明示的な対照的正解ラベルを必要とせずに等変性報酬をトリガーする。

3. 主要な貢献

CRPO フレームワーク： 対照的関係報酬を用いて時空間感度を強制する、単純な二重ブランチ RL 拡張。高価な時空間注釈や対照的ラベルを必要とせず、オリジナルおよび対照的ブランチの両方で訓練を行い、ショートカット依存を抑制する。
DyBench： 3,014 本の動画（1,507 対）からなる新しい対照的ペアベンチマーク。3 つのサブタスクを網羅：可逆的ダイナミクス（例：開花対閉花）、移動方向、イベント順序。
厳密な評価指標： **ペア精度（Pair Accuracy: P-Acc）**の導入。オリジナル動画と対照的動画の両方が正しく回答された場合のみ、ペアを正解としてカウントする。この指標は、固定回答ショートカットを使用することでスコアを水増しすることを防ぐ。

4. 実験結果

Qwen3-VL-4B および Qwen3-VL-8B をバックボーンとして実験を行い、CRPO を標準的な GRPO、T-GRPO、ArrowRL と比較した。

時空間感度： CRPO は、時空間感度に敏感なベンチマークにおいてすべてのベースラインを大幅に上回る。Qwen3-VL-8B において、CRPO はベースモデルに対してDyBench P-Acc を +7.7、TimeBlind I-Acc を +8.2向上させた。ペア指標（P-Acc）における改善は、標準的な精度における改善に比べて不釣り合いに大きく、ショートカット依存の真の減少を示している。
一般性能： CRPO は、一般的な動画理解ベンチマーク（VideoMME、MVBench）で競争力のある性能を維持しており、時空間感度の強制が一般能力を低下させないことを示している。
アブレーション研究：
- ブランチ間 CRR 報酬または対照的ブランチ自体を除去すると、P-Acc が大幅に低下し、関係信号と二重ブランチ最適化が不可欠であることを確認した。
- CRPO の改善は、単にデータ量や計算量（ロールアウトの倍増）の増加に起因するものではない。データ/ロールアウトを倍増させたコントロール実験でも、CRPO のペア指標における性能には達しなかった。
トレーニングダイナミクス： CRPO は、ベースラインと比較して正解報酬における初期収束が遅く、早期のショートカット学習を抑制していることを示唆する。しかし、最終的な精度は同程度に収束しつつ、ゼロアドバンテージグループの割合が低いまま維持されており、より豊かな学習信号を示している。

5. 意義と主張

本論文は、CRPO が静的なショートカットでは満たしにくい時空間感度に対する直接的なトレーニング信号を提供すると主張している。事実的動画と対照的動画への回答間の関係を明示的に報酬することで、CRPO はモデルの推論を静的な事前知識ではなく、動画の動的コンテンツに基づいて根付かせる。

著者らは、DyBench とペア精度指標を、真の時空間理解とショートカットに基づく成功を区別するために必要な診断ツールとして位置づけている。結論として、CRPO は動的タスクの性能を向上させるが、一般的な動画理解を犠牲にすることなく達成しており、時間とともに視覚的状態がどのように変化するかに敏感な Video LLM への一歩を提供する。この研究は、単純な幾何学的/時間的変換への制限や、短い動画への焦点といった限界を認めており、より複雑な意味論的対照的事象は将来の研究に委ねられている。