Which Way Did It Move? Diagnosing and Overcoming Directional Motion Blindness in Video-LLMs

技術的サマリー：Video-LLM における方向性運動の盲目性の診断と克服

問題：方向性運動の盲目性
時間的ビデオ理解の急速な進展にもかかわらず、Video Large Language Models（Video-LLM）は、符号付き画像平面内の運動方向を知覚する上で根本的な失敗を示しています。単一の物体が厳密に左、右、上、または下に移動する単純な合成ビデオにおいて、ほとんどの Video-LLM は、物体の外観（例：色）を正しく識別できる場合でも、ほぼランダムな確率（25%）でしか性能を発揮しません。著者はこの現象を方向性運動の盲目性と名付けました。

メカニズム的分析を通じて、著者はその根本原因を視覚知覚の欠如ではなく、方向結合のギャップであると診断しました。彼らは、運動方向に関する情報が、ビジョンエンコーダからプロジェクタを経て LLM の隠れ状態に至るまで、Video-LLM パイプライン全体を通じて線形的にアクセス可能であることを実証しました。しかし、最終的な読み出しトークンが、この内部信号を正しい言語的な回答オプション（例、知覚された「左向き」の信号をテキストオプション「Left」にマッピングする）に確実に結合することに失敗しています。このギャップは多様なアーキテクチャやスケールにわたって持続しており、これらのモデルが知覚信号を言語レベルの応答に変換する方法における構造的な限界を示しています。

手法
本論文は、このギャップに対処するための制御された診断フレームワークと、トレーニングのみのソリューションを導入しています。

1. MODIRECT データセットファミリー:
   運動方向の理解を分離し評価するために、著者は 3 つの部分集合からなるデータセットファミリーMODIRECTを導入しました。

   • MODIRECT-INST: 最も単純な合成ドメイン（Primitive-on-Syn）から派生した指示調整用データセットであり、方向に関連するクエリに対するモデルのトレーニングに使用されます。
   • MODIRECT-SYNBENCH: 制御された合成ベンチマークであり、$2 \times 2$の因子設計（前景：Primitive vs Cutout; 背景：Synthetic vs Real）を備えています。これにより、ドメイン内性能とドメイン外（OOD）一般化の厳密な評価が可能になります。
   • MODIRECT-REALBENCH: 既存のデータセット（Something-Something-V2, KTH, TOMATO）からキュレーションされた実世界ベンチマークであり、トレーニング中に実世界の方向監督を受けずに、自然なビデオへの転移性をテストします。

2. 診断分析:
   著者は、運動方向信号を追跡するために線形プロービングと概念ベクトル分析（平均差）を採用しました。

   • 知見: ソースドメイン（Primitive-on-Syn）での指示調整は、その特定のドメインにおける結合ギャップを成功裡に埋めますが、複雑な OOD ドメイン（例：Cutout-on-Real）では性能が著しく低下します。
   • OOD 失敗の根本原因: 運動方向の概念ベクトルの分析により、チューニング後にドメイン間で方向の向き（表現空間内の方向）が整合する一方で、信号の大きさが複雑な視覚環境では急激に低下することが明らかになりました。モデルは正しい方向構造を学習しますが、信号が言語ヘッドによって確実に読み出されるには弱すぎるようになります。

3. DeltaDirect:
   大きさの不足に対処するため、著者はプロジェクタレベルで適用されるトレーニングのみの補助的目的であるDeltaDirectを提案しました。

   • メカニズム: DeltaDirect は、特徴が LLM に入る前に、隣接フレームの特徴の差分（$\delta_t = F_{t+1} - F_t$）から正規化された 2 次元運動ベクトルを予測します。
   • 監督: 合成データから解析的に利用可能な運動ベクトルを監督ターゲットとして使用します。この損失関数は、プロジェクタの出力がより強力な符号付き変位信号を担うように促します。
   • 推論: 補助ブランチはトレーニング後に破棄されるため、モデルのアーキテクチャ、入力形式、デコーディング手順は変更されません。

主な貢献

1. 方向性運動の盲目性の特定: 本論文は、Video-LLM が強力な外観認識を有しているにもかかわらず、基本的な符号付き運動方向を区別できないことを確立し、これを知覚の失敗ではなく方向結合のギャップとして診断しました。
2. 一般化失敗の診断: 概念ベクトル分析を通じて、著者は指示調整がドメイン間で方向の向きを整合させるものの、複雑な視覚条件下では信号の大きさを維持できず、OOD 一般化ギャップを引き起こすことを示しました。
3. MODIRECT と DeltaDirect: 運動方向のための制御されたデータセットファミリーの導入と、推論を変更することなく運動信号を強化する診断駆動型のプロジェクタレベル目的（DeltaDirect）の導入。

結果

• 合成性能: MODIRECT-SYNBENCH において、指示調整のみで精度は約 26% から約 79% に向上しました。DeltaDirect を追加することで平均は**85.4%**までさらに向上し、最も困難なドメイン（Cutout-on-Real）では 11.2 ポイントの大幅な gain が得られました。
• 実世界への転移: トレーニング中に実世界のビデオを一度も見ていないにもかかわらず、DeltaDirect は MODIRECT-REALBENCH における実世界の運動方向の精度を、バニラベースラインに対して21.9 ポイント向上させました（43.1% から 65.0%）。
• 一般的なビデオ理解: 重要なのは、DeltaDirect が標準的な一般ビデオ理解ベンチマーク（例：MVBench, NExT-QA）における性能を維持または向上させることであり、運動監督がより広範なビデオ能力とトレードオフしないことを示しています。
• スケーラビリティ: このアプローチは、異なるバックボーン（LLaVA-Video, LLaVA-OneVision, Qwen3-VL）およびトレーニング手法（LoRA およびフルファインチューニング）において効果的です。

意義と主張
本論文は、Video-LLM における運動方向の失敗が、視覚データの欠如やモデル容量の不足によるものではなく、内部の知覚信号を言語出力に結合する特定の失敗によるものであると主張しています。この失敗を複雑なドメインにおける「大きさの不足」に局所化させることで、著者は診断駆動型の監督が知覚と言語のギャップを埋めるための viable な道であると論じています。DeltaDirect は、視覚 - 言語インターフェースで運動ベクトルを明示的に監督することが、一般的なビデオ能力を維持しつつ運動理解を大幅に改善し得ることを実証しており、今後の Video-LLM がモデルやデータセットの単純なスケーリングを超えて、同様のターゲット化された介入から恩恵を受け得ることを示唆しています。この研究は、実世界の評価ではしばしば絡み合っている特定の知覚プリミティブを診断するための制御された合成ベンチマークの重要性を浮き彫りにしています。