Learning to Deny: Action Denial in Multimodal Large Language Models

技術要約：学習による拒絶：マルチモーダル大規模言語モデルにおけるアクション・デニアル（動作の否定）

問題定義
ビデオ理解の急速な進展にもかかわらず、マルチモーダル大規模言語モデル（MLLM）には決定的な盲点が存在する。それは、強力な文脈的手がかりが存在するものの、定義されるべき動き（モーション）が欠如している場合に、その動作を確実に「否定」できないという点である。現在のモデルは、「同意性」あるいは「肯定バイアス」を示しており、特定の時系列的なダイナミクス（動態）が必要であるにもかかわらず、関連する物体、人物、または背景が存在するだけで、その動作が発生していると予測してしまう傾向がある。既存のベンチマーク（Kinetics、UCF101など）は主にポジティブな例で構成されており、モデルに対して因果的な動きを検証させるのではなく、文脈と動作の間の偽の相関関係を強化してしまっている。その結果、モデルは「動作が起こり得るシーン」と「実際に動作が起きているシーン」を区別することに失敗している。

手法
著者らは、新しいベンチマークと因果推論フレームワークを用いた二段構えのアプローチを提案している。

1. UCF101-ActionDenial (UCF101-AD) ベンチマーク:

   • 構築: UCF101のカテゴリから派生した11,283本のビデオで構成され、「アクションの存在（ポジティブ）」と「アクションの否定（ネガティブ）」のペアとなるクリップを特徴とする。
   • ネガティブ設計: ネガティブクリップは、ターゲットとなる動作の典型的な文脈（人物、物体、場所）を保持しつつ、定義される動きを明示的に除外している。これらは以下の2つのタイプに分類される：
     • タイプ1（文脈のみ）: 目立つ物体や環境は存在するが、相互作用が発生していない（例：ピアノの近くに人がいるが、弾いていない）。
     • タイプ2（同一文脈、異なる動作）: 設定と物体は存在するが、アクターが別の妥当な動作を行っている（例：ダンクシュートをせずに、バスケットボールをドリブルしている）。
   • 評価プロトコル: モデルは、ターゲットとなる動作、紛らわしい選択肢（ディストラクター）、および「なし（None）」の選択肢を含む選択式質問（MCQ）形式でテストされる。

2. CausalAct フレームワーク:

   • 因果グラフの定式化: 著者らは、動作認識を、文脈（人物 $P$、物体 $O$、場所 $L$） $\to$ 関係（空間的 $S$、相互作用 $I$） $\to$ 動き（$M$） $\to$ 動作（$A$）という因果鎖の結果としての有向非巡回グラフ（DAG）としてモデル化している。
   • プロンプティング (CausalAct-0): グラフ構造を自然言語のプロンプトとしてインスタンス化し、モデルが動作（$A$）を確認する前に、因果鎖（特に動き $M$ の存在）を検証するように導く。
   • ファインチューニング: プロンプトに従えないケースに対処するため、著者らは補助的なファインチューニング・タスクを導入している。モデルは、グラフ構造から派生したグラフ中心の視覚的質問応答（VQA）タスク（ノードの識別、エッジの関係、および因果パスの探索）を用いて訓練される。極めて重要な点として、これらのタスクはラベル漏洩を防ぐために正解のアクションラベルを露出させず、モデルに因果推論の「構造」を学習させるように強制している。

主な結果

• ベースラインの失敗: 20の最先端MLLM（Ovis、Intern、Qwen、VideoLLaMA、GPT-4o miniを含む）を評価した結果、深刻な性能差が明らかになった。モデルは標準的な「アクションの存在」クリップでは高い精度（85-95%以上）を達成する一方で、「アクションの否定」クリップにおける性能は崩壊し、ほとんどのモデルが50%を下回った（多くは20-35%の範囲）。これは、モデルが動作の検証ではなく、文脈的なショートカットに強く依存していることを示している。
• 人間 vs モデル: 人間の評価者は否定タスクにおいて86.6%の精度を達成しており、このデータセットが解決可能であること、および失敗が現在のモデルアーキテクチャに特有のものであることを裏付けている。
• バイアスの相関: 本研究では、「ショートカット学習（否定に失敗すること）」と「サイコファンシー（追従性／前提に同意すること）」の間に正の相関があることが判明した。MCQにおいて誤ってディストラクタを選択したモデルは、動作の存在に関する二値質問に対しても、誤って「はい」と回答する傾向が強い。
• 推論モデル: 逆説的だが、「思考型」モデル（明示的な推論ステップを持つもの）は、このタスクにおいては標準的なモデルよりも性能が悪くなることが多い。これは、彼らの推論チェーンが視覚的な文脈を過度に重視し、不在を正当化するのではなく、動作を幻覚（ハルシネーション）として生成してしまうためである。
• CausalAct の有効性:
  • ゼロショット: 強力な言語バックボーン（Ovis2.5-9B、Qwen2.5-VL-7Bなど）は、CausalActプロンプトによって導かれることで、否定の精度が向上する。ただし、より弱いモデルでは性能が低下する場合がある。
  • ファインチューニング: グラフベースのVQAタスクで小型モデルをファインチューニングすることで、アクション否定の精度が大幅に向上し、挙動が文脈的ショートカットから因果鎖の検証へとシフトする。
  • 汎化性能: CausalAct-0のアプローチは、外部データセット（K400、HMDB51、SSv2、Diving48）にも転移し、多様な分布において否定の精度を向上させる。
  • アブレーション: ファインチューニング後に因果グラフ構造を削減またはランダム化した場合、性能が低下することが確認された。これは、モデルが単に任意のテキストパターンに従うのではなく、特定の因果依存関係を利用するように学習していることを裏付けている。さらに、ファインチューニング中にビジョンエンコーダを更新することが不可欠であり、凍結すると大幅な性能低下を招く。

意義と主張
本論文は、MLLMにおける「アクション・デニアル（動作の否定）」に関する初の体系的な評価を提供し、モデルが文脈を動作の発生と同一視してしまうという根本的な限界を露呈させている。著者らは、堅牢なビデオ理解には、単に動作の存在だけでなく、動作の「不在」について因果的に推論する能力が必要であると主張している。

本研究の意義は以下の点にある：

1. 診断: 現在のMLLMが定義される動きを検証するメカニズムを欠いていることを特定し、監視や自律システムなどの重要なアプリケーションにおける誤検知（偽陽性）のリスクを明らかにしている。
2. ベンチマーク: 標準的な動作認識を超えて、因果推論を診断・改善するための不可欠なツールとして、UCF101-ADを導入している。
3. 方法論的洞察: 「否定」は学習可能な推論スキルであることを示している。シーン理解を因果グラフを通じて構造化し、前提条件（相互作用と動き）を検証するようにモデルを訓練することで、トレーニング中にネガティブなアクションラベルに頼ることなく、肯定バイアスを軽減し、偽陽性を減らすことが可能となる。

著者らは、CausalActは性能を向上させるものの問題を完全に解決するものではないこと、また現在の「思考型」モデルも依然として負の制約に苦戦していることを指摘し、控えめな立場を維持している。本研究は、マルチモーダルシステムにおける因果推論を進展させるための基礎となるものである。