Map the Flow: Revealing Hidden Pathways of Information in VideoLLMs

本論文は、機械的解釈性技術を用いて VideoLLM の内部情報フローを分析し、時空推論における層ごとの特徴的な情報伝達パターンを解明するとともに、不要な注意エッジを抑制することで性能を維持するメカニズムを明らかにしたものである。

要約

🎥 ビデオ AI の「脳内回路」を解明：『MAP THE FLOW』の解説

この論文は、**「ビデオ大規模言語モデル（VideoLLM）」という、動画を見て質問に答える AI が、「いったい頭の中で何を考えて、どうやって答えを出しているのか？」**という謎を解き明かす研究です。

これまでの研究は「もっと多くのデータで学習させよう」「動画の切り取り方を工夫しよう」といった外側の設計に焦点が当たっていましたが、この研究は AI の**「内側の思考プロセス（脳内の情報の流れ）」**を詳しく調べました。

まるで、AI の頭の中を「地図（Map）」のように描き出し、情報の「通り道（Flow）」を可視化したような研究です。

---

🏭 3 つのステップで動く「思考の工場」

AI が動画を見て「猫はいつ現れた？」という質問に答えるとき、その頭の中では以下のような3 つの段階で情報が処理されていることがわかりました。

1. 最初の工場：フレーム同士の「会話」

（動画のフレーム同士が話し合う）

• 何が起こっている？: 動画は 1 枚 1 枚の静止画（フレーム）の集まりです。AI はまず、**「最初の〜中盤の層（脳の浅い部分）」**で、これらのフレーム同士をつなぎ合わせます。
• アナロジー: Imagine 100 人の写真屋さんが並んでいます。彼らは最初は「この人は立っている」「次は座っている」とバラバラに言っています。しかし、**「前の写真と今の写真を比べて、動きを繋げよう！」**と、お互いに会話（クロスクロス・フレーム・インタラクション）を始めます。
• 重要性: この「会話」がなければ、AI は動画の「時間的な流れ」を理解できません。この段階で情報がバラバラだと、後でどんなに頑張っても正解は出ません。

2. 中継ステーション：キーワードとの「合流」

（動画の情報と言語が握手する）

• 何が起こっている？: 次に、「中盤の層」で、動画から得た「動きの情報」が、質問文にある「時間的なキーワード」（例：「始まりに」「終わりに」「最初に」）と出会います。
• アナロジー: 動画の情報は「工場」から運ばれてきますが、質問文の「始まり」という言葉は「特定の荷受け係」です。
  • AI は、「始まり」という言葉が指す瞬間の動画部分だけをピンポイントで選び出し、そこに情報を渡します。
  • もし動画のフレーム同士の会話（ステップ 1）がうまくいっていなければ、この「荷受け係」は間違った場所（例えば、動画の最後の方）を見てしまうことになります。
• 発見: 面白いことに、AI は質問文の「正解の選択肢」にある言葉（例：「A. 始めに」）に、動画の情報を集中して送ります。他の無関係な言葉にはほとんど情報を送らないのです。

3. 最終決断：答えの「出力」

（最後の層で答えを確定する）

• 何が起こっている？: **「後半の層」**で、すべての情報が集約され、最終的な答えが出力されます。
• アナロジー: 情報の流れが「正解の選択肢」に届くと、AI の脳内では「よし、これで確信が持てた！」という信号が急激に高まります。
• 発見: 答えを出す準備ができるのは、実は**「動画と言語の融合が完了した直後」**です。それ以降の層は、すでに決まった答えを「出力する」ことしかしていません。

---

🧠 驚きの発見：AI は「無駄な情報」を捨てている

この研究で最も面白い発見は、**「AI は必要な情報だけを使っており、残りは無視している」**ということです。

• 実験: 研究者たちは、AI の「注意（アテンション）」の経路を意図的に切断する実験を行いました。
• 結果: なんと、「正解に必要な情報経路」だけを残して、他の 50% 以上（場合によっては 60% 近く）の経路をシャットアウトしても、AI の性能はほとんど落ちませんでした。
• メタファー: これは、**「迷路を解くとき、正解の道だけを残して、他のすべての壁を壊しても、ゴールには同じようにたどり着ける」**ようなものです。
  • AI は、膨大な情報の中から「本当に重要なルート」だけを自動的に選んで使っているのです。
  • 逆に、この重要なルートを壊すと、AI は完全にパニックになって間違った答えを言ったり、静止画のイメージだけで適当に答えてしまったりします。

---

💡 この研究がもたらす未来

この「脳内マップ」が明らかになったことで、以下のような未来が期待できます。

1. もっと賢く、軽い AI: 無駄な情報経路を最初から作らないように設計すれば、AI はもっと速く、省電力で動くようになります（「早期退出」戦略）。
2. 失敗の原因がわかる: AI が間違ったとき、「動画の動きを繋ぐ段階で失敗したのか」「キーワードと合流する段階で失敗したのか」を特定できるようになります。
3. 透明性の向上: 「なぜ AI はその答えを出したのか」を、単なるブラックボックスではなく、具体的な「情報の通り道」として説明できるようになります。

🎯 まとめ

この論文は、**「VideoLLM という AI は、動画のフレーム同士を会話させ、質問のキーワードと握手し、最後に正解の選択肢に情報を集約する」**という、非常にシンプルで効率的な仕組みを持っていることを発見しました。

まるで、**「情報の流れを地図に描き出し、不要な道はすべて消去して、正解への最短ルートだけを残す」**ような、AI の思考の核心を突いた素晴らしい研究です。

技術概要

論文「MAP THE FLOW: REVEALING HIDDEN PATHWAYS OF INFORMATION IN VIDEOLLMS」の技術的サマリー

本論文は、ICLR 2026 にて発表された研究であり、ビデオ大規模言語モデル（VideoLLM）の内部メカニズム、特に時空情報（spatiotemporal information）の抽出と伝播の仕組みを、機械的解釈可能性（mechanistic interpretability）の手法を用いて解明することを目的としています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題設定 (Problem)

近年、VideoLLM は動画質問応答（VideoQA）タスクにおいて顕著な成果を上げていますが、モデルが**「どこで」「どのように」**動画とテキストの情報を抽出し、伝播させて最終的な回答を生成しているのか、その内部メカニズムは十分に解明されていません。
既存の研究は、データセットの拡張やキーフレームの選択、トークンの圧縮といった「外部設計」に焦点を当てており、モデル内部の層（layer）間での情報の流れや、時空推論（temporal reasoning）がどのように行われているかについての理解は浅いままです。特に、画像ベースのマルチモーダルモデルで見られた構造が、動画タスクでも同様に機能しているのか、あるいは新たな能力が獲得されているのかは不明瞭でした。

2. 手法 (Methodology)

著者らは、VideoLLM の内部計算をリバースエンジニアリングするために、以下の機械的解釈可能性の手法を採用しました。

• Attention Knockout (注意機構の無効化):
  推論中に特定のトークン間のアテンション接続を意図的に遮断（$-\infty$ に設定）し、最終回答の確率変化を測定することで、情報の伝達経路の因果的寄与を定量化します。これにより、どの経路が重要であるかを特定します。
• Logit Lens:
  各層の隠れ状態を言語モデルのヘッドに投影し、その層で「空間的概念」や「時間的概念」がどのように出現・発展しているかを追跡します。
• 実験設定:
  • モデル: LLaVA-NeXT-7B-Video-FT を中心に、LLaVA-NeXT-13B、Mini-InternVL-4B、VideoLLaMA3-7B 等多様なモデルで検証。
  • データ: TVBench（時空推論に特化した多肢選択 VideoQA ベンチマーク）の 5 つのタスク（Action Antonym, Action Sequence, Scene Transition, Moving Direction, Object Count）を使用。
  • 対象: 正解したサンプルに限定して分析を行い、モデルが正しい推論を行っている場合のメカニズムを抽出。

3. 主要な発見と貢献 (Key Contributions & Findings)

本研究は、VideoLLM における時空推論のフローを 4 つの段階に分解し、以下の一貫したパターンを発見しました。

(1) 初期〜中期層における動画トークン間の能動的なクロスフレーム相互作用

• 発見: 時空推論は、動画トークン間での「クロスフレーム（異なるフレーム間）のアテンション」が初期〜中期層で活発に行われることで始まります。
• 証拠: 画像のみで学習されたモデル（ImageLLM）と比較し、VideoQA でファインチューニングされたモデルでは、初期〜中期層のクロスフレームアテンションを遮断すると、回答確率が劇的に低下します。これは、VideoLLM が動画 instruction tuning によって、フレーム間の依存関係を構築する能力を獲得していることを示しています。

(2) 中期層における時間的キーワードへの動画・言語統合

• 発見: 動画トークンから抽出された時空情報は、質問文内の「時間的キーワード（例：'begins', 'ends', 'first' など）」と整合性を取る形で選択的に統合されます。
• メカニズム:
  • 概念の出現: Logit Lens 分析により、空間的概念は初期層で出現する一方、時間的概念は中期層以降で出現することが確認されました。
  • 統合の経路: 動画情報は、質問文のオプショントークン（正解の選択肢）や時間的キーワードを含むトークンへ伝播します。この統合は、動画トークンが時間的意味を持つテキストトークンとアライメントすることで達成されます。

(3) 中期〜後期層における回答生成

• 発見: 動画と言語の統合が完了した後（中期層以降）、最終トークン（回答生成位置）における正解の確率が急激に上昇します。
• 意味: 最終的な意思決定は、前期の統合プロセスが成功した直後に確定され、後期層では主に言語的な補完が行われることが示唆されます。

(4) 効率的な情報経路の特定と剪定可能性

• 発見: VideoLLM は、回答生成に必要な「有効な情報経路」のみを選択的に利用し、大量のアテンションエッジ（LLaVA-NeXT-7B-Video-FT の場合、約 58%）を抑制して動作しています。
• 検証: 特定された有効な経路のみを維持し、それ以外を無効化しても、VideoQA ベンチマーク（TVBench, TOMATO）での性能はベースラインと同等に維持されました。逆に、ランダムに経路を遮断すると性能は大幅に低下します。

4. 結果 (Results)

• 性能維持: 有効な経路のみ（元の約 40-58%）を残したモデルは、TVBench および TOMATO において、フルアテンションモデルと同等の精度を維持しました（例：LLaVA-NeXT-7B-Video-FT で 51.5% → 51.2%）。
• 失敗事例の分析: 誤答が発生するケースでは、初期のクロスフレーム相互作用の失敗（誤った信号）や、時間的コンテキスト欠如による静的なバイアス（フレーム単位の情報への依存）が原因であることが判明しました。統合経路そのものの崩壊ではなく、初期の表現構築段階でのエラーが主因です。
• 一般化: 異なるアーキテクチャ（LLaVA, InternVL, VideoLLaMA）や、長編動画タスク（LongVideoBench）、オープンエンドな QA タスクにおいても、同様の情報フローパターンが観測されました。

5. 意義 (Significance)

• 理論的貢献: VideoLLM が時空推論を行う際の「青写真（blueprint）」を初めて提示しました。時空情報の処理が、空間情報の処理とは異なる層構造と経路（クロスフレーム相互作用→時間的キーワード統合→回答生成）を通じて行われることを実証しました。
• 実用的インサイト:
  • モデルの解釈性向上: どの層や経路が推論に寄与しているかを可視化することで、モデルの挙動をより深く理解できます。
  • 効率化と一般化: 不要なアテンション経路を剪定できることが示されたため、推論コストを削減しつつ精度を維持する「早期退出（early-exit）」戦略や、経路正則化によるトレーニング手法の開発が可能になります。
  • 将来の研究指針: 時間的概念を早期層で形成させるためのトレーニング目標や、静的なバイアスを減らすアーキテクチャ設計への示唆を与えます。

総じて、本論文は VideoLLM の「ブラックボックス」を解き明かし、時空推論のメカニズムを構造的に理解するための重要な基盤を提供しています。