Attention Gathers, MLPs Compose: A Causal Analysis of an Action-Outcome Circuit in VideoViT

この論文は、VideoViT における「成功対失敗」の判断を担う因果回路をメカニズム的解釈手法で解明し、アテンションヘッドが証拠を集約し MLP ブロックが概念を構成するという分散型かつ冗長な回路構造が、単純な分類タスクを超えた隠れた知識の形成と AI の信頼性向上に不可欠であることを示しています。

要約

この論文は、**「AI が本当に何を考えているのか（中身）」**を解明しようとする、非常に面白い研究です。

タイトルを日本語に訳すと**「注意（アテンション）が集め、MLP が組み立てる：ビデオ ViT における『結果』の回路の因果分析」**となります。

これを、難しい専門用語を使わず、日常の例え話で解説しましょう。

---

🎳 物語の舞台：ボウリングの AI

まず、この研究で使われている AI は、**「ボウリングの動画を見て、それが何のスポーツか（ボウリング）を当てる」**ように訓練されたものです。

実験では、2 種類のボウリング動画を見せました。

1. ストライク（成功）： ボールがピンを全部倒した「大成功」の動画。
2. ガーター（失敗）： ボールが溝に落ちた「大失敗」の動画。

AI は、どちらの動画を見ても正解は**「ボウリング」**です。つまり、外見上の答え（ラベル）は同じです。

しかし、ここがポイント！
AI の内部では、「成功」と「失敗」は、全く違う仕組みで処理されていることがこの論文で発見されました。

---

🔍 発見された「隠された思考回路」

研究者たちは、AI の頭の中（ニューラルネットワーク）を分解して観察しました。すると、以下のような驚くべき仕組みが見つかりました。

1. 「証拠集め係」と「アイデア組み立て係」の役割分担

AI の内部には、大きく分けて 2 つの種類の部品（層）が働いています。これを工場のラインに例えてみましょう。

• Attention（アテンション）＝「証拠集め係」の探偵たち

  • 役割： 動画のどこを見ればいいかを探します。「ボールが動いている場所」「ピンがある場所」など、必要な情報（証拠）を拾い集めるのが仕事です。
  • 特徴： 彼らは「成功か失敗か」を判断するのではなく、**「必要な材料を集める」**ことに専念しています。

• MLP（多層パーセプトロン）＝「アイデア組み立て係」の職人たち

  • 役割： 探偵が集めてきた証拠を元に、「これは成功だ！」「これは失敗だ！」という結論（概念）を組み立てるのが仕事です。
  • 特徴： ここが最も重要な部分です。集めた情報を加工し、「結果」を明確に定義するのは、この職人たちのチームです。

2. 「増幅の階段」

この研究では、AI の層（階層）を 0 から 12 まで見てみました。

• 最初の数層（0〜4 層）： 単なる「証拠集め」の段階です。
• 中盤から後半（5〜11 層）： ここで**「成功か失敗か」という信号が急激に増幅**されます。まるで、小さな声（証拠）が、職人たちのチームによって、大きな声（明確な結論）に増幅されていくようなイメージです。

---

🧪 実験：AI の「脳」をいじってみる

研究者たちは、AI の内部をいじくる実験を行いました。

• 実験 A：重要な部分（ボールやピン）を消す

  • 「ボールがピンに当たる瞬間」の情報を AI から無理やり消しました。
  • 結果： 驚いたことに、AI は**「ボウリング」という答えを間違えませんでした。**
  • 意味： AI は、特定の「目に見える部分」に頼って答えを出しているのではなく、「成功か失敗か」という概念そのものを、内部の別の場所でしっかり理解していたことが分かりました。

• 実験 B：情報の入れ替え（パッチング）

  • 「成功」の動画から「成功の結論」だけを抜き取り、「失敗」の動画の脳に移植しました。
  • 結果： 「失敗」の動画なのに、AI は**「成功」の信号**を出し始めました。
  • 意味： これは、「MLP（職人たち）」こそが、結果を決定づける主役であることを証明しました。

---

💡 この研究が教えてくれること（なぜ重要なのか？）

この論文の最大のメッセージは以下の通りです。

1. AI は「嘘」をついているかもしれない（隠れた知識）

   • AI が「ボウリングです」と言っている表面上の答えは正しくても、その内部では**「成功か失敗か」を非常に詳しく理解しています。**
   • 私たちは「正解を出しているから大丈夫」と思いがちですが、AI は**「私たちが知らない深い理解」を持っている可能性があります。これを「隠れた認知（Hidden Cognition）」**と呼びます。

2. 単純な対策は効かない

   • もし AI が何か悪いことをしようとした場合、単に「悪い部分」を 1 つ消しただけでは、AI は**「他の部品で同じことをやり遂げてしまう」**可能性があります（今回の実験のように、情報が分散して冗長に備わっているため）。
   • AI を安全にするには、表面の答えだけでなく、**「内部の回路がどう動いているか」**まで深く理解する必要があります。

🎒 まとめ

この論文は、**「AI は、私たちが思っている以上に、動画の『結果』を深く理解している」**と示しました。

まるで、「探偵（Attention）」が現場の証拠を集め、それを「名探偵チーム（MLP）」が分析して「犯人（成功か失敗）」を特定する**ような、高度な分業体制が AI の頭の中で働いているのです。

私たちが AI を社会に安全に導入するためには、この「隠れた思考プロセス」を解明し、監視する技術（機械的解釈可能性）が不可欠だ、という重要な警鐘を鳴らしています。

技術概要

論文「Attention Gathers, MLPs Compose: A Causal Analysis of an Action-Outcome Circuit in VideoViT」の技術的サマリー

本論文は、ビデオ分類タスクで訓練された Video Vision Transformer（VideoViT）モデルの内部機構を解明し、最終的な出力ラベルには現れない「隠れた意味情報（Success vs Failure）」がどのように表現・計算されているかを因果的に分析したものです。信頼性の高い AI（Trustworthy AI）の構築に向けたメカニズム解釈性（Mechanistic Interpretability）の重要な一歩を示しています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題設定

• 背景: 動画分類モデル（ViViT など）は高い精度を達成していますが、その推論プロセスは「ブラックボックス」であり、なぜ特定の出力に至ったのかを人間が理解することは困難です。
• 課題: モデルが最終的な分類ラベル（例：「ボーリング」）を正しく出力していても、その内部では「成功（ストライク）」と「失敗（ガター）」といった微妙な意味的違いをどのように捉え、処理しているかは不明瞭です。
• 目的: 単なる分類タスクを超えて、モデルが「隠れた知識（Hidden Knowledge）」や「隠れた認知（Hidden Cognition）」を保持している可能性を検証し、その内部回路を解明すること。

2. 手法

本研究では、Kinetcs-400 データセットで事前学習された 12 層の VideoViT（google/vivit-b-16x2-kinetics400）を対象とし、以下の実験的アプローチを組み合わせました。

• 対照ペアの作成: 「ストライク（ピンを倒す）」と「ガター（溝に落ちる）」という、同じ「ボーリング」クラスに属するが結果が異なる 2 つの動画ペアを使用。
• 観察的解析（Observational Analysis）:
  • Direct Logit Attribution (DLA): どの層が最終的なロジットに寄与しているかを分析。
  • アテンション可視化: [CLS] トークンのアテンションが動画のどの部分（ボール、ピン、溝など）に焦点を当てているかを可視化。
  • 線形プローブ: 各層の [CLS] トークンの活性化値から、ストライクとガターを線形に区別できるかを確認（ただし、これは表面的な特徴に反応する可能性があった）。
• 信号特定（Delta Analysis）:
  • 両動画の活性化値の差（$\Delta = act_{strike} - act_{gutter}$）を計算し、各層での L2 ノルムを測定。これにより、ノイズを除去し、「成功/失敗」シグナルがどの層で増幅されているかを特定。
• 因果的介入（Causal Interventions）:
  • コンポーネントアブレーション: 重要なトークンをゼロ化し、分類精度への影響を測定。
  • アクティベーションパッチング: 「ストライク」動画の特定のコンポーネント（Attention ヘッドまたは MLP ブロック）の活性化値を「ガター」動画にコピーし、シグナルがどの程度回復するかを定量化。これにより、各コンポーネントの因果的役割を特定。

3. 主要な貢献

1. 隠れた意味的表現の発見: 最終的な分類ラベルが一致していても、モデル内部では「ストライク」と「ガター」の対照的な結果が明確に区別・表現されていることを実証。
2. シグナル増幅カスケードの特定: 低層（Layer 0）では微細な違いが見られるが、抽象的な意味表現（Success vs Failure）は Layer 5 から Layer 11 にかけて段階的に増幅されることを発見。
3. 機能の分業（Division of Labor）の解明:
   • Attention ヘッド: 「証拠収集（Evidence Gatherers）」として機能し、低レベルの空間的・時間的情報を収集して残差ストリームに転送する。
   • MLP ブロック: 「概念の構成（Concept Composers）」として機能し、収集された情報から「成功」というシグナルを生成する主要な駆動力となる。
4. 分散型回路の存在証明: シグナルは単一のブロックに依存せず、複数の MLP ブロックによる冗長な増幅カスケードとして分散して処理されていることを示し、これがモデルのロバスト性（単純なアブレーションへの耐性）の理由であることを因果的に説明。

4. 結果

• アブレーション実験: 分類に最も寄与すると考えられるトップ 10% のトークンを削除しても、モデルの分類精度（「ボーリング」というラベル）はほとんど変化しませんでした。これは、分類タスク自体は分散されており、特定の「行動ホットスポット」に依存していないことを示唆します。
• パッチング実験（核心）:
  • Attention ブロックをパッチングすると、シグナルの 37-54% が回復しました（証拠収集の役割）。
  • MLP ブロックをパッチングすると、より高い割合（42-60%）のシグナルが回復しました。特に Layer 4〜9 の MLP が「成功」シグナルの生成において主要な役割を果たしていることが確認されました。
  • 単一のコンポーネントでは 100% の回復が達成されなかったことは、この回路が分散型であることを裏付けました。
• 可視化: Layer 10 の特定の Attention ヘッドは、ストライク動画ではボールの軌道とピンへの衝突を追跡し、ガター動画では溝と触れないピンに焦点を当てるなど、高レベルの「結果検知器」として機能していることが確認されました。

5. 意義と結論

• 隠れた認知の存在: 単純な分類タスクで訓練されたモデルであっても、複雑な結果（成功/失敗）を表現するための高度で隠れた回路を内部に構築している可能性があります。これは、モデルの出力を監視するだけでは見逃される「隠れた知識」の存在を示しています。
• AI 安全性への示唆:
  • 単純なアブレーション（特定の有害なコンポーネントの除去など）では、分散型で冗長な回路を持つモデルの振る舞いを変えることは困難です。
  • 信頼性の高い AI システムを構築・展開するためには、モデルの出力だけでなく、内部のメカニズムに対する「メカニズム的監視（Mechanistic Oversight）」が不可欠であることを強調しています。
• 将来展望: この「Attention が収集し、MLP が構成する」という仮説を、より大規模なデータセットや異なるアーキテクチャ（TimeSformer など）で検証し、動画解釈における普遍的なメカニズムかどうかを明らかにすることが今後の課題です。

本論文は、動画モデルの内部機構を解明するための因果的アプローチの有効性を示し、信頼性の高い AI 開発に向けた重要な知見を提供しています。