Probing the Latent World: Emergent Discrete Symbols and Physical Structure in Latent Representations

本論文は、V-JEPA 2 の凍結された潜在空間からタスク固有の教師信号なしに離散記号を抽出する「AIM」フレームワークを提案し、その記号分布が把持角度や物体幾何学、運動の時間構造といった物理的次元と有意に相関することを示すことで、JEPA の潜在空間に構造化された記号多様体が内在していることを実証した。

要約

この論文は、**「AI が夢の中で何を見ているのか、その『夢の言語』を解読しようとする」**という挑戦的な研究です。

専門用語を抜きにして、わかりやすく説明しましょう。

1. 問題：AI は「夢」を見ているが、その内容は見えない

最近の高度な動画 AI（V-JEPA 2 という名前です）は、人間が動画を見るように「画素（ピクセル）」をそのまま再生するのではなく、**「潜在空間（Latent Space）」**という、AI 独自の抽象的な世界で動画を理解しています。

• 従来の AI（生成モデル）： 動画の欠けた部分を「絵」で埋めて完成させるので、「あ、これは猫の絵だ」と人間が確認できます。
• この論文の AI（V-JEPA 2）： 欠けた部分を「数字の羅列（ベクトル）」で予測します。これは非常に賢いですが、「その数字の羅列が、具体的に何を意味しているのか」が人間には見えないという問題があります。
  • 例え話： 天才的な料理人が「隠れたレシピ」で料理を作っていますが、そのレシピが書かれたノートは、誰にも読めない「暗号」で書かれているようなものです。

2. 解決策：AI の「夢」を「記号」に変える翻訳機（AIM）

研究者たちは、この「暗号」を解読するために、**「AIM（AI 母語）」**という新しいツールを使いました。

• 従来の解読方法の弱点：
  • 以前は、AI の出力に「別の AI（翻訳機）」をつけて、人間がわかる言葉に変えようとしていました。しかし、その「翻訳機」が勝手に賢くなって、元の AI の能力ではなく、翻訳機自身の能力で正解を出しているのかどうかがわからなくなっていました（「誰の功績か分からない」という問題）。
• この論文の新手法（パッシブ・プローブ）：
  • 元の AI（V-JEPA 2）を**「完全に凍結（フリーズ）」**させます。つまり、AI に学習させたり、変更を加えたりせず、ただ「観察」するだけです。
  • その上で、**「AIM」という小さなツールを付けます。これは「AI の暗号（連続した数字）」を、「単純な記号（A, B, C...）」**に置き換えるだけの、非常にシンプルな機械です。
  • 例え話： 暗号を解読するために、複雑な翻訳機を付けるのではなく、**「暗号の数字が『高い』か『低い』かで、それぞれ『○』か『×』のシールを貼る」**という単純なルールを使います。貼られたシールのパターンが、元の暗号の構造をそのまま反映しているなら、それは元の AI の能力によるものだと証明できます。

3. 実験：物理的な違いは記号に現れるか？

研究者たちは、この「記号化」が本当に意味を持っているかテストしました。

• 実験内容：
  • 「弓矢を引く（静止に近い動作）」と「ボウリング（激しく振る動作）」など、物理的な特徴（持ち方、物体の形、動きの速さ）が異なる動画のペアを用意しました。
  • これらを凍結した AI に通し、AIM で記号に変換しました。
• 結果：
  • 驚くべきことに、物理的な違い（動きの速さや持ち方）が、記号の並び方に明確な違いとして現れました。
  • 特に「動きの速さ（リズム）」の違いは、記号の分布に大きな影響を与えました。
  • 例え話： 「歩行（リズムよく歩く）」と「弓矢（一瞬で放つ）」という、全く違う動きを AI が理解しているなら、その「記号のシール」の貼り方も違うはずです。実験では、まさにその通りになりました。

4. 重要な発見：AI は「共通の核心」を持っている

最も面白い発見は、**「すべての動画が、ほぼ同じ『メインの記号』に集まっている」**という点です。

• 発見：
  • 弓矢も、ボウリングも、凧揚げも、AI の頭の中では**「90% 以上が同じ記号（#5）」**に分類されました。
  • しかし、残りの 10% の「サブの記号」の使い方が、動画の種類によって微妙に違っていました。
• 意味：
  • これは AI がバカだったからではなく、「重力」や「人間の動き」といった物理法則は、どんな動作でも共通しているからです。
  • AI は「動作ごとの違い」を無理やり区別するのではなく、「物理的な共通項」を深く理解し、その上で細かい違いを「濃淡（分布）」で表現していることがわかりました。
  • 例え話： 世界中の料理は「ご飯」という共通の土台（メインの記号）を持っていますが、その上に「醤油」を少し多めにするか「塩」を少し多めにするかで、味（記号の分布）が微妙に変わっているような状態です。

5. この研究の意義

この研究は、「AI が物理世界をどう理解しているか」を、AI の中身をいじらずに、統計的に証明する新しい方法を示しました。

• 今後の展望：
  • この「記号」の解読技術を使えば、AI が「なぜその行動をとったのか」を、人間が理解できる形で説明できるようになるかもしれません。
  • 将来的には、ロボットが「物理法則」を理解して、より安全で賢く行動するための基礎技術になると期待されています。

まとめ

この論文は、**「AI の頭の中（暗号）を、人間が読める『記号』に変換する翻訳機を作った」という話です。
そして、その翻訳機を使って調べたところ、「AI は物理世界の共通ルール（重力や動き）を、非常にコンパクトで賢い形で頭の中に持っている」ことがわかりました。これは、AI が単に動画を覚えているだけでなく、「物理的な世界そのものを理解し始めている」**という強力な証拠です。

技術概要

論文「Probing the Latent World: Emergent Discrete Symbols and Physical Structure in Latent Representations」の技術的サマリー

この論文は、Joint Embedding Predictive Architecture (JEPA) に基づくビデオ世界モデル（V-JEPA 2）の潜在空間（Latent Space）が、物理的な構造をどのように符号化しているかを、受動的な離散化プローブを用いて解明しようとする研究です。特に、モデルの重みを固定したまま、連続的な潜在表現から意味のある離散シンボルを抽出できるかを実証的に検証しています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題設定 (Problem)

1.1 解釈性のギャップ

JEPA（V-JEPA, V-JEPA 2）は、ピクセルの再構成ではなく、潜在空間におけるマスク領域の予測を通じて学習します。この設計は強力なエンコーダーを生み出しますが、生成モデルが持つ「視覚的検証経路（再構成された画像）」を欠いています。その結果、**「エンコーダーが物理構造を学習していることは疑いないが、その構造が検査可能な形式でアクセスできない」**という構造的な解釈性のギャップ（Representational Opacity Problem）が存在します。

1.2 既存手法の限界

既存のプロービング手法には以下の根本的な欠点があります。

• 識別的プローブ（分類器など）: 連続空間で動作し、離散的な構造や記号的な記録を提供しない。
• 生成的プローブ（言語モデルやデコーダー）: エンコーダーに学習済みの生成コンポーネントを接続するが、観測された挙動がエンコーダーの表現によるものか、接続されたコンポーネント自身のパラメータによるものかを区別できない（アトリビューション問題）。

---

2. 提案手法 (Methodology)

著者は、**「AI Mother Tongue (AIM)」**フレームワークを、受動的な離散化プローブとして V-JEPA 2 に接続するアプローチを提案しました。

2.1 3 層アーキテクチャ

1. Latent Model Layer (V-JEPA 2): 入力動画を連続的な潜在ベクトル $z$ にエンコードします。本研究では**完全に凍結（Frozen）**されており、勾配はブロックされます。
2. Discrete Semantic Layer (AIM): 連続ベクトル $z$ を、事前定義された語彙なしで離散シンボル列 $s$ に変換するベクトル量子化（VQ）モジュールです。タスク固有の教師信号や辞書を持たず、エンコーダーの統計的性質のみからシンボルを生成します。
3. Language Interface Layer: 離散シンボルを自然言語に変換する層（本研究では実装せず、将来の課題）。

2.2 実験設計

• データセット: Kinetics-mini（アーチェリー、ボウリング、凧揚げ、高跳び、行進の 5 分類）。
• カテゴリ対比実験 (Category-Contrast): 物理的な変数を直接操作するのではなく、物理的次元（把持角度、物体幾何学、運動の時間的構造）で対照的なアクションカテゴリのペアを選択し、AIM のシンボル分布が統計的に有意に変化するかを測定します。
  • 把持角度：アーチェリー vs ボウリング
  • 物体幾何学：凧揚げ vs 高跳び
  • 運動速度/時間構造：行進 vs アーチェリー
• 評価指標: カイ二乗検定 ($\chi^2$)、相互情報量 (MI)、Jensen-Shannon 発散 (JSD)。

2.3 技術的実装のポイント

• エンコーダーの凍結: 全ての勾配をブロックし、エンコーダーを評価モードで実行。これにより、観測されたシンボル構造は完全に V-JEPA 2 の事前学習済み表現に起因することを保証します。
• 正規化パイプライン: V-JEPA 2 の出力ベクトルはノルムが非常に大きく均一であるため、直接量子化するとコードブックが崩壊します。そこで、線形投影（1024→256 次元）、LayerNorm、L2 正規化を経て単位超球面上にマッピングする前処理を導入しました。
• コードブック設定: 初期サイズ $K=8$、EMA 更新率 $\gamma=0.90$、コミットメントロス係数 $\beta=2.0$。

---

3. 主要な貢献 (Key Contributions)

1. 受動的離散プロービングの確立: 学習済み生成コンポーネントを接続するのではなく、凍結されたエンコーダーに対して語彙を持たない離散プローブを適用する手法を提案し、アトリビューション問題を構造的に解決しました。
2. V-JEPA 2 と AIM のアーキテクチャ的互換性の実証: 既存の V-JEPA 2 のソースコードを一切変更せず、凍結されたエンコーダーから安定して離散シンボルを抽出できることを示しました。
3. 統計的に有意な物理構造の発見: 3 つの物理的次元すべてにおいて、アクションカテゴリ間で AIM のシンボル分布に統計的に有意な差異（$\chi^2 p < 10^{-4}$）が観測されました。
4. コンパクトな潜在空間の発見: 多様なアクションカテゴリが共通の表現コア（支配的シンボル）を共有し、意味的差異が離散的な境界ではなく、分布の連続的な変化として符号化されていることを発見しました。

---

4. 実験結果 (Results)

4.1 統計的有意性

すべてのカテゴリ対比実験で、物理的条件とシンボル分布の間に強い相関が確認されました。

• カイ二乗検定: すべて $p < 10^{-4}$（運動速度対比では $p < 10^{-10}$）。
• 相互情報量 (MI): 絶対値 0.036〜0.117 ビット（理論最大値 3 ビットの 1.2〜3.9%）。
• JSD: 最大 0.343（運動速度対比）。
• ランダムベースライン: ガウスノイズ入力では MI がほぼ 0 であり、観測された信号がコードブックのバイアスによるものではないことが確認されました。

4.2 支配的シンボルの衝突とコンパクト性

すべてのカテゴリで最も頻出するシンボルは「#5」でしたが、他のシンボル（#3, #4 など）への分布の広がり（Spillover）がカテゴリ間で明確に異なっていました。

• 運動速度（行進 vs アーチェリー）: 行進は周期的な歩行（約 2Hz）を持つため、シンボル分布が #5, #4, #3 に分散し、アーチェリー（静的な動作）との JSD が最も高くなりました。これは V-JEPA 2 が時間的予測を主目的としているため、時間的構造に敏感であることを示唆しています。
• 解釈: これはコードブックの崩壊ではなく、V-JEPA 2 が物理的な共通構造（重力、人体の運動学など）を共有し、カテゴリ間の差異を「離散的なジャンプ」ではなく「連続的な分布のシフト」として表現していることを示しています。

4.3 パイプラインの健全性

• H1（シンボル安定性）: 凍結されたパイプラインにおいて、同一入力からの出力が完全に一致（Stability = 1.000）し、確率的ノイズがないことを確認しました。
• コードブックの健全性: アクティブなエントリ比率は 62.5%（5/8）で、正常に機能していました。

---

5. 意義と今後の展望 (Significance & Future Work)

5.1 学術的意義

• 世界モデルの解釈可能性: JEPA 型のモデルが「物理的な世界モデル」として機能している場合、その内部表現はカテゴリ分類器のように離散的に分離されるのではなく、物理法則に基づく連続的な構造を持つ可能性が高いことを示しました。
• アトリビューションの解決: 学習された生成ヘッドに依存しない「受動的プローブ」は、モデルの内部表現そのものを検証する新しい標準的な手法となり得ます。

5.2 今後のロードマップ（4 ステージ）

本研究は、統合ロードマップの**Stage 1（知覚ギャップの診断）**を完了しました。

• Stage 2: コードブックサイズ拡大（$K=32$〜64）と残差量子化による微細構造の解像。
• Stage 3: エンコーダーの凍結解除と、記号的語彙への適応を促す共同学習（Joint Training）。
• Stage 4: 行動条件付きの記号的世界モデルの構築と、物理的介入実験による因果関係の検証。

5.3 結論

この研究は、凍結された JEPA 潜在空間から、事前定義された語彙なしで構造化された記号的多様体（Symbolic Manifolds）を発見可能であることを実証しました。これは、V-JEPA 2 が物理的な構造を内部化しているという仮説を支持し、将来的に AI の安全性監査や、物理世界を理解する AI システムの構築に向けた重要な基盤となりました。