技術的サマリー：ウィトゲンシュタイン的表現仮説

1. 問題提起

マルチモーダル表現学習における根本的な問いは、異なるモダリティ（例：視覚、点群、言語）から独立して訓練されたニューラルネットワークが、なぜ共有された表現構造へと収束するのかという点である。「プラトニック表現仮説（PRH）」は、そのような収束が「現実の統計的構造」という共有されたものへと向かうと仮定しているが、この収束の方向性や、その終着点の具体的な性質については中立的な立場をとっている。

収束に関する既存の実証的証拠は、完全に対称的な類似度尺度（CKA、相互 kNN、RSA など）に依存している。これらの指標は構成上、$s(X, Y) = s(Y, X)$ を満たすため、収束が「存在する」ことを検出することは可能だが、収束が「どこへ」、あるいは「どの方向へ」向かっているかについては構造的に無視している。したがって、収束が相互的なものか方向性のあるものか、また方向性がある場合、どのモダリティが引き金（アトラクター）として機能するかという問いは、未検討のまま残されていた。

2. 手法

著者らは、対称的指標の限界を克服するために方向性収束分析を導入した。

2.1 非対称アライメント尺度：CYCLE-KNN

手法の中核的な革新は、収束の方向性を調査するために、本質的に非対称なアライメント尺度であるCYCLE-KNNを適用することにある。

• メカニズム: CYCLE-KNN は、2 段階の最近傍サイクルを通じてアライメントを計算する。表現 $X$ と $Y$ について、空間 $Y$ 内の点 $i$ の $k$ 個の最近傍を見つけ、次にそれらの点の $k$ 個の最近傍を空間 $X$ 内で再び探す。スコアは、この往復移動後に点 $i$ が自分自身（または元の近傍）に戻る点の割合である。
• 非対称性: この指標は $k \ge 2$ の場合、非対称である。もし $CYCLE\text{-}KNN(X \to Y) > CYCLE\text{-}KNN(Y \to X)$ である場合、空間 $Y$ の近傍構造が $X$ よりもより一貫性（コンパクト）があり、戻りのホップが成功する可能性が高いことを意味する。
• 方向性ギャップ（$\Delta$）: 著者らは $\Delta(X, Y) = CYCLE\text{-}KNN(X \to Y) - CYCLE\text{-}KNN(Y \to X)$ を定義する。$\Delta$ が一貫して正である場合、$Y$ が $X$ に対してより安定した参照枠（アトラクター）として機能することを示唆する。

2.2 実験設定

• モデル: この研究は、抽象化の階層に沿って配置された 3 つのモダリティにまたがる58 の独立して訓練された単一モダリティモデルを評価する。
  • 3D 点群: 7 モデル（例：PointMAE, PointBERT, PointGPT）。
  • 2D 視覚: 22 モデル（例：ViT, MAE, DINOv2, DINOv3, CLIP）。
  • 言語: 29 モデル（例：BLOOMZ, LLaMA, Qwen2.5/3, InternLM）。
  • 注: クロスモーダル制御（CLIP, ReCon++）を除き、どのモデルも他のモダリティのデータで訓練されていない。
• データセット:
  • WiT: 視覚 - 言語アライメント用の 1,024 組の画像 - テキストペア。
  • ShapeNet55: 点群 - 視覚 - 言語アライメント用の、マッチングされた 3D 物体、レンダリング画像、およびテキスト記述。
• 分析: 著者らはすべてのクロスモーダルペアに対して $\Delta$ を計算し、層ごとの密度、モダリティ内での合意、およびパラメータ数（5.7M から 72B の範囲）のスケーリング不変性を分析した。

3. 主要な知見

3.1 方向的非対称性

この研究は、対称的尺度には見えない一貫した方向的非対称性を明らかにした。

• 非言語モダリティは言語へと収束する: 視覚および点群の表現は、言語がそれらへとアライメントするよりも、言語へと著しく多くアライメントする。
  • $\Delta(\text{Vision} \to \text{Language}) = +0.010$ ($p < 0.05$)。
  • $\Delta(\text{Point Cloud} \to \text{Language}) = +0.030$ ($p < 0.01$)。
  • $\Delta(\text{Point Cloud} \to \text{Vision}) = +0.046$ ($p < 0.01$)。
• 頑健性: この非対称性は、638 のモデルペア、10 のモデルファミリー、およびパラメータサイズで 4 つの桁の範囲にわたって保持される。$k$ の選択（1 から 50 までテスト）によっても不変である。

3.2 モダリティ内での合意

言語モデルは、最も高いモダリティ内での表現合意（平均 CKA = 0.904）を示し、次いで視覚（0.857）、点群（0.440）の順であった。独立して訓練された言語モデル間のこの高い合意は、それらが表現空間において深く安定した盆地を占めていることを示唆しており、「アトラクター」仮説と一致する。

3.3 幾何学的メカニズム：特徴密度

方向性は、特徴密度の非対称性によって説明される。

• コンパクト性: 言語表現は、表現空間の最もコンパクトな領域（最小のペアワイズ平均距離 $D$）を占め、特に中間層から後段の層において顕著である。
• 軌道: 視覚モデルは深さとともに単調に密度が増加する（疎な状態）が、言語モデルは逆 U 字型の軌道を描き、クロスモーダルアライメントがピークに達する層で最大のコンパクトさに達する。
• メカニズム: 言語におけるコンパクトな近傍は、CYCLE-KNN における「戻りのホップ」を容易にし、観察された方向性バイアスを駆動する。

3.4 情報ボトルネック解釈

著者らは、これらの知見を**情報ボトルネック（IB）**フレームワークを通じて解釈する。IB において、最適化はタスクに無関係な情報の最大限の圧縮へと表現を駆動する。自然言語は、知覚経験の高度に圧縮され、離散的で構成的な構造として、最適な圧縮ターゲットとして機能する。モデルが情報を圧縮するにつれ、その表現は自然と言語の構造的幾何学へと収束する。

4. ウィトゲンシュタイン的表現仮説（WRH）

これらの知見に基づき、本論文はウィトゲンシュタイン的表現仮説を提案する。

「言語の意味構造は、マルチモーダル表現収束の漸近的アトラクターを構成する。」

この仮説は、独立して訓練されたモデルが十分に強力になるにつれ、入力モダリティに関わらず学習された表現が、言語の意味構造によって定義される表現幾何学へと収束すると仮定する。これは、ウィトゲンシュタインの格言（「私の言語の限界は、私の世界の限界である」）を表現学習に関する記述として再構成するものである。すなわち、言語は構造的制約を課し、十分な最適化の下ですべての知覚表現が収束する境界を定義する。

5. 意義と主張

本論文は、以下の貢献と意義を主張する。

1. 方法論的修正: 表現学習における体系的な盲点を特定する。対称的指標への排他的な依存は、収束の方向を未検討のままにしていた。著者らは、以前はカタログ化されていたが分析されていなかった CYCLE-KNN の非対称性が、重要な方向性構造を符号化していることを実証する。
2. PRH の解決: PRH が収束が起こることを確立したのに対し、WRH は収束がどこへ向かうかを答える。終着点は一般的な「現実の統計的構造」ではなく、特定の離散的で構成的な構造、すなわち言語である。
3. 普遍性: この現象はスケーリング不変であり、多様なアーキテクチャ（トランスフォーマー、オートエンコーダ）および訓練パラダイム（教師あり、自己教師あり、対照的）にわたって頑健である。これは、特定の訓練目的やモデルサイズの産物ではなく、モダリティ表現の根本的な性質であることを示唆する。
4. 理論的基盤: 本論文は、情報ボトルネックフレームワークを通じて原理的な解釈を提供し、幾何学的コンパクト性と知覚経験の記号言語への圧縮を結びつける。

著者らは明示的に、WRH が 58 のモデルにわたる実験によって確認された、検証可能な方向性予測であると述べている。彼らは、これは現在のニューラルネットワーク訓練における構造的傾向を記述するものであり、言語が現実の「正しい」または「完全な」表現であるという規範的な主張ではないと注意を促し、言語データに内在する文化的バイアスに関する潜在的なリスクにも言及している。