A quantitative analysis of semantic information in deep representations of text and images

この論文は、情報不均衡という手法を用いて深層学習モデルの表現を分析し、言語やモダリティ、アーキテクチャを超えた意味情報の収束性を示しつつも、表現間の予測可能性が層の深さ、モデルの規模、言語によって大きく異なることを明らかにした。

要約

この論文は、**「AI が『意味』をどう捉えているのか」**という不思議な現象を、新しいメジャー（物差し）を使って詳しく調べた研究報告です。

専門用語を抜きにして、日常の例え話を使って解説しますね。

1. 研究の目的：AI の「心」は同じか？

まず、この研究の背景にある面白い仮説があります。
「異なる AI モデル（例えば、英語を話す AI と、画像を見る AI）が、同じ『意味』を持つもの（例えば『猫』という単語と『猫の画像』）を処理すると、その内部の思考パターン（表現）が、不思議と似てくるのではないか？」というものです。

これを**「プラトニックな表現の仮説」と呼びますが、要するに「AI たちの『心』は、深層部分で同じ『意味の地図』を共有しているのではないか？」**という問いです。

2. 使った新しいメジャー：「情報不均衡（Information Imbalance）」

これまでの研究では、2 つの AI の思考が「似ているか」を測るのに、単純な距離を測るものを使っていました。でも、それでは「どちらがどちらを予測できるか」という**「優劣」や「方向性」**がわかりません。

そこで、この論文では**「情報不均衡（Information Imbalance）」**という新しいメジャーを使いました。
これをわかりやすく例えるなら：

• A さんの手帳とB さんの手帳があるとします。
• A さんの手帳を見て、B さんの手帳の内容がほぼ予測できるなら、A は B より「情報量が多い（あるいは優れている）」と言えます。
• でも、B の手帳を見ても A の手帳の内容が全然わからないなら、これは**「一方通行の情報」**です。

この「どちらがどちらを予測しやすいか」という非対称な関係を測ることで、AI の内部で何が起きているかを詳しく見ることができました。

3. 発見された驚きの事実

このメジャーを使って、DeepSeek-V3（非常に大きな言語モデル）や DinoV2（画像認識 AI）などを分析したところ、いくつかの面白いことがわかりました。

① 「意味」は特定の場所にあるのではなく、全体に広がっている

AI は文章を「単語の羅列」として扱いますが、「意味」は最後の単語だけにあるわけではありません。

• 例え話： 文章を「パズル」だと想像してください。意味はパズルの最後の 1 枚だけにあるのではなく、パズルの大部分に散りばめられています。
• 研究では、単語の平均をとって「意味」を測るのが最も精度が良いことがわかりました。最後の単語だけを見るよりも、文章全体を平均的に見る方が、AI の「本音」が見えるのです。

② AI の「心」は、真ん中の階層で最も似ている

AI は何層ものネットワーク（階層）で構成されています。

• 最初の層： 文字やピクセルの形を認識する（「猫」という文字の形、猫の耳の形など）。
• 最後の層： 答えを出力する（次の単語を予測する、画像を分類する）。
• 真ん中の層： ここが**「意味の共通言語」**になっているのです。
  • 英語とイタリア語の AI は、この真ん中の層で最も似ていました。
  • 画像と文章の AI も、この真ん中の層（画像モデルの場合）や最後の層（エンコーダー型の場合）で、意味が通じ合っていました。

③ 「英語」は他の言語より「情報量」が多い

これは少し意外な結果でした。

• 例え話： 英語の AI は、他の言語の AI に比べて、**「より多くの情報を伝達できる通訳」**のような役割を果たしていました。
• 英語の表現から他の言語を予測するのは簡単ですが、その逆（他の言語から英語を予測する）は少し難しかったです。これは、AI が英語で訓練されているデータが圧倒的に多いことによる「英語優位」の現象かもしれません。

④ 「一緒に訓練しなくても、巨大なモデルなら通じ合える」

通常、画像と言語を一緒に学習させる（CLIP というモデルなど）と、両者の意味が通じ合いやすいと考えられています。
しかし、この研究では**「画像専門の AI」と「言語専門の AI」を、あえて別々に巨大に訓練しただけでも、CLIP よりも高いレベルで意味が通じ合っている**ことがわかりました。

• 結論： 「一緒に訓練すること」よりも、「モデルを巨大化すること」の方が、意味の共通性を高めるのに重要かもしれません。

4. まとめ：AI は「意味」をどう共有している？

この論文の結論を一言で言うと、以下のようになります。

「AI たちは、言語や画像、モデルのサイズが違っても、深い部分（真ん中の階層）で『意味』という共通の地図を共有している。
ただし、その地図へのアクセス方法はモデルによって異なり、英語や巨大なモデルの方が、その地図をより鮮明に描き出しているようだ。」

これは、AI が単なる「確率計算機」ではなく、**「意味を理解する共通の知性」**を育み始めている可能性を示唆する、非常に興味深い研究です。

---

簡単な要約：
AI の脳の中を「情報不均衡」という新しいメジャーで測ったところ、「意味」は文章の全体に広がり、AI の「真ん中の脳」で言語や画像を超えて通じ合っていることがわかりました。また、「英語」や「巨大なモデル」の方が、この意味の通じ合いを強くしていることも発見されました。AI の「心」は、私たちが思っていた以上に普遍的で、かつ面白い偏りを持っているようです。

技術概要

この論文「A quantitative analysis of semantic information in deep representations of text and images（テキストと画像の深層表現における意味情報の定量的分析）」の技術的な要約を以下に示します。

1. 研究の背景と問題設定

大規模なトランスフォーマーモデルは、高次元空間に情報をエンコードし、層をまたいで表現を変換することでタスクを遂行します。近年の「プラトニック表現仮説（Platonic Representation Hypothesis）」は、モデルサイズが十分に大きくなると、モデルのタスクや特定のエンコーディング方式に関わらず、意味的に関連する入力（例：異なる言語の翻訳文、同じカテゴリの画像とキャプション）の表現が、共通の近傍構造に収束する可能性を指摘しています。

しかし、従来の研究では表現を単一の塊として扱うことが多く、以下の点について定量的な分析が不足していました。

• どの層で共有された意味情報が最も強く現れるのか？
• 異なるモデルや言語間の表現において、一方が他方をどの程度予測できるか（情報の非対称性）はどうか？
• 従来の類似度指標（CKA や Neighborhood Overlap など）では捉えきれない、高次元空間における情報の方向性と予測可能性をどう定量化するか？

2. 手法：情報不均衡（Information Imbalance, II）

本研究では、表現間の相対的な情報量を定量化するために、**情報不均衡（Information Imbalance: II）**という非対称な統計指標を採用しました。

• 定義: 表現空間 $X$ におけるデータ点の最近傍が、表現空間 $Y$ においてどの程度の順位（ランク）にあるかを平均化したものです。
  • $X$ が $Y$ をよく予測できる場合（$X$ の最近傍が $Y$ でも近傍である場合）、II は 0 に近づきます。
  • $X$ が $Y$ を予測できない場合、II は 1 に近づきます。
• 特徴:
  • 非対称性: $\Delta(X \to Y) \neq \Delta(Y \to X)$ となり、情報の方向性（どちらがより情報豊富か）を捉えることができます。
  • 高次元での効率性: 交差エントロピー（Cross-entropy）の代理指標として機能しつつ、数千次元の高次元空間でも効率的に計算可能です。
  • 既存指標との比較: 合成データを用いた検証により、CKA（Central Kernel Alignment）や Neighborhood Overlap が対称性のため情報の方向性を捉えられないのに対し、II は情報の強さと方向性の両方を鋭敏に検出できることが示されました。

3. 実験設定とデータ

• テキスト:
  • モデル: 最大規模の公開 LLM である DeepSeek-V3（671B パラメータ）と、比較対象として Llama3 シリーズ（1B, 3B, 8B）。
  • データ: Opus Books から抽出された、英語とスペイン語・イタリア語・ドイツ語・フランス語・オランダ語・ハンガリー語の翻訳ペア（40〜80 トークン）。
  • 表現の集約: 最後のトークン、トークンの連結、トークンの平均化の 3 方式を比較。
• 画像:
  • モデル: 自己回帰型の Image-gpt-large と、エンコーダー型の DinoV2-large。
  • データ: ImageNet-1k の同一クラス画像ペア、および Flickr30k の画像とキャプションのペア。
  • 比較: 共同訓練された CLIP モデルとの比較も実施。

4. 主要な結果

4.1 テキスト表現における発見

1. 意味情報の分散と層の位置:

   • 意味情報は単一のトークン（特に最後のトークン）に集中するのではなく、多くのトークンに分散していることが判明しました。
   • トークンの「平均化（averaging）」による表現が、最後のトークン単体や連結（concatenation）よりも高い予測性（低い II 値）を示しました。これは、意味に無関係な位置情報が平均化によって除去されるためと考えられます。
   • 翻訳ペア間の II は、ネットワークの**中央層（中盤）**で最小値（最も高い予測性）を示し、言語ペアに関わらずこの傾向は頑健でした。これは、中央層が言語に依存しない意味情報をエンコードしていることを示唆します。

2. 情報の非対称性（Asymmetry）:

   • 言語間: 英語の表現は、他の言語の表現よりも一貫して予測力が高く（英語→他言語の方が他言語→英語より II が低い）、特に初期層と最終層でこの非対称性が顕著でした。
   • モデル規模間: 大規模モデル（DeepSeek-V3）の表現は、小規模モデル（Llama3-8b）の表現を強く予測しますが、その逆は成り立ちません。中央層では相互予測性が最も高く対称的ですが、層の深さによって非対称性が変化します。

3. トークン間の相関:

   • 予測性の高い表現（英語や大規模モデル）では、トークン間の長距離相関が強く、情報の一貫性が高いことが確認されました。

4.2 画像・マルチモーダル表現における発見

1. モデルアーキテクチャによる意味情報の集中位置の違い:

   • エンコーダー型（DinoV2）: 意味情報は最終層に集中し、そこが最も予測力が高い層でした。
   • 自己回帰型（Image-gpt）: 意味情報は中央層に集中し、最終層ではピクセル予測などの低次元特徴に戻っている傾向が見られました。
   • これは、モデルのトレーニング目的（エンコーダーは下流タスク用、自己回帰型は次トークン予測用）が、意味情報の層分布を決定づけていることを示しています。

2. 画像とテキストのクロスモーダル予測:

   • 画像モデルの「意味が最も集中する層」と、DeepSeek-V3 のテキスト表現との間で、クロスモーダルな予測性が最大化されました。
   • 驚くべき発見: 画像とテキストの対照学習（Contrastive Learning）で明示的に訓練された CLIP モデルよりも、独立して訓練された大規模モデル（DeepSeek-V3 と DinoV2）の組み合わせの方が、クロスモーダルな予測性（より低い II 値）を達成しました。
   • これは、明示的なマルチモーダル訓練が必須ではなく、モデルの規模（スケール）がクロスモーダルな収束において支配的な要因となり得ることを示唆しています。

5. 結論と意義

本研究は、異なる言語、モダリティ、アーキテクチャを跨ぐ「意味の収束（Semantic Convergence）」を定量的に実証し、そのメカニズムをより詳細に解明しました。

• 理論的貢献: プラトニック表現仮説を支持しつつ、収束が「特定の中間処理段階」で起こることを示しました。また、表現が収束しても、モデルの規模、トレーニング資源、モダリティの違いにより、情報の非対称性が生じることを明らかにしました。
• 実用的示唆:
  • 意味解析には、最後のトークンだけでなく、トークンの平均化や複数のトークンの利用が有効である。
  • 大規模な単一モダリティモデルであっても、適切な層を選択すれば、小規模なマルチモーダルモデルや、明示的にマルチモーダルに訓練されたモデル以上のクロスモーダル理解能力を発揮しうる。
  • 情報不均衡（II）は、高次元表現の方向性と予測可能性を評価するための強力な指標である。

将来的には、非対称性を生む要因（モデルサイズ、トレーニング手法、言語 vs 画像の性質）の解明や、共有される意味特徴の性質（周波数モードなど）のさらなる探求が期待されます。