LatentLens: Revealing Highly Interpretable Visual Tokens in LLMs

本論文は、LLM の各層における視覚トークンの表現を自然言語記述に変換する新しい手法「LatentLens」を提案し、既存手法よりもはるかに高い解釈性で視覚と言語の表現が深く整合していることを示しています。

要約

LATENTLENS：AI の「目」が見ているものを、言葉で読み解く新しいメガネ

この論文は、**「AI が画像を見て、その中身をどう理解しているのか？」**という謎を解明するための新しい方法（LATENTLENS）を紹介しています。

これまで、AI が画像を処理している過程は「ブラックボックス（中身が見えない箱）」だと思われていましたが、この研究では、**「実は AI は画像を、まるで『言葉』として理解している」**という驚くべき発見をしました。

以下に、専門用語を排し、身近な例えを使って解説します。

---

1. 背景：AI はどうやって「目」を手に入れたの？

最近の AI（大規模言語モデル）は、元々は「言葉」だけを勉強していました。しかし、これに「画像認識の機能」を少し足すだけで、写真を見て説明できる「視覚言語モデル（VLM）」に変身させることができます。

• 仕組み： 画像を「パズルのピース（視覚トークン）」に切り取り、それを AI が理解できる「言葉の箱（埋め込み空間）」に投げ込むだけです。
• 疑問： なぜ、言葉しか知らない AI が、たったこれだけの簡単な変換で、画像を理解できるのでしょうか？

2. 従来の方法の限界：「辞書」で探すのは不十分

これまでに、AI が画像をどう見ているか調べる方法として、主に 2 つがありました。

1. LogitLens（ログレンズ）： AI の「辞書（単語リスト）」を使って、画像のピースがどの単語に一番近いかを探す。
2. EmbeddingLens（埋め込みレンズ）： 辞書の「見出し語」の位置と画像のピースの位置を比べる。

しかし、これらは「失敗」していました。
まるで、「料理中の鍋の中身（複雑な状態）」を、単なる「食材の袋（辞書）」と比べて「これは肉だ！」と判断しようとしているようなものです。
AI は画像を処理する過程で、単なる「肉」という単語ではなく、「焼けている肉」「ジューシーな肉」といった**「文脈を含んだ意味」**に変化させているのに、従来の方法はそれを捉えきれず、「AI は画像を理解していない」という誤った結論を出していました。

3. 新発見：LATENTLENS（潜在レンズ）の登場

この研究チームは、新しいメガネ**「LATENTLENS」**を開発しました。

• アイデア：
  画像のピースを、単なる「辞書の単語」と比べるのではなく、**「長い文章の中にある、文脈を含んだ言葉」**と比べます。

  • 例え話：
    • 従来の方法：「赤いリンゴ」の画像を見て、辞書の「リンゴ」と「赤」を探す。
    • LATENTLENS：「木に実った赤いリンゴ」という文章全体のイメージと、画像のピースを比べる。

• 仕組み：

  1. 大量の文章（例：「大きな赤いビル」「窓が並んだ茶色の建物」など）を AI に読ませ、その**「文脈を含んだ状態」**をデータベースに保存します。
  2. 画像のピースを AI に通したとき、その「状態」がデータベースのどの「文脈のある言葉」に一番似ているかを探します。
  3. 結果として、AI は画像を**「大きな赤いビル」**といった具体的な文章として認識していることがわかりました。

4. 驚きの発見：2 つの大きな事実

LATENTLENS を使うと、これまで見えていなかった 2 つの重要な事実が明らかになりました。

① 画像は「言葉」そのものだった

従来の方法では「AI は画像を理解していない」と思われていましたが、LATENTLENS で見ると、画像のピースの 72% が、人間が理解できる「意味のある言葉」に対応していることがわかりました。
AI は、画像を「数字の羅列」ではなく、**「言葉のイメージ」**として処理しているのです。

② 「中層のジャンプ（Mid-Layer Leap）」現象

これが最も面白い発見です。

• 現象： 画像のピースは、AI の**「最初の層（入力直後）」から、すでに「中盤の層（文章の意味を理解している部分）」**の言葉と最も似ていました。
• 例え話：
  • 通常、言葉は「入力→処理→意味理解→出力」と段階的に進みます。
  • しかし、画像のピースは、最初から「意味を理解した状態（中盤）」で AI の中に現れるのです。
  • まるで、「料理の材料（画像）」を鍋に入れる瞬間、すでに「完成した料理（意味）」の香りがしているようなものです。
  • これは、AI が画像を処理する際、最初から「単語の並び」ではなく「意味そのもの」を捉えていることを示しています。

5. なぜこれが重要なのか？

• AI の「脳」がもっとシンプルだった：
  画像と言葉を結びつけるのに、複雑な魔法のような仕組みは必要なく、「意味の空間」が共通しているだけで良いことがわかりました。
• ハルシネーション（嘘）の防止：
  AI が画像を正しく「言葉」として理解できているかを確認するツールになるため、AI が嘘をつく（存在しないものを見る）のを防ぐヒントになります。
• 新しい視点：
  「AI は画像をどう見ているか？」という問いに対し、**「AI は画像を、まるで物語の一部として見ている」**という新しい答えが得られました。

まとめ

この研究は、**「AI が画像を見る瞬間、それはすでに『言葉の物語』として AI の脳内に浮かんでいる」**ことを証明しました。

従来の方法は、その物語の「最初の文字」だけを見て「意味がわからない」と判断していましたが、LATENTLENSという新しいメガネを使うと、**「あ、これは『大きな赤いビル』という物語の始まりだったんだ！」**と、AI が何を見ているかがはっきりと読み取れるようになったのです。

これは、AI の「目」と「脳」の関係を理解するための、大きな一歩となりました。

技術概要

LATENTLENS: LLM における高解釈性の視覚トークンの解明に関する技術的サマリー

本論文「LATENTLENS: Revealing Highly Interpretable Visual Tokens in LLMs」は、大規模言語モデル（LLM）を視覚言語モデル（VLM）に変換する際、視覚エンコーダから得られた視覚トークンが LLM の潜在空間内でどのように扱われ、解釈可能であるかという問題に焦点を当てています。既存の手法では視覚トークンの解釈性が過小評価されていたことを示し、新しい解釈手法「LATENTLENS」を提案することで、視覚トークンが文脈化された自然言語記述と高い整合性を持つことを実証しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

VLM は、視覚エンコーダの出力を LLM の埋め込み空間にマッピングする単純な浅い MLP（多層パーセプトロン）などの接続部（プロジェクタ）を学習させることで構築できます。しかし、なぜ凍結された LLM が言語以外のモダリティ（画像など）をこれほど容易に処理できるのか、そのメカニズムは完全には解明されていません。

特に重要な問いは、「LLM 内で処理される視覚トークンの表現は、意味的に意味のある言語トークンとして解釈可能か？」という点です。

• 既存手法の限界: 従来の解釈手法（LogitLens や EmbeddingLens）は、LLM の出力語彙（単語やサブワード）との類似性に基づいて視覚トークンを解釈しようとします。しかし、これらの手法は視覚トークンの解釈性を大幅に過小評価しており、多くの場合、視覚トークンは「解釈不可能」または「無意味なトークン」として扱われてきました。
• 仮説の欠如: 視覚表現が LLM の表現空間内でどのように統合され、どの層で言語的な意味を獲得するのかについての明確な理解が不足していました。

2. 手法 (Methodology)

著者らは、視覚トークンの解釈性をより正確に評価するための新しい手法**「LATENTLENS」**を提案しました。この手法の核心は、視覚トークンを「単語の辞書」ではなく、「文脈化されたテキスト表現」と比較することにあります。

LATENTLENS の仕組み

1. 大規模コーパスのエンコーディング:
   • 大規模なテキストコーパス（Visual Genome のキャプションなど、約 300 万文）を LLM に入力し、各トークンの文脈化された潜在表現（contextualized token representations）をモデルの各層（Layer）で保存します。
   • これにより、各層における「文脈内のトークン」の表現のプールが作成されます。
2. 視覚トークンの抽出:
   • VLM に入力された画像の視覚トークンの潜在表現を、LLM の各層から抽出します。
3. 最近傍探索（Nearest Neighbor Search）:
   • 特定の層における視覚トークンの表現と、事前に保存された文脈化されたテキスト表現のプールとの間でコサイン類似度を計算します。
   • 最も類似度が高い top-k のテキスト表現（文脈付きのフレーズや文）を視覚トークンの「説明」として返します。
4. 解釈性の評価:
   • 取得した説明が画像の該当領域と意味的に一致するかを、LLM ジャッジ（GPT-5 など）を用いて自動評価します。

既存手法との比較

• EmbeddingLens / LogitLens: 入力埋め込み行列や出力解読行列（Unembedding matrix）の語彙のみと比較する。結果として、部分語（subword）や次のトークンの予測が返され、意味的な文脈が欠如しやすい。
• LATENTLENS: 文脈化された表現と比較する。結果として、完全な単語や文レベルの記述が返され、視覚内容との意味的整合性が高まる。

3. 主要な貢献と発見 (Key Contributions & Findings)

3.1. 視覚トークンの高い解釈性の実証

10 種類の異なる VLM 構成（3 つの LLM × 3 つの視覚エンコーダ）を対象に実験を行った結果、LATENTLENS を使用すると、視覚トークンの約 72% がすべての層で解釈可能であることが判明しました。

• 対照的に、LogitLens では約 23%、EmbeddingLens では約 30% しか解釈可能と判定されませんでした。
• これは、既存の手法が視覚トークンの解釈性を著しく過小評価していたことを示しています。

3.2. 「中層の飛躍（Mid-Layer Leap）」現象の発見

視覚トークンが LLM のどの層のテキスト表現と最も類似するかを分析したところ、驚くべき現象が観察されました。

• 入力層（Layer 0）の視覚トークンは、LLM の中層（例：Layer 8〜16）のテキスト表現と最も強く一致します。
• 通常、テキストトークンは入力から処理が進むにつれて文脈化され、表現が変化しますが、視覚トークンは入力段階ですでに「中層レベルの文脈化された意味」に近い状態にあることが示唆されました。
• このことは、視覚トークンの投影（Projection）が、単なる語彙レベルの対応ではなく、意味的な中間表現をターゲットにしていることを示唆しています。

3.3. 解釈性の頑健性

• 学習設定への依存: 接続部（Connector）を線形（Linear）に簡略化しても、キャプションの長さを短くしても、解釈性はほとんど低下しませんでした。
• オフ・ザ・シェルフモデルへの一般化: 既存の強力な VLM（Qwen2-VL-7B-Instruct）に対しても同様の結果が得られ、この現象は特定の学習設定に限定されないことが示されました。

3.4. 定性的分析

• LATENTLENS は「large tower with clocks（大きな時計付きの塔）」のような具体的な文脈を含んだ記述を生成しますが、LogitLens は「clocks」や「clock」などの単一トークン、あるいは「<」や「shima」などの無意味なサブワードを返す傾向がありました。
• 画像内のテキスト（レンダリングされた文字）に対しても、LATENTLENS は正確な単語を予測できますが、LogitLens は文脈に基づいた次のトークンの予測（例：「couch」に対して「es」や「potato」を予測）を行い、視覚的実体を直接表現できていないことが示されました。

4. 結果 (Results)

• 解釈性の定量化: 10 個のモデル構成全体で平均 72% の視覚トークンが LATENTLENS によって解釈可能と判定されました（人間のアノテーションとの一致率も高い）。
• 層ごとの傾向:
  • LogitLens: 後期層（出力に近い層）でのみ解釈性が向上する傾向があり、初期層では低い値を示します。
  • LATENTLENS: 初期層から後期層まで、すべての層で一貫して高い解釈性（60-85%）を示します。
• L2 ノルムと分布: 視覚トークンはテキストトークンに比べて L2 ノルムが非常に大きい傾向がありますが、これはスパースな外れ値によるものではなく、すべての次元で一様に大きな値を持つことが示されました。また、視覚トークンは LLM 内を通過しても表現がほとんど変化せず（ドリフトが小さい）、初期状態から中層レベルの表現に近いことが確認されました。

5. 意義と将来展望 (Significance)

理論的意義

• 視覚と言語の対齐（Alignment）の再評価: 視覚と言語の表現空間は、単なる「狭いコーン（narrow cone）」や異なる部分空間に存在するのではなく、深い構造的な類似性（Platonic Representation Hypothesis）を共有している可能性を強く示唆しています。
• LLM の「万能計算エンジン」仮説の裏付け: 凍結された LLM が最小限の調整で視覚情報を処理できる理由は、視覚トークンがすでに LLM の意味的表現空間（特に中層）と整合しているためであるという新たな知見を提供しました。

実用的意義

• Hallucination（幻覚）の低減: 視覚トークンの解釈性を高めることは、VLM が画像内容を誤って記述する幻覚を抑制する鍵となる可能性があります。
• 新しい分析ツールの提供: LATENTLENS は、LLM の潜在表現を分析するための新しい標準的な「レンズ」として機能し、他の非言語トークン（ソフトプロンプト、音声など）の分析にも応用可能です。

結論

本論文は、視覚トークンが LLM 内で「解釈不可能なノイズ」ではなく、高度に構造化された意味的表現として存在していることを実証しました。LATENTLENS という新しい手法は、従来の語彙ベースの解釈手法の限界を克服し、マルチモーダルモデルの内部動作をより深く理解するための重要な道筋を開きました。