💻 computer science

Beyond the Linear Separability Ceiling: Aligning Representations in VLMs

本論文は、視覚言語モデルにおける抽象的推論の失敗は、推論自体の欠陥ではなく、多くの場合、視覚的な整合性の最適化不足に起因することを明らかにするための「線形分離性天井（Linear Separability Ceiling: LSC）」を中心とした診断フレームワークを導入し、視覚表現をより線形分離性の高い幾何学的構造へと再構成することで、モデルがこの性能の天井を大幅に突破することを可能にする対照学習手法を提案する。

原著者： Enrico Vompa, Tanel Tammet, Mohit Vaishnav

公開日 2026-06-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Enrico Vompa, Tanel Tammet, Mohit Vaishnav

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

論文の解説：「線形分離性の天井」を超えて：VLMにおける表現の整列

大きな問題：「賢いけれど、わけがわかっていない」ロボット

想像してみてください。あなたは、画像を見てそれについて話すことができる、非常に賢いロボット（視覚言語モデル、またはVLM）を持っています。あなたはロボットに次のようなパズルを見せます。「ここに、ある動作をしている猫の画像が6枚、そしてその動作をしていない猫の画像が6枚あります。この新しい画像はどちらのカテゴリーに属しますか？」

時々、ロボットは失敗します。著者たちが問いかけた大きな疑問は、**「なぜか？」**ということです。

ロボットの「目」（知覚）が悪いのでしょうか？たとえば、猫をはっきりと見えていないのかもしれません。
それとも、ロボットの「脳」（推論）が悪いのでしょうか？たとえば、猫は完璧に見えているのに、パズルを解くためのルールを理解できていないのかもしれません。

診断ツール：「線形分離性の天井（Linear Ceiling）」

この疑問に答えるために、著者たちは**「線形分離性の天井（LSC）」**と呼ばれるテストを作成しました。

例え話： ロボットの「目」は、すべての画像を長い数字のリスト（埋め込み）に変換すると想像してください。

テストの内容： 彼らはこれらの数字のリストを取り上げ、非常に単純で単純な計算機（線形分類器）を使って、画像を「はい」と「いいえ」の山に仕分けさせます。
天井： もしこの単純な計算機が90%の精度で画像を仕分けられるなら、それはロボットの「目」がすでに難しい作業を終えていることを意味します。情報はそこに存在しており、読み取りやすい状態です。この90%という数値が、生の視覚データの「天井」となります。

発見： 著者たちは、多くの高度なロボットにおいて、この単純な計算機はロボット自身と同じくらいの結果を出せる actually（実際には）出せるということを発見しました。

「アライメント・ギャップ（整列の乖離）」： ロボットの複雑な脳は、その「目」が提供している明快な情報を活用できていないのです。それは、本が完璧に整理された図書館があるのに、司書（推論を行う脳）が道に迷ってしまい、目的の本を見つけられないような状態です。ロボットは盲目なのではなく、単に「整列（アライメント）」ができていないのです。

一部のロボットが成功する理由

一部のロボットは、この単純な計算機を上回りました。著者たちは、彼らが2つの異なる方法でこれを行っていることを見つけました。

「洗練させる者（リファイナー）」（Pixtral）： このロボットは、目から得た生の数字のリストを取り込み、それをさらに明確で分類しやすいものにするための特別なプロセスを実行します。これは、ぼやけた写真を、単純な計算機でも簡単に読めるようにシャープにするようなものです。
「考える者（シンカー）」（その他の多く）： これらのロボットは、数字をより明確にするわけではありません。代わりに、複雑な脳を使って、非線形でトリッキーなロジックを適用して答えを導き出します。彼らは、単純な計算機にはできない「脳の体操」を行っているのです。

解決策：ロボットに「直線的に考える」ことを教える

著者たちは、すべてのロボットがこれらのパズルをもっとうまく解けるように、この「アライメント・ギャップ」を修正したいと考えました。彼らは、ロボットが次の単語を予測するように訓練されている（テキスト生成器のように）ものの、それが視覚的な思考を明確に整理することを強制していないことに気づきました。

修正方法： 彼らはロボットの訓練に新しいルールを追加しました。

古いルール： 「次の単語を予想せよ」
新しいルール： 「次の単語を予想し、かつ、見ている画像が、数字の空間においてその『兄弟』となる画像たちのすぐ隣に位置するようにせよ（『敵』となる画像からは遠ざけよ）」

例え話： 赤い靴下と青い靴下が混ざり合っている散らかった部屋を想像してください。

前：ロボットは直感に基づいて、どの靴下がどちらであるかを推測しようとするだけです。
後：ロボットは、「靴下を仕分けろ！赤い靴下はすべて一つの整った山に、青い靴下は別の山にまとめろ」と言われます。一度靴下が整理されると（視覚的多様体（マニフォールド）が再構成されると）、ロボットは簡単に正しいものを選べるようになります。

結果

この新しい訓練方法（単語予測とこの「仕分け」ルールの組み合わせ）を用いることで：

視覚がより明確になった： ロボットの内部にある世界のイメージは、整理された直線的な幾何学構造へと組織化されました。
脳が整列した： ロボットの推論経路が、その明快な視覚とついに一致しました。
スコアの向上： ロボットは抽象的なパズル（ボンガルド問題など）を以前よりもずっとうまく解けるようになり、以前は突破できなかった「単純な計算機」の限界さえも超えることがよくありました。

注意点（制限事項）

論文ではトレードオフについても指摘しています。ロボットに視覚的な思考をこれらの整然とした直線として整理させるように強制することで、時としてロボットが硬直してしまうことがあります。

例え話： もし、学生に「完璧な直線を描くことで数学の問題を解くように」と教えたら、その特定のタイプの問題には非常に強くなるかもしれませんが、先生から「円を描いて」とか「詩を書いて」と言われたときに苦労するかもしれません。
ロボットはこれらの特定の視覚パズルには非常に強くなりましたが、質問の形式が少し変わると、その「直線的な構造」に依存しすぎてしまうため、苦戦することがありました。

まとめ

この論文は、多くのAI視覚モデルが失敗しているのは、それらが「見ることができない」からではなく、「見たものを整理することができない」からであると主張しています。訓練にシンプルな「仕分け」ルールを加えることで、著者たちはこれらのモデルの視覚と推論を一致させ、以前は解けなかった抽象的なパズルを解けるようにすることに成功しました。

技術要約：線形分離性の天井を超えて：VLMにおける表現の整列化

問題提起

最先端の視覚言語モデル（VLM）は、強力な視覚的知覚能力を備えているにもかかわらず、ボンガード問題（Bongard problems）のような抽象的な推論タスクにおいて頻繁に失敗します。この分野における中心的な課題は、これらの失敗が「ボトムアップ的な視覚的知覚の欠陥（必要な特徴量を抽出できないこと）」に起因するのか、それとも「トップダウン的な推論の欠陥（それらの特徴量を事前知識を用いて解釈できないこと）」に起因するのかを切り分けることです。これまでの研究は、モデルの生の視覚表現と生成的な推論出力との間のギャップを定量化するための経験的手法が不足していたため、失敗の主要な原因を特定することに苦慮してきました。

手法

著者らは、この曖昧さを解消するために、**線形分離性の天井（Linear Separability Ceiling: LSC）**を中心とした診断フレームワークを導入しています。

線形分離性の天井 (LSC): LSCは、VLMの生の視覚埋め込みに対する単純な線形分類器（具体的には最近傍重心分類器）によって達成可能な性能として定義されます。この指標は、初期の視覚表現の質に対するベースラインを確立します。もしモデルのエンドツーエンドの生成性能が統計的にこの天井を超えられない場合、それは知覚経路ではなく、推論経路の失敗であることを示唆します。
診断フレームワーク: このフレームワークは、以下の3つの指標を比較します。
- LSC: 初期視覚埋め込みに対する線形プローブの精度。
- 最終表現精度 (Final Representation Accuracy): LLMの最終隠れ状態に対する線形プローブの精度。
- 生成精度 (Generative Accuracy): モデルの標準的な次トークン予測性能。
  統計的有意性テスト（カイ二乗検定）を用いて、生成性能が真にLSCよりも優れているのか、あるいは「整列ギャップ（alignment gap）」が存在するのかを判定します。
介入戦略: 本研究では、このギャップを埋めるためにいくつかのパラメータ効率の良い微調整（PEFT）手法を評価しています。
- Postfix Tuning: シーケンスの末尾に学習可能なソフトプロンプトを追加し、初期表現を変更することなく潜在的な推論経路を活性化させます。
- LoRA (Low-Rank Adaptation): アテンション層およびMLP層に学習可能な行列を注入します。
- 結合目的関数 ( $L_{combined}$ ): 標準的な次トークン予測 ( $L_{NT}$ ) と明示的な対照学習損失 ( $L_{sim}$ ) を組み合わせた新しい学習目的関数です。この対照項は、クエリ画像の最終的な埋め込みが真のカテゴリ重心に近づき、かつ代替案からは遠ざかるように促すことで、視覚的な多様体（manifold）を一次元的な線形幾何学へと再構成します。

主な知見

1. 蔓延する整列ギャップ

Phi、Pixtral、Gemma、InternVL、Qwenを含む8つの最先端VLMをボンガード様データセットに適用した結果、広範な「整列ギャップ」が明らかになりました。ほとんどのモデルにおいて、生成性能は自身のLSCと統計的に区別がつかないか、あるいはLSCよりも劣っています。これは、モデルが高い品質の視覚表現（高いLSC）を持っている一方で、その表現を活用するための推論経路が効果的に整列されていないことを示唆しています。

2. 天井を超える2つの経路

LSCを正常に超えることができた数少ないモデルは、2つの異なるメカニズムを通じてこれを行っています。

線形分離性の強化: Pixtralのようなモデルは、非線形プロセスを通じて視覚表現をより線形分離可能な形式へと洗練させ、ボトムアップ的な知覚プロセスを実質的に拡張しています。
非線形決定ロジック: 成功したほとんどのモデルは、埋め込みから線形に読み取ることのできない解を計算する、非線形な決定ロジックを実行しています。これを示す証拠として、初期表現を変更できないものの、休眠状態の推論経路を活性化できるPostfix Tuningの成功が挙げられます。

3. ボトルネックの所在

アブレーション研究により、ボトルネックはビジョンエンコーダーの知覚ではなく、LLMの推論経路内にあることが確認されました。ビジョンエンコーダーにLoRAを適用しても、LLMのみを適応させた場合と比較して追加の性能向上は見られませんでした。

4. タスク依存的な適応

原子的概念 (Atomic Concepts): 原子的な意味的概念の比較（例：OpenWorld）を伴うタスクでは、プロンプトチューニングによる活性化だけで十分な場合が多いです。
関係的概念 (Relational Concepts): 関係的な意味的概念の推論（例：Bongard-HOI）を必要とするタスクでは、性能を向上させるためにLoRAによるより深い適応が必要です。

5. 結合目的関数 ( $L_{combined}$ )

提案された $L_{combined}$ 目的関数は、相反する信号をうまくバランスさせます。視覚的な多様体を、グローバルに一貫した一次元的な線形のレイ（rays）へと再構成することで、画像間の比較を改善します。このアプローチにより、モデルは抽象的な構成的推論タスクにおいてLSCを大幅に超えることが可能となり、分布外（OOD）の概念やWinogroundのようなクロスドメインタスクへの堅牢な汎化性能を示しました。

意義と主張

本論文は、VLMにおける抽象的推論のボトルネックは、知覚の根本的な限界ではなく、解決可能な視覚的整列の問題であることを実証していると主張しています。

診断的有用性: LSCフレームワークは、整列ギャップを形式化するための幾何学的かつ統計的なレンズを提供し、「整列されていない推論経路」と「根本的に欠落している知覚的知識」を区別します。
メカニズム的洞察: 本研究は、推論能力が視覚的知覚の線形分離性に遅れをとっていることが多いことを指摘しています。また、グローバルに一貫した構造（線形幾何学）が、分布外の構成的推論タスクへの転移を促進すると仮定しています。
実践的な解決策: 標準的な次トークン予測に対照学習の目的関数を付加する学習手法を提示しています。このアプローチは視覚的な多様体を再構成し、モデルが内部の視覚表現をより良く活用できるようにすることで、抽象的なタスクにおける高い解釈性と性能を実現します。

著者らは、特定の幾何学的構造を強制することがプロンプト形式に脆さをもたらす可能性がある一方で、表現を線形分離可能な形式へと再構成する能力は、より有能で解釈可能なマルチモーダル推論への重要なステップであると結論付けています。今後の課題として、現在のVLMに見られる「分離脳（split-brain）」の病理を解決するために、このシーケンス単位の分散表現の概念をテキストモダリティへと拡張することを提案しています。