技術的サマリー：プラトンの洞窟からの脱出：独立して訓練された視覚モデルと言語モデルを整合させるための JAM

1. 問題定義

本論文は、独立して訓練された視覚モデルと言語モデルの間の根本的な断絶に対処する。「プラトニック表現仮説（PRH）」は、異なるモダリティと目的で訓練されたモデルが、現実の共有された統計的モデルへと収束する可能性を示唆しているが、現在の証拠は主に観察的なものである。既存の手法は、粗粒度の整合性を検出するために、CKA や CCA などの事後統計的指標に依存している。しかし、これらの指標は、複数の記述がグローバルな意味を共有しつつも、微妙な構成的詳細において異なる「細粒度の文脈設定」では機能しない（例：「茶色の犬が赤いボールを追いかけている」と「茶色の犬が青いボールを追いかけている」を区別すること）。

著者らは、整合性の真の課題はグローバルな相関を検出することではなく、これらの細粒度の区別を明示的に最適化して保存することにあると主張する。現在のマルチモーダルモデル（CLIP、BLIP など）は、しばしば大規模な対話コーパスを用いたエンドツーエンドの訓練に依存するか、最初からマルチモーダルなバイアスを継承しており、真の単一モーダルかつ凍結された基盤モデル間で、事後的に整合性を誘発できるかどうかを検証していない。

2. 手法：ジョイントオートエンコーダモジュレータ（JAM）

著者らは、凍結された単一モーダルモデルを整合させるために設計されたフレームワーク「JAM」を提案する。このアーキテクチャは以下の構成からなる：

• モダリティ固有のオートエンコーダ： 視覚と言語のための個別のエンコーダとデコーダが、高次元の埋め込み（$d_{input}$）を共有された潜在ボトルネック（$d_{latent}$）にマッピングし、入力を再構成する。この再構成目的は（PCA に似た）統計的正則化器として機能し、ノイズを棄却しつつ、モダリティ固有の情報と本質的な分散を保存する。
• 共有ボトルネック： 粗粒度および細粒度の両方の意味を解決できる一貫した概念空間を強制する潜在空間。
• ジョイント訓練： オートエンコーダは、再構成（ノイズ除去）とクロスモーダル整合性という調整された目的関数を用いて同時に訓練される。

損失関数

本論文は、整合性を最適化するための階層的な損失関数を導入する：

1. コントラスト損失（Con）： 一致する画像 - テキストのペアを近づけ、無関係なペアを遠ざける、標準的な対称損失（CLIP に着想を得た）。
2. ネガティブコントラスト損失（NegCon）： 視覚から言語への方向において、意味的に類似しているが誤ったキャプションである「ハードネガティブ」を明示的に組み込み、微妙な違いを区別できないことをモデルに罰則を与える拡張版。
3. スプレッド損失（提案）： 意味的類似性の構造と細粒度の対比を捉えるように設計された新規の損失関数。2 つの段階で動作する：
   • コンテキストコントラスト（$L_{ConCon}$）： 真の正解とハードネガティブを含むすべての意味的に類似したキャプションを「類似コンテキストセット」として引き寄せ、このセットを非類似のコンテキストから遠ざける。これによりグローバルな整合性を学習する。
   • コンテキスト InfoNCE（$L_{contextNCE}$）： 類似コンテキストセット内において、真の正解を唯一の正しい正例とし、ハードネガティブを誤りとして明示的に扱い、モデルに細粒度の詳細を識別させる。
   • 定式化： $L_{spread-VL} = (1-\alpha)L_{ConCon} + \alpha L_{contextNCE}$。ここで、$\alpha$ はグローバルなコンテキスト整合性とコンテキスト内識別のバランスを取る。

3. 実験設定

• データセット： 主要な評価には、制御された摂動（置換、交換、追加）を伴う細粒度の視覚 - 言語構成性を目的とした「SugarCrepe」を使用する。「Winoground」は、視覚 - 言語構成性の追加ベンチマークとして使用される。
• ベースライン： 著者らは、JAM を統計的整合性指標（CCA、CKA、SVCCA、CKNNA）、標準的なコントラストベースライン（Con、NegCon）、単純な射影手法（線形/非線形）、および事前学習済み/微調整された CLIP 変種と比較する。
• バックボーン： 実験では、言語モデル（Gemma2、Llama3.2、OLMo2）および視覚モデル（DINOv2、ResNet50、MAE、Swin、ViT）を含む広範な凍結された単一モーダルモデルを利用する。
• 指標： 性能は、画像からテキストへの検索 Recall@1（二値および 5 択）および Winoground テキストスコアを通じて測定される。

4. 主要な結果

• 統計的限界： 統計的指標（CKA、CCA）は、一致するペアを簡単な非一致から区別することに成功するが、ハードネガティブと真の一致を区別することはできず、粗い統計的整合性が細粒度の意味的整合性を保証しないことを確認する。
• スプレッド損失の優位性： スプレッド損失を備えた JAM は、すべてのタスク（置換、追加、交換）およびバックボーンの組み合わせにおいて、コントラストおよび NegCon ベースラインを一貫して上回る。それは、いくつかの強力な事前学習済みおよび微調整された CLIP 変種と同等かそれ以上の性能を達成する。
• 効率性： JAM は、CLIP を微調整する場合と比較して、計算コスト（FLOPs）を大幅に削減しながら高い性能を達成する。アブレーション研究により、再構成コンポーネントを除去すると過学習が急速に発生し、性能が崩壊することが示され、正則化器としてのオートエンコーダ構造の必要性が浮き彫りになった。
• 層の深さと監督： カリキュラム学習アプローチを用いて、事前学習モデルの初期の層は、整合させるためにより強い細粒度の監督（スプレッド損失におけるより高い$\alpha$）を必要とするのに対し、より深く抽象的な層は、より弱い監督で効果的に整合することがわかった。
• モデル規模： 言語バックボーンの規模拡大（例：2B から 13B パラメータへ）は、この低データかつ細粒度の設定において性能を一貫して向上させず、これらのタスクではモデル規模よりも目的関数の設計（スプレッド損失）がより重要であることを示唆している。

5. 意義と主張

本論文は、独立して訓練されたモデル間の共有意味構造を明示的に最適化することにより、「プラトンの洞窟からの脱出」のための実用的なメカニズムを提供すると主張する。その主な貢献は以下の通りである：

1. 事後整合性の実証： エンドツーエンドの事前学習や大規模な対話データセットなしに、単一モーダル基盤を専門的なマルチモーダルモデルに整合させられることを証明する。
2. スプレッド損失の導入： グローバルなコンテキストと局所的な細粒度の区別との間の緊張関係を明示的にモデル化することで、標準的なコントラスト目的関数を上回る構造化された監督手法を提供する。
3. 理論的洞察： 「プラトニック表現」は存在するが、特に統計的指標が機能しない細粒度の文脈において、それを解き放つためには特定の構造化された訓練目的が必要であるという実証的証拠を提供する。
4. 実用的フレームワーク： 凍結された専門的な単一モーダルバックボーンの上にマルチモーダルシステムを構築するためのパレート効率的なレシピとして JAM を提案し、小規模で専門的なデータセットで一般化モデルを微調整する際にしばしば見られる「表現の崩壊」を回避する。

著者らは、この研究を将来のマルチモーダルシステムのための設計レンズとして位置づけ、凍結された単一モーダルコンポーネントを整合させることが、特に専門分野において、ゼロから大規模なマルチモーダルモデルを訓練することの代替手段となり得ることを示唆している。