🤖 machine learning

Rethinking Model Selection in VLM Through the Lens of Gromov-Wasserstein Distance

本論文は、Gromov-Wasserstein 距離を介して測定された視覚と言語のモダリティ間の構造的類似性が、エンコーダのサイズやゼロショット精度よりもアライメント性能の優れた予測因子であることを示すことによって、ビジョン・ランゲージモデルに対する従来のモデル選択基準に挑戦する。

原著者： Muyang Li, Yucheng Liu, Jianbo Ma, Elliot Osborne, Bo Han, Tongliang Liu

公開日 2026-05-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Muyang Li, Yucheng Liu, Jianbo Ma, Elliot Osborne, Bo Han, Tongliang Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

究極の「多言語」翻訳機を作ろうとしていると想像してください。あなたは言葉についてすべてを知っている天才的なテキスト専門家（大規模言語モデル、またはLLM）を持っており、彼らに視覚を教えるために視覚専門家（ビジョニングエンコーダ）を雇いたいと考えています。

大きな疑問は：どの視覚専門家を雇うべきか？

長らく、人々は答えは単純だと思っていました。「最も大きな専門家」を雇うか、「最も高いテストスコアを持つ」者を雇うか。しかし、この論文は**「実は、それは悪い経験則だ」**と言っています。

以下に、研究者たちが発見したことを簡単に説明します。

1. 選ぶ「間違った」方法

研究者たちは、18 種類のトップクラスの視覚専門家を収集しました。そして、それぞれを同じテキスト専門家と組み合わせて、どの組み合わせが最もうまく機能するかを試しました。

彼らは古い規則を試しました：

規則 A: 最も大きなモデル（最も多くのパラメータを持つもの）を選ぶ。
規則 B: 最も高い「ゼロショット」精度（追加のトレーニングなしで最も多くの質問に正解するもの）を持つものを選ぶ。

結果： これらの規則は惨めに失敗しました。時には最大のモデルがパフォーマンスが低かったり、単独では「最も賢い」モデルがテキスト専門家と組み合わさるとひどい結果になったりしました。実は、自分の仕事で優れていることが、この特定のパートナーと共働することに優れていることを意味しないことがわかりました。

2. 本当の問題：異なる「言語」を話すこと

研究者たちは、問題が視覚専門家の賢さではなく、互換性にあることに気づきました。

テキスト専門家が詩のように構造化された言語を話していると想像してください。

視覚専門家 Aは数学の方程式のように構造化された言語を話します。
視覚専門家 Bは詩のように構造化された言語を話します。

視覚専門家 A が天才的な数学者であっても、彼らの思考をテキスト専門家の詩的な言語に翻訳するのは悪夢のようなことになります。「翻訳層」（プロジェクタ）はそのギャップを埋めるために驚異的な努力を強いられ、最終的な結果は不器用なものになります。

一方、視覚専門家 B はすでに詩で思考しています。翻訳は簡単で、最終的なチームは美しく機能します。

この論文はこの現象を構造的類似性と呼んでいます。彼らが何を知っているかではなく、彼らがどのように思考を組織化しているかが重要なのです。

3. 解決策：「グロモフ・ワッサーシュタイン（GW）」距離

すべての候補者を雇ってトレーニングする（それは数ヶ月かかり、莫大な費用がかかる）ことなくこの互換性を測定するために、研究者たちはグロモフ・ワッサーシュタイン（GW）距離と呼ばれる新しいテストを発明しました。

その仕組みの比喩は以下の通りです：

古い方法（単純な距離）： 2 つの地図を持っていると想像してください。一つはニューヨーク、もう一つは東京です。ニューヨークの地図で「セントラルパーク」と「タイムズスクエア」の間の距離を測定し、東京の地図の「渋谷」と「東京タワー」の距離と比較すると、数字は一致しません。なぜなら、都市のサイズや形が異なるからです。これが古い方法が失敗する理由です。
GW 方式： 絶対的な場所を見るのではなく、GW は関係性を見ます。「セントラルパークとタイムズスクエアの関係（例えば、『10 分離れている』）は、渋谷と東京タワーの関係と同じか？」と問います。
2 つの地図間の内部幾何学（点が互いにどのように関係しているか）が似ている場合、GW 距離は低いです。これは、2 つの専門家が似たような「形」で思考していることを意味し、ペアリングが容易になります。

4. 証明

研究者たちは大規模な実験を行いました：

彼らは 18 種類のすべての視覚専門家に対してこの GW 距離を計算しました。
その後、実際に完全なシステム（「難しい方法」）をトレーニングして、誰が本当に勝ったかを確認しました。

発見：

GW 距離は、勝者を正しく予測した唯一の指標でした。
相関は強かったです：GW 距離が低いほど、最終的な AI のパフォーマンスは良くなりました。
古い規則（サイズと精度）は、最終的な成功とはほとんど関係がありませんでした。

5. なぜこれが重要なのか

この論文は、「トレーニング不要」のショートカットを提供します。

以前： あなたは最良のものを見つけるために、18 種類の異なる AI モデルを数週間トレーニングする必要がありました。
現在： あなたはこの GW 計算を約 1 分（単一の高性能コンピュータ上で）実行し、どの視覚専門家があなたのテキストモデルと最もよく機能するかを正確に知ることができます。

要約の比喩

VLM を構築することは、ダンスのデュオを組むようなものです。

古い知恵： 「最も多くの賞を持ち、最も筋肉質なダンサーを選ぶ。」
新しい知恵： 「パートナーと自然にリズムやスタイルが合うダンサーを選ぶ。」

この論文は、成功する AI チームを作る際、**筋肉（モデルサイズ）や賞（精度）**よりも、**リズム（構造的類似性）**の方がはるかに重要であることを証明しています。彼らはそのリズムを瞬時に測定するための新しいツール（GW 距離）を提供し、時間を節約し、費用を削減しながら、より良い AI を構築できるようにしました。

技術的サマリー：グロモフ・ワッサーシュタイン距離の観点からの VLM におけるモデル選択の再考

1. 問題定義

ビジョン・ランゲージモデル（VLM）は通常、「事前学習後に微調整」というパラダイムに従い、ここでプロジェクターがビジョンエンコーダーと大規模言語モデル（LLM）の表現空間を整合させます。このパラダイムが広く採用されているにもかかわらず、特定の LLM に対してどの事前学習済みビジョンエンコーダーが最も適しているかについて、原理的な理解が欠如しています。

現在の慣行は、最大規模のモデルを選択するか、または最高ゼロショット精度を持つモデルを選択するといったヒューリスティクスに依存することが多いです。しかし、著者らは包括的な実験を通じて、これらの指標が以下の点において欠陥があることを実証しています：

VLM 整合のための最適なビジョンエンコーダーを一貫して特定できない。
完全な微調整後の最終的な VLM パフォーマンスとの相関が、弱から中程度に留まる。
整合の難易度の決定的要因であると仮定されている、視覚表現空間とテキスト表現空間との間の「互換性」または構造的類似性を考慮していない。

2. 手法

本論文は、視覚表現の分布とテキスト表現の分布との間の構造的類似性を測定するための、学習不要かつ推論のみの指標としてグロモフ・ワッサーシュタイン（GW）距離の使用を提案します。

中核概念：グロモフ・ワッサーシュタイン距離

共通の環境空間を必要とする標準的な距離指標とは異なり、GW 距離は、異なるドメインに存在し、異なる次元と測度を持つ可能性のある 2 つの**計量測度空間（mm-空間）**を比較するように設計されています。

直観： モダリティを超えて定義が不適切な点の絶対位置を比較するのではなく、GW 距離は各空間内の内部的関係（対距離）を比較します。これは、視覚空間（ $d_X$ ）とテキスト空間（ $d_Y$ ）の対距離間の歪みを最小化する最適な輸送計画（カップリング） $\pi$ を求めます。
定式化： GW 距離は、すべての可能なカップリング $\pi$ にわたる期待損失の下限として定義されます：
$GW := \inf_{\pi \in \Pi} \sum_{x,x',y,y'} L(d_X(x, x'), d_Y(y, y')) \pi_{x,y}\pi_{x',y'}$
ここで、 $L$ はペナルティ関数であり（本稿では $\ell_1$ 距離を使用）、です。

実装詳細

スケール整合： モダリティ間の固有のスケール差を処理するため、著者らは中央値比率整合を適用します。視覚モダリティの対距離行列を正規化し、その対角成分以外の中央値がテキストモダリティのそれと一致するようにします。
最適化： 最適な輸送計画 $\pi^*$ は、輸送多面体上の二次汎関数として GW 目的関数を扱う条件付き勾配法（[40] に従う）を用いて解かれます。
モデル選択アルゴリズム：
- 画像・テキストペアのサンプルに対して、視覚特徴（CLS トークン）とテキスト特徴（隠れ状態）を抽出します。
- 両モダリティの対距離行列を計算します。
- 距離を正規化し、GW 距離を計算します。
- 対象 LLM に対する最小 GW 距離を持つビジョンエンコーダーを選択し、それが最良の VLM パフォーマンスをもたらすと予測します。

3. 理論的解析

本論文は、GW 距離とクロスモダリティマッピングの学習可能性を結びつける理論的根拠を提供します。

リプシッツ限界： 著者らは、ベイズ最適クロスモダリティプロジェクター $g^*$ のリプシッツ定数（ $L_{g^*}$ ）が、モダリティ間の $\infty$ -ノルム GW 距離（ $GW_\infty$ ）によって制限されることを証明しています。
含意： 小さな GW 距離は、リプシッツ定数のより小さな上限を意味します。ニューラルネットワークの一般化限界はしばしばリプシッツ定数（またはスペクトルノルム）に依存するため、小さな GW 距離は、より低い関数複雑性の仮説を用いて、最適マッピングが本質的に学習しやすいことを示唆します。

4. 実験結果

著者らは、18 の多様な事前学習済みビジョンエンコーダーと 2 つのベース LLM（Qwen-2.5-7B-Instruct および LLaMa-3.1-8B-Instruct）を用いた、60 回以上の完全な VLM 学習実行を含む広範な実験を実施しました。

主要な知見

優れた選択精度： GW ベースの選択戦略は、「小規模」（<5 億パラメータ）および「大規模」グループの両方において、最適なビジョンエンコーダー（9 つのベンチマークで平均スコアが最も高いもの）を一貫して特定しました。
パフォーマンスとの相関：
- GW 距離は、最終的な VLM パフォーマンスに対してピアソン相関 0.6568、スピアマン相関 0.5341を達成しました。
- GW 距離とパフォーマンスの間の線形フィットは、分散の43% を説明しました（ $R^2 = 0.4314$ ）。
- 対照的に、ゼロショット精度（ $R^2 \approx 0.21$ ）、表現類似性分析（RSA）、および正準相関分析（CCA）といった従来のベースラインは、弱から中程度の相関を示しました。特に、MutualNN は高いピアソン相関を示しましたが、負のスピアマン相関を示しており、これは偽の関係を意味します。
頑健性： GW 距離の有効性は、異なるベース LLM および異なる事前学習データセット（LAION/Conceptual Captions 対 CC3M）全体で検証され、この指標がモダリティ互換性の一般化可能なパターンを捉えていることを示唆しています。
効率性： GW 推定は純粋な推論タスクです。1,000 組の画像・テキストペアに対する指標の計算は、単一の GPU で約1 分で完了し、完全な VLM 学習実行に必要な約 8.5 時間（68 GPU 時間）と比較して大幅に短縮されます。

5. 意義と主張

本論文は、単純なヒューリスティクスを超えて、VLM におけるビジョンエンコーダー選択を支配する要因に関する最初の体系的な調査を提供すると主張しています。

新規性： モダリティ間の分布的互換性の概念を VLM 成功の主要な決定要因として導入し、GW 距離を通じて形式化しました。
実用的影響： 高価な全パラメータ微調整に着手する前に、VLM パフォーマンスを予測するための、計算効率が高く学習不要な手法を提供します。
理論的貢献： 表現空間の幾何学的構造（GW 距離によって測定される）と整合プロジェクターの学習可能性との間の形式的なリンクを確立しました。

著者らは、現在のヒューリスティクス（サイズ、ゼロショット精度）では不十分である一方で、GW 距離を介した表現空間の構造的類似性を測定することが、ビジョン・ランゲージモデルにおけるモデル選択のための、堅牢で理論的根拠があり、実証的に検証された代理指標を提供すると結論付けています。