🤖 machine learning

Rethinking Model Selection in VLM Through the Lens of Gromov-Wasserstein Distance

Dieser Artikel stellt konventionelle Kriterien zur Modellauswahl für Vision-Language-Modelle in Frage, indem er nachweist, dass die strukturelle Ähnlichkeit zwischen den Modalitäten Vision und Sprache, gemessen mittels Gromov-Wasserstein-Distanz, ein überlegener Prädiktor für die Ausrichtungsleistung ist als die Encoder-Größe oder die Zero-Shot-Genauigkeit.

Ursprüngliche Autoren: Muyang Li, Yucheng Liu, Jianbo Ma, Elliot Osborne, Bo Han, Tongliang Liu

Veröffentlicht 2026-05-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Muyang Li, Yucheng Liu, Jianbo Ma, Elliot Osborne, Bo Han, Tongliang Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den ultimativen „mehrsprachigen" Übersetzer zu bauen. Sie haben einen brillanten Textexperten (ein Large Language Model, oder LLM), der alles über Wörter weiß, und Sie möchten einen visuellen Experten (einen Vision Encoder) einstellen, um ihn das Sehen beizubringen.

Die große Frage lautet: Welchen visuellen Experten sollten Sie einstellen?

Lange Zeit dachten die Menschen, die Antwort sei einfach: „Stellen Sie den größten Experten ein" oder „Stellen Sie denjenigen mit den höchsten Testergebnissen ein." Doch diese Arbeit sagt: „Tatsächlich ist das eine schlechte Faustregel."

Hier ist die Geschichte dessen, was die Forscher herausfanden, einfach erklärt.

1. Der „falsche" Weg zur Auswahl

Die Forscher sammelten 18 verschiedene erstklassige visuelle Experten. Sie versuchten, jeden einzelnen mit demselben Textexperten zu koppeln, um zu sehen, welche Kombination am besten funktionierte.

Sie testeten die alten Regeln:

Regel A: Wählen Sie das größte Modell (mit den meisten Parametern).
Regel B: Wählen Sie denjenigen mit der höchsten „Zero-Shot"-Genauigkeit (denjenigen, der die meisten Fragen ohne zusätzliches Training richtig beantwortet).

Das Ergebnis: Diese Regeln versagten kläglich. Manchmal schnitt das größte Modell schlecht ab. Manchmal war das „klügste" Modell für sich genommen schrecklich, wenn es mit dem Textexperten gepaart wurde. Es stellt sich heraus, dass man gut in seinem eigenen Job sein kann, ohne gut darin zu sein, mit diesem spezifischen Partner zusammenzuarbeiten.

2. Das eigentliche Problem: Verschiedene „Sprachen" sprechen

Die Forscher erkannten, dass das Problem nicht darin bestand, wie klug der visuelle Experte war, sondern um Kompatibilität ging.

Stellen Sie sich vor, der Textexperte spricht eine Sprache, in der Sätze wie Gedichte strukturiert sind.

Visueller Experte A spricht eine Sprache, die wie mathematische Gleichungen strukturiert ist.
Visueller Experte B spricht eine Sprache, die wie Gedichte strukturiert ist.

Selbst wenn Visueller Experte A ein genialer Mathematiker ist, wird es ein Albtraum sein, seine Gedanken in die poetische Sprache des Textexperten zu übersetzen. Die „Übersetzungsschicht" (der Projektor) muss unglaublich hart arbeiten, um diese Lücke zu überbrücken, und das Endergebnis ist holprig.

Visueller Experte B hingegen denkt bereits in Gedichten. Die Übersetzung ist einfach, und das finale Team arbeitet wunderbar zusammen.

Die Arbeit nennt dies strukturelle Ähnlichkeit. Es geht nicht darum, was sie wissen, sondern wie sie ihre Gedanken organisieren.

3. Die Lösung: Der „Gromov-Wasserstein" (GW)-Abstand

Um diese Kompatibilität zu messen, ohne jeden einzelnen Kandidaten tatsächlich einzustellen und zu trainieren (was Monate dauern und ein Vermögen kosten würde), erfanden die Forscher einen neuen Test namens Gromov-Wasserstein (GW)-Abstand.

Hier ist eine Metapher dafür, wie er funktioniert:

Der alte Weg (Naiver Abstand): Stellen Sie sich vor, Sie haben zwei Karten. Eine ist von New York, die andere von Tokio. Wenn Sie versuchen, die Entfernung zwischen „Central Park" und „Times Square" auf der New Yorker Karte zu messen und sie mit „Shibuya" und „Tokyo Tower" auf der Tokioter Karte vergleichen, stimmen die Zahlen nicht überein, weil die Städte unterschiedliche Größen und Formen haben. Deshalb versagen alte Methoden.
Der GW-Weg: Anstatt die absoluten Standorte zu betrachten, betrachtet GW die Beziehungen. Er fragt: „Ist die Beziehung zwischen Park und Times Square (z. B. ‚sie sind 10 Minuten voneinander entfernt') dieselbe wie die Beziehung zwischen Shibuya und Tokyo Tower?"
Wenn die innere Geometrie (die Art und Weise, wie Punkte zueinander in Beziehung stehen) zwischen den beiden Karten ähnlich ist, ist der GW-Abstand niedrig. Das bedeutet, dass die beiden Experten in ähnlichen Formen „denken", was sie leicht zu koppeln macht.

4. Der Beweis

Die Forscher führten ein massives Experiment durch:

Sie berechneten diesen GW-Abstand für alle 18 visuellen Experten.
Dann trainierten sie tatsächlich die vollständigen Systeme (den „schwierigen Weg"), um zu sehen, wer wirklich gewann.

Die Erkenntnisse:

Der GW-Abstand war das einzige Maß, das die Gewinner korrekt vorhersagte.
Die Korrelation war stark: Je niedriger der GW-Abstand, desto besser performte die finale KI.
Die alten Regeln (Größe und Genauigkeit) hatten fast keinen Zusammenhang mit dem endgültigen Erfolg.

5. Warum das wichtig ist

Diese Arbeit bietet uns einen „training-freien" Shortcut.

Früher: Sie mussten 18 verschiedene KI-Modelle wochenlang trainieren, um das beste zu finden.
Jetzt: Sie können diese GW-Berechnung in etwa einer Minute (auf einem einzigen leistungsstarken Computer) durchführen und genau wissen, welcher visuelle Experte am besten mit Ihrem Textmodell funktioniert.

Zusammenfassende Analogie

Stellen Sie sich den Aufbau eines VLM wie die Bildung eines Tanzduos vor.

Alte Weisheit: „Wählen Sie den Tänzer mit den meisten Auszeichnungen und den größten Muskeln."
Neue Weisheit: „Wählen Sie den Tänzer, dessen Rhythmus und Stil natürlich zu Ihrem Partner passen."

Die Arbeit beweist, dass Rhythmus (strukturelle Ähnlichkeit) viel wichtiger ist als Muskeln (Modellgröße) oder Auszeichnungen (Genauigkeit), wenn es darum geht, ein erfolgreiches KI-Team zu schaffen. Sie stellten ein neues Werkzeug (GW-Abstand) bereit, um diesen Rhythmus sofort zu messen, was Zeit und Geld spart und gleichzeitig bessere KI entwickelt.

Technische Zusammenfassung: Neukonzeption der Modellauswahl in VLM durch die Linse der Gromov-Wasserstein-Distanz

1. Problemstellung

Vision-Language Models (VLM) folgen typischerweise einem Paradigma „Vorabtraining gefolgt von Feinabstimmung", bei dem ein Projektionslayer die Repräsentationsräume eines Vision-Encoders und eines Large Language Models (LLM) in Einklang bringt. Trotz der weit verbreiteten Anwendung dieses Paradigmas fehlt es an einem fundierten Verständnis dafür, welche vortrainierten Vision-Encoder für ein spezifisches LLM am besten geeignet sind.

Derzeitige Praktiken verlassen sich oft auf Heuristiken wie die Auswahl des größten Modells oder desjenigen mit der höchsten Zero-Shot-Genauigkeit. Die Autoren zeigen jedoch durch umfassende Experimente, dass diese Metriken:

Konsistent versagen, den optimalen Vision-Encoder für die VLM-Ausrichtung zu identifizieren.
Nur eine schwache bis moderate Korrelation mit der endgültigen VLM-Leistung nach vollständiger Feinabstimmung aufweisen.
Die „Kompatibilität" oder strukturelle Ähnlichkeit zwischen den visuellen und textuellen Repräsentationsräumen nicht berücksichtigen, was als kritischer Faktor für die Schwierigkeit der Ausrichtung hypothesiert wird.

2. Methodik

Der Artikel schlägt die Verwendung der Gromov-Wasserstein-Distanz (GW-Distanz) als trainingsfreie, nur Inferenz benötigende Metrik vor, um die strukturelle Ähnlichkeit zwischen der Verteilung visueller Repräsentationen und textueller Repräsentationen zu messen.

Kernkonzept: Gromov-Wasserstein-Distanz

Im Gegensatz zu Standard-Distanzmetriken, die einen gemeinsamen umgebenden Raum erfordern, ist die GW-Distanz darauf ausgelegt, zwei Maß-Raum-Metriken (mm-Räume) zu vergleichen, die sich in unterschiedlichen Domänen mit unterschiedlichen Dimensionen und Maßen befinden können.

Intuition: Anstatt die absoluten Positionen von Punkten zu vergleichen (was über Modalitäten hinweg schlecht gestellt ist), vergleicht die GW-Distanz die internen Beziehungen (Paarabstände) innerhalb jedes Raums. Sie sucht einen optimalen Transportplan (Kopplung) $\pi$ , der die Verzerrung zwischen den Paarabständen des visuellen Raums ( $d_X$ ) und des textuellen Raums ( $d_Y$ ) minimiert.
Formulierung: Die GW-Distanz ist definiert als das Infimum des erwarteten Verlusts über alle möglichen Kopplungen $\pi$ :
$GW := \inf_{\pi \in \Pi} \sum_{x,x',y,y'} L(d_X(x, x'), d_Y(y, y')) \pi_{x,y}\pi_{x',y'}$
wobei $L$ eine Straffunktion ist (in dieser Arbeit wird der $\ell_1$ -Abstand verwendet).

Implementierungsdetails

Skalenanpassung: Um inhärente Skalierungsunterschiede zwischen Modalitäten zu bewältigen, wenden die Autoren eine Median-Verhältnis-Anpassung an. Sie normalisieren die Paarabstandsmatrizen der visuellen Modalität so, dass ihre medianen Werte außerhalb der Diagonalen mit denen der Textmodalität übereinstimmen.
Optimierung: Der optimale Transportplan $\pi^*$ wird unter Verwendung eines bedingten Gradientenverfahrens (nach [40]) gelöst, wobei das GW-Ziel als quadratisches Funktional über dem Transportpolytop behandelt wird.
Modellauswahl-Algorithmus:
- Extraktion visueller Merkmale (CLS-Token) und textueller Merkmale (versteckte Zustände) für eine Stichprobe von Bild-Text-Paaren.
- Berechnung der Paarabstandsmatrizen für beide Modalitäten.
- Normalisierung der Abstände und Berechnung der GW-Distanz.
- Auswahl des Vision-Encoders mit der minimalen GW-Distanz zum Ziel-LLM, wobei vorhergesagt wird, dass dieser die beste VLM-Leistung liefert.

3. Theoretische Analyse

Der Artikel liefert eine theoretische Begründung, die die GW-Distanz mit der Lernbarkeit von modalitätsübergreifenden Abbildungen verknüpft.

Lipschitz-Schranke: Die Autoren beweisen, dass die Lipschitz-Konstante ( $L_{g^*}$ ) des Bayes-optimalen modalitätsübergreifenden Projektors $g^*$ durch die $\infty$ -Norm-GW-Distanz ( $GW_\infty$ ) zwischen den Modalitäten beschränkt ist.
Implikation: Eine kleinere GW-Distanz impliziert eine kleinere obere Schranke für die Lipschitz-Konstante. Da Generalisierungsschranken für neuronale Netze oft von der Lipschitz-Konstante (oder der Spektralnorm) abhängen, legt eine kleinere GW-Distanz nahe, dass die optimale Abbildung inhärent leichter zu lernen ist, unter der Hypothese einer geringeren funktionalen Komplexität.

4. Experimentelle Ergebnisse

Die Autoren führten umfangreiche Experimente durch, die über 60 vollständige VLM-Trainingsläufe umfassten, wobei 18 diverse vortrainierte Vision-Encoder und zwei Basis-LLMs (Qwen-2.5-7B-Instruct und LLaMa-3.1-8B-Instruct) verwendet wurden.

Wichtige Erkenntnisse

Überlegene Auswahlgenauigkeit: Die auf GW basierende Auswahlstrategie identifizierte konsistent den optimalen Vision-Encoder (denjenigen, der den höchsten Durchschnittswert über 9 Benchmarks erzielte) sowohl in der „Kleinen" (<500M Parameter) als auch in der „Großen" Gruppe.
Korrelation mit der Leistung:
- Die GW-Distanz erreichte eine Pearson-Korrelation von 0,6568 und eine Spearman-Korrelation von 0,5341 mit der endgültigen VLM-Leistung.
- Die lineare Anpassung zwischen GW-Distanz und Leistung erklärte 43 % der Varianz ( $R^2 = 0,4314$ ).
- Im Gegensatz dazu zeigten traditionelle Baselines wie Zero-Shot-Genauigkeit ( $R^2 \approx 0,21$ ), Representational Similarity Analysis (RSA) und Canonical Correlation Analysis (CCA) nur schwache bis moderate Korrelationen. Bemerkenswerterweise zeigte MutualNN eine hohe Pearson-Korrelation, aber eine negative Spearman-Korrelation, was auf eine zufällige Beziehung hindeutet.
Robustheit: Die Wirksamkeit der GW-Distanz wurde über verschiedene Basis-LLMs und verschiedene Vorabtrainingsdatensätze (LAION/Conceptual Captions vs. CC3M) hinweg verifiziert, was darauf hindeutet, dass die Metrik ein generalisierbares Muster der Modalitätskompatibilität erfasst.
Effizienz: Die GW-Schätzung ist eine reine Inferenzaufgabe. Die Berechnung der Metrik für 1.000 Bild-Text-Paare dauert auf einer einzigen GPU etwa 1 Minute, im Vergleich zu ca. 8,5 Stunden (68 GPU-Stunden), die für einen vollständigen VLM-Trainingslauf erforderlich sind.

5. Bedeutung und Behauptungen

Der Artikel behauptet, die erste systematische Untersuchung der Faktoren zu liefern, die die Auswahl von Vision-Encodern für VLMs bestimmen, und geht dabei über naive Heuristiken hinaus.

Neuartigkeit: Er führt das Konzept der verteilungsbedingten Kompatibilität zwischen Modalitäten als entscheidenden Bestimmungsfaktor für den VLM-Erfolg ein, formalisiert durch die GW-Distanz.
Praktische Auswirkung: Er bietet eine rechnerisch effiziente, trainingsfreie Methode, um die VLM-Leistung vorherzusagen, bevor man sich auf teure Feinabstimmungen mit allen Parametern festlegt.
Theoretischer Beitrag: Er stellt eine formale Verbindung zwischen der geometrischen Struktur von Repräsentationsräumen (gemessen durch die GW-Distanz) und der Lernbarkeit des Ausrichtungsprojektors her.

Die Autoren kommen zu dem Schluss, dass zwar aktuelle Heuristiken (Größe, Zero-Shot-Genauigkeit) unzureichend sind, die Messung der strukturellen Ähnlichkeit von Repräsentationsräumen mittels GW-Distanz jedoch einen robusten, theoretisch fundierten und empirisch validierten Proxy für die Modellauswahl in Vision-Language Models darstellt.