Technische Samenvatting: Heroverweging van Modelselectie in VLM door de Lens van de Gromov-Wasserstein-afstand

1. Probleemstelling

Vision-Language Models (VLM's) volgen doorgaans een paradigma van "pre-training gevolgd door fine-tuning", waarbij een projector de representatieruimten van een visuele encoder en een Large Language Model (LLM) op elkaar afstemt. Ondanks de wijdverbreide adoptie van dit paradigma, ontbreekt er een principieel inzicht in welke vooraf getrainde visuele encoders het meest geschikt zijn voor een specifiek LLM.

Huidige praktijken vertrouwen vaak op heuristieken, zoals het selecteren van het grootste model of het model met de hoogste zero-shot-accuraatheid. De auteurs tonen echter aan de hand van uitgebreide experimenten dat deze metrieken:

1. Consistent falen in het identificeren van de optimale visuele encoder voor VLM-afstemming.
2. Slechts een zwakke tot matige correlatie vertonen met de uiteindelijke VLM-prestaties na volledige fine-tuning.
3. Geen rekening houden met de "compatibiliteit" of structurele gelijkenis tussen de visuele en tekstuele representatieruimten, wat wordt verondersteld de kritieke factor te zijn in de moeilijkheidsgraad van afstemming.

2. Methodologie

Het artikel stelt het gebruik voor van de Gromov-Wasserstein-afstand (GW-afstand) als een trainingsvrije, alleen-inferentiemetriek om de structurele gelijkenis te meten tussen de verdeling van visuele representaties en tekstuele representaties.

Kernconcept: Gromov-Wasserstein-afstand

In tegenstelling tot standaard afstandsmetrieken die een gemeenschappelijke omgevende ruimte vereisen, is de GW-afstand ontworpen om twee metrisch-maatruimten (mm-ruimten) te vergelijken die zich mogelijk in verschillende domeinen bevinden met verschillende dimensies en maten.

• Intuïtie: In plaats van absolute posities van punten te vergelijken (wat over modaliteiten heen slecht gesteld is), vergelijkt de GW-afstand de interne relaties (paarsgewijze afstanden) binnen elke ruimte. Het zoekt een optimaal transportplan (koppeling) $\pi$ dat de vervorming tussen de paarsgewijze afstanden van de visuele ruimte ($d_X$) en de tekstuele ruimte ($d_Y$) minimaliseert.
• Formulering: De GW-afstand wordt gedefinieerd als het infimum van het verwachte verlies over alle mogelijke koppelingen $\pi$:
  $$GW := \inf_{\pi \in \Pi} \sum_{x,x',y,y'} L(d_X(x, x'), d_Y(y, y')) \pi_{x,y}\pi_{x',y'}$$
  waarbij $L$ een straf-functie is (in dit werk wordt de $\ell_1$-afstand gebruikt).

Implementatiedetails

1. Schaalmatching: Om inherente schaalverschillen tussen modaliteiten te hanteren, passen de auteurs median-ratio matching toe. Ze normaliseren de paarsgewijze afstandsmatrices van de visuele modus zodat hun mediaan-waarden buiten de diagonaal overeenkomen met die van de tekstmodus.
2. Optimalisatie: Het optimale transportplan $\pi^*$ wordt opgelost met een voorwaardelijk gradiëntschema (volgend op [40]), waarbij het GW-doel wordt behandeld als een kwadratisch functionaal over het transportpolytoop.
3. Modelselectie-algoritme:
   • Visuele kenmerken (CLS-tokens) en tekstuele kenmerken (verborgen toestanden) extraheren voor een steekproef van afbeelding-tekstparen.
   • Paarsgewijze afstandsmatrices berekenen voor beide modaliteiten.
   • Afstanden normaliseren en de GW-afstand berekenen.
   • De visuele encoder selecteren met de minimale GW-afstand tot het doel-LLM, voorspellend dat deze de beste VLM-prestaties zal opleveren.

3. Theoretische Analyse

Het artikel biedt een theoretische rechtvaardiging die de GW-afstand koppelt aan de leerbaarheid van kruismodaliteits-mapping.

• Lipschitz-grens: De auteurs bewijzen dat de Lipschitz-constante ($L_{g^*}$) van de Bayes-optimale kruismodaliteits-projector $g^*$ wordt begrensd door de $\infty$-norm GW-afstand ($GW_\infty$) tussen de modaliteiten.
• Implicatie: Een kleinere GW-afstand impliceert een kleinere bovengrens voor de Lipschitz-constante. Aangezien generalisatiegrenzen voor neurale netwerken vaak afhankelijk zijn van de Lipschitz-constante (of spectrale norm), suggereert een kleinere GW-afstand dat de optimale mapping inherent makkelijker te leren is met een hypothese van lagere functionele complexiteit.

4. Experimentele Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd met 60+ volledige VLM-trainingen met 18 diverse vooraf getrainde visuele encoders en twee basis-LLM's (Qwen-2.5-7B-Instruct en LLaMa-3.1-8B-Instruct).

Belangrijkste Bevindingen

• Superieure Selectienauwkeurigheid: De op GW gebaseerde selectiestrategie identificeerde consistent de optimale visuele encoder (die de hoogste gemiddelde score opleverde over 9 benchmarks) in zowel de "Kleine" (<500M parameters) als de "Grote" groepen.
• Correlatie met Prestaties:
  • De GW-afstand bereikte een Pearson-correlatie van 0,6568 en een Spearman-correlatie van 0,5341 met de uiteindelijke VLM-prestaties.
  • De lineaire fit tussen GW-afstand en prestaties verklaarde 43% van de variantie ($R^2 = 0,4314$).
  • In tegenstelling hiermee vertoonden traditionele baselines zoals Zero-Shot Accuraatheid ($R^2 \approx 0,21$), Representational Similarity Analysis (RSA) en Canonical Correlation Analysis (CCA) zwakke tot matige correlaties. Opmerkelijk vertoonde MutualNN een hoge Pearson-correlatie maar een negatieve Spearman-correlatie, wat wijst op een schijnverband.
• Robuustheid: De effectiviteit van de GW-afstand werd geverifieerd over verschillende basis-LLM's en verschillende pre-training datasets (LAION/Conceptual Captions versus CC3M), wat suggereert dat de metriek een generaliseerbaar patroon van modaliteitscompatibiliteit vastlegt.
• Efficiëntie: De GW-schatting is een pure inferentietak. Het berekenen van de metriek voor 1.000 afbeelding-tekstparen duurt ongeveer 1 minuut op een enkele GPU, vergeleken met ~8,5 uur (68 GPU-uren) die nodig zijn voor een volledige VLM-training.

5. Betekenis en Claims

Het artikel claimt de eerste systematische verkenning te bieden van de factoren die de selectie van visuele encoders voor VLM's regeren, voorbijgaand aan naïeve heuristieken.

• Nieuwheid: Het introduceert het concept van distributiecompatibiliteit tussen modaliteiten als de belangrijkste determinant van VLM-succes, geformaliseerd via de GW-afstand.
• Praktische Impact: Het biedt een computerefficiënte, trainingsvrije methode om VLM-prestaties te voorspellen voordat men zich vastlegt op dure full-parameter fine-tuning.
• Theoretische Bijdrage: Het vestigt een formele link tussen de geometrische structuur van representatieruimten (gemeten door de GW-afstand) en de leerbaarheid van de afstemmingsprojector.

De auteurs concluderen dat, hoewel huidige heuristieken (grootte, zero-shot-accuraatheid) ontoereikend zijn, het meten van de structurele gelijkenis van representatieruimten via de GW-afstand een robuuste, theoretisch onderbouwde en empirisch gevalideerde proxy biedt voor modelselectie in Vision-Language Models.