Résumé technique : Repenser la sélection de modèles dans les VLM à travers le prisme de la distance de Gromov-Wasserstein

1. Énoncé du problème

Les modèles vision-langage (VLM) suivent généralement un paradigme de « pré-entraînement puis affinage », où un projecteur aligne les espaces de représentation d'un encodeur visuel et d'un grand modèle de langage (LLM). Malgré l'adoption généralisée de ce paradigme, il existe un manque de compréhension fondamentale concernant les encodeurs visuels pré-entraînés les plus adaptés à un LLM spécifique.

Les pratiques actuelles reposent souvent sur des heuristiques telles que la sélection du modèle le plus grand ou de celui présentant la plus haute précision en zéro-shot. Cependant, les auteurs démontrent, grâce à des expériences exhaustives, que ces métriques :

1. Échouent systématiquement à identifier l'encodeur visuel optimal pour l'alignement des VLM.
2. Ne montrent qu'une corrélation faible à modérée avec la performance finale du VLM après un affinage complet.
3. Ne tiennent pas compte de la « compatibilité » ou de la similarité structurelle entre les espaces de représentation visuelle et textuelle, qui est supposée être le facteur critique de la difficulté d'alignement.

2. Méthodologie

L'article propose d'utiliser la distance de Gromov-Wasserstein (GW) comme métrique sans entraînement, basée uniquement sur l'inférence, pour mesurer la similarité structurelle entre la distribution des représentations visuelles et celle des représentations textuelles.

Concept central : Distance de Gromov-Wasserstein

Contrairement aux métriques de distance standard qui nécessitent un espace ambiant commun, la distance GW est conçue pour comparer deux espaces métriques mesurés (mm-espaces) qui peuvent résider dans des domaines différents avec des dimensions et des mesures distinctes.

• Intuition : Au lieu de comparer les positions absolues des points (ce qui est mal posé entre modalités), la distance GW compare les relations internes (distances par paires) au sein de chaque espace. Elle cherche un plan de transport optimal (couplage) $\pi$ qui minimise la distorsion entre les distances par paires de l'espace visuel ($d_X$) et de l'espace textuel ($d_Y$).
• Formulation : La distance GW est définie comme l'infimum de la perte attendue sur tous les couplages possibles $\pi$ :
  $$GW := \inf_{\pi \in \Pi} \sum_{x,x',y,y'} L(d_X(x, x'), d_Y(y, y')) \pi_{x,y}\pi_{x',y'}$$
  où $L$ est une fonction de pénalité (utilisant la distance $\ell_1$ dans ce travail).

Détails de mise en œuvre

1. Appariement d'échelle : Pour gérer les différences d'échelle inhérentes entre les modalités, les auteurs appliquent un appariement par ratio médian. Ils normalisent les matrices de distances par paires de la modalité visuelle afin que leurs valeurs médianes hors-diagonale correspondent à celles de la modalité textuelle.
2. Optimisation : Le plan de transport optimal $\pi^*$ est résolu en utilisant un schéma de gradient conditionnel (suivant [40]), traitant l'objectif GW comme une fonctionnelle quadratique sur le polytope de transport.
3. Algorithme de sélection de modèle :
   • Extraire les caractéristiques visuelles (tokens CLS) et les caractéristiques textuelles (états cachés) pour un échantillon de paires image-texte.
   • Calculer les matrices de distances par paires pour les deux modalités.
   • Normaliser les distances et calculer la distance GW.
   • Sélectionner l'encodeur visuel présentant la distance GW minimale par rapport au LLM cible, en prédisant qu'il produira la meilleure performance VLM.

3. Analyse théorique

L'article fournit une justification théorique reliant la distance GW à la capacité d'apprentissage des mappings inter-modaux.

• Bornes de Lipschitz : Les auteurs prouvent que la constante de Lipschitz ($L_{g^*}$) du projecteur inter-modal Bayes-optimal $g^*$ est bornée par la distance GW de norme $\infty$ ($GW_\infty$) entre les modalités.
• Implication : Une distance GW plus petite implique une borne supérieure plus faible sur la constante de Lipschitz. Étant donné que les bornes de généralisation pour les réseaux de neurones dépendent souvent de la constante de Lipschitz (ou de la norme spectrale), une distance GW plus petite suggère que le mapping optimal est intrinsèquement plus facile à apprendre avec une hypothèse de complexité fonctionnelle inférieure.

4. Résultats expérimentaux

Les auteurs ont mené des expériences extensives impliquant plus de 60 exécutions d'entraînement complet de VLM utilisant 18 encodeurs visuels pré-entraînés divers et deux LLM de base (Qwen-2.5-7B-Instruct et LLaMa-3.1-8B-Instruct).

Principales découvertes

• Précision de sélection supérieure : La stratégie de sélection basée sur GW a systématiquement identifié l'encodeur visuel optimal (celui produisant le score moyen le plus élevé sur 9 benchmarks) dans les groupes « Petit » (<500M de paramètres) et « Grand ».
• Corrélation avec la performance :
  • La distance GW a atteint une corrélation de Pearson de 0,6568 et une corrélation de Spearman de 0,5341 avec la performance finale du VLM.
  • L'ajustement linéaire entre la distance GW et la performance a expliqué 43 % de la variance ($R^2 = 0,4314$).
  • À l'inverse, les bases de référence traditionnelles telles que la précision en zéro-shot ($R^2 \approx 0,21$), l'analyse de similarité représentative (RSA) et l'analyse de corrélation canonique (CCA) ont montré des corrélations faibles à modérées. Notamment, MutualNN a montré une forte corrélation de Pearson mais une corrélation de Spearman négative, indiquant une relation fallacieuse.
• Robustesse : L'efficacité de la distance GW a été vérifiée à travers différents LLM de base et différents jeux de données de pré-entraînement (LAION/Conceptual Captions vs CC3M), suggérant que la métrique capture un motif généralisable de compatibilité des modalités.
• Efficacité : L'estimation GW est une tâche purement inférentielle. Le calcul de la métrique pour 1 000 paires image-texte prend environ 1 minute sur un seul GPU, contre ~8,5 heures (68 heures GPU) requises pour une exécution complète d'entraînement de VLM.

5. Importance et revendications

L'article revendique fournir la première investigation systématique des facteurs régissant la sélection d'encodeurs visuels pour les VLM, dépassant les heuristiques naïves.

• Nouveauté : Il introduit le concept de compatibilité distributionnelle entre les modalités comme déterminant clé du succès des VLM, formalisé via la distance GW.
• Impact pratique : Il offre une méthode efficace sur le plan computationnel, sans entraînement, pour prédire la performance des VLM avant de s'engager dans un affinage complet des paramètres coûteux.
• Contribution théorique : Il établit un lien formel entre la structure géométrique des espaces de représentation (mesurée par la distance GW) et la capacité d'apprentissage du projecteur d'alignement.

Les auteurs concluent que, si les heuristiques actuelles (taille, précision en zéro-shot) sont insuffisantes, la mesure de la similarité structurelle des espaces de représentation via la distance GW fournit un proxy robuste, théoriquement fondé et empiriquement validé pour la sélection de modèles dans les modèles vision-langage.