Résumé Technique : Échapper à la Caverne de Platon : JAM pour l'Alignement de Modèles de Vision et de Langage Entraînés Indépendamment

1. Formulation du Problème

L'article aborde la rupture fondamentale entre les modèles de vision et de langage entraînés indépendamment. Alors que l'Hypothèse de la Représentation Platonicienne (PRH) suggère que des modèles entraînés sur différentes modalités et objectifs peuvent converger vers un modèle statistique partagé de la réalité, les preuves actuelles sont largement observationnelles. Les méthodes existantes reposent sur des métriques statistiques a posteriori (par exemple, CKA, CCA) pour détecter un alignement à grain grossier. Cependant, ces métriques échouent dans des contextes contextuels à grain fin où plusieurs descriptions partagent une sémantique globale mais diffèrent par des détails compositionnels subtils (par exemple, distinguer « un chien brun poursuivant une balle rouge » de « un chien brun poursuivant une balle bleue »).

Les auteurs soutiennent que le véritable défi de l'alignement ne réside pas dans la détection de corrélations globales, mais dans l'optimisation explicite de la préservation de ces distinctions à grain fin. Les modèles multimodaux actuels (par exemple, CLIP, BLIP) reposent souvent sur un entraînement de bout en bout avec d'énormes corpus appariés ou héritent de biais multimodaux dès le départ, plutôt que d'investiguer si l'alignement peut être induit a posteriori entre des fondations véritablement unimodales et figées.

2. Méthodologie : Modulateur Autoencodeur Joint (JAM)

Les auteurs proposent JAM, un cadre conçu pour aligner des modèles unimodaux figés en entraînant conjointement des autoencodeurs spécifiques à la modalité. L'architecture se compose de :

• Autoencodeurs Spécifiques à la Modalité : Des encodeurs et décodeurs séparés pour la vision et le langage qui mappent des plongements de haute dimension ($d_{input}$) vers un goulot d'étranglement latent partagé ($d_{latent}$) et reconstruisent l'entrée. Cet objectif de reconstruction agit comme un régularisateur statistique (similaire à l'ACP), préservant les informations spécifiques à la modalité et la variance essentielle tout en éliminant le bruit.
• Goulot d'Étranglement Partagé : Un espace latent qui impose un espace conceptuel cohérent capable de résoudre à la fois les sémantiques à grain grossier et à grain fin.
• Entraînement Joint : Les autoencodeurs sont entraînés simultanément avec des objectifs coordonnés : reconstruction (débruitage) et alignement intermodal.

Fonctions de Perte

L'article introduit une hiérarchie de fonctions de perte pour optimiser l'alignement :

1. Perte Contrastive (Con) : Une perte symétrique standard (inspirée de CLIP) qui rapproche les paires image-texte correspondantes et éloigne les paires non liées.
2. Perte Contrastive Négative (NegCon) : Une extension qui incorpore explicitement des négatifs difficiles (légendes sémantiquement similaires mais incorrectes) dans la direction vision-vers-langage, pénalisant le modèle pour son incapacité à distinguer les différences subtiles.
3. Perte de Dispersion (Proposée) : Une nouvelle fonction de perte conçue pour capturer la structure de la similarité sémantique et le contraste à grain fin. Elle opère en deux étapes :
   • Contraste de Contexte ($L_{ConCon}$) : Rapproche toutes les légendes sémantiquement similaires (vérité terrain + négatifs difficiles) en un « ensemble de contexte similaire » et repousse cet ensemble des contextes dissimilaires. Cela apprend un alignement global.
   • InfoNCE de Contexte ($L_{contextNCE}$) : Au sein de l'ensemble de contexte similaire, elle traite explicitement la vérité terrain comme le seul positif correct et les négatifs difficiles comme incorrects, forçant le modèle à discriminer les détails à grain fin.
   • Formulation : $L_{spread-VL} = (1-\alpha)L_{ConCon} + \alpha L_{contextNCE}$, où $\alpha$ équilibre l'alignement du contexte global avec la discrimination intra-contexte.

3. Configuration Expérimentale

• Ensembles de Données : L'évaluation principale utilise SugarCrepe, un ensemble de données conçu pour la compositionnalité vision-langage à grain fin avec des perturbations contrôlées (Remplacement, Échange, Ajout). Winoground est utilisé comme benchmark supplémentaire pour la compositionnalité visuo-linguistique.
• Lignes de Base : Les auteurs comparent JAM à des métriques d'alignement statistiques (CCA, CKA, SVCCA, CKNNA), à des lignes de base contrastives standard (Con, NegCon), à des méthodes de projection simples (linéaires/non linéaires) et à des variantes de CLIP préentraînées/finement ajustées.
• Architectures de Base : Les expériences utilisent un large éventail de modèles unimodaux figés, y compris des modèles de langage (Gemma2, Llama3.2, OLMo2) et des modèles de vision (DINOv2, ResNet50, MAE, Swin, ViT).
• Métriques : La performance est mesurée via le Rappel@1 de récupération Image-vers-Texte (binaire et 5-voisins) et les scores textuels de Winoground.

4. Résultats Clés

• Limites Statistiques : Les métriques statistiques (CKA, CCA) distinguent avec succès les paires correspondantes des non-correspondances faciles, mais échouent à différencier les négatifs difficiles des vraies correspondances, confirmant que l'alignement statistique grossier ne garantit pas un alignement sémantique à grain fin.
• Supériorité de la Perte de Dispersion : JAM avec la Perte de Dispersion surpasse systématiquement les lignes de base Contrastive et NegCon sur toutes les tâches (Remplacement, Ajout, Échange) et toutes les combinaisons d'architectures de base. Il atteint des performances comparables ou supérieures à plusieurs variantes de CLIP préentraînées et finement ajustées.
• Efficacité : JAM atteint des performances élevées avec un coût de calcul (FLOPs) significativement inférieur par rapport au fine-tuning de CLIP. Les études d'ablation montrent que la suppression du composant de reconstruction entraîne un surapprentissage rapide et un effondrement des performances, soulignant la nécessité de la structure d'autoencodeur en tant que régularisateur.
• Profondeur des Couches et Supervision : En utilisant une approche d'apprentissage par curriculum, les auteurs ont constaté que les couches plus précoces des modèles préentraînés nécessitent une supervision à grain fin plus forte (un $\alpha$ plus élevé dans la Perte de Dispersion) pour s'aligner, tandis que les couches plus profondes et plus abstraites s'alignent efficacement avec une supervision plus faible.
• Échelle du Modèle : L'augmentation de l'échelle de l'architecture de base de langage (par exemple, de 2 milliards à 13 milliards de paramètres) n'a pas amélioré de manière cohérente les performances dans ce contexte à faible données et à grain fin, suggérant que la conception de l'objectif (Perte de Dispersion) est plus critique que l'échelle du modèle pour ces tâches.

5. Importance et Revendications

L'article revendique fournir un mécanisme pratique pour « échapper à la Caverne de Platon » en optimisant explicitement la structure sémantique partagée entre des modèles entraînés indépendamment. Ses contributions principales sont :

1. Démonstration de l'Alignement A Posteriori : Prouver que des fondations unimodales peuvent être alignées en modèles multimodaux spécialisés sans préentraînement de bout en bout ni vastes ensembles de données appariés.
2. Introduction de la Perte de Dispersion : Offrir une méthode de supervision structurée qui surpasse les objectifs contrastifs standard en modélisant explicitement la tension entre le contexte global et les distinctions locales à grain fin.
3. Insight Théorique : Fournir des preuves empiriques que la « Représentation Platonicienne » existe mais nécessite des objectifs d'entraînement spécifiques et structurés pour être débloquée, en particulier dans des contextes à grain fin où les métriques statistiques échouent.
4. Cadre Pratique : Proposer JAM comme une recette efficace au sens de Pareto pour construire des systèmes multimodaux sur la base de fondations unimodales spécialisées et figées, évitant l'« effondrement de la représentation » souvent observé lors du fine-tuning de modèles généralistes sur de petits ensembles de données spécialisés.

Les auteurs positionnent ce travail comme une lentille de conception pour les futurs systèmes multimodaux, suggérant que l'alignement de composants unimodaux figés peut être une alternative viable à l'entraînement de modèles multimodaux massifs à partir de zéro, en particulier pour des domaines spécialisés.