Résumé technique : Au-delà du plafond de séparabilité linéaire : Aligner les représentations dans les VLM

Énoncé du problème

Les modèles de langage-vision (VLM) de pointe échouent fréquemment sur les tâches de raisonnement abstrait, telles que les problèmes de Bongard, malgré la possession de solides capacités de perception visuelle. Un défi central dans le domaine consiste à déterminer si ces échecs découlent d'une perception visuelle ascendante (bottom-up) défaillante (l'incapacité à extraire les caractéristiques nécessaires) ou d'un raisonnement descendant (top-down) défaillant (l'incapacient à interpréter ces caractéristiques à l'aide de connaissances préalables). Les études précédentes ont peiné à isoler la cause primaire de l'échec en raison d'un manque de méthodes empiriques pour quantifier l'écart entre les représentations visuelles brutes d'un modèle et sa production de raisonnement génératif.

Méthodologie

Les auteurs introduisent un cadre de diagnostic centré sur le Plafond de Séparabilité Linéaire (LSC - Linear Separability Ceiling) pour répondre à cette ambiguïté.

1. Plafond de Séparabilité Linéaire (LSC) : Le LSC est défini comme la performance atteignable par un classificateur linéaire simple (spécifiquement un classificateur à centroïde le plus proche) sur les plongements (embeddings) visuels bruts d'un VLM. Cette métrique établit une ligne de base pour la qualité des représentations visuelles initiales. Si la performance générative de bout en bout d'un modèle ne peut statistiquement pas surpasser ce plafond, cela indique un échec de la voie de raisonnement plutôt que de la voie de perception.
2. Cadre de diagnostic : Le cadre compare trois métriques :
   • LSC : Précision d'une sonde linéaire sur les plongements visuels initiaux.
   • Précision de la représentation finale : Précision d'une sonde linéaire sur les états cachés finaux de l'LLM.
   • Précision générative : La performance standard de prédiction du prochain jeton (next-token prediction) du modèle.
     Des tests de signification statistique (Chi-deux) sont utilisés pour déterminer si la performance générative est réellement supérieure au LSC ou si un « écart d'alignement » existe.
3. Stratégies d'intervention : L'étude évalue plusieurs méthodes de réglage fin efficace en paramètres (PEFT) pour combler cet écart :
   • Postfix Tuning : Ajoute des prompts logiciels entraînables à la fin de la séquence pour activer les voies de raisonnement latentes sans modifier les représentations initiales.
   • LoRA (Low-Rank Adaptation) : Injecte des matrices entraînables dans les couches d'attention et les couches MLP.
   • Objectif combiné ($L_{combined}$) : Un nouvel objectif d'entraînement combinant la prédiction standard du prochain jeton ($L_{NT}$) avec une perte contrastive explicite ($L_{sim}$). Ce terme contrastif encourage les plongements finaux d'une image de requête à être plus proches du centroïde de sa véritable catégorie et plus éloignés de l'alternative, ce qui restructure efficacement le manifold visuel en une géométrie linéairement unidimensionnelle.

Principaux résultats

1. L'écart d'alignement omniprésent

Appliquée à huit VLM de pointe (incluant Phi, Pixtral, Gemma, InternVL et Qwen) sur des jeux de données de type Bongard, l'étude révèle un « écart d'alignement » généralisé. Pour la plupart des modèles, la performance générative est statistiquement indiscernable ou inférieure à leur propre LSC. Cela suggère que les modèles possèdent des représentations visuelles de haute qualité (LSC élevé), mais que leurs voies de raisonnement ne sont pas efficacement alignées pour les utiliser.

2. Deux voies pour surpasser le plafond

Les rares modèles qui réussissent à surpasser le LSC le font via deux mécanismes distincts :

• Amélioration de la séparabilité linéaire : Des modèles comme Pixtral affinent les représentations visuelles via des processus non linéaires vers un format plus linéairement séparable, étendant ainsi efficacement le processus de perception ascendante.
• Logique de décision non linéaire : La plupart des modèles réussissant l'exercice exécutent une logique de décision non linéaire (raisonnement descendant) qui calcule une solution qui n'est pas linéairement lisible à partir des plongements. Les preuves de cela incluent le succès du postfix tuning, qui ne peut pas modifier les représentations initiales mais peut activer des voies de raisonnement dormantes.

3. Localisation du goulot d'étranglement

Les études d'ablation confirment que le goulot d'étranglement se situe dans les voies de raisonnement de l'LLM, et non dans la perception de l'encodeur visuel. L'application de LoRA à l'encodeur visuel n'a produit aucun gain de performance supplémentaire par rapport à l'adaptation de l'LLM seul.

4. Adaptation dépendante de la tâche

• Concepts atomiques : Pour les tâches impliquant la comparaison de concepts sémantiques atomiques (ex: OpenWorld), l'activation via le prompt tuning est souvent suffisante.
• Concepts relationnels : Pour les tâches nécessitant un raisonnement sur des concepts sémantiques relationnels (ex: Bongard-HOI), une adaptation plus profonde via LoRA est requise pour booster la performance.

5. L'objectif combiné ($L_{combined}$)

Le proposé objectif $L_{combined}$ équilibre avec succès les signaux conflictuels. En restructurant le manifold visuel en rayons unidimensionnels linéairement cohérents globalement, il améliore la comparaison image-à-image. Cette approche permet aux modèles de surpasser significativement le LSC sur des tâches de raisonnement compositionnel abstrait et démontre une robustesse de généralisation aux concepts hors distribution (OOD) et aux tâches trans-domaines comme Winoground.

Signification et affirmations

L'article affirme démontrer que le goulot d'étranglement dans le raisonnement abstrait des VLM n'est pas une limitation fondamentale de la perception, mais un problème d'alignement visuel soluble.

• Utilité diagnostique : Le cadre LSC fournit une lentille géométrique et statistique pour formaliser l'écart d'alignement, distinguant les voies de raisonnement mal alignées des connaissances perceptuelles fondamentalement manquantes.
• Insight mécaniste : Le travail identifie que les capacités de raisonnement accusent souvent un retard par rapport à la séparabilité linéaire des perceptions visuelles. Il postule que des structures globalement cohérentes (géométrie linéaire) encouragent le transfert vers des tâches de raisonnement compositionnel hors distribution.
• Solution pratique : L'article propose une méthodologie d'entraînement qui augmente la prédiction standard du prochain jeton par un objectif contrastif. Cette approche restructure le manifold visuel, permettant aux modèles de mieux exploiter leurs représentations visuelles internes et d'atteindre une plus grande interprétabilité et performance sur les tâches abstraites.

Les auteurs concluent que, bien que forcer une structure géométrique spécifique puisse introduire de la fragilité dans les formats de prompts, la capacité de restructurer les représentations en formats linéairement séparables est une étape critique vers des raisonnements multimodaux plus capables et interprétables. Des travaux futurs sont suggérés pour étendre ce concept de représentations distribuées par séquence à la modalité textuelle afin de résoudre la pathologie du « cerveau divisé » des VLM actuels.