Fill the GAP: A Granular Alignment Paradigm for Visual Reasoning in Multimodal Large Language Models

1. Énoncé du problème

Les modèles de langage multimodaux de grande taille (MLLM) échouent souvent sur des tâches visuelles complexes (par exemple, graphiques, perception haute résolution, mathématiques visuelles) en raison de l'absence ou d'une localisation inadéquate des preuves visuelles. Bien que des outils externes (recadrage, recherche, génération) puissent fournir ces preuves, ils introduisent de la latence, de la complexité et des problèmes de généralisation. Une alternative est le raisonnement latent visuel, où le modèle émet des tokens latents continus pour représenter des preuves visuelles intermédiaires en interne.

Cependant, les méthodes existantes de raisonnement latent souffrent de gains instables et produisent souvent des améliorations négligeables après l'entraînement postérieur. Les auteurs identifient un décalage d'espace de caractéristiques fondamental comme cause principale :

• Problème d'architecture pré-norm : Les MLLM modernes (par exemple, Qwen2.5-VL, Gemma 4) utilisent des transformateurs pré-norm. Dans ces architectures, les normes des états cachés s'accumulent de manière significative à travers les couches, ce qui entraîne des états de la dernière couche qui sont ordres de grandeur plus grands (par exemple, ~8,7× pour la vision, ~546× pour le texte) que les embeddings d'entrée que le modèle a été entraîné à consommer.
• Le décalage : Les méthodes latentes actuelles réutilisent généralement ces états cachés de sortie à forte norme directement comme entrées pour le token latent suivant (« sortie-comme-entrée »). Cela crée une boucle de rétroaction où le modèle reçoit des entrées provenant d'une distribution qu'il n'a pas été entraîné à traiter, déstabilisant l'optimisation et rendant le canal latent peu fiable.

2. Méthodologie : Le cadre GAP

Les auteurs proposent GAP (Paradigme d'alignement granulaire), une stratégie d'alignement à trois niveaux pour stabiliser et améliorer le raisonnement latent visuel.

A. Alignement au niveau des caractéristiques : Tête latente alignée par PCA

Pour résoudre le décalage de norme et de sous-espace, GAP ne réinjecte pas les états décodeurs bruts dans le modèle. Au lieu de cela :

• Projection : Les états cachés finaux du noyau (après RMSNorm natif) sont mappés via une tête latente alignée par PCA légère vers le sous-espace principal des embeddings de vision d'images auxiliaires.
• Reconstruction : Le modèle prédit des coefficients PCA de faible dimension ($c_t$) plutôt que des vecteurs de pleine dimension. Ceux-ci sont reconstruits en utilisant la moyenne empirique ($\mu$) et les $k$ premiers vecteurs propres ($P_k$) des embeddings de vision de l'ensemble d'entraînement : $\hat{v}_t = P_k c_t + \mu$.
• Effet : Cela force les latents générés à résider dans le même régime de norme et le même sous-espace empirique que les embeddings de vision d'entrée, corrigeant le décalage d'espace de caractéristiques sans nécessiter de réentraînement du noyau.

B. Alignement au niveau des données : Supervision ancrée dans le contexte

Pour garantir que les cibles latentes soient interprétables et inspectables, les auteurs construisent un ensemble de données de 49 309 exemples soigneusement sélectionnés où :

• Images auxiliaires : Chaque requête est appariée à une « image auxiliaire » générée représentant la preuve visuelle manquante.
• Sortie structurée : La réponse d'entraînement inclut un segment <latent> (supervisé par des caractéristiques ViT figées de l'image auxiliaire) et un segment <parser> (une description textuelle du signal visuel visé).
• Objectif : Cela lie les vecteurs latents continus à des intentions visuelles spécifiques et lisibles par l'homme, rendant le processus d'entraînement transparent.

C. Alignement au niveau du modèle : Attribution consciente de la difficulté

Pour éviter que le bruit n'applique une supervision latente à des exemples que le modèle de base résout déjà :

• Stratégie de sélection : Le système estime la précision du modèle de base sur une requête via un échantillonnage répété.
• Supervision conditionnelle : Les cibles latentes sont attribuées uniquement lorsque le modèle de base échoue (précision $\le \tau$). Les exemples faciles reçoivent une supervision textuelle standard.
• Avantage : Cela concentre la capacité latente sur les cas difficiles où le raisonnement visuel est réellement nécessaire, évitant les décalages de distribution sur les tâches faciles.

3. Contributions clés

1. Diagnostic du décalage d'espace de caractéristiques : L'article démontre empiriquement que dans les MLLM pré-norm, les états cachés de sortie occupent un régime de norme différent des embeddings d'entrée, causant une instabilité dans la rétroaction latente « sortie-comme-entrée ». Une simple redimensionnement de norme (EMA) améliore les performances, validant cette hypothèse.
2. Le paradigme GAP : Une recette légère combinant :
   • Une projection alignée par PCA pour mapper les latents vers le sous-espace de vision d'entrée.
   • Une supervision ancrée dans le contexte pour l'inspectabilité.
   • Une attribution consciente de la difficulté pour la stabilité de l'entraînement.
3. Ensemble de données ouvert : Publication d'un ensemble de données multimodal de haute qualité pour la supervision latente de 49K exemples couvrant le CoT visuel, les graphiques, la géométrie et les mathématiques.
4. Validation empirique : Démonstration que les latents alignés portent des signaux visuels pertinents pour la tâche au-delà de simples emplacements de tokens.

4. Résultats expérimentaux

Évalué sur Qwen2.5-VL 7B, le modèle GAP complet (LH+PCA+DA) a été comparé au modèle de base, à des baselines de légendage dense, et aux méthodes latentes antérieures (Monet, LVR).

• Performances : GAP a obtenu la meilleure performance agrégée moyenne sur les benchmarks de perception (HRBench4K, MMStar, MME-RealWorld-Lite) et de raisonnement (MathVista, WeMath).
  • Il a amélioré l'agrégat de raisonnement (Avg-R) de +5,98 par rapport à Monet et de +6,31 par rapport à LVR.
  • Il a amélioré l'agrégat de perception (Avg-P) de +1,74 par rapport à Monet.
• Études d'ablation :
  • Alignement PCA : Essentiel pour récupérer la précision de raisonnement perdue par des têtes latentes naïves.
  • Attribution consciente de la difficulté : Cruciale pour prévenir la dégradation des performances sur les exemples faciles.
  • Budget de tokens : Les performances culminent à 36 tokens latents (grille 6x6) ; une augmentation supplémentaire donne des rendements décroissants ou une saturation.
• Sondage par intervention :
  • Checkpoint sans latent : Même sans générer de latents lors de l'inférence, le modèle entraîné avec une supervision latente surpasse le légendage dense, suggérant que le processus d'entraînement lui-même façonne de meilleures représentations.
  • Injection de bruit : Le remplacement des coefficients PCA prédits par du bruit gaussien dégrade considérablement les performances, confirmant que les latents générés contiennent des signaux visuels pertinents pour la tâche, et non de simples artefacts de formatage.

5. Importance et affirmations

L'article affirme que le raisonnement latent visuel peut être rendu robuste et efficace dans les MLLM en traitant les incompatibilités architecturales spécifiques des transformateurs pré-norm.

• Affirmations modestes : Les auteurs ne prétendent pas résoudre entièrement l'hallucination ni être universellement applicables à tous les noyaux sans validation supplémentaire. Ils notent que le « seuil de difficulté » est heuristique et que l'approche repose sur la capacité à générer des images auxiliaires significatives lors de la construction des données.
• Insight central : La contribution principale est l'identification du décalage de norme/sous-espace comme un mode de défaillance et la démonstration qu'un chemin de reconstruction basé sur la PCA et léger peut aligner la rétroaction visuelle continue avec la distribution d'entrée du modèle, permettant un raisonnement visuel stable et interprétable sans outils externes.