Résumé technique : Raisonnement continu multimodal via l'apprentissage variationnel mutuel asymétrique

1. Énoncé du problème

Les modèles de langage de grande taille multimodaux (MLLM) sont confrontés à un goulot d'étranglement de l'espace linguistique fondamental. Lorsque le raisonnement intermédiaire est contraint à des jetons de langage naturel discrets, les modèles sont forcés de verbaliser des concepts visuels continus et de haute dimension. Cette discrétisation entraîne souvent une perte de nuance perceptuelle, une dérive du raisonnement et des hallucinations, particulièrement dans les tâches exigeant une abstraction spatiale fine ou une planification multi-étapes.

Bien que des travaux récents aient exploré le raisonnement latent continu — effectuer des étapes intermédiaires dans des espaces de plongement (embeddings) plutôt que dans le texte — les méthodes existantes souffrent d'un grave décalage entre l'entraînement et l'inférence.

• Entraînement : Les modèles utilisent généralement une distribution postérieure cible $q(Z|x, y)$ conditionnée à la fois par l'entrée $x$ et la réponse de vérité terrain $y$. Cela permet à la distribution postérieure d'exploiter des « raccourcis dépendants de la réponse », en s'appuyant sur la réponse de référence pour construire des états latents plutôt que de les ancrer dans l'entrée.
• Inférence : Au moment du test, la réponse $y$ n'est pas disponible. Le modèle doit s'appuyer sur une distribution a priori cible-agnostique $p(Z|x)$.
• Le décalage : L'apprentissage variationnel standard (via la borne inférieure de l'évidence, ELBO) utilise une divergence KL directe pour forcer l'a priori à imiter la postérieure. Par conséquent, l'a priori apprend à approximer des états latents qui ont été façonnés par l'information « fuitée » de la réponse. Lors de l'inférence, l'a priori tente de naviguer dans un espace latent structuré par une information qu'il ne possède plus, ce qui conduit à de mauvaises performances. Ce phénomène est appelé fuite de réponse ou contamination de l'a priori.

2. Méthodologie : Apprentissage variationnel mutuel asymétrique (AMVL)

Les auteurs proposent l'AMVL, un cadre unifié qui résout ce décalage grâce à un objectif de calibration bidirectionnel entre l'a priori et la postérieure. Contrairement à l'apprentissage mutuel standard qui implique souvent des pairs symétriques, l'AMVL tire parti de l'asymétrie fondamentale entre l'a priori d'inférence (agnostique à la cible) et la postérieure d'entraînement (dépendante de la cible).

Mécanisme central

L'AMVL introduit deux régulariseurs complémentaires à l'objectif variationnel standard :

1. Alignement de l'a priori direct ($L_{fwd}$) :

   • Objectif : $D_{KL}(sg[q_\phi(Z|x, y)] \parallel p_\theta(Z|x))$
   • Fonction : Utilise un arrêt de gradient (stop-gradient) sur la postérieure pour entraîner l'a priori $p_\theta$ à correspondre aux états latents inférés par la postérieure. Cela garantit que l'a priori apprend à approximer les voies de raisonnement utiles découvertes pendant l'entraînement.

2. Régularisation de la postérieure inverse ($L_{rev}$) :

   • Objectif : $D_{KL}(sg[p_\theta(Z|x)] \parallel q_\phi(Z|x, y))$
   • Fonction : Utilise un arrêt de gradient sur l'a priori pour régulariser la postérieure $q_\phi$. Ce terme pénalise la postérieure pour sa dérive vers des régions de l'espace latent qui présentent une faible densité sous l'a priori (c'est-à-dire des régions inaccessibles lors de l'inférence). Cela empêche la postérieure de s'effondrer dans des modes étroits dépendants de la réponse qui reposent sur une information de « rétrospection ».

Justification théorique

L'article fournit une analyse théorique formalisant la fuite de réponse comme une contamination de l'a priori.

• Sous l'entraînement ELBO standard, la moyenne de l'a priori absorbe le décalage moyen dépendant de la réponse ($\bar{\delta}$) provenant de la postérieure, ce qui résulte en un a priori contaminé.
• Les auteurs prouvent (Proposition 2) que l'objectif dual-KL de l'AMVL réduit cette contamination. Le terme KL inverse supprime la dérive de la postérieure loin des régions compatibles avec l'a priori, réduisant ainsi efficacement le coefficient de fuite à l'équilibre. Cela produit un a priori mieux calibré pour l'inférence sans nécessiter de supervision latente externe.

Implémentation

L'AMVL est instancié au sein d'une architecture MLLM standard (spécifiquement Qwen2.5-VL-7B) avec un surcoût minimal :

• Intégration latente : $k$ jetons de substitution (<latent>) sont insérés entre le prompt et la réponse cible.
• Têtes variationnelles : Des têtes légères, « natives des LLM » (utilisant SwiGLU et RMSNorm), prédisent la moyenne et la log-variance de distributions gaussiennes diagonales pour les emplacements latents basées sur les états cachés de ces jetons.
• Décodage : Pendant l'entraînement, des échantillons de la postérieure sont injectés dans les emplacements latents. Pendant l'inférence, des échantillons sont tirés de l'a priori.
• Objectif d'entraînement : Un objectif composite combine la prédiction du prochain jeton (NTP), la KL directe et la KL inverse, avec une stratégie de planification spécifique pour stabiliser l'entraînement (en augmentant d'abord la KL directe, puis en introduisant la KL inverse).

3. Contributions clés

1. Identification de l'obstacle central : L'article identifie le décalage entraînement-inférence causé par la fuite de réponse dans le raisonnement multimodal continu comme la barrière centrale à un raisonnement latent continu efficace, clarifiant pourquoi l'entraînement ELBO unidirectionnel standard échoue.
2. Cadre AMVL : Propose un nouveau cadre d'apprentissage mutuel asymétrique qui combine l'alignement de l'a priori direct avec la régularisation de la postérieure inverse. Cela permet la découverte de bout en bout d'un espace de raisonnement continu sans dépendre de signaux de supervision latente pré-établis (ex: cibles de reconstruction).
3. Analyse théorique : Fournit des preuves formelles démontrant que l'objectif KL bidirectionnel réduit la contamination de l'a priori causée par la fuite de réponse, offrant une solution fondée sur des principes au décalage entraînement-inférence.

4. Résultats expérimentaux

Les auteurs évaluent l'AMVL sur des benchmarks de perception fine, de raisonnement visuel complexe et de robustesse hors distribution (OOD).

• Benchmarks :
  • Perception fine : V*, HRBench4K, HRBench8K.
  • Raisonnement complexe : BLINK (incluant la localisation d'objets, le raisonnement multi-vues, la similitude visuelle, le Jigsaw, etc.).
  • Robustesse OOD : VisualPuzzles.
• Baselines : Comparaison avec des modèles de raisonnement discret puissants (Vision-R1, PAPO, PixelReasoner, DeepEyes) et des baselines de raisonnement latent continu (LVR, Mull-Tokens, Monet).
• Performance :
  • L'AMVL atteint des performances SOTA (État de l'art) parmi les modèles basés sur Qwen2.5-VL-7B.
  • Sur le benchmark BLINK, l'AMVL améliore le score moyen de +10,83 points par rapport au modèle de base, avec des gains individuels atteignant +32,00 sur la tâche Jigsaw.
  • Sur V* et HRBench8K, l'AMVL montre des gains significatifs (+7,85 et +4,75 respectivement) par rapport au modèle de base et surpasse toutes les baselines de raisonnement discret et latent.
  • Études d'ablation : Confirment que les termes KL direct et inverse sont tous deux nécessaires ; l'utilisation de l'un ou l'autre seul est sous-optimale. Les résultats montrent également que l'espace latent de l'AMVL est robuste aux perturbations lors de l'inférence et se généralise bien aux contextes OOD.

5. Signification et affirmations

L'article affirme que l'AMVL répond fondamentalement aux limites du raisonnement par texte discret (qui souffre du goulot d'étranglement de l'espace linguistique) et des méthodes de raisonnement latent existantes (qui souffrent du décalage entraînement-inférence dû à la fuite de réponse).

• Approche fondée sur des principes : En formulant le raisonnement latent comme un problème d'inférence probabiliste structuré et en utilisant une calibration bidirectionnelle, l'AMVL permet au modèle de découvrir organiquement des voies de raisonnement optimales, plutôt que d'être contraint par des signaux de supervision pré-spécifiés.
• Compatibilité avec l'inférence : Le cadre garantit que les représentations de raisonnement continu sont non seulement expressives pendant l'entraînement, mais aussi bien calibrées et stables pour l'inférence, éliminant le besoin pour le modèle de dépendre d'informations de « rétrospection » indisponibles au moment du test.
• Généralisation : Les résultats suggèrent qu'améliorer la compatibilité entraînement-inférence dans le raisonnement latent conduit à une plus forte généralisation, comme en témoigne la performance supérieure sur les benchmarks OOD tels que VisualPuzzles.

Les auteurs concluent que l'AMVL offre un mécanisme robuste et autonome pour le raisonnement continu multimodal qui surpasse à la fois les approches de chaîne de pensée (Chain-of-Thought) discrètes et les méthodes de raisonnement latent antérieures.