LaMI: Augmenting Large Language Models via Late Multi-Image Fusion

LaMI propose une méthode de fusion tardive multi-images qui améliore le raisonnement visuel des grands modèles de langage en générant plusieurs images à partir d'un prompt textuel et en combinant leurs probabilités de prédiction avec celles du modèle textuel, surpassant ainsi les approches existantes sans nuire aux performances textuelles.

L'essentiel

🎨 Le Problème : Le Cerveau qui a oublié de regarder

Imaginez que vous avez un génie littéraire (c'est le modèle de langage, ou LLM) qui a lu tous les livres du monde. Il connaît le mot "penguin" par cœur. Il sait qu'ils vivent dans le froid, qu'ils mangent du poisson et qu'ils sont noirs et blancs.

Mais posez-lui une question visuelle simple : "De quelle couleur est le ventre d'un manchot empereur ?"
Si ce génie n'a jamais vu de photo, il va souvent faire une erreur de logique. Il pourrait dire "Jaune" (parce qu'il y a des manchots jaunes dans les dessins animés) ou "Noir" (parce qu'il est noir sur le dos). Il a la théorie, mais pas l'expérience visuelle.

Les modèles actuels qui voient (les VLM) sont comme des aveugles qui ont soudainement reçu des yeux : ils voient bien, mais ils ont parfois oublié comment bien parler, et les rendre "voyants" demande des années d'école (entraînement coûteux).

💡 La Solution LaMI : Le "Rêveur" et le "Juge"

Les auteurs proposent une astuce géniale appelée LaMI (Fusion Multi-Image Tardive). Au lieu d'obliger le génie à aller à l'école pour apprendre à voir, on lui donne un rêveur et un juge juste au moment où il doit répondre.

Voici comment ça marche, étape par étape :

1. Le Rêveur (Génération d'images)

Quand on pose la question ("Quelle est la couleur du ventre ?"), au lieu de répondre tout de suite, le système lance un rêveur (un générateur d'images).

• Ce rêveur ne regarde pas une vraie photo (il n'y en a pas).
• Il rêve (génère) plusieurs images basées sur la question.
• Exemple : Il imagine 6 manchots différents. Sur 5 d'entre eux, le ventre est blanc. Sur 1, il est gris (une erreur du rêveur).

2. Le Juge (Fusion Tardive)

C'est ici que la magie opère. Le génie littéraire (le modèle de texte) regarde ces 6 images rêvées.

• L'ancien système (Fusion précoce) : C'était comme si le génie regardait les images pendant qu'il écrivait sa phrase, mot par mot. Ça le distrait et ça le fait bégayer.
• Le système LaMI (Fusion tardive) : Le génie écrit d'abord sa réponse basée sur ses livres. Ensuite, juste avant de signer, il jette un coup d'œil aux images rêvées.
  • Il se dit : "Attends, j'ai écrit 'Jaune', mais les images montrent clairement du blanc. Je vais corriger ma réponse."

3. Le Filtre de Confiance (Le Juge final)

Le système est malin. Il ne fait pas confiance aveuglément aux rêves.

• Si le rêveur a fait un dessin très flou ou bizarre, le système dit : "Ce rêve ne sert à rien, je vais garder ma réponse de base (texte seul)."
• Si le rêveur a produit une image très claire et cohérente, le système dit : "Ah, c'est logique ! Je vais suivre l'image."

🏆 Pourquoi c'est génial ? (Les Résultats)

Imaginez une course entre trois coureurs :

1. Le Lecteur (LLM seul) : Très rapide, excellent en texte, mais aveugle aux couleurs.
2. Le Polyvalent (VLM) : Voit bien, mais parfois il trébuche sur le texte.
3. L'Équipe LaMI (Le Lecteur + Le Rêveur) :

• Sur les questions visuelles : L'équipe LaMI bat le Lecteur seul à plate couture. Elle devine la couleur du manchot, la forme d'un objet, etc., avec une précision incroyable.
• Sur les questions de texte : Elle ne perd pas ses talents ! Elle reste aussi bonne que le Lecteur seul, contrairement aux modèles qui ont dû apprendre à voir (qui deviennent parfois moins intelligents en texte).
• Le coût : C'est un peu plus lent (comme si on prenait 2 secondes de plus pour rêver avant de répondre), mais le résultat vaut largement l'attente.

🌟 En résumé

LaMI, c'est comme donner un cahier de croquis à un écrivain qui ne sait pas dessiner.
Avant de signer son histoire, il demande à son assistant de lui montrer 5 croquis rapides de la scène. Si les croquis confirment son intuition, il les utilise pour affiner son histoire. Si les croquis sont bizarres, il les ignore et continue d'écrire comme avant.

C'est une façon intelligente et économique de donner des "yeux" à une intelligence artificielle sans avoir à reconstruire tout son cerveau.

Résumé technique

1. Problématique et Contexte

Les Grands Modèles de Langage (LLM) entraînés uniquement sur du texte excellent dans le raisonnement linguistique mais manquent souvent de grounding visuel (ancrage dans la réalité visuelle). Par exemple, un LLM peut échouer à répondre à une question de bon sens visuel simple comme "Quelle est la couleur du ventre d'un manchot empereur ?".

Les modèles Vision-Language (VLM) résolvent ce problème en étant entraînés conjointement sur des images et du texte, mais ils présentent deux limites majeures :

1. Dégradation des performances textuelles : Ils ont souvent un rendement inférieur aux LLMs purs sur des tâches de raisonnement purement textuel.
2. Coût d'adaptation : Adapter un nouveau LLM à l'entrée visuelle nécessite un réentraînement multimodal coûteux.

Les approches existantes d'augmentation visuelle (VaLMs) tentent d'injecter des signaux visuels dans des LLMs pré-entraînés sans réentraînement complet. Cependant, elles souffrent souvent d'une fusion précoce (early fusion) des modalités et d'une dépendance à une image unique, ce qui peut introduire du bruit, des biais et perturber le comportement du modèle de langage.

2. Méthodologie : LaMI (Late Multi-Image Fusion)

L'article propose LaMI, une approche qui améliore le raisonnement visuel des LLMs sans compromettre leurs capacités textuelles, en introduisant deux innovations clés :

A. Architecture de Fusion Tardive (Late Fusion)

Contrairement aux méthodes qui injectent des tokens visuels au début ou au milieu du réseau, LaMI intègre les informations visuelles juste avant la prédiction finale.

• Composants :
  • Un LLM pré-entraîné gelé (ex: LLaMA 3, GPT-2).
  • Un encodeur visuel pré-entraîné gelé (ex: CLIP).
  • Un Projecteur de Tokens Visuels (VTP) entraînable qui mappe les features visuelles vers des embeddings pseudo-textuels.
  • Une Couche d'Attention de Fusion Tardive (LFAL) entraînable.
• Fonctionnement : Pendant l'inférence, le texte est traité par le LLM pour produire des embeddings $z^x$. Parallèlement, les images (générées ou réelles) sont encodées et projetées en $z^v$. La couche LFAL permet aux tokens textuels finaux de "regarder" (attendre) les tokens visuels une seule fois, juste avant la projection vers le vocabulaire. Cela maintient le LLM focalisé sur le langage tout en lui donnant accès à l'information visuelle si nécessaire.

B. Inférence Multi-Image et Agrégation

Puisque les images appariées ne sont pas disponibles lors de l'inférence, LaMI génère dynamiquement plusieurs images ($k$ images) à partir de l'invite textuelle (prompt) en utilisant un générateur image-à-texte distillé (SDXL-turbo) avec un échantillonnage parallèle.

• Processus :
  1. Génération de $k$ images à partir du prompt.
  2. Calcul de la distribution de probabilité pour chaque image via le module de fusion tardive.
  3. Calcul d'une distribution de référence "texte seul" ($p_0$).
• Stratégie d'Agrégation : Les distributions sont combinées avec un pondération basée sur l'entropie et l'alignement CLIP.
  • Si une image générée est bien alignée avec le texte (score CLIP élevé), sa prédiction est fortement pondérée.
  • Si l'alignement est faible, le modèle revient à la prédiction "texte seul" pour éviter les hallucinations visuelles.
  • Formule : $p_{final} = \sum f(\bar{x}_i, v_i) p_i + (1 - f(\bar{x}_i, v_i)) p_0$.

3. Contributions Clés

1. Fusion Tardive : Une architecture qui préserve l'intégrité du LLM textuel en évitant l'injection précoce de tokens visuels, permettant une intégration robuste des modalités.
2. Génération Multi-Image : L'utilisation de plusieurs images générées en parallèle pour capturer une diversité de preuves visuelles, surpassant les méthodes basées sur une image unique ou la récupération d'images (retrieval).
3. Mécanisme de Repli Intelligent : Une stratégie d'agrégation qui utilise le score d'alignement CLIP pour décider quand faire confiance à la vision et quand se fier au texte, réduisant ainsi les erreurs dues à des générations d'images incorrectes.
4. Efficacité et Adaptabilité : La méthode ne nécessite pas de réentraînement massif du LLM (seules des couches légères sont entraînées) et fonctionne avec des modèles de différentes tailles (de GPT-2 à LLaMA 3).

4. Résultats Expérimentaux

Les auteurs ont évalué LaMI sur plusieurs benchmarks :

• Bon Sens Objet (Object Commonsense) : Sur des tâches comme la couleur des objets, la forme et la taille relative, LaMI surpasse significativement les LLMs de base et les méthodes VaLM précédentes (ex: +10 à +20 points sur les tâches de couleur et de forme par rapport à GPT-2).
• Comparaison avec les VLMs : Contrairement aux VLMs (comme InstructBLIP ou LLaVA) qui dégradent souvent les performances textuelles, LaMI améliore le raisonnement visuel tout en maintenant ou en améliorant les performances sur les tâches textuelles (raisonnement de bon sens, compréhension de lecture).
• Impact de la taille du modèle : LaMI fonctionne bien sur des modèles petits (GPT-2), moyens (Gemma-2B) et grands (Llama-3-8B). Sur Llama-3, il améliore même les performances NLP pures.
• Ablation Studies :
  • La fusion tardive surpasse la fusion précoce et intermédiaire.
  • La génération multi-image ($k \approx 6$) apporte des gains constants par rapport à une image unique.
  • La stratégie d'agrégation basée sur CLIP est supérieure à une simple moyenne ou à une sélection de confiance maximale.
• Coût de calcul : Bien que la génération d'images ajoute un coût d'inférence (environ 50ms par image), les gains en précision justifient ce compromis, surtout comparé à l'inefficacité d'augmenter simplement le nombre de tokens générés en texte seul (Best-of-N).

5. Signification et Conclusion

L'article LaMI démontre qu'il est possible d'injecter des connaissances visuelles robustes dans des LLMs textuels sans réentraînement multimodal coûteux ni perte de capacités linguistiques.

• Changement de paradigme : Au lieu de fusionner les modalités dès le début, LaMI propose une intégration "à la demande" juste avant la décision, agissant comme un mécanisme de vérification visuelle.
• Évolutivité : La méthode s'aligne avec la tendance du "test-time compute" (augmenter la puissance de calcul à l'inférence pour améliorer la qualité), suggérant que l'inférence visuelle augmentée est une direction prometteuse pour les agents autonomes.
• Limites : Le coût computationnel de la génération d'images reste un défi, et la méthode peut échouer sur des concepts abstraits où les générateurs d'images manquent de fidélité factuelle (ex: légendes historiques précises).

En résumé, LaMI offre une solution élégante et efficace pour combler le fossé entre le raisonnement linguistique et la compréhension visuelle, en transformant les LLMs textuels en systèmes capables de "visualiser" pour mieux raisonner.