Selective Training for Large Vision Language Models via Visual Information Gain

Cet article propose une méthode d'entraînement sélectif pour les grands modèles vision-langage basée sur le Gain d'Information Visuelle (VIG), une métrique qui identifie et priorise les échantillons et tokens les plus informatifs visuellement afin de réduire les biais linguistiques et d'améliorer l'ancrage visuel avec moins de données d'entraînement.

L'essentiel

🎨 Le Problème : L'Élève qui triche en regardant le plafond

Imaginez un élève très intelligent, nommé LVLM (un modèle de langage vision), qui passe un examen. On lui montre une photo d'un chat rouge et on lui demande : "De quelle couleur est ce chat ?".

Le problème, c'est que cet élève a lu tellement de livres et de textes sur internet qu'il a développé une mauvaise habitude : il triche. Au lieu de regarder la photo, il se dit : "Ah, les chats sont souvent gris ou noirs dans les livres, donc je vais répondre 'gris'." Ou pire, il invente des détails qui ne sont pas là (comme dire qu'il y a un chien à côté) parce que ça sonne bien dans une phrase.

C'est ce que les chercheurs appellent le "biais linguistique". Le modèle est si fort en texte qu'il ignore souvent l'image réelle. Il devient un "aveugle" qui devine au pif.

🔍 La Solution : Le "Score de Révélation Visuelle" (VIG)

Pour régler ce problème, les auteurs (Seulbi Lee et Sangheum Hwang) ont inventé un outil génial appelé VIG (Visual Information Gain), que l'on peut traduire par "Gain d'Information Visuelle".

Imaginez que le VIG est un détective qui pose une question simple à chaque phrase du manuel d'entraînement :

"Si je cache l'image, est-ce que l'élève arrive encore à répondre correctement ?"

• Cas 1 (Mauvais) : La question est "Quel est le nom de la capitale de la France ?". Même si on cache l'image, l'élève sait que c'est Paris. Le VIG est nul. Cette phrase n'a pas besoin de l'image.
• Cas 2 (Bon) : La question est "Quelle est la couleur du chat sur la photo ?". Si on cache l'image, l'élève est perdu. Il ne peut pas deviner. Le VIG est élevé. Cette phrase dépend vraiment de l'image.

Le VIG mesure donc à quel point une phrase a besoin de l'image pour avoir du sens.

🏫 La Méthode : Le "Cours Intensif Sélectif"

Au lieu de faire apprendre à l'élève toutes les phrases de son manuel (ce qui est long et inefficace), les chercheurs proposent une nouvelle méthode d'entraînement basée sur le VIG :

1. Le Tri (Filtrage des échantillons) : Ils jettent toutes les questions que l'élève peut répondre sans regarder l'image (comme les questions de culture générale). Ils ne gardent que les questions où l'image est indispensable.
2. Le Zoom (Filtrage des mots) : Même dans une bonne question, certains mots sont inutiles. Par exemple, dans "Le chat est rouge", les mots "Le" et "est" sont inutiles pour l'image. Mais "chat" et "rouge" sont cruciaux. Le VIG permet de ne faire apprendre à l'élève que les mots qui regardent vraiment l'image.

C'est comme si on disait à l'élève : "Oublie les pages de texte ennuyeuses. Concentre-toi uniquement sur les moments où tu dois vraiment ouvrir les yeux et regarder la photo."

🚀 Les Résultats : Plus intelligent, plus rapide, moins fatigué

Grâce à cette méthode, les résultats sont impressionnants :

• Moins de travail, plus de résultats : L'élève apprend avec moins de données (seulement 70% des images, et encore moins de mots), mais il devient meilleur. C'est comme étudier avec un livre résumé ultra-puissant plutôt qu'une encyclopédie de 50 volumes.
• Fin des hallucinations : L'élève arrête d'inventer des choses. S'il voit un chien, il ne dira plus qu'il y a un chat. Il s'en tient aux faits visuels.
• Attention accrue : En regardant les "couches" du cerveau de l'IA, on voit qu'elle regarde beaucoup plus les pixels de l'image, au lieu de rêvasser sur ses connaissances textuelles.

🎯 En résumé

Imaginez que vous vouliez apprendre à un robot à cuisiner.

• L'ancienne méthode : Lui donner 1000 livres de cuisine et lui dire "lis tout". Il va mémoriser les noms des ingrédients mais ne saura pas les reconnaître dans un vrai bol.
• La méthode VIG : Lui donner seulement les recettes où il doit réellement regarder les ingrédients, et lui faire répéter uniquement les étapes où il doit toucher et voir la nourriture.

Résultat : Le robot devient un chef d'œuvre, il ne triche plus, et il a appris beaucoup plus vite avec moins de livres. C'est exactement ce que fait ce papier : il apprend aux IA à vraiment regarder ce qu'elles voient.

Résumé technique

1. Problématique : Le biais linguistique et l'ignorance visuelle

Les Grands Modèles Vision-Langage (LVLM) ont réalisé des progrès remarquables, mais ils souffrent d'un problème persistant appelé biais linguistique (language bias). Ce phénomène se manifeste par une sur-reliance du modèle sur les priors textuels et les raccourcis linguistiques, au détriment de l'analyse réelle de l'image.

• Conséquences : Le modèle peut générer des réponses correctes par hasard (basées sur la connaissance du monde) sans regarder l'image, ou produire des hallucinations (décrire des objets ou des attributs absents de l'image).
• Limite des travaux antérieurs : Les méthodes existantes tentent de corriger ce problème via des stratégies de décodage (ex: décodage contrastif), des modifications architecturales ou le filtrage manuel des données. Cependant, aucune de ces approches ne propose de mesure quantitative pour évaluer, au niveau de l'échantillon ou même du token, dans quelle mesure une donnée d'entraînement dépend réellement de l'information visuelle.

2. Méthodologie : Le Gain d'Information Visuelle (VIG)

Les auteurs introduisent une métrique nouvelle et une stratégie d'entraînement sélectif basée sur celle-ci.

A. Définition du Visual Information Gain (VIG)

Le VIG est une métrique basée sur la perplexité (PPL) qui quantifie la réduction de l'incertitude du modèle lorsqu'une information visuelle est fournie.

• Formulation : Pour un échantillon de réponse $A$ et une question $Q$, le VIG est défini comme le rapport logarithmique entre la perplexité du modèle sans image et celle avec l'image :
  $$VIG = \log \left( \frac{PPL(A | Q)}{PPL(A | Q, I)} \right)$$
• Interprétation :
  • Un VIG élevé indique que l'image réduit considérablement l'incertitude du modèle (la réponse dépend fortement de l'image).
  • Un VIG faible ou négatif suggère que le modèle peut répondre correctement (ou mieux) sans l'image, ou que l'image introduit du bruit/confusion par rapport au texte.
• Décomposition : Le VIG peut être décomposé au niveau des tokens. Cela permet d'identifier précisément quels mots (ex: "rouge", "à gauche", "assis") bénéficient de l'image, par opposition aux mots structurels (articles, prépositions) qui n'en bénéficient pas.

B. Entraînement Sélectif Guidé par le VIG (VIG-Guided Selective Training)

Au lieu d'entraîner le modèle sur l'ensemble des données avec une importance égale, les auteurs proposent un schéma en deux étapes de filtrage :

1. Sélection au niveau de l'échantillon : Les échantillons d'instruction sont classés par leur score VIG global. Seuls les $p\%$ (ex: 70 %) ayant les scores les plus élevés sont conservés. Cela élimine les données où l'image est superflue.
2. Sélection au niveau du token : Au sein des échantillons retenus, seuls les tokens dont le gain d'information visuelle individuel dépasse un seuil $\tau_p$ contribuent à la fonction de perte (loss). Les tokens non visuels (structurels) sont masqués pendant la mise à jour des gradients.

Cette approche permet de concentrer l'apprentissage exclusivement sur les parties des données qui nécessitent une véritable compréhension visuelle.

3. Contributions Clés

1. Introduction du VIG : Une métrique modèle-agnostique et décomposable pour mesurer la dépendance visuelle à la fois au niveau de l'échantillon et du token.
2. Validation Empirique : Démonstration que le VIG corrèle avec la dépendance aux modalités des benchmarks (les benchmarks visuels comme COCO ont des VIG positifs, tandis que les benchmarks textuels comme GQA ont des VIG négatifs) et identifie correctement les tokens visuels (couleurs, relations spatiales).
3. Stratégie d'Entraînement Efficace : Un protocole d'entraînement qui améliore la robustesse visuelle et réduit les hallucinations en utilisant une fraction significative des données d'origine, sans modifier l'architecture du modèle ni ajouter de coût à l'inférence.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs modèles (LLaVA-1.5 7B/13B, ShareGPT4V 7B) et évaluées sur des tâches de compréhension visuelle et d'évaluation des hallucinations.

• Efficacité des données : En n'utilisant que 70 % des échantillons et en réduisant le nombre de tokens actifs de 34 % à 79 % (selon le modèle), les modèles entraînés avec VIG surpassent systématiquement les modèles de base (vanilla) entraînés sur l'ensemble des données.
  • Exemple : LLaVA-1.5 7B entraîné sur seulement 38,45M de tokens (contre 58,61M) obtient de meilleurs scores sur tous les benchmarks.
• Réduction des hallucinations : Les modèles VIG montrent une réduction drastique des taux d'hallucination (mesurés par POPE, CHAIR, MMHal). Par exemple, le score d'hallucination sur MMHal passe de 14,99 à 12,80 pour le modèle 7B.
• Comparaison avec l'état de l'art :
  • La méthode surpasse ou égale les méthodes sans entraînement (VCD, PAI, VAR) et les méthodes d'entraînement (LACING).
  • Elle est orthogonale aux autres méthodes : combiner VIG avec d'autres stratégies (ex: VIG + LACING) donne les meilleurs résultats globaux.
• Analyse du comportement :
  • Attention visuelle : Les modèles entraînés avec VIG allouent une fraction d'attention significativement plus élevée aux tokens visuels, en particulier dans les couches intermédiaires du réseau.
  • Résistance au bruit textuel : Dans des tests de "fo aveugle au texte" (blind faith in text), où des descriptions corrompues sont ajoutées, les modèles VIG résistent mieux et s'appuient davantage sur l'image que les modèles de base.

5. Signification et Conclusion

Cet article propose un changement de paradigme dans l'entraînement des LVLM : passer d'une approche de "plus de données" à une approche de "données plus pertinentes".

• Efficacité : Il démontre que la qualité visuelle des données est plus importante que la quantité brute. En filtrant les données faiblement ancrées visuellement, on obtient des modèles plus robustes avec moins de supervision.
• Interprétabilité : Le VIG fournit un outil d'analyse pour comprendre où et pourquoi un modèle échoue à utiliser l'image, permettant un débogage plus fin.
• Limites et Avenir : Le principal coût est le calcul préalable des scores VIG (nécessitant des passages avant supplémentaires), mais cela reste un coût unique et parallélisable. L'approche ouvre la voie à des méthodes d'entraînement plus ciblées pour construire des LVLM qui "voient" réellement ce qu'ils décrivent.

En résumé, cette recherche établit que quantifier explicitement la contribution visuelle des données d'entraînement est une stratégie clé pour surmonter le biais linguistique et améliorer la fiabilité des modèles multimodaux.