VisNec: Measuring and Leveraging Visual Necessity for Multimodal Instruction Tuning

Le papier propose VisNec, un cadre de sélection de données qui mesure la nécessité visuelle pour identifier et retenir les échantillons d'instruction multimodale les plus pertinents, permettant ainsi d'atteindre ou de dépasser les performances de l'entraînement sur l'ensemble des données avec une fraction bien plus réduite du jeu de données.

L'essentiel

Imaginez que vous essayez d'apprendre à un robot à comprendre le monde. Pour cela, vous lui montrez des millions de photos accompagnées de descriptions. C'est ce qu'on appelle l'"instruction tuning" (l'ajustement par instructions) pour les modèles d'intelligence artificielle multimodale.

Mais voici le problème : si vous donnez au robot toutes les photos possibles, vous vous retrouvez avec deux gros ennuis :

1. C'est trop long et coûteux (comme essayer d'apprendre une langue en lisant toute Wikipédia).
2. C'est souvent inutile ou trompeur. Certaines photos sont inutiles (le robot peut deviner la réponse juste avec les mots), et d'autres sont carrément fausses (la photo ne correspond pas au texte).

C'est là qu'intervient VisNec, le héros de cette recherche.

🕵️‍♂️ Qu'est-ce que VisNec ? (Le Détective de l'Image)

VisNec (pour Visual Necessity Score ou "Score de Nécessité Visuelle") est un outil qui agit comme un détective très astucieux. Son travail est de répondre à une seule question pour chaque photo : "Est-ce que cette image est vraiment nécessaire pour comprendre la réponse, ou est-ce que le robot pourrait deviner la réponse juste en lisant le texte ?"

Pour faire cela, VisNec joue à un jeu de "ce qui aurait pu être" (un scénario contrefactuel) :

1. Le Test Aveugle : Il cache l'image et demande au robot : "Si je ne te montre que le texte, peux-tu deviner la réponse ?"
2. Le Test Normal : Il montre l'image et le texte, et demande : "Maintenant que tu vois l'image, ta réponse est-elle meilleure ?"

🎯 Les Trois Catégories de Photos

En comparant ces deux tests, VisNec classe les photos en trois catégories, un peu comme un tri sélectif intelligent :

1. 🚫 Les Photos "Trompeuses" (Misaligned) :

   • L'analogie : C'est comme si quelqu'un vous montrait une photo d'un chat et vous disait : "C'est un chien qui vole."
   • Ce qui se passe : Le robot est plus confiant s'il ignore l'image, car l'image le trompe.
   • Action de VisNec : Jeter à la poubelle. Ces photos apprennent de mauvaises habitudes.

2. 🗑️ Les Photos "Inutiles" (Redundant) :

   • L'analogie : On vous montre une photo d'un ciel bleu et on vous demande : "De quelle couleur est le ciel ?" Vous n'avez pas besoin de la photo, vous savez déjà que c'est bleu.
   • Ce qui se passe : Le robot donne la même bonne réponse avec ou sans l'image. L'image n'ajoute rien.
   • Action de VisNec : Mettre de côté. Pourquoi gaspiller du temps d'entraînement sur quelque chose que le robot sait déjà ?

3. 💎 Les Photos "Précieuses" (Vision-Critical) :

   • L'analogie : On vous montre une photo d'un objet bizarre et on vous demande : "Qu'est-ce que c'est ?" Sans la photo, c'est impossible à deviner.
   • Ce qui se passe : L'image change tout. Elle apporte une information cruciale que le texte seul ne peut pas fournir.
   • Action de VisNec : Garder précieusement. C'est ici que le robot apprend vraiment à "voir".

🧩 La Méthode "Gâteau en Tranches" (Clustering)

Le papier explique aussi une astuce intelligente. Si on ne garde que les meilleures photos, on risque de ne garder que des photos de chats (par exemple) et d'oublier les voitures ou la cuisine.

Pour éviter cela, VisNec utilise une méthode de "gâteau en tranches" :

• Il divise d'abord toutes les questions en catégories (géométrie, lecture de texte, objets du quotidien, etc.).
• Ensuite, dans chaque catégorie, il ne garde que les photos les plus "précieuses" (celles où l'image est indispensable).
• Résultat : On obtient un petit ensemble de données très équilibré, où chaque tâche est bien représentée par les meilleurs exemples possibles.

🚀 Les Résultats Magiques

Les chercheurs ont testé cette méthode sur d'énormes bases de données (des centaines de milliers de photos). Le résultat est surprenant :

• En utilisant seulement 15% des données (les 15% les plus "visuellement nécessaires" sélectionnés par VisNec), le robot apprend aussi bien, voire mieux, que s'il avait étudié 100% des données.
• C'est comme si un étudiant lisait un manuel scolaire complet, mais qu'un expert lui avait surligné les 15% de pages les plus importantes. Il apprend plus vite, avec moins d'effort, et fait moins d'erreurs.

En Résumé

VisNec est un filtre intelligent qui dit aux robots : "Arrête de perdre ton temps avec des images qui ne servent à rien ou qui te trompent. Concentre-toi uniquement sur les images qui t'obligent à utiliser tes yeux pour comprendre le monde."

C'est une façon de rendre l'intelligence artificielle plus efficace, plus rapide et plus intelligente, en lui apprenant à faire la différence entre le bruit et le signal.

Résumé technique

1. Problématique

L'ajustement d'instructions multimodales (Multimodal Instruction Tuning) est crucial pour entraîner des modèles de langage multimodaux (MLLM) capables de raisonner conjointement sur le texte et l'image. Cependant, les ensembles de données existants souffrent de deux limitations majeures :

• Redondance visuelle : Une grande partie des échantillons peut être résolue uniquement par des indices linguistiques (priors textuels), rendant l'entrée visuelle superflue. L'entraînement sur ces données encourage le modèle à utiliser des raccourcis linguistiques plutôt que de véritablement ancrer ses réponses dans l'image.
• Désalignement multimodal : Certaines paires image-texte contiennent des erreurs d'annotation ou du bruit, où l'image contredit le texte. L'entraînement sur ces échantillons dégrade les capacités de raisonnement visuel et amplifie les hallucinations.

Les méthodes de sélection de données actuelles se concentrent souvent sur l'importance globale ou la diversité, sans isoler explicitement la contribution indépendante de la modalité visuelle, ce qui conduit à sélectionner des échantillons "pseudo-multimodaux" peu utiles.

2. Méthodologie : VisNec (Visual Necessity Score)

Les auteurs proposent VisNec, un cadre de sélection de données qui quantifie la contribution marginale de l'entrée visuelle pour réduire l'incertitude prédictive.

A. Calcul du Score VisNec

Le score est basé sur la théorie de l'information "V-utilisable". Il mesure la différence de perte (loss) entre deux passes avant (forward passes) effectuées par le modèle :

1. Passage "Aveugle" (Blind Forward Pass) : Le modèle reçoit l'instruction textuelle ($t$) mais l'image est masquée (remplacée par des tokens de remplissage). La perte calculée est $\mathcal{L}(y \mid t)$.
2. Passage Multimodal : Le modèle reçoit à la fois l'image ($v$) et le texte ($t$). La perte calculée est $\mathcal{L}(y \mid t, v)$.

Le score VisNec ($S_{VisNec}$) est défini comme :
$$S_{VisNec} = \mathcal{L}_{Blind}(y \mid t) - \mathcal{L}_{MM}(y \mid t, v)$$

L'interprétation du score est la suivante :

• $S_{VisNec} > 0$ (Vision-Critique) : L'image réduit significativement l'erreur de prédiction. L'échantillon nécessite un véritable raisonnement multimodal.
• $S_{VisNec} \approx 0$ (Redondant) : L'image n'apporte aucun gain par rapport au texte seul.
• $S_{VisNec} < 0$ (Désaligné) : La présence de l'image augmente la perte (l'image induit le modèle en erreur par rapport au texte), indiquant un bruit ou un désalignement.

B. Échantillonnage Stratifié Sémantique

Pour éviter de biaiser le jeu de données vers des tâches ayant naturellement des scores élevés (comme le raisonnement géométrique) et pour garantir la diversité des tâches, VisNec utilise une approche en deux étapes :

1. Clustering Sémantique : Les instructions sont regroupées en clusters sémantiques (via K-Means sur les embeddings des questions) pour capturer l'intention de la tâche.
2. Sélection Intra-Cluster : Au sein de chaque cluster, les échantillons avec un score $\le 0$ sont filtrés. Ensuite, les $r\%$ meilleurs échantillons (ceux avec le score VisNec le plus élevé) sont sélectionnés.

3. Contributions Clés

1. Identification d'une lacune critique : Les auteurs soulignent que les méthodes de sélection existantes négligent la contribution indépendante de la modalité visuelle, favorisant ainsi des raccourcis linguistiques.
2. Cadre de sélection léger et relatif au modèle : VisNec est une méthode efficace qui ne nécessite pas d'API externes coûteuses (contrairement à CoIDO ou PreSel) et fonctionne en comparant simplement les pertes du modèle cible.
3. Performance supérieure avec moins de données : La méthode permet d'entraîner des modèles avec une fraction des données tout en surpassant l'entraînement sur l'ensemble complet.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux ensembles de données majeurs (LLaVA-665K et Vision-Flan-186K) et sur plusieurs modèles (LLaVA-v1.5, Qwen2.5-VL de 3B à 32B).

• Efficacité sur LLaVA-665K : En utilisant seulement 15% des données sélectionnées par VisNec, le modèle atteint 100,2% des performances du modèle entraîné sur 100% des données, surpassant toutes les méthodes de base (Random, IFD, XMAS, etc.).
• Généralisation sur Vision-Flan-186K : Sur cet ensemble plus petit et plus diversifié, la sélection VisNec permet d'atteindre 115,8% des performances du plein jeu de données, prouvant sa capacité à capturer des signaux instructifs fondamentaux.
• Robustesse et Transférabilité : La méthode fonctionne bien sur différentes architectures (LLaVA, Qwen) et différentes échelles de modèles (3B, 7B, 32B), indiquant qu'elle capture la nécessité visuelle intrinsèque des données plutôt que des biais spécifiques au modèle.
• Analyse de Coût : VisNec est extrêmement efficace en termes de calcul. Le processus de sélection prend 12 heures GPU, et l'entraînement total (sélection + fine-tuning) ne coûte que 23 heures GPU, contre 76 heures pour l'entraînement complet, tout en offrant de meilleures performances.

5. Signification et Impact

Ce travail démontre que la qualité des données multimodales est plus importante que la quantité brute. En introduisant une métrique explicite de "nécessité visuelle", VisNec permet de :

• Éliminer le bruit et les raccourcis linguistiques qui affaiblissent le raisonnement multimodal.
• Réduire considérablement les coûts de calcul et de stockage pour l'entraînement des MLLM.
• Fournir une stratégie de sélection de données robuste et généralisable pour la prochaine génération de modèles multimodaux, en s'assurant que chaque échantillon d'entraînement apporte une valeur informationnelle visuelle unique.

En résumé, VisNec transforme la sélection de données multimodales d'une approche basée sur la diversité ou la difficulté textuelle vers une approche basée sur la valeur informationnelle marginale de l'image, permettant un apprentissage plus efficace et plus robuste.