Boosting Visual Instruction Tuning with Self-Supervised Guidance

1. Problématique

Les modèles de langage multimodaux (MLLMs), tels que la famille LLaVA, excellent dans de nombreuses tâches vision-langage mais échouent souvent sur des problèmes centrés sur la vision nécessitant un raisonnement visuel fin (comptage d'objets, positionnement spatial, relations géométriques).

L'analyse des auteurs révèle que cette limitation ne provient pas d'une faiblesse des encodeurs visuels (qui capturent déjà des caractéristiques riches, comme avec CLIP ou DINOv2), mais d'un sous-utilisation de l'information visuelle lors de l'étape de tuning d'instruction.

• Le biais de langage : Pendant l'entraînement, les modèles sont exposés à des triplets (image, instruction, réponse) où la réponse peut souvent être déduite uniquement par des priors linguistiques forts, sans avoir besoin de regarder l'image.
• Conséquence : Le modèle apprend des stratégies de "raccourci" basées sur le langage et néglige les preuves visuelles, même lorsque celles-ci sont indispensables.

2. Méthodologie : V-GIFT

Les auteurs proposent V-GIFT (Visually Grounded Instruction Fine-Tuning), une approche simple et légère qui rééquilibre la supervision pendant la phase de visual instruction tuning sans modifier l'architecture du modèle ni ajouter de nouvelles étapes d'entraînement.

Principes Clés

Au lieu d'ajouter des pertes auxiliaires ou de modifier le paradigme d'optimisation, V-GIFT injecte directement dans le jeu de données d'instruction des tâches d'apprentissage auto-supervisé (SSL) reformulées sous forme d'instructions en langage naturel.

Tâches Auto-Supervisées Reformulées

Trois types de tâches classiques de SSL sont convertis en triplets (Image, Instruction, Réponse) :

1. Prédiction de rotation : L'image est tournée (0°, 90°, 180°, 270°). L'instruction demande l'angle de rotation. La réponse ne peut être déduite que par l'observation visuelle de l'orientation des objets.
2. Colorisation par points (Color Matching) : Une image en niveaux de gris est présentée avec des points spécifiques marqués. Le modèle doit associer chaque point à sa couleur originale parmi une liste de candidats. Cela force une discrimination visuelle fine et un ancrage spatial.
3. Correspondance de points (Point Correspondence) : Pour une paire d'images d'un même objet, le modèle doit identifier quel point dans la deuxième image correspond à un point de référence dans la première. Cela exige un appariement de caractéristiques visuelles et un raisonnement spatial.

Intégration

Ces tâches sont générées automatiquement (pas d'annotation humaine nécessaire) et mélangées au jeu de données d'instruction standard.

• Ratio d'injection ($\rho$) : Seule une petite fraction des données (3 % à 10 %) est constituée de ces tâches SSL.
• Coût : Aucune modification architecturale, aucune perte supplémentaire, et un surcoût computationnel marginal.

3. Contributions Principales

1. Cadre simple et efficace : Reformulation des tâches de prétexte SSL en données d'instruction suivant, permettant de contrer les raccourcis linguistiques dans les MLLMs.
2. Intégration transparente : La méthode s'adapte à n'importe quelle architecture MLLM (basée sur projection ou attention croisée) sans nécessiter de pré-entraînement ou de post-entraînement séparé.
3. Validation empirique : Démonstration que l'ajout d'une petite quantité de supervision visuellement ancrée améliore systématiquement le raisonnement visuel, indépendamment de la puissance du modèle de base.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs modèles (LLaVA-1.5, LLaVA-OneVision-1.5) avec différents backbones (Vicuna, Qwen) et protocoles (Fine-tuning complet, LoRA).

• Améliorations sur les benchmarks visuels :
  • Des gains constants sont observés sur CVB-2D (comptage, position), POPE (object hallucination), MMStar et BLINK (raisonnement visuel complexe).
  • Exemple : Sur LLaVA-1.5-Qwen, le score moyen passe de 57,8 à 58,7 (+0,9) avec seulement 10 % de données SSL.
  • Sur LLaVA-OneVision-1.5, le score moyen augmente de +1,2, avec une amélioration notable sur BLINK (+3,4).
• Généralisation : Les améliorations se généralisent aux modèles plus récents et plus puissants.
• Ablation et Analyse :
  • Ratio optimal : Un faible ratio (3-10 %) suffit ; au-delà, les gains saturent.
  • Contrôle du calcul : Une expérience de contrôle montre que l'augmentation du nombre d'itérations d'entraînement (sans données SSL) n'apporte aucun gain. La performance vient spécifiquement de la nature de la supervision visuelle.
  • Timing : L'injection doit se faire pendant le tuning d'instruction. L'ajouter avant ou après conduit à des performances égales ou inférieures (oubli catastrophique).
  • Source des images : Les gains sont obtenus même en utilisant des vues augmentées d'une seule image, prouvant que la diversité du dataset n'est pas le facteur clé, mais bien la présence d'objectifs forçant l'ancrage visuel.
• Analyse qualitative :
  • Réduction de la dépendance aux priors linguistiques (mesurée par le score TVI).
  • Les cartes d'attention montrent que le modèle V-GIFT se concentre plus précisément sur les objets pertinents (ex: lampes, télévisions) plutôt que de disperser son attention.

5. Signification et Conclusion

Ce travail met en évidence que la faiblesse du raisonnement visuel dans les MLLMs modernes est principalement un problème de dynamique d'entraînement et de distribution des données, et non de capacité de représentation.

En réintroduisant des tâches qui rendent le langage insuffisant pour résoudre le problème, V-GIFT force le modèle à réapprendre à utiliser les tokens visuels comme source principale d'information. Cette approche offre une voie simple, peu coûteuse et hautement efficace pour améliorer les capacités de raisonnement visuel des modèles multimodaux, sans la complexité des méthodes basées sur le renforcement (RLVR) ou les pertes auxiliaires complexes.

Les auteurs suggèrent que cette méthode pourrait être étendue à d'autres modalités (nuages de points 3D, audio) dans le futur.