Résumé technique : iGVLM

Énoncé du problème

Malgré les progrès des modèles vision-langage à grande échelle (LVLM), un goulot d'étranglement fondamental persiste dans les architectures actuelles : la dépendance à l'égard d'encodeurs visuels statiques et agnostiques aux instructions (par exemple, CLIP-ViT). Dans les modèles existants, les représentations visuelles sont extraites indépendamment de la requête textuelle en aval et réutilisées de manière invariante à travers différentes tâches. Cette rigidité empêche le modèle de mettre en évidence les indices visuels pertinents pour la tâche, entravant ainsi le raisonnement fin et conscient de la question. Comme l'illustre l'article, les encodeurs statiques échouent à mettre en relief les régions dépendantes de l'instruction au sein d'une même image lors de la réponse à différentes questions, suggérant que le défi central ne réside pas dans la réapprentissage de la perception, mais dans la conditionnalisation de l'utilisation des caractéristiques visuelles sur les instructions linguistiques.

Méthodologie : iGVLM

Pour remédier à cela, les auteurs proposent iGVLM, un cadre général pour la modulation visuelle guidée par l'instruction qui découple la préservation des représentations de l'adaptation conditionnée par l'instruction.

1. Architecture à double branche découplée

iGVLM adopte une conception à double branche pour équilibrer stabilité et adaptabilité :

• Branche statique : Un encodeur visuel figé (basé sur CLIP pré-entraîné) préserve les priors visuels agnostiques aux tâches appris durant le pré-entraînement. Cela garantit l'intégrité structurelle et la stabilité des représentations visuelles originales.
• Branche dynamique : Une voie parallèle génère des caractéristiques adaptées à l'instruction. Elle utilise un encodeur de texte (issu de CLIP) pour extraire une représentation sémantique compacte de l'instruction d'entrée. Cette embedding est projetée dans l'espace latent visuel et utilisée pour moduler l'encodeur visuel via la normalisation de couche adaptative (AdaLN).

2. Modulation des caractéristiques visuelles guidée par l'instruction

La branche dynamique injecte une condition textuelle dans l'encodeur visuel figé sans modifier ses poids.

• L'embedding d'instruction ($\hat{c}_t$) est transformé en paramètres de modulation par couche ($\gamma, \beta$) pour les sous-modules d'attention et de feed-forward au sein du Vision Transformer (ViT).
• Cela permet une modulation hiérarchique conditionnée par l'instruction, où le modèle peut sélectionnerivement mettre à l'échelle et décaler les caractéristiques en fonction de la requête spécifique, permettant une transition fluide de la perception générale au raisonnement actif.

3. Fusion des caractéristiques à double branche

Pour combiner les avantages des deux branches, iGVLM fusionne les caractéristiques conditionnées par l'instruction ($y_{ct}$) avec les caractéristiques figées originales ($y_0$) :
$$y_I = Z(\text{Norm}(y_{ct})) + y_0$$
Ici, $Z$ est une projection linéaire apprenable initialisée à zéro. Cette initialisation est cruciale ; elle garantit qu'au début de l'entraînement, la représentation fusionnée correspond exactement aux caractéristiques visuelles pré-entraînées, permettant une adaptation conditionnée par l'instruction introduite progressivement et en toute sécurité.

4. MM4 : Un benchmark diagnostique

Reconnaissant que les benchmarks standards évaluent souvent les requêtes de manière isolée, les auteurs introduisent MM4, un benchmark diagnostique contrôlé pour la perception visuelle consciente de la question.

• Structure : MM4 comprend 180 images, chacune associée à quatre questions sémantiquement distinctes (720 paires au total).
• Principes de conception : Les questions sont construites sur la base de l'inversion de réponse, de la diversité des perspectives multiples et d'une distribution équilibrée.
• Protocole d'évaluation : MM4 utilise un système de notation hiérarchique où un modèle n'est crédité que s'il répond correctement à au moins $n$ questions sur 4 par image. Cela teste spécifiquement la cohérence multi-requêtes et la capacité d'adapter l'attention visuelle de manière cohérente à travers différentes instructions ancrées dans la même image.

Contributions clés

1. Cadre iGVLM : Un encodeur visuel guidé par l'instruction découplé qui sépare la préservation de la représentation statique de l'adaptation dynamique conditionnée par l'instruction via une architecture à double branche.
2. Benchmark MM4 : Un outil diagnostique novateur conçu pour quantifier la cohérence logique et la sensibilité aux instructions dans des contextes multi-requêtes et multi-instructions, comblant une lacune dans les suites d'évaluation existantes.
3. Validation empirique : Des expériences extensives démontrant que iGVLM améliore la sensibilité aux instructions et le raisonnement fin à travers divers backbones linguistiques (Vicuna-7B/13B, Qwen2.5-3B) tout en maintenant l'efficacité computationnelle.

Résultats expérimentaux

L'article évalue iGVLM sur MMStar (pour le raisonnement fin général), MM4 (pour la cohérence multi-requêtes) et d'autres benchmarks standards (VQAv2, GQA, POPE, VizWiz, ScienceQA).

• Performance sur MMStar : iGVLM surpasse constamment les bases de référence (LLaVA-1.5) et d'autres méthodes conscientes de l'instruction (QA-ViT, DyFo).

  • Sur Vicuna-7B, iGVLM améliore le score moyen de +4,4 points par rapport à LLaVA-1.5, surpassant QA-ViT (+1,2) et DyFo (+2,7).
  • Les gains sont les plus prononcés dans le raisonnement par instance, le raisonnement logique et les sciences et technologies.
  • Efficacité : Contrairement à DyFo, qui entraîne une pénalité massive d'efficacité (réduction du débit de plus de 20x) due à une recherche guidée par des experts, iGVLM maintient un débit comparable à LLaVA-1.5 avec une réduction modeste (par exemple, de 13,5 à 11,1 it/s).

• Performance sur MM4 :

  • iGVLM démontre une cohérence multi-requêtes supérieure. À mesure que le seuil de cohérence ($n$) augmente, les performances de iGVLM se dégradent plus lentement que celles des bases de référence, indiquant une adaptation plus stable de l'attention visuelle.
  • Notamment, iGVLM-3B surpasse le plus grand iGVLM-13B sur MM4, suggérant que la performance est davantage pilotée par la qualité de l'utilisation visuelle consciente de l'instruction que par le nombre de paramètres seul.

• Généralisation : Sur d'autres benchmarks (VQAv2, POPE, VizWiz), iGVLM maintient ou améliore les performances par rapport à LLaVA-1.5, ne montrant aucune dégradation systématique des capacités à usage général. Il améliore notablement la robustesse face aux hallucinations visuelles (POPE) et à l'ancrage dans le monde réel (VizWiz).

• Études d'ablation :

  • La suppression de l'AdaLN ou de l'adaptateur Zero-FFN entraîne des baisses de performance, confirmant la nécessité d'une modulation par couche et d'une fusion de caractéristiques contrôlée.
  • La suppression de la branche statique provoque la dégradation la plus significative, validant l'importance de préserver les priors visuels pré-entraînés.
  • Les comparaisons avec des conceptions alternatives (MoF, attention croisée) montrent que l'approche basée sur l'AdaLN offre un meilleur équilibre entre efficacité et précision.

Importance et affirmations

L'article affirme que iGVLM fournit un mécanisme principé et efficace pour combler le fossé entre la perception passive et le raisonnement actif. En découplant explicitement la préservation des représentations de la modulation conditionnée par l'instruction, iGVLM atteint un équilibre favorable entre adaptabilité, efficacité et stabilité des représentations.

Les auteurs soulignent que la difficulté fondamentale de la compréhension multimodale ne réside pas dans le réapprentissage de la perception visuelle, mais plutôt dans la conditionnalisation de l'utilisation des caractéristiques visuelles sur les instructions linguistiques. L'introduction de MM4 met en lumière que les modèles actuels échouent souvent à maintenir un raisonnement cohérent à travers plusieurs requêtes sur la même image, une limitation que iGVLM adresse efficacement. Les résultats suggèrent que la modulation visuelle découplée est une direction de conception viable pour construire des modèles multimodaux conscients de l'instruction, à la fois puissants et efficaces sur le plan computationnel.