Do VLMs Need Vision Transformers? Evaluating State Space Models as Vision Encoders

Cette étude démontre que les modèles d'espace d'état (SSM) constituent une alternative robuste et plus efficace aux encodeurs visuels basés sur les transformers pour les grands modèles vision-langage, offrant des performances supérieures en compréhension et localisation tout en nécessitant une échelle de modèle réduite.

L'essentiel

Imaginez que vous construisez un robot très intelligent capable de voir des images et de discuter avec vous. Ce robot a deux cerveaux principaux :

1. Les yeux (le Vision Encoder) : Il regarde l'image et la transforme en une série de "mots visuels".
2. La bouche (le LLM) : C'est un grand langage qui comprend ces mots et répond à vos questions.

Jusqu'à présent, tout le monde utilisait le même type d'yeux pour ces robots : des modèles basés sur les Transformers (comme les ViT), qui sont très puissants mais parfois lourds et qui ont du mal à se souvenir de où se trouvent exactement les objets dans une image.

Cette nouvelle étude pose une question simple : "Et si on essayait un autre type d'yeux, appelés SSM (State Space Models), pour voir si c'est mieux ?"

Voici les découvertes principales, expliquées simplement :

1. Le nouveau champion : VMamba

Les chercheurs ont comparé les vieux yeux (Transformers) avec les nouveaux yeux (VMamba, un type de SSM).

• L'analogie : Imaginez que les vieux yeux regardent une photo et disent : "Il y a un chien et un chat". Les nouveaux yeux disent : "Il y a un chien ici, à gauche, et un chat là, en bas, et je vois exactement la forme de leur queue".
• Le résultat : Les nouveaux yeux (VMamba) sont excellents pour localiser les objets. Ils sont plus précis pour dire "où" se trouve quelque chose, même s'ils sont plus petits et plus légers que les géants de l'ancienne génération.

2. Le piège de la taille (Plus gros n'est pas toujours mieux)

On pensait souvent que plus un modèle d'yeux était grand et complexe, plus le robot serait intelligent.

• L'analogie : C'est comme si on pensait qu'un éléphant géant serait forcément un meilleur guide touristique qu'un chien de berger.
• La réalité : L'étude montre que ce n'est pas vrai. Parfois, les modèles géants (comme certains Transformers très gros) deviennent si obsédés par "nommer" l'objet (c'est un chien !) qu'ils oublient de se souvenir de sa position exacte. Le robot finit par dire "C'est un chien" mais ne peut pas vous montrer où il est. Les modèles plus petits et spécialisés (VMamba) sont souvent plus efficaces.

3. Le problème de la "traduction" (L'interface)

Même si les yeux voient parfaitement, il faut que le message passe bien au cerveau (le LLM).

• L'analogie : Imaginez que vos yeux voient une scène incroyable, mais que vous essayez de la décrire à votre ami avec un fil de téléphone très fin et cassant. L'information se perd en route.
• Le problème : Avec certaines configurations (surtout quand on utilise des images très grandes et non carrées), le message se déforme. Le robot devient confus et ne trouve plus rien. C'est ce qu'ils appellent un "effondrement" (collapse).
• La solution : Ils ont trouvé deux astuces simples pour réparer cela :
  1. Élargir le fil : Utiliser un "connecteur" plus puissant pour transporter plus d'informations.
  2. Carrer l'image : Forcer les images à être carrées (comme une photo classique) plutôt que rectangulaires allongées. Cela aide le cerveau à mieux comprendre la géométrie de la scène.

4. L'entraînement fait toute la différence

Si vous entraînez les yeux uniquement à reconnaître des chats et des chiens (classification), ils deviennent bons pour dire "C'est un chat". Mais si vous les entraînez aussi à dessiner des contours ou à trouver des objets dans une foule (détection/segmentation), ils deviennent de véritables experts de la localisation.

• Leçon : Entraîner les yeux à "pointer du doigt" (détection) aide énormément le robot à répondre à des questions comme "Où est le chien ?".

En résumé

Cette étude nous dit que pour construire de meilleurs robots qui voient et parlent :

• On n'a pas besoin de construire des modèles gigantesques ; des modèles plus petits et intelligents (comme VMamba) fonctionnent souvent mieux.
• Il faut s'assurer que les yeux sont entraînés à comprendre l'espace, pas juste à nommer les objets.
• Il faut faire attention à la façon dont on "traduit" l'image pour le cerveau (en utilisant des images carrées et des connexions solides).

C'est une victoire pour l'efficacité : on peut avoir un robot plus intelligent, plus rapide et moins gourmand en énergie en changeant simplement la façon dont il "regarde" le monde.

Résumé technique

Titre : Les VLM ont-ils besoin de Vision Transformers ? Évaluation des modèles à espace d'état (SSM) comme encodeurs visuels

1. Problématique

Les modèles vision-langage (VLM) modernes reposent généralement sur une architecture modulaire où un encodeur visuel pré-entraîné (souvent figé) extrait des caractéristiques d'images, qui sont ensuite projetées dans l'espace d'embedding d'un grand modèle de langage (LLM) via un connecteur léger.

• Limitation actuelle : La quasi-totalité des systèmes utilisent des encodeurs basés sur des Transformers (ViT) comme colonne vertébrale visuelle.
• Question de recherche : Les modèles à espace d'état (State Space Models - SSM), et plus particulièrement les architectures comme VMamba, peuvent-ils constituer une alternative robuste aux Transformers pour les VLM ?
• Défi spécifique : Les VLM nécessitent souvent une compréhension spatiale fine (localisation, ancrage) pour répondre à des questions complexes. Les Transformers, basés sur l'attention globale, peuvent parfois perdre des détails spatiaux fins, tandis que les SSM, conçus pour des scans directionnels sur la grille 2D, pourraient mieux préserver cette structure spatiale. De plus, l'évaluation comparative est souvent biaisée par des différences dans les protocoles d'entraînement, les résolutions ou les objectifs de pré-entraînement.

2. Méthodologie

Les auteurs ont conçu une étude rigoureuse et contrôlée pour isoler l'impact de l'architecture de l'encodeur visuel, en suivant un protocole de type LLaVA (Vision Encoder + Connecteur + LLM Vicuna-7B).

• Configuration Expérimentale Contrôlée :

  • Gel de l'encodeur : L'encodeur visuel est figé pendant le instruction tuning (seul le connecteur et le LLM sont mis à jour) pour éviter que les dynamiques d'entraînement n'obscurcissent les différences architecturales.
  • Comparaison équitable : Comparaison de plusieurs familles d'architectures (ViT, MaxViT, MambaVision, VMamba) avec des initialisations ImageNet-1K (IN1K) identiques, à la même résolution (224x224) et au même nombre de tokens visuels (L=196).
  • Adaptation aux tâches denses : Évaluation de checkpoints adaptés à la détection d'objets (ViTDet) et à la segmentation (DeiT, VMamba) pour étudier l'impact des objectifs de pré-entraînement denses.
  • Analyse des échecs : Identification de phénomènes d'effondrement (collapse) de la localisation et proposition de stratégies de stabilisation (augmentation de la capacité du connecteur, modification de la géométrie d'entrée).

• Évaluation :

  • Benchmarks VQA : VQA-v2, GQA, VizWiz, TextVQA, POPE, TallyQA.
  • Benchmarks de Localisation/Ancrage : RefCOCO, RefCOCO+, RefCOCOg, OCID-Ref.

3. Contributions Clés

1. Évaluation Contrôlée : Première comparaison systématique des encodeurs SSM (VMamba) contre les Transformers (ViT, MaxViT) dans un cadre VLM strictement contrôlé.
2. Supériorité des SSM : Preuve empirique que les encodeurs basés sur VMamba surpassent les Transformers équivalents en termes de performance globale, en particulier pour les tâches de localisation et d'ancrage spatial, tout en restant compétitifs sur les VQA.
3. Diagnostic des Modes d'Échec : Identification de deux problèmes majeurs :
   • L'accuracy sur ImageNet et le simple passage à l'échelle (scaling) ne prédisent pas la performance VLM.
   • Certaines configurations adaptées à la détection souffrent d'un "effondrement de localisation" (localization collapse).
4. Stratégies de Stabilisation : Proposition de solutions simples et agnostiques à l'architecture (connecteurs plus puissants, géométrie d'entrée carrée) pour rétablir la performance des modèles en échec.
5. Nouveau Paradigme de Design : Mise en avant d'une vision factorisée de la conception des VLM : Architecture + Objectif de Pré-entraînement + Interface Vision-Langage.

4. Résultats Principaux

• Performance sous Initialisation IN1K (Matchée) :

  • VMamba (T, S, B) obtient les meilleures performances globales.
  • Les variantes VMamba-T/S dominent systématiquement sur tous les benchmarks de localisation (RefCOCO, etc.), surpassant les ViT et MaxViT de taille comparable.
  • Contrairement aux ViT où une plus grande taille ou une meilleure accuracy ImageNet ne garantit pas une meilleure performance VLM (et peut même la dégrader), VMamba montre une meilleure robustesse, bien que le scaling au-delà de la taille "Small" commence aussi à montrer des signes de dégradation.

• Impact des Objectifs Denses (Détection/Segmentation) :

  • L'adaptation à des tâches denses améliore généralement les performances pour les deux familles (ViT et SSM).
  • Cependant, l'adaptation à la détection sur des résolutions non carrées (ex: 1333x800) provoque un effondrement de la localisation pour certains modèles (ex: ViTDet-L/H, VMamba-T/B).
  • L'adaptation à la segmentation (résolutions carrées) produit des résultats plus stables et performants.

• Diagnostic et Stabilisation :

  • Cause de l'effondrement : L'analyse suggère que l'effondrement n'est pas dû à une absence d'information spatiale dans l'encodeur, mais à une rupture dans l'interface (connecteur ou géométrie) qui empêche le LLM d'utiliser ces signaux.
  • Solutions :
    1. Augmentation de la capacité du connecteur (passer d'un MLP 2 couches à 3 couches) aide à récupérer une partie de la performance.
    2. Changement de géométrie : Passer à une entrée carrée (512x512) élimine presque totalement l'effondrement et améliore les performances, même pour les modèles pré-entraînés pour la détection.
  • La combinaison des deux stratégies donne les meilleurs résultats.

• Efficacité :

  • VMamba offre un meilleur compromis performance/efficacité que les ViT de taille similaire.
  • Les modèles ViTDet (plus gros) atteignent rapidement les limites de mémoire GPU, limitant leur scalabilité pratique.

5. Signification et Impact

Ce travail remet en question la domination exclusive des Transformers dans les encodeurs visuels pour les VLM. Il démontre que :

1. Les SSM (VMamba) sont une alternative supérieure, particulièrement pour les tâches nécessitant une compréhension spatiale fine, tout en étant plus efficaces en termes de paramètres.
2. La performance VLM ne dépend pas uniquement de l'encodeur : L'interface (connecteur et géométrie d'entrée) est critique. Une architecture puissante peut échouer si l'interface ne transmet pas fidèlement l'information spatiale au LLM.
3. Guidance pratique : Pour les chercheurs et ingénieurs, l'article fournit des règles concrètes : privilégier les géométries carrées pour la stabilité, utiliser des connecteurs plus expressifs pour les tâches denses, et considérer les SSM comme un choix de backbone robuste et économe en ressources.

En conclusion, les auteurs concluent que les encodeurs visuels basés sur les modèles à espace d'état (SSM) sont une voie prometteuse, offrant une alternative forte et efficace aux Transformers traditionnels pour la prochaine génération de modèles vision-langage.