Résumé Technique : Au-delà de l'accumulation d'encodeurs

Énoncé du Problème

Alors que les modèles de langage-vision à grande échelle (LVLM) passent à l'échelle pour incorporer de multiples flux visuels hétérogènes, comprendre comment les différents encodeurs interagissent lors de l'entraînement conjoint est crucial pour une conception fondée sur des principes. Cependant, les LVLM actuels manquent d'outils robustes pour évaluer ces interactions. Les méthodes existantes, telles que le masquage à l'inférence (IM) sur des points de contrôle fixes, souffrent de deux limitations principales :

1. Décalage Entraînement-Entraînement : Évaluer le rôle des encodeurs en masquant des branches au moment de l'inférence s'écarte du pipeline d'entraînement réel, menant à des conclusions peu fiables sur les contributions des encodeurs.
2. Énumération Incomplète : Aucune méthode préalable n'a évalué l'ensemble complet des sous-ensembles d'encodeurs possibles, ce qui rend difficile l'identification de configurations économes en paramètres avant l'entraînement.

Par conséquent, les concepteurs peinent à déterminer quels encodeurs inclure, s'appuyant souvent sur des heuristiques qui peuvent ne pas refléter le véritable paysage d'optimisation de l'entraînement conjoint.

Méthodologie

Les auteurs proposent un protocole de Suppression au moment de l'entraînement (TR) pour réexaminer le rôle des encodeurs. Utilisant l'architecture Eagle-X5 (décodeur Vicuna-7B avec cinq encodeurs de vision : ConvNeXt, EVA-02, CLIP, Pix2Struct et SAM) comme banc d'essai, l'étude :

• Réentraîne tous les 31 sous-ensembles non vides des cinq encodeurs à partir de zéro sous un pipeline unifié.
• Évalue ces 31 modèles sur la suite de 16 benchmarks Cambrian-1 (couvrant les tâches Générales, de Connaissance, d'OCR & Graphiques, et Centrées sur la Vision).
• Contraste ces résultats avec les résultats du Masquage à l'inférence (IM) du travail précédent (Wang et al.) pour souligner les divergences entre les contre-factuels à l'inférence et les réalités à l'entraînement.
• Décompose les contributions des encodeurs en deux axes : la Capacité et la Nécessité.
• Analyse le rang effectif pré-projecteur de chaque encodeur pour comprendre les signaux de niveau de représentation indépendamment du nombre de paramètres.

Contributions Clés

1. Protocole d'Attribution : Suppression au moment de l'entraînement (TR) vs Masquage à l'inférence (IM)

L'étude établit que l'IM et le TR produisent des classements systématiquement différents.

• Discrépance de Classement : Sous l'IM, EVA-02 arrive en premier ; sous le TR (vérité terrain), ConvNeXt arrive en premier.
• Stabilité : Le TR présente une variance inter-contexte plus faible que l'IM pour la plupart des encodeurs, suggérant que le réentraînement des sous-ensembles fournit une mesure plus stable des contributions individuelles.
• Impact sur la Conception : Le choix du protocole modifie les recommandations pratiques. Par exemple, l'heuristique basée sur l'IM suggère une paire supérieure ConvNeXt+EVA-02, alors que la paire optimale basée sur le TR est CLIP+ConvNeXt.

2. Décomposition Capacité–Nécessité

Les auteurs introduisent un cadre à deux axes pour démêler les rôles des encodeurs :

• Capacité : Le score qu'un encodeur obtient seul (performance en singleton) par rapport au pool complet.
• Nécessité : La chute de performance lorsque l'on retire un encodeur du pool complet (baisse en "leave-one-out").
• Résultats : Ces axes ne sont pas interchangeables. Associer les deux encodeurs ayant la plus haute Capacité est sous-optimal. Au lieu de cela, la stratégie optimale consiste à associer un Noyau Universel (haute Capacité, haute Nécessité) à un Complément Adaptatif (capacité modérée, faible Nécessité, mais dont le rang s'étend lors de l'entraînement conjoint).
• Taxonomie : Cette décomposition produit une taxonomie en cinq classes :
  • Noyau Universel : ConvNeX (fort dans toutes les familles).
  • Complément Adaptatif : CLIP (le rang s'étend sous l'entraînement conjoint).
  • Spécialiste Centré sur la Vision : EVA-02.
  • Spécialiste de Niche : Pix2Struct (OCR & Graphiques).
  • Remplaçable : SAM.

3. Mécanisme au Niveau de la Représentation : Rang Effectif

À un nombre de paramètres fixe, la variation résiduelle des scores est expliquée par le rang effectif pré-projecteur.

• Trois Régimes :
  1. Singleton : Le score est prédit par le rang effectif propre de l'encodeur.
  2. Paires : Le score est prédit par le changement du rang du complément sous l'entraînement conjoint ($\Delta$rang). La meilleure paire (CLIP+ConvNeXt) combine un ancrage dont le rang survit intact et un complément dont le rang s'étend.
  3. Pool Complet : Le score sature lorsque la croissance moyenne du rang par encodeur s'arrête, indiquant une contrainte de budget partagé du projecteur.
• Implication : Des entrées de projecteur à rang plus élevé et moins effondrées correspondent à un régime d'optimisation plus favorable à l'interface encodeur-projecteur.

Résultats

• Rendements Décroissants : L'ajout d'encodeurs produit des rendements fortement décroissants. Un modèle à deux encodeurs bien choisi (CLIP+ConvNeXt) récupère 97 % du score du modèle complet à cinq encodeurs. Le troisième et le quatrième encodeurs apportent des gains négligeables, seul le cinquième récupérant une petite marge pour les tâches Centrées sur la Vision.
• Appariement Optimal : La meilleure paire est CLIP + ConvNeX, et non la paire des deux encodeurs ayant les plus hautes Capacités (ConvNeXt + EVA-02). Cette paire comble 97 % de l'écart entre un encodeur CLIP seul et le pool complet.
• Saturation Spécifique aux Tâches :
  • Les tâches OCR & Graphiques et Générales saturent avec deux encodeurs.
  • Les tâches Centrées sur la Vision continuent de bénéficier jusqu'au pool complet de cinq encodeurs.
  • Les tâches de Connaissance sont dominées par le "prior" du LLM, rendant les contributions des encodeurs visuels minimales.
• Rang vs Paramètres : Le nombre de paramètres est un prédicteur grossier. Des encodeurs ayant des nombres de paramètres similaires (ex: CLIP, EVA-02, SAM) montrent de larges variations de rang effectif et de scores en singleton. Le rang effectif est un descripteur plus précis de la qualité de la représentation.

Signification et Revendications

L'article affirme exposer un fossé méthodologique dans la conception des LVLM multi-encodeurs, spécifiquement la dépendance aux approximations à point de contrôle fixe (IM) plutôt qu'aux contre-factuels au moment de l'entraînement.

• Orientation Pratique : L'étude offre des primitives concrètes pour la conception de pools compacts : sélectionner un ancrage à haute Capacité et un Complément Adaptatif dont le rang s'étend sous l'entraînement conjoint, plutôt que de simplement sélectionner les encodeurs individuels les plus forts.
• Implications pour la Distillation : Les résultats suggèrent que distiller un encodeur "Remplaçable" est à faible risque, mais distiller un "Complément Adaptatif" est difficile car sa contribution repose sur des interactions dynamiques encodeur-projecteur (expansion de rang) qu'un étudiant gelé ne peut reproduire.
• Pertinence Future : Alors que les modèles de fondation pour la modélisation du monde et l'IA physique fusionneront de plus en plus de flux hétérogènes, les auteurs soutiennent que le réentraînement par énumération complète deviendra irréalisable. La décomposition Capacité–Nécessité et l'analyse du rang proposées fournissent un cadre pour estimer ces propriétés avec un réentraînement minimal, potentiellement via des substituts légers basés sur la géométrie pré-projecteur.

Les auteurs restent modestes, notant que l'heuristique "Ancrage avec Complément à Expansion de Rang" est descriptive pour le pool Eagle-X5 et nécessite une validation supplémentaire comme règle générique pour des pools non vus.