💻 computer science

Generation as Auxiliary Supervision: Enhancing Visual Understanding at Zero Inference Overhead via Decoupled Embedding Prediction

Cet article introduit GAS, un cadre d'entraînement qui améliore la compréhension visuelle à coût d'inférence nul dans les modèles de langage multimodaux en utilisant une branche de génération découplée avec une prédiction de l'embedding suivant comme supervision auxiliaire pour affiner les représentations visuelles partagées sans compromettre l'architecture d'inférence finale.

Auteurs originaux : Zhongbin Guo, Jiahao Xie, Dongling Xiao, Qianle Wang, Ruiqi Lu, Xiaomin He, Wanxuan Sun, Cheng Yang

Publié 2026-08-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhongbin Guo, Jiahao Xie, Dongling Xiao, Qianle Wang, Ruiqi Lu, Xiaomin He, Wanxuan Sun, Cheng Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un étudiant brillant comment comprendre une peinture complexe. Traditionnellement, vous lui montreriez l'œuvre et lui demanderiez d'en faire la description. Il apprend ainsi à parler de la peinture, mais il n'a jamais réellement besoin de la dessiner. C'est ainsi que fonctionnent la plupart des modèles de langage multimodaux (MLLM) modernes : ils sont fantastiques pour décrire des images, répondre à des questions à leur sujet et même résoudre des énigmes basées sur ce qu'ils voient. Cependant, parce qu'ils sont uniquement entraînés à parler de l'image, ils passent parfois à côté de détails minuscules et précis — comme l'emplacement exact d'un objet spécifique, ou le nombre d'articles cachés dans une foule. Ils saisissent l'« essence », mais peuvent trébucher sur les détails techniques.

Maintenant, imaginez une approche différente : et si, pour l'aider à mieux comprendre, vous lui demandiez également de reproduire la peinture ? Cela semble être un travail supplémentaire considérable, et vous pourriez craindre que le fait d'essayer de dessiner ne le distraie de l'apprentissage de la description. Mais et si vous pouviez utiliser l'acte de dessiner purement comme un exercice d'entraînement secret ? Vous pourriez le forcer à prêter attention à chaque pixel et à chaque relation spatiale pour réussir le dessin, mais ensuite, une fois l'entraînement terminé, vous pourriez jeter les outils de dessin. L'étudiant serait doté d'une capacité superpuissante à comprendre l'image, ayant appris grâce à la pratique du dessin, sans jamais avoir besoin de dessiner à nouveau. C'est le cœur de l'idée derrière une nouvelle méthode appelée GAS (Generation as Auxiliary Supervision).

Le Problème : Parler vs Voir

Les modèles d'IA actuels sont comme des critiques d'art qui n'ont jamais tenu un pinceau. Ils sont entraînés à prédire le mot suivant dans une phrase concernant une image. Bien que cela les rende excellents interlocuteurs, cela laisse une lacune dans leur vision. Ils n'ont pas de « mémoire musculaire » directe pour les détails visuels tels que les formes exactes, les contours ou les relations spatiales. L'article soutient qu'en les entraînant uniquement à parler, nous passons à côté d'un immense réservoir d'apprentissage visuel. Les tentatives précédentes pour y remédier en créant des modèles capables à la fois de parler et de dessiner (Modèles Unifiés) ont souvent échoué car la partie « dessin » était trop lourde, ralentissant le modèle, ou parce que leur façon de dessiner (en utilisant différents types de « pixels » numériques) ne correspondait pas à leur façon de penser, provoquant de la confusion plutôt qu'une amélioration.

La Solution : La Classe de Dessin « Fantôme »

Les chercheurs derrière GAS ont conçu une astuce ingénieuse. Ils ont construit un cadre d'entraînement spécial où l'IA apprend à « dessiner » (ou plus précisément, à prédire la partie suivante de la représentation numérique d'une image) parallèlement à sa tâche habituelle de compréhension.

Voici comment ils ont procédé, en utilisant la métaphore d'une maison à deux étages :

La Fondation Commune (Le Tronc) : L'IA de « Compréhension » et l'IA de « Dessin » partagent les mêmes étages inférieurs. C'est là que l'information visuelle brute est traitée.
La Division (L'Architecture MoT) : À mesure que l'information monte les escaliers, la maison se divise. Un chemin mène à la pièce de la « Compréhension » (où l'IA répond aux questions), et un chemin parallèle mène à la pièce du « Dessin ».
L'Arme Secrète (NEP) : Dans la pièce du Dessin, l'IA ne cherche pas à créer un beau tableau pour une galerie. Au lieu de cela, elle utilise une technique appelée Next Embedding Prediction (NEP). Considérez cela comme l'IA essayant de deviner le prochain « bloc Lego numérique » qui compose l'image, sur la base des instructions reçues. Elle ne cherche pas à être une artiste ; elle cherche à être un architecte précis de données visuelles.
Le Transfert Magique : L'acte de tenter de prédire ces blocs visuels précis force la fondation partagée (les étages inférieurs) à devenir incroyablement détaillée et nette. Elle apprend à conserver l'information visuelle bien mieux qu'auparavant.
Le Tour de Magie sans Surcharge : C'est la meilleure partie. Une fois l'entraînement terminé, toute la pièce du « Dessin » est démolie. L'IA conserve la fondation super-nette qu'elle a apprise, mais elle ne possède plus la pièce ni les outils pour dessiner. Lorsque vous lui posez une question plus tard, elle répond aussi rapidement qu'avant, mais avec une bien meilleure vision. L'article confirme que cela ajoute zéro surcharge d'inférence — ce qui signifie que cela ne rend pas l'IA plus lente ou plus lourde à utiliser.

Ce Qu'Ils Ont Trouvé

L'équipe a testé cela sur des modèles de 2 milliards et 4 milliards de paramètres. Ils ne se sont pas contentés de deviner ; ils ont mené des expériences approfondies pour voir si ce « entraînement au dessin » aidait réellement les capacités de « compréhension ».

Meilleure sur les Détails : Les modèles entraînés avec GAS sont devenus nettement meilleurs dans les tâches exigeant une vision précise, comme compter des objets, déterminer des relations spatiales (ex: « la lampe est-elle plus proche que la télévision ? ») ou comprendre des diagrammes complexes. Par exemple, sur un test de comptage, le modèle 2B est passé de 87,7 à 90,1, et le modèle 4B a atteint 90,8.
Cela Fonctionne à Tout Stade : Ils ont testé cela sur des modèles d'IA totalement nouveaux, des modèles déjà pré-entraînés et des modèles déjà affinés (fine-tuned). Dans chaque cas, la « pratique du dessin » a aidé. Elle a été plus utile pour les modèles neufs, mais même les modèles déjà performants et intelligents ont reçu un coup de pouce.
Tout Dessin n'est Pas Égal : Ils ont découvert que le type de tâche de dessin importait. Demander simplement à l'IA de « dessiner un chat » n'aidait pas beaucoup. Mais lui demander de dessiner en se basant sur des instructions complexes — comme « segmente cette partie spécifique de l'image » ou « édite cet objet en fonction d'une raison logique » — forçait l'IA à réfléchir profondément. Ces tâches de dessin « cognitives » ont été celles qui ont véritablement surchargé la compréhension.
La Branche « Fantôme » est la Clé : Ils ont prouvé que s'ils n'avaient pas séparé le chemin du dessin du chemin de la compréhension (en utilisant leur conception spéciale de « Mixture-of-Transformers »), l'IA aurait en réalité diminué en compréhension. La tâche de dessin aurait confondu l'IA. La séparation était cruciale pour permettre à l'apprentissage visuel de « s'imprégner » dans la fondation sans perturber le processus de réflexion.

Pourquoi Cela Importe

L'article suggère que nous n'avons pas besoin de construire des systèmes d'IA massifs et lents capables de parler et de dessiner pour améliorer la vision. Au lieu de cela, nous pouvons utiliser le processus de génération comme un outil d'entraînement secret. En forçant l'IA à prédire des détails visuels de manière spécifique et structurée pendant l'entraînement, puis en abandonnant cette capacité par la suite, nous obtenons un modèle qui voit le monde avec des yeux bien plus aiguisés, tout en restant aussi rapide qu'avant.

Les chercheurs ont découvert que cette approche fonctionne à travers différentes tailles et étapes de modèles, ce qui suggère qu'il s'agit d'un moyen fiable de booster l'intelligence visuelle. Ils ont également montré que l'IA n'a pas perdu sa capacité de raisonnement textuel ; en fait, elle s'est même légèrement améliorée sur ce point. L'article conclut que l'entraînement guidé par la génération est une voie pratique et efficace pour renforcer la compréhension multimodale, résolvant le problème de la manière de faire en sorte que l'IA « voie » mieux sans la rendre plus « lente ».

Résumé Technique : GAS (Generation as Auxiliary Supervision)

Énoncé du Problème

Les modèles de langage multimodaux (MLLM) ont connu un succès significatif dans les tâches de compréhension visuelle (ex: légende d'image, VQA) en encodant les entrées visuelles sous forme de jetons textuels pour un raisonnement autorégressif. Cependant, ce paradigme repose uniquement sur une supervision textuelle uniquement (Next Token Prediction), ce qui introduit deux limitations critiques :

Goulot d'étranglement de l'expressivité : Le langage naturel ne peut pas encoder précisément les détails visuels fins, tels que les relations spatiales exactes, les limites au niveau du pixel ou la dynamique physique. Par conséquent, les représentations visuelles dans les couches profondes du LLM ont tendance à s'atténuer, perdant ainsi l'information géométrique et structurelle.
Données sous-utilisées : Les architectures existantes ne peuvent pas consommer efficacement les données visuellement intensives (ex: masques de segmentation, édition d'images) pour l'entraînement, sacrifiant ainsi un vaste réservoir de supervision fine.

Bien que les modèles multimodaux unifiés (UMM) tentent de coupler l'entraînement de la compréhension et de la génération, ils font face à des tensions non résolues :

Surcharge d'inférence : La plupart des UMM conservent les paramètres de génération lors de l'inférence, ce qui entraîne des coûts de latence et de mémoire.
Conflit d'objectifs : Les objectifs de génération dans les UMM sont souvent optimisés pour la qualité de la synthèse plutôt que pour la compréhension, ce qui conduit à des plafonds de performance ou à une dégradation dans les tâches de compréhension en raison de pressions d'optimisation conflictuelles.
Absence de mécanisme : Les travaux existants rapportent souvent des gains agrégés sans clarifier comment la génération bénéficie à la compréhension ou quelles représentations intermédiaires sont les plus propices à une telle supervision.

Méthodologie : Cadre GAS

Les auteurs proposent GAS (Generation as Auxiliary Supervision), un cadre d'entraînement qui réinterprète la génération visuelle non pas comme un objectif de déploiement, mais comme une supervision auxiliaire pour enrichir les représentations visuelles destinées à la compréhension. Le cadre se compose de trois composants clés :

1. Next Embedding Prediction (NEP)

Au lieu d'utiliser une tokenisation visuelle discrète ou des objectifs de diffusion (qui créent des espaces de représentation disjoints), GAS formule la génération comme une prédiction autorégressive d'embeddings visuels continus au sein du même espace de représentation consommé par le backbone du LLM.

Cible : Le modèle prédit les embeddings d'image cibles ( $z_{tgt}$ ) dérivés d'un Vision Transformer (ViT) gelé et d'un projecteur visuo-linguistique.
Perte : La perte de génération est calculée comme la distance cosinus entre les embeddings prédits et les embeddings de vérité terrain dans l'espace continu, privilégiant l'enrichissement de la représentation structurelle plutôt que la synthèse de pixels photoréalistes.
Stabilisation : Une moyenne mobile exponentielle (EMA) des poids du projecteur est utilisée pour générer des embeddings cibles stables, évitant la dérive de la supervision pendant l'entraînement conjoint.

2. Architecture Mixture-of-Transformers (MoT)

Pour résoudre le conflit entre les objectifs de génération et de compréhension, GAS emploie une architecture découplée :

Tronc Partagé (Shared Trunk) : Les couches inférieures du modèle (jusqu'à une couche de séparation $l_{split}$ ) sont partagées entre les branches de compréhension et de génération.
Branches Parallèles :
- La Branche de Compréhension se poursuit à travers les couches supérieures, optimisée uniquement par la perte de cross-entropie textuelle.
- La Branche de Génération consiste en des couches de transformateurs indépendantes initialisées à partir du backbone, optimisées uniquement par la perte NEP.
Mécanisme : Les gradients de la perte de génération circulent vers le tronc partagé, affinant les états cachés intermédiaires ( $H_{l_{split}}$ ) avec des détails visuels fins. Ces états enrichis sont ensuite injectés dans les couches de compréhension supérieures, qui s'adaptent pour exploiter ces caractéristiques sans être directement perturbées par les gradients de génération.
Zéro Surcharge d'Inférence : Crucialement, l'intégralité de la branche de génération (paramètres et tête de vision) est écartée après l'entraînement. Le modèle déployé possède une architecture et un coût identiques à ceux d'un MLLM standard dédié uniquement à la compréhension.

3. Construction Systématique de Données

Les auteurs ont construit un jeu de données d'environ 10 millions d'échantillons de génération répartis sur cinq catégories et 15 sous-tâches, générés via un pipeline automatisé et sans annotation manuelle :

Catégories : Grounding (ancrage), Segmentation, Édition d'image, Chaîne de pensée visuelle (Visual-CoT) et Text-to-Image (T2I).
Principe de Conception : Les tâches sont sélectionnées en fonction de leur dépendance cognitive latente avec les capacités de compréhension. Par exemple, le Visual-CoT nécessite de générer des preuves visuelles intermédiaires pour soutenir le raisonnement, forçant le modèle à développer des capacités spatiales et logiques précises qui échappent à l'entraînement textuel seul.
Pipeline : Utilise le marquage en vocabulaire ouvert (RAM++), la détection (Grounding DINO) et la synthèse d'instructions basée sur les LLM pour créer des données de haute qualité et de difficulté contrôlée sans annotation manuelle.

Contributions Clés

Transfert à Zéro Surcharge : La combinaison de la supervision continue par NEP et d'une branche de génération MoT supprimable permet le transfert de l'apprentissage génératif au modèle déployé avec un coût d'inférence strictement nul.
Hypothèse de Corrélation des Tâches : L'article démontre que les tâches de génération ayant les corrélations latentes les plus fortes avec la compréhension (ex: grounding, segmentation) produisent les gains les plus importants. La combinaison de tâches diverses offre des améliorations complémentaires, particulièrement sur les benchmarks de perception et de comptage.
Analyse Systématique : À travers des ablations approfondies et des diagnostics au niveau de la représentation, l'article clarifie quand et pour pourquoi la génération aide :
- Elle est bénéfique à toutes les étapes de l'entraînement (from scratch, pré-entraînement et SFT).
- Elle nécessite une isolation architecturale spécifique (MoT) et une conception d'objectif (NEP) ; simplement ajouter des données de génération ou utiliser un backbone partagé dégrade les performances.
- Elle améliore la rétention de l'information visuelle dans les couches profondes et aiguise les mécanismes d'attention vers les régions pertinentes de la tâche.

Résultats

Évalué sur des backbones de 2B et 4B de paramètres (basés sur Qwen3-VL), GAS démontre des améliorations constantes par rapport aux bases de référence de compréhension seule :

Spatial et Comptage : Gains significatifs sur CountBenchQA (ex: +2,4 points à l'échelle 2B) et CV-Bench, directement attribués aux tâches de grounding et de segmentation.
Raisonnement : Améliorations sur MathVista, DynaMath et VisuLogic, liées au Visual-CoT et aux tâches d'édition.
Généralisation : GAS surpasse ou égale des modèles unifiés plus larges (ex: BAGEL 7B+7B, Emu3 8B) sur de multiples benchmarks tout en maintenant un nombre de paramètres plus faible et un coût d'inférence nul.
Raisonnement Textuel : Le cadre préserve et améliore légèrement les capacités de raisonnement textuel pur (ZebraLogic, MMLU-Redux), indiquant que la supervision de génération n'érode pas le raisonnement linguistique.

Signification et Revendications

L'article affirme que l'entraînement guidé par la génération est une voie pratique vers une compréhension multimodale plus forte sans les pénalités de déploiement des modèles unifiés. Sa principale importance réside dans :

Découplage de l'Entraînement et de l'Inférence : Prouver que la génération peut servir de régularisateur pur lors de l'entraînement pour affiner les représentations visuelles, plutôt que d'être une capacité requise lors de l'inférence.
Aperçu Mécaniste : Fournir la preuve que les bénéfices proviennent de représentations spatiales enrichies et d'une meilleure rétention d'information dans les couches profondes, plutôt que d'une simple augmentation du volume de données.
Scalabilité : Démontrer que la synthèse de données automatisée et sans annotation peut effectivement passer à l'échelle les tâches de génération pour améliorer la compréhension, offrant un modèle pour le développement futur des MLLM qui exploitent le potentiel massif des données visuelles sans compromettre l'efficacité de l'inférence.

Les auteurs concluent que bien que les objectifs de génération et de compréhension puissent entrer en conflit, un cadre de supervision auxiliaire soigneusement conçu (GAS) peut exploiter le premier pour améliorer significativement le second, atteignant une compréhension visuelle de pointe avec l'efficacité des modèles de génération de texte standards.