🤖 AI

Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution

Cet article propose le Traitement Visuel Découplé (DVP), un cadre d'entraînement efficace en termes de paramètres qui remplace les couches supérieures du décodeur d'un grand modèle de langage multimodal par un bloc transformer unique et léger dédié aux jetons visuels, atteignant des performances compétitives sur les benchmarks tout en ne mettant à jour qu'une fraction du total des paramètres.

Auteurs originaux : Mingkuan Feng, Zhengqi Wen, Jianhua Tao

Publié 2026-07-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mingkuan Feng, Zhengqi Wen, Jianhua Tao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs peuvent « voir » et « lire » en même temps, comme un ami super intelligent capable de regarder la photo d'un chat et de vous raconter une histoire drôle à son sujet. C'est le domaine des Modèles de Langage de Grande Taille Multimodaux (MLLM). Pour faire fonctionner ces modèles, les scientifiques utilisent généralement deux outils puissants et les collent ensemble : un « encodeur de vision » (un cerveau entraîné à comprendre les images) et un « Modèle de Langage de Grande Taille » (un cerveau entraîné à comprendre les mots). La partie délicate est de les faire communiquer. Habituellement, quand vous montrez une image à l'ordinateur et que vous posez une question, l'ordinateur pousse les parties de l'image et les parties de texte dans la même immense ligne de production de traitement. Chaque étape de cette ligne est ajustée et peaufinée pour rendre la réponse parfaite. Mais voici le hic : cette ligne de production est massive, et ajuster chaque machine de cette ligne prend énormément de temps, d'argent et d'électricité. C'est comme essayer de réparer tout le système de circulation d'une ville juste pour qu'un seul camion de livraison puisse circuler plus vite.

La grande question que les scientifiques se posent est la suivante : les parties d'image et les parties de texte ont-elles vraiment besoin de passer par la même ligne de production profonde et complexe ? Peut-être que les parties d'image n'ont besoin que d'un raccourci rapide et spécialisé, tandis que les mots ont besoin du traitement complet et profond. Si nous pouvions trouver un moyen de donner un raccourci aux images sans casser tout le système, nous pourrions rendre ces ordinateurs intelligents beaucoup moins chers et plus rapides à entraîner. C'est exactement le casse-tête qu'une équipe de chercheurs de l'Université Tsinghua a décidé de résoudre.

L'article : Donner un raccourci VIP aux images

Les chercheurs, Mingkuan Feng, Zhengqi Wen et Jianhua Tao, proposent une nouvelle façon d'entraîner ces modèles appelée Decoupled Visual Processing (DVP) (Traitement Visuel Découplé). Imaginez le modèle standard comme un long toboggan sinueux dans une aire de jeux. Tout le monde — qu'il tienne une image ou un mot — doit glisser sur l'intégralité des 32 étapes du toboggan ensemble. Les chercheurs ont demandé : « Et si nous laissions les porteurs d'images sauter du toboggan à mi-chemin, passer par un minuscule tunnel super rapide, puis rejoindre les porteurs de mots en bas ? »

Voici comment fonctionne leur « Traitement Visuel Découplé », étape par étape :

Le départ commun : D'abord, les morceaux d'image (tokens visuels) et les morceaux de texte (tokens textuels) glissent ensemble sur la première moitié du toboggan (couches 0 à 16). Cela est important car cela permet à l'image et aux mots de se connaître et de comprendre le contexte.
La séparation : Au point de rupture, la foule se sépare. Les morceaux de texte continuent sur l'original et long toboggan déjà « gelé » (couches 17 à 31). Ce toboggan est « gelé », ce qui signifie qu'il est déjà parfait pour construire des phrases, donc on n'y touche pas.
Le tunnel VIP : Les morceaux d'image, cependant, ne descendent pas le long du long toboggan. Au lieu de cela, ils sont acheminés à travers un tout nouveau, minuscule tunnel à une seule étape (un seul bloc de transformateur). Ce tunnel est la seule partie de l'ensemble du système qui est entraînée et ajustée.
Les retrouvailles : Tout en bas, les morceaux d'image (maintenant traités par le minuscule tunnel) et les morceaux de texte (traités par le long toboggan) sont recousus ensemble pour générer la réponse finale.

Ce qu'ils ont découvert

L'équipe a testé cette idée en utilisant un modèle populaire appelé LLaVA-1.5 avec un squelette de 7 milliards de paramètres (Vicuna-7B). Ils ont comparé leur méthode de « Tunnel VIP » à deux autres approches : la méthode standard où l'on entraîne l' entier du modèle, et une méthode d'« Entraînement Normal » où ils utilisent leur architecture divisée mais entraînent quand même tout.

Les résultats ont été étonnamment efficaces :

Économies massives : En utilisant le DVP, ils n'ont eu besoin d'entraîner qu'environ 3,1 % des paramètres totaux. C'est comme réparer le trafic d'une ville entière en n'ajustant que les feux de signalisation d'un seul coin de rue.
Une vision claire : Sur un test appelé MME (qui vérifie si le modèle peut réellement « voir » des choses comme compter des objets ou lire des panneaux), leur méthode a obtenu un score de 1440. C'est incroyablement proche du score du modèle entièrement entraîné qui est de 1496, et c'est en fait bien meilleur que la méthode de l'« Entraînement Normal » divisée, qui n'a obtenu que 1225. Cela suggère que geler le modèle principal aide l'ordinateur à mieux « voir » en l'empêchant de s'embrouiller.
Moins d'hallucinations : Sur un test appelé POPE (qui vérifie si le modèle invente des choses qui ne sont pas là, comme voir un chien sur une photo de chat), le DVP a obtenu un score de 0,8619. C'est le score le plus élevé de tous, battant le modèle entièrement entraîné qui est de 0,8577. Cela suggère que donner aux images leur propre chemin dédié peut empêcher le modèle de devenir « rêveur » et d'inventer des choses.
Le compromis : La méthode n'était pas parfaite partout. Sur ChartQA (un test pour la lecture de graphiques et de diagrammes), le DVP a obtenu 0,2356. Bien que ce soit meilleur que le modèle entièrement entraîné (0,1776), c'est inférieur au score de la méthode d'« Entraînement Normal » (0,432). Les auteurs suggèrent que cela est dû au fait que la lecture de graphiques nécessite une vérification très fine et de va-et-vient entre les détails de l'image et les étiquettes textuelles, ce qui est plus difficile lorsque les deux chemins sont séparés tôt.

Pourquoi cela importe

L'article suggère que les couches profondes et complexes au sommet de ces modèles d'IA font en réalité une grande partie du travail lourd pour les mots, mais qu'elles pourraient être excessives pour les images. Les chercheurs ont découvert qu'un seul, minuscule bloc de transformateur est suffisant pour gérer le traitement de l'image si l'image et le texte ont déjà eu la chance de se rencontrer à mi-chemin.

Cette approche remet en question l'idée ancienne selon laquelle chaque morceau de donnée doit traverser l'intégralité du réseau profond. Elle suggère que nous pouvons construire des IA plus intelligentes et plus efficaces en reconnaissant que les images et les mots sont différents et peuvent avoir besoin de types d'aide différents. Bien que la méthode fonctionne très bien pour la vision générale et la détection de faux objets, les auteurs notent qu'elle pourrait nécessiter un peu plus de travail pour les tâches exigeant un raisonnement extrêmement détaillé, comme la lecture de graphiques complexes. Mais dans l'ensemble, ils suggèrent que ce chemin « découplé » est une façon puissante et économe en énergie d'apprendre aux ordinateurs à voir sans avoir besoin de reconstruire tout le cerveau à chaque fois.

Résumé Technique : Traitement Visuel Découplé (DVP - Decoupled Visual Processing)

Énoncé du Problème

Les modèles de langage de grande taille multimodaux (MLLM), tels que LLaVA, ont obtenu un succès significatif en intégrant la compréhension visuelle et textuelle au sein d'une architecture transformer unifiée. Le paradigme prédominant consiste à projeter les caractéristiques visuelles dans l'espace d'incorporation (embedding) du LLM et à traiter tous les jetons (visuels et textuels) à travers l'ensemble de la pile de couches du décodeur. Bien qu'efficace, cette approche nécessite soit un ajustement fin complet (full fine-tuning) de milliards de paramètres, soit l'application de méthodes économes en paramètres (ex: LoRA) sur chaque couche, les deux étant coûteuses en termes de calcul.

Une question critique et sous-explorée abordée par ce travail est de savoir si les jetons visuels et textuels nécessitent réellement le même chemin de représentation profonde. Les recherches antérieures suggèrent que les couches inférieures des transformers capturent des caractéristiques générales et agnostiques de la modalité, tandis que les couches supérieures deviennent de plus en plus spécialisées. Dans les MLLM, l'hypothèse est que les jetons visuels pourraient bénéficier d'un chemin de traitement spécialisé dans les couches supérieures, distinct du traitement orienté texte du LLM original, rendant ainsi le traitement de pleine profondeur des jetons visuels inutile et inefficace.

Méthodologie : Traitement Visuel Découplé (DVP)

Les auteurs proposent le Traitement Visuel Découplé (DVP), un cadre d'entraînement efficace qui modifie la pile du décodeur d'un LLM préentraîné pour séparer les chemins de traitement visuel et textuel après une phase initiale partagée.

Architecture

Étant donné un LLM préentraîné avec $L$ couches de décodeur, le DVP implémente un paradigme « diviser-traiter-concaténer » (split-process-concatenate) :

Traitement Partagé (Couches $0 $à$ K-1$) : Tous les jetons (visuels et textuels) sont traités conjointement à travers les $K$ premières couches du décodeur. Cette phase facilite l'attention cross-modale, permettant au modèle d'établir un alignement et un ancrage contextuel entre les modalités.
Séparation des Modalités : Après la couche $K$ , les états cachés sont séparés par modalité en jetons visuels ( $X_v$ ) et jetons textuels ( $X_t$ ).
Traitement Découplé :
- Voie Visuelle : Les jetons visuels sont acheminés à travers un seul bloc transformer nouvellement initialisé. Ce bloc est la seule composante entraînable durant la phase d'ajustement fin.
- Voie Textuelle : Les jetons textuels continuent à travers les $L-K$ couches restantes du décodeur, qui restent gelées (préservant la capacité de modélisation du langage préentraînée).
Concaténation et Prédiction : Les représentations visuelles et textuelles traitées sont concaténées et transmises à la tête de modélisation du langage pour la prédiction du jeton suivant.

Justification de la Conception

Point de Séparation ( $K$ ) : Dans les expériences avec Vicuna-7B (32 couches), la séparation se produit après la couche 16 ( $K=17$ ). Ce choix est motivé par l'observation que la première moitié des couches du transformer capture des caractéristiques de bas niveau et cross-modales, tandis que la seconde moitié se spécialise dans le raisonnement spécifique à la tâche.
Compression Extrême : La voie visuelle remplace 15 couches de décodeur par un seul bloc transformer. Cela force le modèle à apprendre une transformation compacte mappant directement les représentations visuelles des couches partagées vers l'espace de sortie.
Efficacité des Paramètres : Seul le bloc transformer unique est mis à jour lors de l'ajustement par instructions. Dans la configuration Vicuna-7B, cela constitue environ 3,1 % des paramètres totaux du modèle, tandis que les 96,9 % restants (incluant les couches inférieures partagées et les couches textuelles supérieures) restent gelés.

Contributions Clés

Innovation Architecturale : Le DVP introduit une modification structurelle qui découple le traitement visuel de la pile profonde du décodeur, remettant en question l'hypothèse selon laquelle les jetons visuels doivent traverser toute la profondeur du LLM.
Efficacité des Paramètres : La méthode obtient des performances compétitives tout en n'entraînant qu'une fraction des paramètres (environ 3,1 %) par rapport à un ajustement fin complet.
Validation d'Hypothèses : Le travail valide deux hypothèses : (1) les couches inférieures du LLM sont suffisantes pour l'alignement cross-modal, et (2) les jetons visuels dans les couches supérieures nécessitent des transformations plus compactes et différentes de celles des jetons textuels.

Résultats Expérimentaux

Les auteurs ont évalué le DVP en utilisant le cadre LLaVA-1.5 avec un squelette Vicuna-7B sur trois benchmarks : MME (perception et cognition), POPE (hallucination d'objets) et ChartQA.

Perception (MME) : Le DVP a obtenu un score de perception de 1440, soit 96,3 % de la base de référence LLaVA-1.5-7B entièrement ajustée (1496). Notamment, le DVP a surpassé une base de référence « Normal Training » (qui utilisait l'architecture divisée mais entraînait tous les paramètres) sur la perception (1440 contre 1225), suggérant que le gel des paramètres aide à préserver les capacités de perception visuelle.
Hallucination (POPE) : Le DVP a obtenu un score de 0,8619, dépassant la base de référence LLaVA-1.5-7B (0,8577) et la base de référence Normal Training (0,8381). Cela indique que l'architecture découplée peut réduire l'hallucination d'objets en empêant le traitement visuel d'être influencé par les couches supérieures biaisées par le texte.
Cognition et Compréhension de Graphiques : Le DVP est performant de manière comparable à la base de référence sur la cognition MME (327 contre 324). Cependant, il a obtenu un score inférieur sur ChartQA (0,2356) par rapport à la base de référence Normal Training (0,432). Les auteurs attribuent cela au besoin d'un recoupement fin et itératif entre les détails visuels et les étiquettes textuelles dans les couches supérieures, ce qui est limité dans l'architecture divisée.
Efficacité : Le DVP maintient des performances compétitives tout en n'entraînant que ~3,1 % des paramètres, ce qui représente une réduction d'environ 32 fois du nombre de paramètres entraînables par rapport à l'ajustement fin complet.

Signification et Revendications

L'article affirme que les représentations visuelles dans les MLLM peuvent être efficacement apprises via une voie découplée et économe en paramètres. Les implications clés incluent :

Redondance du Traitement Visuel : Le succès d'un seul bloc transformer remplaçant 15 couches de décodeur suggère une redondance substantielle dans la manière dont les MLLM actuels traitent l'information visuelle dans les couches supérieures.
Biais Inductif Spécifique à la Modalité : L'architecture introduit une séparation explicite entre la « compréhension » (ce que les jetons visuels transportent) et la « génération » (comment l'information est utilisée pour le texte), ce qui pourrait mener à des systèmes plus interprétables et contrôlables.
Déploiement et Adaptation : L'efficacité extrême des paramètres rend le DVP attractif pour le déploiement dans des environnements à ressources limitées, l'adaptation à de nouveaux domaines visuels (où seul le bloc visuel doit être mis à jour) et les scénarios d'apprentissage continu.
Perspective de Distillation de Connaissances : Le bloc unique compresse efficacement la « connaissance » de 15 couches, suggérant que le rang effectif de la transformation appliquée aux jetons visuels est bien inférieur à la capacité paramétrique totale de ces couches.

Les auteurs reconnaissent des limites, notamment l'évaluation sur un ensemble limité de benchmarks, l'heuristique du point de séparation fixe, et l'absence d'attention cross-modale après la séparation, ce qui peut entraver les tâches nécessitant un raisonnement visuel-textuel itératif. Ils suggèrent que les travaux futurs pourraient explorer des points de séparation adaptatifs, des multiples blocs visuels légers et des extensions vers des échelles de modèles plus grandes.