💻 computer science

LLaVA-UHD v4: What Makes Efficient Visual Encoding in MLLMs?

LLaVA-UHD v4 introduit un schéma de codage visuel haute résolution qui combine un codage par tranches avec une compression précoce intra-ViT pour réduire les FLOPs de codage visuel de 55,8 % tout en maintenant ou dépassant les performances des modèles de langage multimodaux de grande taille existants.

Auteurs originaux : Kechen Fang, Yihua Qin, Chongyi Wang, Wenshuo Ma, Tianyu Yu, Yuan Yao

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kechen Fang, Yihua Qin, Chongyi Wang, Wenshuo Ma, Tianyu Yu, Yuan Yao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une photographie ultra haute définition d'une rue de ville très fréquentée. Vous souhaitez qu'un assistant IA ultra-intelligent (un Modèle de Langage Multimodal, ou MLLM) examine cette photo et réponde à des questions la concernant, telles que « Que dit l'enseigne de la boulangerie ? » ou « Combien de personnes traversent la rue ? ».

Le problème est que cette photo est si immense qu'elle contient des millions de détails minuscules (pixels). Si vous soumettez l'intégralité de la photo à l'IA d'un seul coup, elle se trouve submergée. C'est comme essayer de lire l'équivalent d'une bibliothèque de livres en une seule seconde. L'IA reste bloquée en tentant de traiter toutes les informations simultanément, ce qui la rend lente et coûteuse à exécuter.

Les auteurs de cet article, LLaVA-UHD v4, ont décidé de repenser la manière dont nous soumettons ces images géantes à l'IA. Ils ont découvert deux astuces ingénieuses pour accélérer le processus sans perdre le moindre détail important.

1. La stratégie « Trancher et découper » (au lieu de la tarte entière)

L'ancienne méthode : Traditionnellement, les gens tentaient de soumettre l'image géante entière au « cerveau visuel » de l'IA (appelé Vision Transformer) en une seule fois. L'IA devait examiner chaque pixel individuel et déterminer comment il se rapporte à chaque autre pixel sur l'ensemble de l'image. Cela est lourd sur le plan computationnel, comme essayer de résoudre un puzzle de 10 000 pièces les yeux bandés, puis retirer le bandeau pour vérifier votre travail.

La nouvelle méthode (Encodage par tranches) : Les auteurs ont réalisé qu'il valait mieux découper l'image géante en tranches plus petites et gérables (comme découper une grande pizza en parts individuelles) et les examiner une par une.

L'analogie : Imaginez que vous essayez de lire une immense carte détaillée. Au lieu de fixer toute la carte et d'essayer de vous souvenir de toutes les rues à la fois, vous utilisez une loupe pour examiner un quartier à la fois.
Le résultat : De manière surprenante, l'IA comprenait en réalité les détails mieux lorsqu'elle examinait des tranches. En se concentrant sur de petites zones locales, l'IA pouvait repérer des éléments minuscules (comme du texte sur une enseigne ou un objet spécifique) plus clairement que lorsqu'elle tentait de traiter l'image entière et chaotique d'un seul coup.

2. La stratégie « Sortie anticipée » (Compression avant le gros œuvre)

L'ancienne méthode : Même après avoir tranché l'image, il restait encore trop de pièces pour que l'IA puisse les gérer efficacement. L'ancienne méthode consistait à laisser l'IA traiter toutes les tranches complètement d'abord, puis à essayer de réduire les informations à la toute fin.

L'analogie : C'est comme embaucher une équipe de 100 déménageurs pour transporter chaque boîte d'une maison jusqu'au camion, puis réaliser, « Oh, nous n'avons besoin que de 25 boîtes », et jeter 75 d'entre elles. Vous avez gaspillé beaucoup d'efforts à déplacer des boîtes dont vous n'aviez pas besoin.

La nouvelle méthode (Compression précoce intra-ViT) : Les auteurs ont construit un module « compresseur » spécial qui se trouve à l'intérieur du cerveau visuel de l'IA, juste au début.

L'analogie : Au lieu de déplacer les 100 boîtes, ce nouveau compresseur agit comme un trieur intelligent à l'entrée. Il regroupe immédiatement les boîtes similaires et jette les doublons avant même que l'équipe de déménagement lourde ne commence.
Le secret : Pour que cela fonctionne sans briser le cerveau de l'IA, ils ne se contentaient pas de jeter des pièces au hasard. Ils ont utilisé une technique de « démarrage à chaud ». Ils ont pris les connaissances que l'IA possédait déjà sur la façon de regarder des images et les ont utilisées pour enseigner au nouveau compresseur comment réduire les données. C'est comme enseigner à un nouvel employé en lui faisant faire de l'ombre à un expert senior, plutôt que de repartir de zéro.

Le résultat final : LLaVA-UHD v4

En combinant le découpage (examiner l'image par parties) et la compression précoce (réduire les données avant que le traitement lourd ne commence), ils ont créé un nouveau système appelé LLaVA-UHD v4.

Vitesse : Il réduit le travail de calcul (énergie et temps) d'environ 56 %.
Intelligence : Malgré le fait de faire moins de travail, il répond aux questions aussi bien, voire parfois mieux, que les anciens systèmes plus lents. Il est particulièrement efficace pour lire du texte et repérer des détails fins dans des images haute résolution.

En bref : L'article montre qu'il n'est pas nécessaire de forcer une IA à fixer une image géante d'un seul coup pour la comprendre. En découpant l'image en morceaux et en résumant intelligemment les informations dès le début, vous pouvez rendre l'IA plus rapide et moins coûteuse sans la rendre « plus bête ».

Résumé Technique : LLaVA-UHD v4

Énoncé du Problème

Le codage visuel représente un goulot d'étranglement computationnel majeur dans les Modèles de Langage Multimodaux à Grande Échelle (MLLM), particulièrement lors du traitement d'images haute résolution. Le paradigme dominant repose sur un codage global, où l'image complète est injectée directement dans un Vision Transformer (ViT), suivi d'une compression post-ViT pour réduire la séquence de tokens avant son entrée dans le Modèle de Langage à Grande Échelle (LLM).

Cette approche souffre de deux inefficacités critiques :

Coût Quadratique de l'Attention : Le codage global force le ViT à calculer une auto-attention complète sur une séquence de tokens massive (proportionnelle à la surface de l'image) avant toute réduction.
Moments de Compression Inefficaces : La compression post-ViT n'allège que la charge du LLM en aval ; elle ne réduit pas le coût computationnel encouru à l'intérieur du ViT lui-même, car le calcul complet de l'encodeur a déjà été effectué.

À mesure que les résolutions d'images augmentent, cette « explosion de tokens » fait du codage visuel haute résolution un obstacle central à l'efficacité des MLLM modernes.

Méthodologie

Les auteurs proposent LLaVA-UHD v4, un schéma de codage visuel efficace qui repense la stratégie de codage et le moment de la compression des tokens. La méthodologie repose sur deux piliers fondamentaux :

1. Codage par Tranches (SE) vs Codage Global (GE)

Contrairement au consensus de la communauté selon lequel le codage global est supérieur pour préserver le contexte, les auteurs démontrent que le codage par tranches est plus efficace pour les entrées haute résolution.

Mécanisme : Au lieu d'injecter l'image complète dans le ViT, l'image est décomposée en une miniature basse résolution et un ensemble de tranches haute résolution basées sur une politique de grille adaptée au rapport d'aspect. Ces vues sont encodées indépendamment.
Avantage : Cette approche préserve les détails locaux en permettant à l'encodeur de se concentrer sur des motifs fins au sein de chaque tranche. Crucialement, elle évite structurellement l'explosion computationnelle quadratique associée à l'auto-attention globale sur l'image entière.

2. Compression Précoce Intra-ViT

Pour adresser le coût computationnel restant à l'intérieur du ViT, les auteurs introduisent un compresseur précoce à réutilisation de paramètres inséré à l'intérieur du pipeline ViT, plutôt qu'après celui-ci.

Placement : Le compresseur ( $D$ ) est inséré après une couche peu profonde spécifique ( $k=6$ dans le backbone SigLIP 2) du ViT.
Architecture : Le module se compose de :
1. Attention par Fenêtre : Un bloc d'attention par fenêtre non chevauchante de $2 \times 2$ permettant aux tokens d'interagir avec leurs voisins spatiaux immédiats.
2. Sous-échantillonnage et Fusion : Une opération Pixel-Unshuffle de $2 \times 2$ suivie d'un MLP qui fusionne les canaux, réduisant le nombre de tokens par un facteur de $4\times$ .
Stratégie d'Initialisation : Pour éviter de perturber les représentations visuelles préentraînées, le compresseur n'est pas initialisé aléatoirement. Il réutilise les poids de la couche ViT précédente (spécifiquement les projections d'attention et les poids du FFN). Ce « démarrage à chaud » garantit que le nouveau module opère sur la même variété de représentation que le ViT original dès la première étape d'entraînement.

3. Pipeline de Compression en Deux Étapes

L'architecture finale emploie une réduction en deux étapes :

Intra-ViT : Une réduction de $4\times$ se produit tôt dans l'encodeur (après la couche 6), assurant que la majorité des couches ViT subséquentes opèrent sur seulement $25\%$ du budget de tokens original.
Post-ViT : Un connecteur standard basé sur un MLP (utilisant Pixel-Unshuffle) effectue une réduction supplémentaire de $4\times$ avant le LLM, résultant en un taux de compression global de bout en bout de $16\times$ .

Contributions Clés

Réexamen des Paradigmes de Codage : L'article démontre empiriquement que le codage par tranches surpasse systématiquement le codage global sur divers benchmarks (incluant l'OCR et les tâches de perception fine) et échelles de données, remettant en cause l'hypothèse selon laquelle le contexte global est toujours nécessaire pour la compréhension haute résolution.
Architecture de Compression Intra-ViT : Les auteurs proposent un nouveau module de compression précoce qui réduit les tokens à l'intérieur du ViT. En combinant l'attention par fenêtre avec une initialisation par réutilisation de paramètres, ils réalisent des économies de calcul massives sans sacrifier la capacité de représentation du modèle préentraîné.
LLaVA-UHD v4 : L'intégration du codage par tranches et de la compression intra-ViT produit un système qui réduit les FLOPs de codage visuel de 55,75 % tout en égalant ou surpassant les performances des bases de référence post-ViT robustes.

Résultats Expérimentaux

Les auteurs ont évalué LLaVA-UHD v4 par rapport à une base de référence post-ViT robuste (codage par tranches avec un compresseur MLP post-ViT 16×) sur huit benchmarks couvrant la VQA générale, le raisonnement et la perception fine (par exemple, OCRBench, MMMU, MathVista).

Efficacité : La méthode proposée réduit les FLOPs de codage visuel de 3555,1 G à 1573,1 G (une réduction de 55,75 %) pour une seule tranche.
Performance : Sur des échelles de données d'entraînement allant de 4M à 64M d'échantillons, LLaVA-UHD v4 correspond aux performances de la base de référence avec une marge négligeable (écart moyen de $-0,29$ points).
Études d'Ablation :
- Moment de la Compression : Insérer le compresseur trop tôt (par exemple, couche 3) détruit les performances, tandis qu'une insertion trop tardive (par exemple, couche 15) donne des rendements décroissants. La couche 6 a été identifiée comme le compromis optimal.
- Conception du Module : Une fusion simple (Moyenne Pool) ou une initialisation aléatoire échoue à retrouver la précision de la base de référence. La combinaison de l'Attention par Fenêtre et de l'Initialisation par Réutilisation de Paramètres est essentielle pour maintenir les performances.
- Conception du Connecteur : Un connecteur de fusion spatiale basé sur un MLP surpasse les rééchantillonneurs basés sur des requêtes, particulièrement à des taux de compression plus faibles.

Importance et Revendications

L'article revendique que l'efficacité du codage visuel peut être substantiellement améliorée sans sacrifier les performances en aval en déplaçant le paradigme de compression de « post-ViT » vers « intra-ViT ».

Direction de Conception : Ce travail fournit une direction de conception pratique pour des MLLM haute résolution efficaces, suggérant qu'une réduction agressive des tokens peut être effectuée à l'intérieur de l'encodeur visuel.
Évolutivité : En réduisant le goulot d'étranglement computationnel à l'intérieur du ViT, l'approche permet des modèles de fondation multimodaux plus évolutifs capables de gérer des entrées ultra-haute résolution.
Portée Modeste : Les auteurs reconnaissent que leur module actuel utilise un taux de sous-échantillonnage fixe et uniforme. Ils notent que des travaux futurs pourraient explorer des mécanismes dynamiques et conscients du contenu pour la réduction de tokens (par exemple, allouer plus de tokens aux régions riches en texte) et que la profondeur d'insertion optimale peut varier selon les architectures de backbone.

En résumé, LLaVA-UHD v4 démontre que, en repensant où et comment les tokens visuels sont compressés, il est possible d'obtenir des économies computationnelles significatives tout en maintenant les capacités de perception fine requises pour les tâches multimodales avancées.