Résumé Technique : CIVIC – Compacité de Séquence de Bout en Bout pour des Modèles Vision-Langage Efficaces

1. Énoncé du Problème

Les modèles vision-langage (VLM) rencontrent des goulots d'étranglement significatifs en matière de mémoire et de latence lors du traitement d'images haute résolution ou de vidéos longues, principalement en raison du nombre massif de tokens visuels générés. Bien que les recherches existantes se soient concentrées sur la sparsification des tokens, la fusion et la compression du cache KV pour réduire les FLOPs théoriques, ces approches échouent souvent à se traduire par une accélération matérielle physique proportionnelle.

Le problème central identifié est le « fossé compression-réalisation ». La plupart des méthodes actuelles appliquent une compression d'exécution a posteriori après que les représentations visuelles denses aient déjà été construites. Cela introduit des surcharges structurelles, notamment :

• Accès mémoire non contigus : Des opérations telles que le scoring de tokens, le routage, la collecte/diffusion (gather/scatter) et la restauration d'interface dense perturbent la contiguïté de la mémoire GPU.
• Désorientation géométrique : La perturbation des grilles 2D lors de l'élagage peut entraîner la perte de localisation fine.
• Compression inefficace en aval : Même si les tokens visuels sont réduits dans l'encodeur, les opérations de préremplissage (prefill) et de cache KV du modèle de langage (LLM) en aval continuent souvent de traiter des interfaces non compressées ou partiellement denses, annulant ainsi les gains de latence.

Par conséquent, les réductions de FLOPs théoriques ne produisent pas d'accélération réelle du temps d'exécution, et les déploiements contraints par les ressources restent bloqués par la latence et l'empreinte du cache KV.

2. Méthodologie : Cadre CIVIC

Pour surmonter ces obstacles, l'article propose CIVIC (Inférence Compacte pour la Compression Intégrée Vision-Langage), un cadre cohérent avec le chemin, conçu pour maintenir des représentations de séquences compactes de manière transparente sur l'ensemble du pipeline d'inférence : de l'encodeur visuel et de la couche de projection jusqu'au préremplissage du LLM et au cache KV.

Composants Principaux

1. Agrégation basée sur des Ancres Apprises :
   Au lieu d'élaguer les tokens après l'encodage, CIVIC convertit les patches denses en tokens consécutifs avant l'encodage visuel. Il utilise des ancres compactes apprises ($A$) pour agréger les embeddings de patches denses ($X_0$) via un mécanisme pondéré par softmax. Cela préserve la cartographie spatiale et convertit la séquence dense en une séquence latente compacte ($Z_0$) sans perturber la structure de la grille 2D.

2. Encodage Visuel Compact avec Compression KV :
   L'encodeur visuel compact ($E^c_v$) traite la séquence agrégée. Crucialement, tandis que la projection des requêtes reste standard, les clés et les valeurs sont compressées en un nombre fixe d'ancres mémoire ($S$). Cela réduit la complexité de l'interaction d'attention de $O(T_e^2)$ à $O(M_e \cdot S)$, où $M_e$ est le nombre de tokens compacts.

3. Plancher de Rétention Spatiale Adaptatif :
   Pour empêcher une sur-compression de détruire la localisation fine, CIVIC emploie un plancher de rétention spatiale adaptatif. Cela garantit qu'une proportion minimale de tokens spatialement pertinents est préservée, protégeant ainsi la précision visuelle lors de tronquages agressifs.

4. Préremplissage Multimodal Compact :
   Les embeddings visuels compacts sont projetés directement dans l'espace caché du modèle de langage ($\Pi_c$) et insérés dans le contexte du LLM. Contrairement à d'autres méthodes qui insèrent des espaces réservés denses, CIVIC remplace entièrement ces segments par la séquence compacte ($V_c$), assurant que le préremplissage du LLM et le décodage autorégressif ultérieur opèrent sur une séquence raccourcie ($L + M_p$) plutôt que sur la longueur dense originale ($L + T_p$).

5. Distillation KL Alignée sur le Texte :
   Puisque l'interface des tokens visuels change, la distillation standard est insuffisante. CIVIC utilise un schéma de distillation KL alignée sur le texte. Il aligne les logits du modèle étudiant compact avec ceux du modèle enseignant dense uniquement aux positions textuelles non visuelles. Cela permet aux embeddings compacts de remplacer directement les segments denses sans nécessiter de réentraînement structurel des paramètres du modèle de langage figé.

3. Contributions Clés

L'article expose trois contributions principales :

• Identification du Fossé : Les auteurs identifient que les réductions de FLOPs théoriques dans les VLM ne produisent pas d'accélération physique à moins que la compacité de la séquence ne soit préservée de bout en bout à travers l'encodeur visuel, le projecteur et le préremplissage du LLM.
• Cadre Cohérent avec le Chemin : La proposition de CIVIC, qui résout les goulots d'étranglement géométriques et d'entraînement grâce à une agrégation basée sur des ancres apprises, un plancher de rétention spatiale adaptatif et une distillation KL alignée sur le texte pour maintenir des représentations latentes compactes de bout en bout.
• Validation Empirique : L'évaluation sur l'architecture Qwen3-VL démontre que le traitement compact stable réduit drastiquement la latence et l'empreinte du cache KV tout en préservant la précision multimodale fine, éliminant le besoin de routage d'exécution ou de restauration dense.

4. Résultats Expérimentaux

Des expériences ont été menées sur le modèle Qwen3-VL-2B-Instruct utilisant un GPU NVIDIA RTX 4090, comparant CIVIC à cinq méthodes de réduction de tokens de référence (DyMU, DiffRate, DynamicViT, VisionTrim, ZOO-Prune) sur cinq benchmarks (MMMU, MathVision, ODinW-13, RealWorldQA, VideoMME).

Métriques de Performance

• Réduction de Latence : CIVIC a atteint une latence d'inférence totale de 2514,9 ms, une réduction significative par rapport aux 3543,0 ms de la référence. En revanche, de nombreuses méthodes a posteriori (par exemple, ZOO-Prune, DynamicViT) ont montré des régressions de latence ou des améliorations négligeables dues aux surcharges.
• Optimisation du Cache KV : L'utilisation de la mémoire du cache KV a été réduite de 122,7 Mo (référence) à 44,61 Mo (CIVIC), soit environ un tiers de la référence.
• Compression de Séquence : Le nombre de tokens de préremplissage a été réduit de 1122,2 à 407,9.
• Préservation de la Précision : Contrairement aux méthodes d'élagage a posteriori qui ont souffert d'une dégradation sévère sur des tâches riches en raisonnement (MathVision) et en localisation fine (ODinW-13), CIVIC a maintenu des limites de performance stables et a même amélioré la précision de localisation dans certains cas.
• Surcharge : La surcharge de compression pour CIVIC était négligeable (0,49 ms), tandis que les références ont encouru des surcharges significatives (par exemple, 18,45 ms pour ZOO-Prune) dues à la gestion administrative d'exécution.

Insights des Ablations

• Budget de Tokens : Des budgets de tokens intermédiaires (par exemple, C=256) offraient le meilleur équilibre entre densité visuelle et charge de travail en aval ; une compression extrême (C=64) dégradait les performances de décodage en raison de la famine d'information.
• Plancher de Rétention : Un ratio de conservation minimum adaptatif était critique ; une éviction illimitée (Min=0,0) détruisait la précision visuelle.
• Cohérence de Bout en Bout : La restauration d'espaces réservés denses avant le LLM annulait tous les gains de vitesse, confirmant que la compacité intermédiaire est vaine à moins qu'elle ne persiste jusqu'au LLM.

5. Signification et Revendications

L'article revendique que CIVIC traduit avec succès la compression théorique en efficacité matérielle physique. En imposant un chemin compact contigu, le cadre évite les accès mémoire non contigus et les surcharges de désassemblage localisé qui affectent les méthodes actuelles.

La signification réside dans la démonstration que la compacité holistique de la séquence est le moteur définitif de l'accélération tangible des VLM. Les résultats suggèrent que pour un déploiement efficace de VLM, l'ensemble du graphe d'inférence doit être optimisé pour la compacité plutôt que de traiter la compression comme un ajout a posteriori. Cette approche permet des tailles de lots plus grandes et des fenêtres de contexte étendues dans des scénarios contraints par les ressources, sans sacrifier les capacités de raisonnement multimodal fin requises pour des applications pratiques comme la robotique et la conduite autonome.

Les auteurs restent modestes quant à la portée, notant que les évaluations actuelles sont limitées à des budgets de tokens statiques, des images uniques et l'architecture Qwen3-VL-2B, avec un travail futur nécessaire pour valider l'évolutivité sur des modèles plus grands et des contextes dynamiques et adaptatifs aux instances.