Résumé technique : COAST – Élagage adaptatif de tokens sémantiques contrastifs pour les modèles vision-langage

1. Énoncé du problème : L'aphasie visuelle dans l'élagage de tokens

Les grands modèles vision-langage (LVLM) réalisent un raisonnement multimodal robuste en traitant des séquences denses de tokens visuels. Cependant, la complexité quadratique de l'auto-attention du décodeur impose une réduction des tokens visuels pour améliorer l'efficacité de l'inférence. Les méthodes d'élagage sans entraînement existantes (par exemple, FastV, LLaVA-PruMerge) reposent généralement sur des scores d'attention scalaires issus de couches peu profondes pour classer et éliminer les tokens à « faible attention ».

Les auteurs identifient un mode de défaillance critique dans cette approche, qu'ils nomment aphasie visuelle. Ce phénomène se produit lorsque l'élagage prématuré basé sur l'attention peu profonde supprime des tokens initialement peu notés mais qui deviennent essentiels dans les couches plus profondes pour résoudre des objets secondaires, des relations spatiales et des indices contextuels. Lorsque ces tokens sont écartés, le modèle perd son ancrage visuel et se rabat sur des priors linguistiques, entraînant des hallucinations (par exemple, répondre « The Camel Cafe » lorsqu'on demande des informations sur un petit panneau dans une image dominée par un chameau). L'article soutient que la saillance scalaire sous-estime intrinsèquement les preuves visuelles émergentes contextuellement requises pour le raisonnement compositionnel.

2. Méthodologie : COAST

Pour remédier à l'aphasie visuelle, les auteurs proposent COAST (COntrastive Adaptive Semantic Token Pruning), un cadre sans entraînement qui reformule la compression visuelle comme un routage sémantique adaptatif. Au lieu d'une décision scalaire unique, COAST sépare le budget de rétention en deux rôles complémentaires : la preuve sémantique (alignée sur la requête) et le contexte spatial (complémentaire).

Le cadre opère en deux étapes principales aux couches d'élagage planifiées :

A. Budgétisation dynamique pilotée par l'entropie

COAST réutilise l'attention croisée native pour estimer la dispersion des preuves visuelles.

1. Calcul de l'entropie d'attention : Il calcule l'entropie globale de l'attention texte-vers-image ($H$) à partir de la couche précédente. Une faible entropie indique une attention concentrée sur des régions spécifiques, tandis qu'une forte entropie suggère des preuves dispersées nécessitant un contexte plus large.
2. Répartition adaptative : Le budget de tokens restant (après réservation des ancres spécifiques à la requête) est divisé en deux parties en fonction de $H$ :
   • $n_1$ (Preuve sémantique) : Tokens alignés avec la requête.
   • $n_2$ (Contexte spatial complémentaire) : Tokens fournissant un contexte au niveau de la scène.
   • La répartition est adaptative : à mesure que l'entropie d'attention augmente, le budget se déplace vers la préservation d'un contexte spatial plus large ($n_2$), garantissant que les indices dispersés ne sont pas perdus.

B. Routage sémantique contrastif ancrage-référence

Une fois le budget alloué, COAST évalue les tokens candidats à l'aide d'un mécanisme contrastif plutôt que d'un score scalaire unique.

1. Construction des ensembles :
   • Ancres ($A$) : Sélectionnées via l'attention du dernier token (forte pertinence par rapport à la requête).
   • Références ($R$) : Sélectionnées via l'attention globale comme les tokens les moins bien notés (contexte de faible saillance).
   • Candidats ($C$) : Les tokens restants non ancres.
2. Notation contrastive : Pour chaque candidat $c_i$, un score est calculé en contrastant sa similarité avec les ancres par rapport à sa similarité avec les références :
   $$\text{Score}(c_i) = \text{Sim}_A(c_i) - \text{Sim}_R(c_i)$$
   Où $\text{Sim}_A$ est la similarité cosinus maximale avec n'importe quelle ancre, et $\text{Sim}_R$ est la similarité cosinus moyenne avec l'ensemble de référence.
3. Rétention à deux extrémités :
   • Top-$n_1$ : Les candidats avec les scores les plus élevés sont retenus comme preuves alignées sur l'ancre.
   • Bottom-$n_2$ : Les candidats avec les scores les plus bas sont retenus comme contexte spatial complémentaire. Ces tokens sont distincts des ancres mais sont cruciaux pour maintenir la couverture de la scène et les relations spatiales qu'un élagage scalaire éliminerait.
4. Recomposition ordonnée : Les tokens retenus (Ancres + Top-$n_1$ + Bottom-$n_2$) sont triés selon leurs indices de séquence d'origine pour préserver la disposition spatiale pour les couches ultérieures du décodeur.

3. Contributions clés

• Identification de l'aphasie visuelle : L'article définit et démontre un mode de défaillance spécifique où un élagage précoce agressif amène les LVLM à perdre leur ancrage visuel, se reposant à la place sur des priors linguistiques.
• Cadre COAST : Une méthode d'élagage sans entraînement qui traite la compression comme un routage sémantique adaptatif, utilisant l'entropie pour équilibrer la preuve sémantique et le contexte spatial.
• Mécanisme de routage contrastif : Une stratégie de notation novatrice qui préserve à la fois les ancres à forte pertinence et le contexte complémentaire de faible saillance, évitant l'« effondrement de l'attention » vers l'objet le plus saillant.
• Évaluation complète : Des expériences extensives sur sept benchmarks (MME, MMBench, AI2D, GQA, VizWiz, POPE, ScienceQA-IMG) et plusieurs familles de LVLM (LLaVA-1.5, LLaVA-NeXT, LLaVA-OneVision, Qwen2.5-VL).

4. Résultats expérimentaux

Sur sept benchmarks, COAST démontre des compromis performance-efficacité supérieurs par rapport à des bases de référence solides (FastV, PDrop, SparseVLM, V2Drop, MMTOK) :

• Préservation des performances : COAST réduit les tokens visuels de 77,8 % (en conservant 128 tokens) tout en maintenant 98,64 % des performances moyennes originales. Avec un budget de 192 tokens, il ne subit qu'une baisse de performance de 0,21 %, surpassant nettement les bases de référence (par exemple, SparseVLM avec une baisse de 1,61 %).
• Accélération de la latence : COAST réalise une accélération de latence de 2,15×. Notamment, il atteint une latence inférieure à celle des bases de référence avec des réductions de FLOPs comparables grâce à un routage efficace et une recomposition ordonnée des tokens.
• Généralisation : La méthode surpasse systématiquement les bases de référence à travers différentes échelles de modèles (de 0,5 Md à 13 Md) et architectures, montrant une robustesse dans des configurations de compression modérées et agressives.
• Études d'ablation :
  • Rétention à deux extrémités : Supprimer soit la branche alignée sur l'ancre ($n_1$) soit la branche de contexte complémentaire ($n_2$) dégrade les performances, confirmant la nécessité de préserver les deux types de preuves.
  • Budgétisation pilotée par l'entropie : La répartition adaptative basée sur l'entropie d'attention surpasse la répartition à ratio fixe, en particulier sur les benchmarks nécessitant un raisonnement complexe (MME, GQA).
  • Notation contrastive : Le score contrastif ancre-référence surpasse nettement l'attention scalaire ou la notation basée uniquement sur MaxSim.

5. Importance et affirmations

L'article affirme que le routage sémantique adaptatif est une alternative robuste à l'élagage scalaire en un seul coup. En reconnaissant que l'importance des tokens est dynamique et dépendante du contexte, COAST atténue le mode de défaillance de l'« aphasie visuelle », permettant aux LVLM de maintenir un ancrage visuel fin même sous une réduction agressive des tokens. Les auteurs soulignent que leur méthode ne nécessite aucun affinage, ajoute une surcharge computationnelle minimale et s'applique à diverses architectures de LVLM, offrant une solution pratique pour déployer des systèmes de raisonnement multimodal efficaces et haute fidélité.