💬 NLP

Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning

Nüwa est un cadre d'élagage de jetons à deux étapes qui traite la dégradation spatiale dans les modèles de vision-langage existants en combinant une rétention d'ancres spatiales globales inspirée de l'intelligence en essaim avec un filtrage de pertinence de tâche guidé par le texte, atteignant ainsi des performances de pointe sur les tâches de questions-réponses visuelles et de localisation visuelle.

Auteurs originaux : Yihong Huang, Fei Ma, Yihua Shao, Jingcai Guo, Zitong Yu, Laizhong Cui, Qi Tian

Publié 2026-02-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yihong Huang, Fei Ma, Yihua Shao, Jingcai Guo, Zitong Yu, Laizhong Cui, Qi Tian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : La « carte floue »

Imaginez un modèle de langage-vision (VLM) comme un détective très intelligent essayant de résoudre un mystère à partir d'une photo et d'une question. Pour ce faire, le détective décompose la photo en des centaines de minuscules pièces de puzzle (appelées jetons ou tokens).

Cependant, regarder chaque pièce est lent et épuisant. Pour accélérer les choses, les méthodes précédentes ont essayé de jeter les pièces les plus « ennuyeuses », ne gardant que les plus intéressantes. C'est ce qu'on appelle l'élagage de jetons (Token Pruning).

Le piège :
Si cette accélération fonctionnait très bien pour des questions générales comme « Que se passe-t-il dans cette image ? » (Réponse à des questions visuelles - VQA), elle échouait lamentablement lorsque le détective devait pointer un endroit précis, comme « Où est la tasse rouge ? » (Ancrage visuel - Visual Grounding).

Pourquoi ?
L'article soutient que les méthodes précédentes étaient comme une carte dont on aurait arraché les bords et le centre, ne laissant que quelques points aléatoires. Le détective savait toujours ce que étaient les objets, mais il avait perdu la carte globale. Il avait oublié où se trouvaient le haut, le bas, la gauche et la droite les uns par rapport aux autres. Sans cette « intégrité spatiale », il ne pouvait pas pointer avec précision.

La solution : Nüwa (La déesse de la création)

Les auteurs proposent une nouvelle méthode appelée Nüwa. Dans la mythologie chinoise, Nüwa a réparé le ciel. Ici, Nüwa répare la carte « déchirée » de la photo.

La méthode fonctionne en deux étapes, comme un processus de filtrage en deux temps :

Étape 1 : La stratégie de la « Nuée » (Dans l'encodeur de vision)

Au lieu de simplement choisir les « meilleures » pièces de manière aléatoire, Nüwa utilise une stratégie inspirée par le vol d'oiseaux (ou une nuée d'abeilles).

Séparation : Imaginez que la photo est une grille géante. Nüwa divise cette grille en petits quartiers ordonnés (comme des blocs de ville). Cela garantit que chaque partie de l'image est représentée.
Alignement (Choisir les leaders) : Dans chaque quartier, Nüwa choisit un jeton « Leader ». Mais elle ne choisit pas seulement le plus bruyant ; elle choisit celui qui est à la fois important et riche en informations.
Agrégation (Le rassemblement) : Les autres pièces de ce quartier se rassemblent autour de leur Leader. Elles fusionnent leurs informations avec le Leader, mais conservent intacte leur « adresse » (position) d'origine.

L'analogie : Pensez à une salle de classe. Au lieu de jeter la moitié des élèves pour gagner du temps, l'enseignant les regroupe par îlots de bureaux. Chaque groupe choisit un « délégué » qui résume ce que tout le groupe dit. Crucialement, l'enseignant garde une liste de où chaque groupe était assis, afin que la carte de la salle de classe reste complète.

Étape 2 : Le « Guide textuel » (Dans le LLM)

Une fois les pièces de la photo condensées, elles sont transmises au « cerveau » du modèle (le Grand Modèle de Langage ou LLM).

Ici, Nüwa utilise la question textuelle comme guide. Si la question est « Où est le chat ? », le modèle regarde les pièces de la photo condensées et demande : « Laquelle de ces pièces ressemble réellement à un chat ? ». Il élague les pièces qui ne correspondent pas au texte, ne gardant que les plus pertinentes pour la réponse finale.

Pourquoi cela fonctionne (Le moment « Eurêka ! »)

L'article a découvert que les méthodes précédentes brisaient le référentiel spatial global.

Ancienne méthode : Si vous coupez le milieu d'une carte, vous perdez le sens du « Nord » et du « Sud ».
Méthode Nüwa : Elle conserve le « squelette » de la carte. Même si elle réduit le nombre de pièces de près de 90 %, elle garantit que les pièces restantes savent exactement où elles se situent par rapport à l'ensemble de l'image.

Les résultats : Rapide et précis

L'article a testé Nüwa sur deux types de tâches :

Questions générales (VQA) : « Que fait la personne ? »
- Résultat : Nüwa a conservé 95 % de la précision tout en utilisant beaucoup moins de jetons. Elle était aussi intelligente que la version lente.
Tâches de pointage (Ancrage visuel) : « Dessinez un cadre autour de la personne. »
- Résultat : C'est là que Nüwa a excellé. Les méthodes précédentes tombaient à une précision proche de zéro sur ces tâches. Nüwa a maintenu 47 % à 75 % de la précision d'origine (une amélioration massive par rapport aux 7 % à 18 % des autres méthodes).

Résumé

Voyez Nüwa comme un éditeur intelligent pour une photo.

Les anciens éditeurs supprimaient simplement des pixels au hasard pour réduire la taille du fichier, ruinant la capacité à trouver des objets spécifiques.
Nüwa organise les pixels en quartiers, choisit un représentant pour chaque quartier, et tient un registre parfait de l'emplacement de chaque quartier. Cela permet à l'IA d'être super rapide (car elle a moins de pièces à traiter) mais toujours super précise (car elle n'a jamais perdu la carte).

L'article conclut qu'en réparant « l'intégrité spatiale » (la carte), nous pouvons rendre ces modèles d'IA à la fois plus rapides et meilleurs pour désigner des choses, sans avoir besoin de les réentraîner de zéro.

Résumé Technique : Nüwa : Réparer l'intégrité spatiale déchirée par l'élagage de jetons des VLM

1. Énoncé du Problème

Les modèles de langage-vision (VLM) génèrent un nombre substantiel de jetons visuels lors de l'inférence, ce qui entraîne une charge de calcul élevée et réduit le débit. Bien que l'élagage de jetons (token pruning) soit apparu comme une technique d'accélération efficace, les méthodes existantes présentent une limitation critique : elles sont performantes pour les tâches de Questions-Réponses Visuelles (VQA) mais souffrent d'une dégradation significative de performance sur les tâches de Localisation Visuelle (Visual Grounding - VG).

Les auteurs identifient que les stratégies d'élagage actuelles, qui reposent sur la similarité sémantique globale ou les scores d'attention, perturbent le référentiel spatial global. Ce référentiel, dérivé des informations positionnelles des jetons, est essentiel pour le raisonnement spatial et la localisation d'objets. Lorsque les méthodes d'élagage compressent ou rejettent des jetons sans préserver cette topologie spatiale, le modèle perd sa capacité à localiser précisément les objets dans une image, même s'il conserve la capacité de répondre à des questions générales sur le contenu de l'image.

2. Méthodologie : Le Cadre Nüwa

Pour remédier à la perte d'intégrité spatiale, les auteurs proposent Nüwa, un cadre d'élagage de jetons à deux étapes, sensible à l'espace. L'approche est conçue pour conserver des ancres spatiales globales tout en agrégeant les informations redondantes, suivi d'un raffinement guidé par le texte.

Étape 1 : Élagage de la Cohésion Spatiale (Encodeur de Vision)

Opérant immédiatement après l'encodeur de vision, cette étape réduit la séquence initiale de $N^2$ jetons visuels en une séquence dense préservant l'espace grâce à trois opérations inspirées de l'intelligence en essaim (spécifiquement les algorithmes Boids) :

Séparation : La grille de jetons d'entrée est partitionnée en régions locales non chevauchantes ( $M \times M$ ). Cela garantit que la sélection et l'agrégation ultérieures se produisent au niveau régional, maintenant un système de coordonnées globales complet.
Alignement (Identification de la Saillance) : Au sein de chaque région, des jetons « de référence » (benchmark) représentatifs sont sélectionnés comme centres d'agrégation. Les critères de sélection combinent :
- Attention Globale : Scores provenant du jeton [CLS].
- Capacité d'Information : La norme L2 du vecteur de clé du jeton ( $\|k_i\|^2$ ).
- Raisonnement : Les jetons à norme élevée agissent souvent comme des « registres » (ancres agnostiques à la tâche) dans les Vision Transformers. La méthode identifie les jetons ayant les scores de saillance les plus élevés pour former l'ensemble de Jetons de Référence ( $T_B$ ).
Agrégation (Proximité Spatiale) : Les caractéristiques des jetons voisins sont fusionnées dans l'ensemble de référence.
- Assignation de Rôle : Les jetons de $T_B$ sont classés comme Jetons Piliers (haute norme L2, quartile supérieur) ou Jetons Collecteurs. Les jetons piliers conservent leurs caractéristiques originales pour éviter de déplacer les distributions de caractéristiques, tandis que les jetons collecteurs agrègent les caractéristiques de leurs voisins.
- Agrégation Pondérée : Une matrice de poids est construite en utilisant à la fois la Similarité Sémantique (corrélation positive uniquement) et la Proximité Spatiale (distance euclidienne dans un seuil). Cela garantit que l'agrégation se produit localement, préservant les représentations centrées sur les objets et empêchant la fusion de jetons spatialement distants.

Étape 2 : Élagage Modulé par le Texte (LLM)

Après l'alignement des caractéristiques multimodales, les jetons visuels agrégés sont injectés dans le Grand Modèle de Langage (LLM). Dans les couches intermédiaires du LLM, une seconde étape d'élagage se produit :

Un vecteur de requête textuelle holistique est dérivé en faisant la moyenne des plongements (embeddings) des jetons textuels.
Les jetons visuels sont scorés en fonction de leur similarité cosinus avec ce vecteur de requête dans l'espace d'embedding partagé.
Seuls les $K$ jetons visuels les plus pertinents sont conservés pour le raisonnement ultérieur et la génération de la réponse. Cela garantit que l'ensemble de jetons final est à la fois spatialement cohérent (Étape 1) et pertinent pour la tâche (Étape 2).

3. Principales Contributions

Le papier présente trois contributions majeures :

Analyse de la Spécificité des Tâches des Pipelines VLM : Les auteurs analysent systématiquement les pipelines de traitement des VLM, révélant que les VLM opèrent via un pipeline multi-étapes progressant de l'intégration sémantique globale vers un focus centré sur l'objet plus fin. Ils démontrent que les tâches de localisation dépendent fortement de la préservation du Référentiel Spatial Global durant les étapes intermédiaires du traitement, une exigence souvent négligée par les méthodes d'élagage existantes.
Le Cadre Nüwa : Ils introduisent un cadre d'élagage à deux étapes qui :
- Préserve la topologie spatiale via la séparation par région et l'agrégation adaptative.
- Maintient des ancres spatiales globales en distinguant les jetons « Pilier » et « Collecteur ».
- Exploite la sémantique textuelle dans le LLM pour un élagage fin et orienté vers la tâche.
Validation de la Performance : Des expériences approfondies sur 13 jeux de données et plusieurs VLM (LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL) démontrent que Nüwa établit de nouveaux records de l'état de l'art (SOTA). Il atteint 95 % de rétention de performance sur les benchmarks VQA et 47,2 % de rétention sur les benchmarks de Localisation Visuelle (sous une réduction de 88,9 % des jetons), surpassant nettement les méthodes précédentes qui tombent souvent à des pourcentages à un chiffre sur les tâches de VG.

4. Résultats Expérimentaux

Performance VQA : Nüwa atteint le SOTA sur 10 benchmarks VQA (ex. GQA, MMB, MME), conservant 94 % à 95 % de la performance du modèle original avec jusqu'à 88,9 % de réduction de jetons.
Performance de Localisation Visuelle (Grounding) : Sur les benchmarks de la série RefCOCO, Nüwa montre des améliorations substantielles par rapport aux méthodes existantes. Par exemple, dans une configuration ne conservant que 64 jetons (réduction de 88,9 %), Nüwa atteint 47,2 % de la performance originale, alors que des méthodes comme VisionZip et SparseVLM chutent respectivement à 7,28 % et 1,88 %.
Efficacité : La méthode réduit les TFLOPs de 89 % et le temps de pré-remplissage (prefill) de 62 %. La surcharge de calcul introduite par les métriques d'élagage est négligeable (augmentation d'environ 1 ms du temps de prefill par rapport aux baselines SOTA).
Études d'Ablation : Les expériences confirment que la partition par région est critique pour les tâches de localisation (permettant une stratégie d'extension de mappage de position relative), tandis que le critère de norme L2 améliore la sélection des jetons pour toutes les tâches.

5. Signification et Revendications

Le papier affirme que la dégradation des VLM sur les tâches de localisation est principalement causée par la perte du Référentiel Spatial Global lors de l'élagage des jetons. En reconstruisant cette intégrité spatiale via un processus en deux étapes combinant l'agrégation spatiale inspirée des essaims et le raffinement guidé par le texte, Nüwa « répare » efficacement l'intégrité spatiale déchirée.

Les auteurs soulignent que leur approche ne nécessite pas de réentraînement (elle est sans entraînement/training-free) et est compatible avec les architectures VLM existantes et les optimisations matérielles (ex. FlashAttention). Ce travail souligne que l'inférence efficace des VLM doit tenir compte des exigences spécifiques aux tâches, particulièrement le besoin de cohérence spatiale pour les tâches de localisation, plutôt que de se fier uniquement à la réduction de la redondance sémantique.