🤖 AI

Reroute, Don't Remove: Recoverable Visual Token Routing for Vision-Language Models

Le papier propose « Reroute », un plug-in sans entraînement pour les modèles vision-langage qui remplace la suppression irréversible de jetons par un mécanisme de routage récupérable, permettant aux jetons visuels différés de réintégrer le pool de traitement lors d'étapes ultérieures du décodeur afin d'améliorer les performances de mise en correspondance (grounding) tout en maintenant l'efficacité.

Auteurs originaux : Cheng-Yu Yang, Shao-Yuan Lo, Yu-Lun Liu

Publié 2026-06-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Cheng-Yu Yang, Shao-Yuan Lo, Yu-Lun Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une immense bibliothèque d'informations visuelles (une image) qu'un robot intelligent (un Modèle Vision-Langage) doit lire pour répondre à une question. Le robot ne lit pas l'image comme une image entière ; il la décompose en milliers de petits « jetons visuels », comme des pièces de puzzle individuelles.

Le problème est que lire des milliers de pièces demande une énorme quantité d'énergie et de mémoire, ce qui ralentit le robot.

L'ancienne méthode : « Classer et Supprimer »

Auparavant, pour accélérer les choses, les chercheurs utilisaient une méthode appelée « Rank and Remove » (Classer et Supprimer).
Voyez cela comme un bibliothécaire strict qui examine vos pièces de puzzle et dit : « Ces 100 pièces semblent importantes pour le moment. Gardez-les. Jetez les 900 autres pièces pour toujours. »

Le bibliothécaire prend cette décision en fonction de l'apparence des pièces à cet instant précis. Le problème est que le cerveau du robot fonctionne par couches, comme un bâtiment à plusieurs étages.

Au rez-de-chaussée (couches précoces) : Le robot est confus et regarde tout de manière vague. Il pourrait penser qu'un morceau de ciel est sans importance.
Au dernier étage (couches profondes) : Le robot réalise soudainement : « Attendez ! Ce morceau de ciel est en fait l'arrière-plan de la personne que je cherche ! »

Mais parce que le bibliothécaire du rez-de-chaussée a jeté cette pièce, le robot du dernier étage ne pourra jamais la voir. La décision de jeter cette pièce était irréversible. Si le robot avait besoin de cette pièce plus tard, il était trop tard. Cela a causé l'échec du robot lors de tâches nécessitant une localisation précise, comme pointer exactement où se tient un « homme en chemise verte ».

La nouvelle méthode : « Reroute, Don't Remove » (Détourner, ne pas supprimer)

Les auteurs de cet article proposent une nouvelle méthode appelée « Reroute ». Au lieu de jeter les pièces, ils les placent dans une « salle d'attente ».

Voici comment cela fonctionne :

Le point de contrôle : Au bas du bâtiment, le bibliothécaire vérifie toujours les pièces. Ils choisissent les 10 % les plus importants pour passer directement à l'étage suivant pour un travail détaillé.
La salle d'attente : Les 90 % restants ne sont pas jetés à la poubelle. Ils sont envoyés dans un couloir de dérivation (un chemin résiduel) qui saute le travail intensif de l'étage actuel.
La réentrée : Lorsque le robot atteint le prochain point de contrôle à l'étage supérieur, le bibliothécaire examine à nouveau l'ensemble de la collection — y compris les pièces qui attendaient dans le couloir.
La seconde chance : Si une pièce qui était ignorée au premier étage semble soudainement très importante au deuxième étage, le bibliothécaire peut la sortir de la salle d'attente et la laisser rejoindre le travail.

Pourquoi cela importe

L'article montre que ce changement simple — garder les pièces dans le système au lieu de les supprimer — fait une énorme différence, surtout lorsque le robot est contraint d'être très efficace (ne gardant qu'une infime fraction des pièces).

L'analogie de l'« Homme en chemise verte » : Dans les exemples de l'article, lorsqu'il fallait trouver un « homme en chemise verte », l'ancienne méthode jetait le jeton de la chemise très tôt car il ne semblait pas important pour l'instant. Le robot échouait à trouver l'homme. La nouvelle méthode garde le jeton de la chemise dans la salle d'attente. Lorsque le robot approfondit son raisonnement, il réalise que la chemise est cruciale, la récupère de la salle d'attente, et trouve l'homme avec succès.
Aucun coût supplémentaire : Le meilleur argument est que cela ne nécessite pas au robot d'apprendre quoi que ce soit de nouveau ou d'utiliser plus d'énergie. Les pièces de la « salle d'attente » sautent le travail lourd de l'étage actuel, donc l'énergie totale utilisée reste sensiblement la même que la méthode de « suppression » de l'ancienne méthode. C'est juste une façon plus intelligente de gérer les pièces.

L'essentiel

L'article soutient que nous ne devrions pas considérer la réduction de l'information visuelle comme un bouton « supprimer » unique. Au lieu de cela, nous devrions la voir comme un système de routage. En permettant à l'information « différée » de revenir et d'être réévaluée à mesure que l'IA devient plus intelligente, nous pouvons rendre ces modèles beaucoup plus rapides sans les rendre « aveugles » à des détails importants qu'ils pourraient découvrir plus tard.

Les auteurs ont testé cela sur plusieurs modèles d'IA différents et ont constaté que cela améliorait systématiquement la capacité à localiser des objets (grounding) sans nuire à la capacité du modèle à répondre à des questions générales, tout en maintenant le fonctionnement de l'ordinateur de manière efficace.

Résumé Technique : Reroute, pas de suppression (Reroute, Don't Remove)

1. Énoncé du Problème

Les modèles vision-langage (VLM) projettent les images en des centaines ou des milliers de jetons visuels (visual tokens), ce qui fait que les coûts d'inférence du décodeur augmentent de manière quadratique avec l'attention et de manière linéaire avec la mémoire du cache KV. Pour atténuer cela, les méthodes existantes de réduction de jetons visuels (par exemple, FastV, PDrop, Nüwa) adhèrent largement à un paradigme de « classement et suppression » (rank-and-remove). Dans cette approche, les jetons visuels sont scorés (généralement via l'attention texte-vision), un sous-ensemble compact est conservé, et le reste est définitivement supprimé de la séquence.

Les auteurs identent une faille critique dans ce paradigme : l'importance des jetons n'est pas stable à travers la profondeur du décodeur.

Importance Dynamique : Les couches de décodage peu profondes ont souvent une attention diffuse, tandis que les régions pertinentes pour la cible peuvent n'apparaître que dans les couches moyennes ou profondes.
Irréversibilité : Un jeton classé bas lors d'une étape de purge précoce (par exemple, la couche 3) peut être essentiel pour une requête spécifique dans une couche plus profonde (par exemple, la couche 25). Une fois supprimé, il ne peut plus contribuer aux calculs ultérieurs.
Conséquence : Sous une réduction agressive de jetons (par exemple, 88,9 % de réduction), cette irréversibilité entraîne un effondrement de la performance de localisation (grounding) (par exemple, l'IoU tombant sous 0,4), même lorsque les performances générales de VQA sont partiellement maintenues.

2. Méthodologie : Reroute

Le papier propose Reroute, un plug-in sans entraînement (training-free) qui remplace la suppression irréversible par un routage récupérable (recoverable routing).

Mécanisme Central

Reroute reformule la réduction de jetons visuels côté décodeur comme une série de décisions de routage par étapes plutôt que comme un événement de purge unique.

Sélection par étapes : Le décodeur est partitionné en $S$ étapes. À chaque couche de routage $\ell_i$ , un scoreur (réutilisant les scores d'attention texte-vision existants) classe l'ensemble des jetons visuels candidats actuels.
Routage vs Différé :
- Jetons sélectionnés ( $V_{sel}$ ) : Une fraction top- $r_i$ de jetons est acheminée à travers le bloc de décodeur complet (Attention + FFN) pour l'étape actuelle.
- Jetons différés ( $V_{def}$ ) : Les jetons restants contournent (bypass) le calcul Attn+FFN de l'étape actuelle via un chemin résiduel. Crucialement, ils ne sont pas supprimés.
Réentrée : À la couche de routage suivante, l'ensemble des candidats est restauré pour inclure tous les jetons différés ( $C_{i+1} = V$ ). Les jetons différés sont réévalués par rapport à l'ensemble visuel complet. Si leur score d'attention s'améliore dans les couches plus profondes, ils peuvent être re-sélectionnés et acheminés à travers les blocs suivants.

Efficacité Théorique

Budget Apparié : Reroute préserve le budget théorique de FLOPs et de cache KV de la méthode de purge qu'il augmente. Seuls les jetons sélectionnés ( $V_{sel}$ ) consomment le calcul lourd (Attn+FFN) à chaque étape.
Sans Entraînement : La méthode réutilise les scores d'attention déjà calculés par le décodeur pour les méthodes de purge originales. Aucun nouveau paramètre de routeur n'est entraîné.
Relation avec MoD : Il est présenté comme une instanciation sans entraînement de Mixture-of-Depth (MoD) pour les jetons visuels des VLM, où le « routeur » est le mécanisme d'attention préexistant.

3. Contributions Clés

Formulation de Routage Récupérable : Les auteurs ont recadré la purge de jetons visuels comme un routage par étapes avec contournement des jetons différés. Cela fait de la purge conventionnelle irréversible un cas dégénéré où la réentrée est interdite.
Mécanisme Plug-in : Reroute est une augmentation prête à l'emploi qui ne nécessite aucun réentraînement, réutilise les règles de scoring et les calendriers existants, et maintient la classe d'efficacité théorique (TFLs et cache KV) de la méthode de purge sous-jacente.
Validation Empirique : La méthode est validée sur trois backbones (LLaVA-1.5-7B, Qwen2.5-VL-7B, Qwen3.5-9B-Hybrid) et trois bases de comparaison de purge (FastV, PDrop, Nüwa).

4. Résultats Expérimentaux

Le papier évalue Reroute sur la localisation visuelle (série RefCOCO) et les benchmarks VQA généraux.

Localisation Visuelle (RefCOCO) :
- Réduction Agressive : Sous une réduction de jetons de 88,9 % (576 $\to$ 64 jetons), la purge standard (par exemple, FastV) provoque un effondrement de la précision de localisation (par exemple, IoU < 0,4). Reroute récupère significativement cette performance.
- Gains Quantitatifs : Sur LLaVA-1.5 (format HuggingFace), PDrop+Reroute améliore le ratio moyen de localisation de 22,2 % à 34,0 % à 64 jetons. Sur Qwen3.5-9B-Hybrid, PDPdrop+Reroute améliore le ratio de 19,3 % à 37,4 % à 88,9 % de réduction.
- Transversalité des Backbones : Les améliorations se transfèrent efficacement aux modèles de la famille Qwen, y compris les architectures hybrides (Mamba-Transformer).
VQA Général :
- Reroute maintient ou améliore légèrement les performances de VQA général (GQA, MME, TextVQA) par rapport aux méthodes de purge, indiquant que le routage récupérable ne sacrifie pas la capacité multimodale générale.
Efficacité :
- Reroute atteint des réductions de TFLOPs et de cache KV comparables à celles des méthodes de purge (par exemple, ~80 % de réduction de TFLOPs et ~86 % de cache KV à 64 jetons).
- Un léger surcoût de TFLOPs existe en raison de la charge supplémentaire des étapes de routage par rapport à une purge en une seule étape, mais la classe théorique reste identique.
Études d'Ablation :
- Fréquence : Augmenter le nombre d'étapes de reroute améliore généralement la performance jusqu'à un certain point, suggérant que la réévaluation répétée est bénéfique.
- Emplacement : Le placement des couches de routage est important ; les couches de décodage précoces à moyennes sont optimales pour les décisions de réentrée.

5. Signification et Revendications

Le papier soutient que la réduction de jetons visuels ne doit pas être vue uniquement comme une purge irréversible, mais aussi comme un routage récupérable.

Changement de Paradigme : La limitation des méthodes existantes ne réside pas dans le mécanisme de scoring, mais dans l'action de « supprimer ». En remplaçant la suppression par le différé, le modèle peut s'adapter au changement d'importance des jetons visuels à travers la profondeur du décodeur.
Sensibilité à la Localisation : Les bénéfices sont les plus prononcés dans les tâches de localisation (grounding) et sous une réduction agressive de jetons, là où le risque de rejeter des preuves visuelles essentielles est le plus élevé.
Portée Modeste : Les auteurs reconnaissent que Reroute hérite des limitations des routeurs basés sur les scores d'attention (un mauvais classement peut toujours mener à des jetons inactifs) et que la latence pratique dépend de noyaux (kernels) gather/scatter optimisés. Ils notent également que dans les architectures hybrides (comme Qwen3.5), le routage est actuellement appliqué uniquement aux blocs de softmax-attention, laissant les interactions avec la dynamique d'état de l'attention linéaire à de futurs travaux.

En conclusion, Reroute démontre que préserver l'option de récupérer des preuves différées permet aux VLM de maintenir une haute précision de localisation, même lorsque les budgets de calcul sont sévèrement contraints, sans nécessifier d'entraînement supplémentaire ni augmenter les coûts de calcul théoriques.