Not All Redundant Tokens Are Alike: Analyzing Visual Token Pruning through Token Roles

Imaginez que vous essayez d'apprendre à un robot super intelligent à comprendre le monde en lui montrant des images. Pour ce faire, le robot ne se contente pas de « voir » l'image comme un humain ; il la décompose en des milliers de minuscules pièces de puzzle numériques appelées « tokens ». Considérez ces tokens comme des notes individuelles dans un orchestre massif et chaotique. Le robot doit écouter chaque note pour comprendre la chanson. Mais c'est là que réside le problème : pour les images à haute résolution, cet orchestre est si vaste qu'il ralentit le robot, le rendant léthargique et gourmand en mémoire informatique.

Les scientifiques ont essayé de résoudre ce problème en apprenant au robot à ignorer les notes « ennuyeuses » — celles qui semblent se répéter ou qui ne portent pas beaucoup de sens. C'est ce qu'on appelle l'« élagage de tokens » (token pruning). C'est comme un chef d'orchestre qui ordonne aux musiciens de cesser de jouer les notes qui sonnent toutes de la même façon, dans l'espoir que la musique reste parfaite tout en étant jouée beaucoup plus rapidement. Récemment, un nouvel outil appelé « EmbedLens » a permis aux chercheurs de réaliser que ces tokens ne sont pas tous identiques. Certains sont « vivants » (porteurs de la véritable histoire de l'image), certains sont des « puits » (sink tokens - des motifs répétitifs qui restent simplement là), et certains sont « morts » (un bruit totalement redondant). La grande question était : si nous savons quels tokens sont « morts », pouvons-nous simplement tous les jeter pour accélérer la cadence ?

Cette publication, intitulée « Not All Redundant Tokens Are Alike » (Tous les tokens redondants ne sont pas semblables), explore précisément cette question. Les chercheurs ont examiné de près comment les différentes méthodes d'élagage décident quels tokens couper. Ils ont découvert quelque chose de surprenant : les méthodes qui tentent de couper les tokens « morts » ne fonctionnent pas toujours mieux que celles qui ne le font pas. En fait, leurs expériences suggèrent que même les tokens « morts » pourraient faire quelque chose d'important en coulisses, comme maintenir l'orchestre ensemble. En protégeant ces tokens « morts » de la suppression, le robot s'est parfois révélé plus performant pour répondre aux questions, et non moins. Il s'avère que ce n'est pas parce qu'un token semble inutile qu'il est sûr de le jeter ; parfois, le groupe entier doit rester soudé pour que la musique sonne juste.

L'histoire de l'orchestre numérique

Pour comprendre pourquoi cela importe, examinons le fonctionnement de ces modèles vision-langage (VLM). Imaginez que vous avez un robot capable de lire et de voir. Lorsque vous lui montrez la photo d'un chat, l'« œil » du robot (un encodeur de vision) décompose cette photo en une longue liste de minuscules morceaux de données. Ces morceaux sont ensuite transmis au « cerveau » du robot (un grand modèle de langage) pour qu'il comprenne ce que fait le chat.

Le problème est qu'une seule photo peut générer des centaines de ces morceaux. Si vous avez une vidéo ou une image très détaillée, la liste devient si longue que le robot est submergé. Cela prend trop de temps pour traiter la première partie de l'image (appelée « latence de préremplissage » ou prefill latency), consomme trop de mémoire et coûte beaucoup d'énergie. Pour y remédier, les chercheurs ont développé l'« élagage de tokens ». C'est comme un éditeur intelligent qui regarde la liste des morceaux et dit : « D'accord, nous n'avons pas besoin de ces 500 copies du même ciel bleu ; gardons-en seulement 50. »

Pendant un certain temps, tout le monde a supposé que la règle était simple : « Gardez ce qui est intéressant, jetez ce qui est ennuyeux. » Récemment, un outil appelé EmbedLens a changé la donne. Il a regardé à l'intérieur du cerveau du robot et a découvert que les tokens se répartissent en trois groupes distincts :

1. Tokens Vivants (Alive Tokens) : Ce sont les vedettes. Ils portent les détails spécifiques de l'image, comme « la fourrure duveteuse » ou « l'herbe verte ».
2. Tokens Puits (Sink Tokens) : Ils sont comme le bourdonnement de fond. Ils sont répétitifs et ne parlent pas vraiment de l'image spécifique, mais ils sont stables et toujours présents.
3. Tokens Morts (Dead Tokens) : C'est le bruit ultime. Ils ne semblent avoir aucun lien avec l'image ou les mots.

La supposition logique était : « Si nous avons des Tokens Morts, jetons-les simplement ! Ils sont inutiles ! »

La grande expérience d'élagage

Les auteurs de ce document ont décidé de tester cette hypothèse. Ils ont pris trois méthodes d'élagage populaires (FastV, DART et DivPrune) et ont demandé : « Lorsque vous réduisez le nombre de tokens, lesquels coupez-vous réellement ? »

Ils ont testé ces méthodes sur dix ensembles de tests différents, allant de questions simples comme « Quelle est la couleur de la voiture ? » à des questions scientifiques complexes. Ils ont suivi exactement combien de tokens « Vivants », « Puits » et « Morts » étaient supprimés à différents niveaux de coupe (de 12,5 % à 87,5 % de tokens supprimés).

Ce qu'ils ont découvert était un peu désordonné.
Les différentes méthodes d'élagage n'étaient pas d'accord sur ce qui était « inutile ».

• DivPrune était très agressif dans la coupe des tokens « Morts ». Elle semblait suivre la règle : « Supprimez le bruit. »
• FastV et DART, cependant, étaient étrangement protecteurs envers les tokens « Puits ». Ils gardaient le bourdonnement répétitif de l'arrière-plan même si cela semblait redondant.

Voici le rebondissement : le fait qu'une méthode coupe plus de tokens « Morts » ne signifiait pas qu'elle était plus performante. En fait, DivPrune (qui coupait le plus de tokens morts) était parfois la meilleure, mais parfois FastV (qui gardait les tokens morts) était meilleure. Il n'y avait aucune correspondance parfaite entre « couper le contenu mort » et « obtenir un bon score ».

La surprise du « Protéger les Morts »

Pour comprendre pourquoi cela se passait ainsi, les chercheurs ont mené une expérience ingénieuse. Au lieu de laisser les méthodes d'élagage décider, ils ont forcé le robot à garder des types de tokens spécifiques. Ils ont dit : « D'accord, FastV, tu peux couper ce que tu veux, mais tu dois garder tous les Tokens Morts. »

Ils s'attendaient à ce que la performance chute. Après tout, si les Tokens Morts sont inutiles, les garder devrait simplement gaspiller de l'espace et confondre le robot.

Le résultat ? La performance n'a pas chuté. Dans de nombreux cas, elle a augmenté.

• Lorsqu'ils protégeaient les tokens Vivants, la performance s'améliorait (ce qui est logique).
• Mais lorsqu'ils protégeaient les tokens Morts, la performance du robot s'est réellement améliorée d'environ 0,93 % en moyenne pour la méthode DivPrune.

Ce fut un choc. Cela suggérait que même si un seul token « Mort » peut paraître inutile, supprimer tous ces tokens pourrait briser quelque chose d'autre.

Le chef d'orchestre caché

Pourquoi garder des tokens « inutiles » aiderait-il ? Les auteurs ont examiné comment les tokens communiquent entre eux en utilisant ce qu'on appelle l'attention. Imaginez que les tokens sont des musiciens se transmettant des notes.

Ils ont découvert que, bien qu'un seul token « Mort » ne reçoive pas beaucoup d'attention (il n'est pas un soliste), il y en a tellement qu'en tant que groupe, ils occupent une part énorme du « budget d'attention ». Ils sont comme une immense chorale de chanteurs de soutien. Si vous les coupez tous, les musiciens restants (les tokens Vivants) perdent leur contexte. Les tokens « Morts » ne chantent peut-être pas la mélodie, mais ils maintiennent le rythme et la structure de la chanson.

Lorsque les chercheurs ont protégé les tokens Morts, les schémas d'attention parmi les tokens restants sont devenus plus équilibrés. Les tokens « Vivants » pouvaient toujours interagir correctement parce que les tokens « Morts » étaient toujours là pour soutenir la structure.

La conclusion

L'article suggère que nous ne pouvons pas simplement regarder un token et dire : « Tu es mort, va-t-en. » Ce n'est pas si simple. Les tokens « Morts » peuvent être faibles individuellement, mais ils sont forts en tant que groupe.

Les auteurs concluent qu'un élagage efficace ne doit pas seulement consister à trouver les tokens les plus importants. Il doit porter sur la composition. Nous devons nous assurer que nous ne supprimons pas accidentellement toute une catégorie de tokens qui, bien qu'individuellement ennuyeux, sont essentiels au fonctionnement du groupe. C'est un rappel que dans un système complexe comme une IA, même les parties « redondantes » peuvent accomplir une tâche que nous ne comprenons pas encore totalement.

Ainsi, la prochaine fois que vous penserez à ranger une pièce en désordre, rappelez-vous : parfois, ce que vous pensez être de simples objets encombrants est en réalité ce qui soutient l'étagère.