Not All Redundant Tokens Are Alike: Analyzing Visual Token Pruning through Token Roles

Stel je voor dat je een superintelligente robot probeert te leren de wereld te begrijpen door hem afbeeldingen te laten zien. Om dit te doen, "ziet" de robot de afbeelding niet simpelweg zoals een mens dat doet; het breekt de afbeelding af in duizenden kleine digitale puzzelstukjes die "tokens" worden genoemd. Denk aan deze tokens als individuele noten in een enorm, chaotisch orkest. De robot moet elke enkele noot beluisteren om de melodie te begrijpen. Maar hier is het probleem: voor afbeeldingen met een hoge resolutie is dat orkest zo groot dat het de robot vertraagt, waardoor hij traag wordt en honger krijgt naar computergeheugen.

Wetenschappers hebben geprobeerd dit op te lossen door de robot te leren de "saaie" noten te negeren—die noten die zichzelf lijken te herhalen of weinig betekenis dragen. Dit wordt "token pruning" genoemd. Het is alsof een dirigent het orkest vertelt om te stoppen met het spelen van de noten die hetzelfde klinken, in de hoop dat de muziek nog steeds perfect klinkt maar veel sneller wordt afgespeeld. Onlangs hielp een nieuwe tool genaamd "EmbedLens" onderzoekers te beseffen dat deze tokens niet allemaal hetzelfde zijn. Sommige zijn "levend" (ze dragen het echte verhaal van de foto), sommige zijn "sinks" (herhalende patronen die er gewoon zitten) en sommige zijn "dood" (volledig overbodige ruis). De grote vraag was: als we weten welke tokens "dood" zijn, kunnen we ze dan niet gewoon allemaal weggooien om het proces te versnellen?

Dit artikel, getiteld "Not All Redundant Tokens Are Alike", duikt in die exacte vraag. De onderzoekers hebben nauwkeurig gekeken naar hoe verschillende pruning-methoden beslissen welke tokens ze inkorten. Ze ontdekten iets verrassends: de methoden die proberen de "dode" tokens te verwijderen, werken niet altijd beter dan de methoden die dat niet doen. Sterker nog, hun experimenten suggereren dat zelfs de "dode" tokens achter de schermen iets belangrijks doen, zoals het orkest bij elkaar houden. Door deze "dode" tokens te beschermen tegen verwijdering, werd de robot soms zelfs beter in het beantwoorden van vragen, niet slechter. Het blijkt dat alleen omdat een token op zichzelf nutteloos lijkt, het nog niet betekent dat het veilig is om weg te gooien; soms moet de hele groep wel bij elkaar blijven om de muziek goed te laten klinken.

Het Verhaal van het Digitale Orkest

Om te begrijpen waarom dit ertoe doet, laten we kijken naar hoe deze Vision-Language Models (VLMs) werken. Stel je voor dat je een robot hebt die kan lezen en zien. Wanneer je hem een foto van een kat laat zien, breekt de "oog" van de robot (een vision encoder) die foto af in een lange lijst van kleine datablokjes. Deze blokjes worden vervolgens overhandigd aan het "brein" van de robot (een groot taalmodel) om te begrijpen wat de kat aan het doen is.

Het probleem is dat een enkele foto honderden van deze blokjes kan genereren. Als je een video hebt of een zeer gedetailleerde afbeelding, wordt de lijst zo lang dat de robot overweldigd raakt. Het kost te veel tijd om het eerste deel van de afbeelding te verwerken (de zogenaamde "prefill latency"), het verbruikt te veel geheugen en kost veel energie. Om dit op te lossen, ontwikkelden onderzoekers "token pruning". Dit is als een slimme redacteur die naar de lijst met blokjes kijkt en zegt: "Oké, we hebben deze 500 kopieën van dezelfde blauwe lucht niet nodig; laten we er maar 50 houden."

Een tijdje nam iedereen aan dat de regel simpel was: "Houd de interessante dingen vast, gooi de saaie dingen weg." Recentelijk veranderde een tool genaamd EmbedLens het spel. Het keek in het brein van de robot en vond dat de tokens in drie verschillende groepen vallen:

1. Alive Tokens: Dit zijn de sterren. Ze dragen de specifieke details van de afbeelding, zoals "pluizige vacht" of "groen gras."
2. Sink Tokens: Dit is de achtergrondruis. Ze zijn repetitief en zeggen niet echt iets over de specifieke afbeelding, maar ze zijn stabiel en zijn er altijd.
3. Dead Tokens: Dit is de ultieme ruis. Ze lijken geen enkele connectie te hebben met de afbeelding of de woorden.

De logische gok was: "Als we Dead Tokens hebben, laten we ze dan gewoon verwijderen! Ze zijn nutteloos!"

Het Grote Pruning-Experiment

De auteurs van dit artikel besloten die gok te testen. Ze namen drie populaire pruning-methoden (FastV, DART en DivPrune) en vroegen: "Wanneer je het aantal tokens inkort, welke ones ben je dan eigenlijk aan het wegknippen?"

Ze voerden deze methoden uit op tien verschillende testsets, variërend van eenvoudige vragen zoals "Welke kleur heeft de auto?" tot complexe wetenschappelijke vragen. Ze volgden exact hoeveel "Alive," "Sink," en "Dead" tokens werden verwijderd bij verschillende niveaus van inkorting (van 12,5% tot 87,5% van de verwijderde tokens).

Wat ze vonden, was een beetje rommelig.
De verschillende pruning-methoden waren het niet eens over wat "nutteloos" was.

• DivPrune was zeer agressief in het wegknippen van "Dead" tokens. Het leek de regel te volgen: "Verwijder de ruis."
• FastV en DART waren echter vreemd genoeg beschermend tegenover de "Sink" tokens. Ze hielden de repetitieve achtergrondruis vast, ook al leek dat overbodig.

Hier komt de wending: Alleen omdat een methode meer "Dead" tokens wegknipt, betekende niet dat deze ook beter presteerde. Sterker nog, DivPrune (die de meeste dode tokens wegknipt) was soms de beste, maar soms was FastV (die de dode tokens behield) beter. Er was geen perfecte overeenkomst tussen "het wegknippen van de dode troep" en "een goede score behalen."

De "Bescherm de Dode" Verrassing

Om te achterhalen waarom dit gebeurde, deden de onderzoekers een slim experiment. In plaats van de pruning-methoden zelf te laten beslissen, dwongen ze de robot om specifieke soorten tokens te behouden. Ze zeiden: "Oké, FastV, je mag snijden wat je wilt, maar je moet alle Dead Tokens behouden."

Ze verwachtten dat de prestaties zouden dalen. Achter alles immers, als Dead Tokens nutteloos zijn, zou het behouden ervan alleen maar ruimte verspillen en de robot in de war brengen.

Het resultaat? Het daalde niet. In veel gevallen verbeterde het juist.

• Toen ze de Alive tokens beschermden, verbeterde de prestatie (wat logisch is).
• Maar toen ze de Dead tokens beschermden, verbeterde de prestatie van de robot met gemiddeld 0,93% bij de DivPrune-methode.

Dit was een schok. Het suggereerde dat zelfs al lijkt een enkele "Dead" token waardeloos, het verwijderen van alle dode tokens iets anders kan breken.

De Verborgen Dirigent van het Orkest

Waarom zou het behouden van "nutteloze" tokens helpen? De auteurs keken naar hoe de tokens met elkaar communiceerden via iets dat "attention" (aandacht) wordt genoemd. Stel je voor dat de tokens muzikanten zijn die noten aan elkaar doorgeven.

Ze ontdekten dat hoewel een enkele "Dead" token niet veel aandacht krijgt (het is geen solist), er zoveel van zijn dat ze als groep een enorme hap uit het "attention budget" nemen. Ze zijn als een massaal koor van achtergrondzangers. Als je ze allemaal wegknipt, verliezen de overgebleven muzikanten (de Alive tokens) hun context. De "Dead" tokens zingen misschien niet de melodie, maar ze houden het ritme en de structieve van het nummer vast.

Toen de onderzoekers de Dead tokens beschermden, bleven de attention-patronen onder de overgebleven tokens beter in balans. De "Alive" tokens konden nog steeds goed met elkaar interageren omdat de "Dead" tokens nog aanwezig waren om de structuur te ondersteunen.

De Conclusie

Het artikel suggereert dat we niet simpelweg naar een token kunnen kijken en zeggen: "Jij bent dood, ga maar weg." Het is niet zo eenvoudig. De "Dead" tokens zijn misschien zwak op zichzelf, maar ze zijn sterk als groep.

De auteurs concluderen dat effectieve pruning niet alleen moet gaan over het vinden van de belangrijkste tokens. Het moet gaan over compositie. We moeten ervoor zorgen dat we niet per ongeluk een hele categorie tokens weghalen die, hoewel individueel saai, essentieel zijn voor de functie van de groep. Het is een herinnering dat in een complex systeem zoals AI, zelfs de "overbodige" delen misschien een taak uitvoeren die we nog niet volledig begrijpen.

Dus de volgende keer dat je denkt aan het opruimen van een rommelige kamer, denk eraan: soms is de troep die je denkt dat alleen maar rommel is, eigenlijk degene die de plank omhoog houdt.