Not All Redundant Tokens Are Alike: Analyzing Visual Token Pruning through Token Roles

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, die Welt zu verstehen, indem Sie ihm Bilder zeigen. Um dies zu tun, „sieht“ der Roboter das Bild nicht einfach wie ein Mensch; er zerlegt das Bild in tausende winzige digitale Puzzleteile, die „Token“ genannt werden. Denken Sie an diese Token wie an einzelne Noten in einem riesigen, chaotischen Orchester. Der Roboter muss jeder einzelnen Note zuhören, um das Lied zu verstehen. Aber hier liegt das Problem: Für hochauflösende Bilder ist dieses Orchester so gewaltig, dass es den Roboter verlangsamt und ihn hungrig nach Computerspeicher macht.

Wissenschaftler haben versucht, dies zu beheben, indem sie dem Roboter beibrachten, die „langweiligen“ Noten zu ignorieren – jene, die scheinbar ihre selbst wiederholen oder nicht viel Bedeutung tragen. Dies wird als „Token-Pruning“ bezeichnet. Es ist wie ein Dirigent, der dem Orchester sagt, es solle aufhören, die Noten zu spielen, die gleich klingen, in der Hoffnung, dass die Musik immer noch perfekt klingt, aber viel schneller spielt. Kürzlich half ein neues Werkzeug namens „EmbedLens“ den Forschern zu erkennen, dass diese Token nicht alle gleich sind. Einige sind „lebendig“ (sie tragen die wahre Geschichte des Bildes), einige sind „Sinks“ (sich wiederholende Muster, die einfach nur da sind) und einige sind „tot“ (völlig redundanter Lärm). Die große Frage war: Wenn wir wissen, welche Token „tot“ sind, können wir dann einfach alle wegwerfen, um die Geschwindigkeit zu erhöhen?

Diese Arbeit mit dem Titel „Not All Redundant Tokens Are Alike“ taucht genau in diese Frage ein. Die Forscher untersuchten sehr genau, wie verschiedene Pruning-Methoden entscheiden, welche Token sie abschneiden. Sie entdeckten etwas Überraschendes: Die Methoden, die versuchen, die „toten“ Token zu schneiden, funktionieren nicht immer besser als jene, die es nicht tun. Tatsächlich deutet ihr Experiment darauf hin, dass selbst die „toten“ Token im Hintergrund etwas Wichtiges tun könnten, wie zum Beispiel das Orchester zusammenzuhalten. Indem sie die „toten“ Token vor dem Löschen schützen, wurde der Roboter manchmal sogar besser darin, Fragen zu beantworten, nicht schlechter. Es stellt sich heraus, dass nur weil ein Token für sich allein genommen nutzlos aussieht, es nicht bedeutet, dass es sicher ist, es wegzuwerfen; manchmal muss die ganze Gruppe zusammenbleiben, damit die Musik richtig klingt.

Die Geschichte des digitalen Orchesters

Um zu verstehen, warum das wichtig ist, schauen wir uns an, wie diese Vision-Language-Modelle (VLMs) funktionieren. Stellen Sie sich vor, Sie haben einen Roboter, der lesen und sehen kann. Wenn Sie ihm ein Foto einer Katze zeigen, zerlegt das „Auge“ des Roboters (ein Vision-Encoder) dieses Foto in eine lange Liste winziger Datenstücke. Diese Stücke werden dann an das „Gehirn“ des Roboters (ein großes Sprachmodell) übergeben, um zu verstehen, was die Katze gerade macht.

Das Problem ist, dass ein einzelnes Foto hunderte dieser Stücke erzeugen kann. Wenn Sie ein Video oder ein sehr detailliertes Bild haben, wird die Liste so lang, dass der Roboter überfordert wird. Es dauert zu lange, den ersten Teil des Bildes zu verarbeiten (genannt „Prefill Latency“), verbraucht zu viel Speicher und kostet zu viel Energie. Um dies zu beheben, entwickelten Forscher das „Token-Pruning“. Dies ist wie ein kluger Editor, der auf die Liste der Stücke schaut und sagt: „Okay, wir brauchen nicht 500 Kopien desselben blauen Himmels; lassen uns einfach 50 behalten.“

Eine Zeit lang nahmen alle an, die Regel sei simpel: „Behalte das Interessante, wirf das Langweilige weg.“ Vor kurzem hat ein Werkzeug namens EmbedLens das Spiel verändert. Es blickte in das Gehirn des Roboters und fand heraus, dass die Token in drei verschiedene Gruppen fallen:

1. Lebendige Tokens: Das sind die Stars. Sie tragen die spezifischen Details des Bildes, wie „flauschiges Fell“ oder „grünes Gras“.
2. Sink-Tokens: Sie sind wie das Hintergrundrauschen. Sie sind repetitiv und sagen nicht viel über das spezifische Bild aus, aber sie sind stabil und immer da.
3. Tote Tokens: Das ist der ultimative Lärm. Sie scheinen keinerlei Verbindung zum Bild oder zu den Worten zu haben.

Die logische Vermutung war: „Wenn wir tote Tokens haben, lassen wir sie einfach weg! Sie sind nutzlos!“

Das große Pruning-Experiment

Die Autoren dieser Arbeit beschlossen, diese Vermutung zu testen. Sie nahmen drei populäre Pruning-Methoden (FastV, DART und DivPrune) und fragten: „Wenn ihr die Anzahl der Tokens reduziert, welche genau schneidet ihr eigentlich weg?“

Sie führten diese Methoden auf zehn verschiedenen Testsets durch, die von einfachen Fragen wie „Welche Farbe hat das Auto?“ bis hin zu komplexen wissenschaftlichen Fragen reichten. Sie verfolgten exakt, wie viele „lebendige“, „Sink“- und „tote“ Tokens bei verschiedenen Abstufungen des Abschneidens (von 12,5 % bis 87,5 % der entfernten Tokens) entfernt wurden.

Was sie fanden, war etwas chaotisch.
Die verschiedenen Pruning-Methoden waren sich nicht einig darüber, was „nutzlos“ sei.

• DivPrune war sehr aggressiv beim Schneiden von „toten“ Tokens. Es schien der Regel zu folgen: „Lösche das Rauschen.“
• FastV und DART hingegen waren seltsamerweise sehr beschützend gegenüber den „Sink“-Tokens. Sie behielten das repetitive Hintergrundrauschen bei, obwohl es redundant erschien.

Hier kommt die Wendung: Nur weil eine Methode mehr „tote“ Tokens schnitt, bedeutete das nicht, dass sie besser performte. Tatsächlich war DivPrue (das die meisten toten Tokens schnitt) manchmal am besten, aber manchmal war auch FastV (das die toren Tokens behielt) besser. Es gab keine perfekte Übereinstimmung zwischen „das tote Zeug schneiden“ und „eine gute Punktzahl erhalten“.

Die Überraschung: „Beschütze das Tote“

Um herauszufinden, warum das passierte, führten die Forscher ein kluges Experiment durch. Anstatt die Pruning-Methoden einfach entscheiden zu lassen, zwangen sie den Roboter dazu, bestimmte Arten von Tokens zu behalten. Sie sagten: „Okay, FastV, du kannst schneiden, was du willst, aber du musst alle toten Tokens behalten.“

Sie erwarteten, dass die Leistung sinken würde. Schließlich: Wenn tote Tokens nutzlos sind, sollte das Behalten von ihnen nur Platz verschwenden und den Roboter verwirren.

Das Ergebnis? Es sank nicht. In vielen Fällen stieg es sogar.

• Als sie die lebendigen Tokens schützten, verbesserte sich die Leistung (was Sinn ergibt).
• Aber als sie die toten Tokens schützten, verbesserte sich die Leistung des Roboters tatsächlich um durchschnittlich 0,93 % bei der DivPrune-Methode.

Das war ein Schock. Es deutete darauf hin, dass selbst wenn ein einzelner „toter“ Token wie Müll aussieht, das Löschen aller von ihnen etwas anderes kaputt machen könnte.

Der verborgene Dirigent des Orchesters

Warum hilft das Behalten „nutzloser“ Tokens? Die Autoren untersuchten, wie die Tokens über etwas namens Attention miteinander kommunizieren. Stellen Sie sich vor, die Tokens sind Musiker, die sich Noten zuwerfen.

Sie fanden heraus, dass ein einzelner „toter“ Token zwar nicht viel Aufmerksamkeit erhält (er ist kein Solist), es aber so viele von ihnen gibt, dass sie als Gruppe einen riesigen Teil des „Attention-Budgets“ beanspruchen. Sie sind wie ein massiver Chor von Background-Sängern. Wenn man sie alle herausschneidet, verlieren die verbleibenden Musiker (die lebendigen Tokens) ihren Kontext. Die „toten“ Tokens singen vielleicht nicht die Melodie, aber sie halten den Rhythmus und die Struktur des Liedes.

Als die Forscher die toten Tokens schützten, blieb das Attentionsmuster unter den verbleibenden Tokens ausgewogener. Die „lebendigen“ Tokens konnten weiterhin korrekt interagieren, weil die „toten“ Tokens noch da waren, um die Struktur zu stützen.

Das Fazit

Die Arbeit legt nahe, dass wir nicht einfach einen Token betrachten und sagen können: „Du bist tot, geh weg.“ Es ist nicht so einfach. Die „toten“ Tokens mögen einzeln schwach sein, aber als Gruppe sind sie stark.

Die Autoren kommen zu dem Schluss, dass effektives Pruning nicht nur daraus bestehen sollte, die wichtigsten Tokens zu finden. Es muss um Komposition gehen. Wir müssen sicherstellen, dass wir nicht versehentlich eine ganze Kategorie von Tokens entfernen, die, obwohl sie individuell langweilig sind, essenziell dafür sind, dass die Gruppe funktioniert. Es ist eine Erinnerung daran, dass in einem komplexen System wie einer KI selbst die „redundanten“ Teile eine Aufgabe erfüllen könnten, die wir noch nicht vollständig verstehen.

Wenn Sie also das nächste Mal daran denken, ein unordentliches Zimmer aufzuräumen, denken Sie daran: Manchmal ist das Zeug, das Sie nur für Unordnung halten, eigentlich das, was das Regal stützt.