TwinPrune: Density-Aware Two-Phase Token Pruning for Vision-Language Models

Stellen Sie sich einen Computer vor, der versucht, ein Foto zu verstehen. Um dies zu tun, zerlegt die Maschine das Bild in tausende winzige Stücke und behandelt jedes Stück als eine eigenständige Informationseinheit. Da diese Modelle immer ausgefeilter geworden sind, haben sie gelernt, diese Stücke mit unglaublicher Detailgenauigkeit zu verarbeiten, aber dies hat einen hohen Preis. Je detaillierter das Bild ist, desto mehr Stücke muss der Computer in seinem Kurzzeitgedächtnis halten, um sie zu begreifen. Dies erzeugt einen Engpass: Der Computer geht entweder der Platz aus oder er braucht zu lange, um nachzudenken, besonders wenn das Bild hochauflösend ist oder die Konversation eine lange, detaillierte Antwort erfordert. Jahrelang haben Forscher versucht, dies zu lösen, indem sie den Computer lehren, die weniger wichtigen Teile des Bildes zu ignorieren, in der Hoffnung, die klugen Teile zu behalten und den Rest zu verwerfen.

Ein neues Paper deutet jedoch darauf an, dass die Art und Weise, wie Wissenschaftler diese „Ignorier“-Strategien getestet haben, grundlegend fehlerhaft war. Lange Zeit verließ sich das Feld auf Tests, bei denen der Computer nur eine Antwort in einem einzigen Wort geben musste, wie etwa das Auswählen eines Buchstabens aus einer Multiple-Choice-Liste oder das Sagen von „Ja“ oder „Nein“. Die Forscher hinter dieser neuen Arbeit namens TwinPrune entdeckten, dass diese einfachen Tests nur messen, wie gut der Computer das Bild am allerersten Schritt des Prozesses versteht. Sie versäumen es zu erfassen, was passiert, wenn der Computer kontinuierlich weiterreden muss und sein Gedächtnis nutzt, um lange Sätze zu generieren. Tatsächlich zeigt die Studie, dass eine Methode in diesen einfachen Tests perfekt aussehen kann, während sie völlig versagt, wenn sie aufgefordert wird, eine längere Beschreibung zu schreiben, weil die einfachen Tests den Gedächtnisteil des Prozesses niemals tatsächlich überprüfen.

Um dies zu beheben, entwickelte das Team eine neue Art und Weise zu entscheiden, welche Teile eines Bildes es wert sind, behalten zu werden. Anstatt darauf zu schauen, wie sehr ein Teil des Bildes zu einer spezifischen Frage hervorsticht, betrachteten sie, wie einzigartig ein Teil im Vergleich zu seinen unmittelbaren Nachbarn ist. Wenn ein Bildsegment dem sehr ähnlich sieht wie die Segmente in seiner Umgebung, ist es wahrscheinlich redundant und kann sicher entfernt werden. Wenn es anders aussieht, enthält es wahrscheinlich wichtige Informationen. Dieser „Dichte“-Wert wird einmal zu Beginn berechnet und dann für zwei verschiedene Aufgaben verwendet. Erstens hilft er dem Computer, ähnliche Bildteile zusammenzufügen, bevor er anfängt zu denken, was die Rechenleistung spart. Zweitens hilft er dem Computer zu entscheiden, welche Informationsteile er aus seinem Gedächtnis wirft, während er eine lange Antwort schreibt, um sicherzustellen, dass er die einzigartigsten und nützlichsten Details behält.

Die Forscher testeten diesen Ansatz an verschiedenen Arten von Vision-Language-Modellen, die von kleineren Modellen bis hin zu massiven Systemen mit Milliarden von Parametern reichten. Sie verglichen ihre Methode mit den stärksten bestehenden Techniken sowohl unter Verwendung der alten, einfachen Tests als auch der neuen, anspruchsvolleren Tests, die lange Antworten erfordern. Bei den einfachen Tests schnitt ihre Methode genauso gut ab wie die besten Konkurrenten. Aber bei den anspruchsvollen Tests, bei denen der Computer ganze Sätze generieren musste, war der Unterschied eklatant. Während andere Methoden dazu führten, dass die Genauigkeit des Computers einbrach, wenn er aufgefordert wurde, prägnant zu sein, behielt die neue Methode eine hohe Genauigkeit bei, selbst wenn sie nur einen winzigen Bruchteil der ursprünglichen Bilddaten behielt. Beispielsweise übertraf die neue Methode bei einem spezifischen Benchmark, der Text in Bildern beinhaltete, die nächstbeste Technik um fast zehn Prozentpunkte, als das Gedächtnis stark eingeschränkt war.

Vielleicht am wichtigsten ist, dass die Studie aufzeigte, dass die alte Testweise ein großes Problem verborgen hatte. Als die Forscher während der Schreibphase das gesamte visuelle Gedächtnis des Computers entfernten, zeigten die einfachen Tests kaum eine Veränderung in der Leistung, während die Lang-Antwort-Tests einen massiven Qualitätsabfall aufwiesen. Dies bewies, dass die einfachen Tests blind für das waren, was für den praktischen Einsatz am wichtigsten ist: die Fähigkeit, Informationen über eine lange Konversation hinweg zu erinnern und abzurufen. Die neue Methode, die durch eine einzige, konsistente Regel das anfängliche Denken und das Langzeitgedächtnis steuert, gelang es, die anfängliche Verarbeitung des Computers um mehr als das Dreifache zu beschleunigen und gleichzeitig den Speicherbedarf erheblich zu senken.

Die Ergebnisse legen nahe, dass das Feld die falsche Metrik optimiert hat. Indem die Forscher den Fokus auf Tests verschoben haben, die vollständige, langgestreckte Antworten erfordern, haben sie gezeigt, dass es möglich ist, diese leistungsstarken Computer viel schneller und effizienter zu machen, ohne ihre Fähigkeit zu opfern, komplexe Szenen zu verstehen. Der Ansatz funktioniert konsistent über verschiedene Modellgrößen hinweg, von kleinen Geräten bis hin zu den größten Supercomputern, und erfordert nicht, dass der Computer neu trainiert wird. Er bietet einen praktischen Weg nach vorn, um diese fortschrittlichen Systeme auf alltäglichen Geräten einzusetzen und sicherzustellen, dass sie hochauflösende Bilder und lange Konversationen bewältigen können, ohne die Puste auszugehen.