💻 computer science

CRISP: Pre-LLM Yet Text-Driven Visual Token Pruning for Efficient LVLM Inference

CRISP ist ein Pre-LLM, textgesteuertes Framework zur visuellen Token-Pruning, das eine zweistufige Pipeline nutzt, um instruktionsrelevante Token zu identifizieren und die semantische Diversität zu erhöhen, wobei es über 99,5 % der Genauigkeit beibehält und gleichzeitig die Inferenzlatenz für Large Vision-Language-Models um mehr als das Zweifache reduziert.

Ursprüngliche Autoren: Xu Li, Yi Zheng, Mengyang Zhao, Yuxuan Liang, Zhe Liu, Rui Zhu, Xiaolei Chen, Wei Zhou, Baoquan Zhao, Juncen Guo

Veröffentlicht 2026-07-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xu Li, Yi Zheng, Mengyang Zhao, Yuxuan Liang, Zhe Liu, Rui Zhu, Xiaolei Chen, Wei Zhou, Baoquan Zhao, Juncen Guo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Rätsel zu lösen, aber anstatt nur einiger weniger Hinweise erhalten Sie eine Bibliothek mit Millionen von Büchern, die alle gleichzeitig aufgeschlagen sind. Das ist im Wesentlichen die Arbeitsweise moderner „Large Vision-Language Models“ (LVLMs). Dies sind superintelligente Computerprogramme, die ein Bild betrachten und Fragen dazu beantworten können, wie ein digitaler Detektiv. Um dies zu tun, zerlegen sie das Bild in Tausende von winzigen digitalen Teilen, die „Tokens“ genannt werden. Betrachten Sie diese Tokens als einzelne Puzzleteile. Das Problem ist, dass der Computer versucht, jedes einzelne Stück des Puzzles zu lesen, selbst die, die nur blauen Himmel oder einen leeren Boden darstellen, noch bevor er überhaupt Ihre Frage betrachtet. Dies macht den Prozess unglaublich langsam und hungrig nach Rechenleistung – so, als würde man versuchen, eine ganze Enzyklopädie zu lesen, nur um herauszufinden, welche Farbe der Kragen des Katers hat.

Lange Zeit versuchten Wissenschaftler, dies zu beschleunigen, indem sie entweder Puzzleteile wahllos wegwarfen (was manchmal den Kragen des Katers löschte) oder indem sie warteten, bis der Computer bereits angefangen hatte, das ganze Buch zu lesen, bevor er entschied, was er überspringen sollte (was zu spät war, um Zeit zu sparen). Die große Frage war: Könnte man dem Computer beibringen, zuerst die Frage zu lesen und dann nur die spezifischen Puzzleteile auszuwählen, die benötigt werden, um sie zu beantworten, ohne dabei das gesamte System zu verlangsamen?

Hier kommt eine neue Methode namens CRISP ins Spiel. Betrachten Sie CRISP als einen super effizienten Bibliothekar, der vor dem eigentlichen Lesen des Detektivs arbeitet. Anstatt die ganze Bibliothek auf den Tisch zu werfen, hört CRISP zuerst auf Ihre Frage. Wenn Sie fragen: „Welche Farbe hat die Handtasche?“, scannt CRISP das Bild sofort und schnappt sich nur die Puzzleteile, die die Handtasche und die unmittelbare Umgebung zeigen. Aber es bleibt nicht dabei; es schnappt sich auch ein paar zusätzliche Teile, um sicherzustellen, dass der Hintergrundkontext (wie die Straße oder die Person, die sie hält) nicht verloren geht.

Die Forscher hinter CRISP fanden heraus, dass dieser „Erst fragen, dann schauen“-Ansatz viel klüger ist als die alten „Erst schauen, dann fragen“-Methoden. In ihren Tests zeigten sie, dass CRISP bis zu 88,9 % der visuellen Puzzleteile wegwerfen konnte (wodurch das Bild von Hunderten von Tokens auf nur noch 64 oder 128 reduziert wurde), während die Genauigkeit des Computers fast exakt dieselbe blieb, als hätte er das gesamte Bild betrachtet. Tatsächlich war es in einigen Tests so gut darin, die richtigen Hinweise zu finden, dass es sogar „Halluzinationen“ reduzierte – jene Momente, in denen eine KI Dinge erfindet, die gar nicht da sind.

Das Paper argumentiert explizit gegen zwei heute gängige Wege, dies zu tun. Ein Weg besteht darin, einfach die „wichtigsten“ aussehenden Teile eines Bildes auszuwählen, unabhängig von der Frage (text-agnostisch), was die Autoren als vergleichbar mit dem Starren auf ein Gemälde beschreiben, bevor man weiß, wonach man eigentlich sucht. Der andere Weg besteht darin, zu warten, bis der Computer tief in seinem Denkprozess steckt, um dann mit dem Löschen von Teilen zu beginnen, was die Autoren als Energieverschwendung bezeichnen, da der Computer die harte Arbeit des Lesens bereits erledigt hat. CRISP lehnt beides ab und beweist, dass man gleichzeitig schnell und klug sein kann, indem man das Pruning (das Beschneiden) vor dem schweren Denken durchführt.

Die Ergebnisse sind messbar und sehr spezifisch. Bei einem populären Modell namens LLaVA-1.5 behielt CRISP 99,5 % der ursprünglichen Leistung bei, während es nur 128 Tokens anstelle der üblichen 576 verwendete. Bei einem neueren Modell, LLaVA-NeXT, behielt es 96,9 % der Leistung mit nur 320 Tokens bei. Vielleicht am beeindruckendsten ist, dass diese Beschleunigung nicht nur die Genauigkeit bewahrte, sondern auch die Zeit bis zur Antwort um mehr als die Hälfte verkürzte. Die Autoren schlagen vor, dass diese Methode eine praktische, einsatzbereite Lösung ist, um diese intelligenten bildlesenden Computer viel schneller und kostengünstiger zu machen, insbesondere für Geräte, die nicht über massive Mengen an Energie verfügen.

Technisches Resümee: CRISP – Pre-LLM Textgesteuerte Visuelle Token-Pruning-Methode

1. Problemstellung

Große Vision-Sprach-Modelle (LVLMs) leiden unter einem erheblichen Inferenz-Overhead, da sie Bilder in lange Sequenzen von visuellen Token kodieren (oft hunderte bis tausende), die vollständig vom Large Language Model (LLM) verarbeitet werden müssen. Dies schafft einen Engpass für den Einsatz in latenzsensitiven oder ressourcenbeschränkten Szenarien.

Bestehende Methoden zur visuellen Token-Pruning stehen vor einem grundlegenden Kompromiss:

Pre-LLM Pruning: Operiert vor dem LLM unter Verwendung textagnostischer Heuristiken (z. B. CLS-Attention oder Feature-Ähnlichkeit). Obwohl diese Methoden effizient sind, sind sie „textagnostisch“, was bedeutet, dass sie dieselben Token unabhängig von der spezifischen Textabfrage ausschneiden. Dies imitiert eine „Erst-sehen-dann-fragen“-Kognitionsstrategie, die weniger effizient ist als der natürliche „Erst-lesen-dann-sehen“-Prozess und oft abfragerelevante Details verwirft.
Intra-LLM Pruning: Operiert innerhalb des LLM unter Verwendung von Cross-Modal-Attention-Scores, um Token basierend auf dem aktuellen Text zu entfernen. Obwohl diese Methoden textgesteuert sind, leidet das Pruning in flachen Schichten unter Positions-Bias und Attention-Dispersion, was die Genauigkeit beeinträchtigt. Das Pruning in tieferen Schichten bewahrt zwar die Genauigkeit, erfordert jedoch, dass visuelle Token viele LLM-Blöcke durchlaufen, was die Rechenersparnis schmälert. Zudem stört das Extrahieren von Attention-Gewichten die FlashAttention, was die Effizienz beeinträchtigt.

Es besteht ein Bedarf an einer Methode, die das Pruning vor dem LLM durchführt (um die Effizienz zu maximieren), aber dennoch textgesteuert bleibt (um die aufgabenrelevante Information zu bewahren), ohne auf die internen Attention-Mechanismen des LLM zuzugreifen.

2. Methodik: CRISP

Die Autoren schlagen CRISP (CRItical-first and Semantically-covered Pre-LLM token pruning) vor, ein trainingsfreies Framework, das zwischen dem Vision-Projector und dem LLM operiert. Es nutzt eine zweistufige Pipeline, um eine kompakte Teilmenge visueller Token ( $K$ ) auszuwählen, die die Relevanz zur Instruktion mit dem Szenenkontext ausbalanciert.

Stufe 1: Critical-First Token-Selektion

Diese Stufe identifiziert die visuellen Token, die am relevantesten für die Textabfrage sind.

Schlagwort-Extraktion: Das System extrahiert Substantive aus der Abfrage (z. B. „Skifahrer“, „Handschuhe“) mittels leichtgewichtiger NLP-Verarbeitung, da Substantive typischerweise mit konkreten Bildregionen korrespondieren.
Cross-modale Relevanzberechnung: Die projizierten visuellen Token und die Wort-Embeddings (gemittelt aus Subword-Token) existieren im selben semantischen Raum. Das System berechnet eine Cosinus-Ähnlichkeitsmatrix zwischen den visuellen Token und den Wort-Embeddings.
Wortbezogene Kontingentallokation: Nicht alle Wörter sind gleichermaßen im Bild verankert. Das System nutzt die CLS-Attention des Vision-Encoders, um die Wichtigkeit der mit jedem Wort assoziierten Regionen zu bestimmen. Wörter mit höheren CLS-Attention-Scores erhalten ein größeres Token-Kontingent.
Selektion: Die Top- $K$ visuellen Token werden basierend auf der Relevanz zu den spezifischen Wörtern und deren allokierten Kontingenten ausgewählt. Falls keine Substantive erkannt werden, greift das System auf eine Auswahl basierend rein auf der globalen CLS-Attention zurück.

Stufe 2: Semantisch-Abgedeckte Token-Vervollständigung

Sich allein auf textausgerichtete Token zu verlassen, birgt das Risiko, essenziellen Kontext (z. B. räumliche Anordnung, Hintergrund) zu verlieren.

Das System wählt iterativ zusätzliche Token aus dem verbleibenden Pool aus, um das Gesamtbudget $K$ zu erreichen.
Es wählt Token aus, die semantisch komplementär zur bereits ausgewählten Menge sind. Konkret wird der Token mit der geringsten maximalen Ähnlichkeit zum aktuellen Satz gewählt, wodurch die semantische Diversität maximiert und die Bewahrung des essenziellen Szenenkontexts sichergestellt wird.

3. Zentrale Beiträge

Textgesteuertes Pre-LLM Pruning: CRISP überbrückt die Lücke zwischen Effizienz und Relevanz, indem es das Pruning vor dem LLM durchführt und sich dennoch dynamisch an die Textabfrage anpasst, wodurch die „textagnostische“ Einschränkung früherer Pre-LLM-Methoden vermieden wird.
Zweistufige Pipeline: Die Kombination aus „Critical-First“-Selektion (Gewährleistung der Abfrage-Ausrichtung) und „Semantically-Covered“-Vervollständigung (Gewährleistung der kontextuellen Diversität) ermöglicht es dem Modell, kritische Belege zu behalten, ohne das Verständnis der Szene zu opfern.
Trainingsfrei und Effizient: Die Methode erfordert kein zusätzliches Training, greift nicht auf die internen Attention-Gewichte des LLM zu (was die FlashAttention-Kompatibilität wahrt) und operiert vollständig zwischen dem Projector und dem LLM.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CRISP auf LLaVA-1.5-7B und LLaVA-NeXT-7B über neun Benchmarks hinweg (darunter MME, GQA, SQA, POPE und VQA-v2).

Leistungsretention:
- Bei LLaVA-1.5-7B erreichte CRISP mit einer Pruning-Rate von 77,8 % (Beibehaltung von nur 128 Token) 99,5 % der Performance des Modells mit vollen Token und übertraf damit die nächstbeste Methode (97,9 %).
- Bei LLaVA-1.5-7B behielt CRISP selbst bei einer aggressiven Pruning-Rate von 88,9 % (64 Token) eine Performance von 97,7 % bei.
- Bei LLaVA-NeXT-7B behielt CRISP mit einer Pruning-Rate von 88,9 % (320 Token) 96,9 % der Performance und übertraf damit alle Baselines.
- Bemerkenswerterweise übertraf CRISP die Baseline mit vollen Token beim POPE-Benchmark (Detektion von Objekt-Halluzinationen), was darauf hindeutet, dass die fokussierte Selektion spurende Korrelationen effektiv unterdrückt.
Effizienzgewinne:
- CRISP reduzierte die Inferenz-FLOPs und die KV-Cache-Speichernutzung nahezu linear mit der Reduktion der Token-Anzahl.
- Es erreichte eine >2-fache Beschleunigung der Decoding-Geschwindigkeit und reduzierte die gesamte End-to-End-Evaluierungszeit auf beiden Modellen signifikant.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass CRISP eine praktische und generalisierbare Lösung für effiziente LVLM-Inferenz bietet. Durch die Entkopplung der textgesteuerten Relevanz von der internen Verarbeitung des LLM erreicht CRISP einen überlegenen Trade-off zwischen Genauigkeit und Effizienz im Vergleich zu bestehenden Methoden. Die Autoren betonen, dass dieser Ansatz besonders wertvoll für ressourcenbeschränkte Szenarien und latenzsensitive Anwendungen ist, da er die Nutzung leistungsstarker LVLMs ohne die prohibitiven Rechenkosten der Verarbeitung vollständiger visueller Token-Sequenzen ermöglicht. Die Ergebnisse legen nahe, dass nur eine moderate Anzahl textrelevanter Token benötigt wird, um kritische Belege zu bewahren, sofern das verbleibende Budget genutzt wird, um eine diverse kontextuelle Verankerung aufrechtzuerhalten.