🤖 AI

Learning to Predict Middle-Layer Attention in MLLMs for Visual Token Prunin

Dieses Paper schlägt Middle-layer Attention Prediction (MAP) vor, eine Methode, die dynamisch probenspezifische optimale Attention-Layer identifiziert und diese in einen leichtgewichtigen Prädiktor destilliert, um visuelle Token vor der Verarbeitung durch das Sprachmodell zu beschneiden, wodurch eine 3,09-fache End-to-End-Beschleunigung bei gleichzeitiger Beibehaltung von 97,5 % der Leistung auf LLaVA-NeXT-7B erreicht wird.

Ursprüngliche Autoren: Yuyao Sun, Tao Deng, Shuang Li, Deqing Wang, Hao Geng, Minjun Yu

Veröffentlicht 2026-08-10

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuyao Sun, Tao Deng, Shuang Li, Deqing Wang, Hao Geng, Minjun Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, die Welt gleichzeitig zu sehen und über sie zu sprechen. Dies ist die Welt der Multimodalen Large Language Models (MLLMs). Betrachten Sie diese Modelle als brillante Detektive, die ein Bild betrachten und Fragen dazu beantworten können, wie zum Beispiel: „Welche Farbe hat der Halsband des Hundes?“ oder „Warum rennt die Person?“ Um dies zu tun, „sieht“ der Roboter das Bild nicht einfach nur; er zerlegt das Bild in tausende winzige digitale Puzzleteile, die visuelle Token genannt werden. Jedes Token ist ein kleiner Informationsbrocken über einen Teil des Bildes.

Das Problem ist, dass diese Roboter unglaublich hungrig sind. Um ein wirklich gutes Bild zu erfassen, müssen sie vielleicht tausende dieser Token verarbeiten. Es ist, als würde man versuchen, eine ganze Enzyklopädie zu lesen, um die Antwort auf eine einfache Frage über die Mütze einer Katze zu finden. Das kostet viel Zeit und Energie (Rechenleistung), was den Roboter langsam und teuer im Betrieb macht. Wissenschaftler haben versucht herauszufinden, wie man diese Roboter schneller machen kann, indem man die nutzlosen Puzzleteile wegwirft, noch bevor sie überhaupt mit dem Lesen beginnen. Dies nennt man Visual Token Pruning (visuelles Token-Beschneiden). Der Trick besteht darin, zu wissen, welche Teile man behält und welche man wegwirft. Wenn man das falsche Teil wegwirft, wird der Roboter verwirrt. Wenn man zu viele behält, ist er immer noch langsam. Die große Frage war: Wie wissen wir genau, welche Teile des Bildes für die spezifische Frage am wichtigsten sind?

Das Problem: Eine Einheitsgröße passt nicht für alle

Die Forscher hinter dieser Arbeit, angeführt von Yuyao Sun und Tao Deng, entdeckten einen tückischen Fehler in der Art und Weise, wie wir derzeit versuchen, diesen Robotern bei der Entscheidung, was sie behalten sollen, zu helfen.

Früher dachten Wissenschaftler, wenn sie die „Aufmerksamkeit“ (eine schicke Art zu sagen: „worauf der Roboter sich konzentriert“) des Roboters aus einer bestimmten, mittleren Schicht seines Gehirns betrachten würden, könnten sie die wichtigsten Bildteile finden. Es war so, als würde man sagen: „Hey Roboter, schau einfach darauf, woran du dich in der Mitte deines Denkprozesses konzentriert hast, und behalte diese Bildteile.“

Doch die Autoren fanden heraus, dass dieser „Einheitsansatz“ fehlerhaft ist. Stellen Sie sich vor, Sie betrachten ein Foto eines Strandes.

Wenn jemand fragt: „Welche Farbe hat der Sand?“, leuchtet das Gehirn des Roboters in der Mitte seines Denkprozesses beim Sand auf.
Wenn jemand fragt: „Welche Farbe hat der Himmel?“, leuchtet das Gehirn des Roboters beim Himmel auf, aber vielleicht zu einem anderen Zeitpunkt seines Denkens.

Die Forscher zeigten, dass die „beste“ Schicht des Gehirns, die man prüfen sollte, vollständig von der spezifischen Frage abhängt. Manchmal liegt die Antwort in Schicht 10, manchmal in Schicht 20. Eine feste Schicht zu verwenden, ist so, als würde man versuchen, mit einem einzigen Schlüssel jede Tür in einem Gebäude zu öffnen; es funktioniert für einige, aber scheitert bei anderen.

Darüber hinaus gab es ein zweites, größeres Problem. Um herauszufinden, welche Schicht die „beste“ für eine bestimmte Frage war, musste der Roboter das gesamte Bild zuerst durch all diese Schichten verarbeiten. Es ist, als würde man versuchen, den besten Weg zur Schule zu finden, indem man erst den ganzen Weg dorthin fährt, nur um zu sehen, welche Abzweigung die beste war. Bis man herausgefunden hat, welche Teile man behalten sollte, hat man bereits die gesamte Zeit und Energie verschwendet, die man eigentlich einzusparen versuchte!

Die Lösung: Der „Fragen-Kontrast“-Detektiv

Um dies zu lösen, schlug das Team eine neue Methode namens MAP (Middle-layer Attention Prediction) vor. Anstatt den Roboter die schwere Arbeit während des eigentlichen Gesprächs verrichten zu lassen, brachten sie einem winzigen, superschnellen Assistenten bei, zu erraten, worauf der Roboter sich fokussiert hätte.

So haben sie diesen Assistenten trainiert:

Der „Kontrast“-Trick (QCTS): Sie entwickelten eine clevere Methode, um für jede Frage den richtigen „Lehrer“ auszuwählen. Sie nahmen ein Bild und stellten dem Roboter zwei Dinge vor die Nase:
- Frage A: Die echte Frage (z. B. „Welche Farbe hat das Boot?“).
- Frage B: Eine langweilige, generische Frage (z. B. „Was ist in diesem Bild?“).
Sie verglichen dann die Aufmerksamkeit des Roboters für beide Fragen. Die Schichten, in denen sich der Fokus des Roboters zwischen den beiden Fragen am stärksten veränderte, waren diejenigen, die sich wirklich für die spezifischen Details des Bootes interessierten. Diese Methode, genannt Question Contrastive Teacher Selection (QCTS), wirkt wie ein Scheinwerfer, der sofort identifiziert, welcher Teil des Roboters-Gehirns am meisten auf die spezifische Frage reagiert.
Der leichtgewichtige Prädiktor: Sobald sie wussten, welche Schicht die „Star-Schicht“ für eine bestimmte Frage war, behielten sie diese schwere Schicht nicht bei. Stattdessen brachten sie einen winzigen, leichtgewichtigen Prädiktor bei, das Verhalten dieser Star-Schicht nachzuahmen. Dieser Prädiktor ist so klein und schnell, dass er das Bild und die Frage betrachten kann, bevor der große Roboter überhaupt mit dem Denken beginnt, und sofort sagen kann: „Behalte diese 5 % der Bildteile, wirf den Rest weg.“

Die Ergebnisse: Schnell, leicht und intelligent

Das Team testete dieses neue System auf verschiedenen Robotersystemen (MLLMs) und einer Vielzahl von schwierigen Fragen. Die Ergebnisse waren beeindruckend.

Geschwindigkeit: Bei einem ihrer Testmodelle (LLaVA-NeXT-7B) machte MAP den Roboter vom Anfang bis zum Ende 3,09-mal schneller. Das ist so, als würde man einen 10-minütigen Spaziergang in einen 3-minütigen Jogginglauf verwandeln.
Effizienz: Es gelang ihnen, 94,4 % der visuellen Token wegzuwerfen (wobei nur 5,56 % übrig blieben), und der Roboter lieferte dennoch 97,5 % der korrekten Antworten, die er mit dem vollständigen Bild geliefert hätte.
Intelligente Auswahl: Im Gegensatz zu anderen Methoden, die nur raten oder eine feste Regel verwenden, stellte die „Diversitäts“-Regel von MAP sicher, dass der Roboter selbst dann, wenn er nur sehr wenige Token behielt, nicht einfach nur ähnlich aussehende Teile wählte. Er wählte Teile, die sich voneinander unterschieden, aber dennoch relevant für die Frage waren, wodurch sichergestellt wurde, dass der Roboter keine entscheidenden Details übersieht.

Warum es wichtig ist

Diese Arbeit schlägt nicht nur eine coole Idee vor; sie liefert ein funktionierendes Werkzeug, das einen echten Engpass löst. Durch den Nachweis, dass die „beste“ Schicht sich für jede Frage ändert und dass wir sie vorhersagen können, ohne die schwere Arbeit zuerst zu erledigen, ermöglicht MAP es diesen leistungsstarken KI-Modellen, auf Standardcomputern wesentlich schneller zu laufen. Es ist ein wenig so, als würde man einem Bibliothekar eine magische Karte geben, die ihm genau sagt, welches Buch er aus dem Regal ziehen muss, bevor er überhaupt in die Bibliothek geht, was ihn davor bewahrt, jedes einzelne Buch an der Wand scannen zu müssen.

Die Autoren zeigen, dass wir mit dieser Methode beides haben können: Wir können die Intelligenz des Roboters hoch halten und ihn gleichzeitig signifikant schneller und kostengünstiger im Betrieb machen. Es deutet darauf an, dass die Zukunft der KI nicht nur darin besteht, größere, schwerere Gehirne zu erschaffen, sondern ihnen beizubringen, klüger damit umzugehen, worauf sie ihre Aufmerksamkeit richten.

Technisches Resümee: Lernen der Vorhersage von Middle-Layer-Attention in MLLMs zur visuellen Token-Pruning

Problemstellung

Multimodale Large Language Models (MLLMs) haben starke Fähigkeiten in visuell-sprachlichen Aufgaben demonstriert, leiden jedoch unter hohen Rechenkosten aufgrund der Verarbeitung zahlreicher visueller Tokens. Während die visuelle Token-Pruning eine Lösung zur Verbesserung der Inferenz-Effizienz bietet, stehen bestehende Methoden vor zwei kritischen Einschränkungen:

Suboptimale feste Schichten: Jüngste Studien deuten darauf hin, dass die Text-zu-Vision-Attention aus den mittleren Schichten des Sprachmodells das Token-Pruning effektiv steuert. Die Analyse zeigt jedoch, dass die spezifische Schicht, die die am stärksten fragen-reaktive Attention bereitstellt, je nach Sample signifikant variiert. Eine Strategie mit fester Schicht ist daher suboptimal.
Dilemma der Inferenz-Effizienz: Das Extrahieren der Attention aus der geeigneten mittleren Schicht erfordert das Durchlaufen mehrerer Schichten des Sprachmodells durch zahlreiche visuelle Tokens, bevor das Pruning stattfinden kann. Dies verursacht erhebliche Rechenlasten, bevor Tokens entfernt werden können, was die potenziellen Effizienzgewinne zunichtemacht. Zudem kann die explizite Materialisierung von Attention-Maps während der Inferenz die Kompatibilität mit optimierten Attention-Kerneln (z. B. FlashAttention) einschränken.

Methodik: Middle-layer Attention Prediction (MAP)

Um diese Probleme zu adressieren, schlagen die Autoren MAP vor, ein Framework, das die sample-spezifische Middle-Layer-Attention in einen leichtgewichtigen Prädiktor destilliert, der vor der ersten Schicht des Sprachmodells operiert. MAP besteht aus zwei Phasen:

1. Offline-Training

Question Contrastive Teacher Selection (QCTS): Anstatt eine feste Schicht zu verwenden, wählt MAP dynamisch eine „Teacher“-Schicht für jedes Trainings-Sample aus. Es vergleicht die Text-zu-Vision-Attention-Verteilung, die durch die Eingabefrage generiert wird, mit einer generischen Referenzfrage („Was ist in diesem Bild zu sehen?“) auf demselben Bild. Die Schicht, die die größte Jensen–Shannon-Divergenz zwischen diesen beiden Verteilungen aufweist, wird als Teacher ausgewählt, da sie die für die spezifische Eingabefrage relevanten Regionen am besten erfasst.
Cross-Modal Attention Distillation: Ein leichtgewichtiger Prädiktor wird trainiert, um die ausgewählte Teacher-Attention-Verteilung zu reproduzieren. Der Prädiktor nimmt multimodale Eingangsrepräsentationen (visuelle Tokens vom Vision-Encoder und Text-Tokens von der Embedding-Schicht) entgegen, die vor der LLM-Verarbeitung verfügbar sind. Er verwendet modalitiespezifische MLPs und Projektionsschichten, um Attention-Scores zu schätzen und die Kullback–Leibler-Divergenz zwischen der vorhergesagten Verteilung und der Teacher-Verteilung zu minimieren. Das ursprüngliche MLLM bleibt während dieses Prozesses eingefroren.

2. Inferenzzeitliche Token-Pruning

Vorhersage und Selektion: Während der Inferenz schätzt der Prädiktor die Text-zu-Vision-Attention-Verteilung direkt aus den multimodalen Merkmalen. Diese Scores dienen als Wichtigkeit der visuellen Tokens.
Diversitäts-bewusstes Pruning: Um sicherzustellen, dass die beibehaltenen Tokens nicht nur relevant, sondern auch komplementär sind, kombiniert MAP die vorhergesagten Wichtigkeits-Scores mit einem Diversitätskriterium. Es wählt Tokens gierig aus, beginnend mit den Top- $K_0$ nach Wichtigkeit, und fügt iterativ Kandidaten hinzu, die das orthogonale Residuum relativ zum aktuellen Subraum der ausgewählten Embeddings maximieren.
Ausführung: Das Pruning erfolgt vor der ersten Schicht des Sprachmodells. Die ausgewählten Tokens werden in ihre ursprüngliche Reihenfolge gebracht und mit den Frage-Tokens kombiniert, sodass die nachfolgende Verarbeitung nur den kompakten Token-Satz nutzen kann. Dieser Ansatz vermeidet die Abhängigkeit von LLM-Attention-Maps und bewahrt die Kompatibilität mit optimierten Kerneln.

Zentrale Beiträge

Analyse der Schicht-Variabilität: Die Autoren zeigen, dass die Middle-Layer-Text-zu-Vision-Attention zwar effektiv für das Pruning ist, die optimale Schicht jedoch sample-abhängig ist, was feste Schicht-Strategien suboptimal macht.
MAP-Framework: Sie schlagen eine Methode vor, die die sample-spezifische Attention in einen Prädiktor destilliert, was ein effizientes Pruning vor der LLM-Verarbeitung ermöglicht, ohne die Kosten eines Durchlaufens mehrerer LLM-Schichten zu verursachen.
QCTS-Mechanismus: Sie führen die Question Contrastive Teacher Selection ein, die die am stärksten fragen-reaktive Schicht für jedes Sample identifiziert, indem sie die Attention-Verteilungen gegen eine Referenzfrage kontrastiert, was eine maßgeschneiderte Überwachung für den Prädiktor bietet.
Empirische Validierung: Umfangreiche Experimente über drei MLLM-Backbones (LLaVA-1.5-7B, LLaVA-NeXT-7B, Qwen2.5-VL-7B) und zehn Benchmarks zeigen, dass MAP ein überlegenes Genauigkeits-Effizienz-Verhältnis im Vergleich zu bestehenden Pruning-Methoden erreicht.

Experimentelle Ergebnisse

Das Paper berichtet Ergebnisse für LLaVA-NeXT-7B und LLaVA-1.5-7B über zehn Benchmarks (einschließlich GQA, MME, VQA-v2, etc.):

Leistungserhalt: Auf LLaVA-NeXT-7B behält MAP 97,5 % der Leistung des ungeprunten Modells bei, während es nur 5,56 % der visuellen Tokens verwendet (160 behaltener Tokens von 2880).
Beschleunigung: Bei diesem Erhaltungsgrad erreicht MAP eine 7,44-fache Beschleunigung in der LLM-Prefill-Phase und eine 3,09-fache End-to-End-Beschleunigung.
Vergleich: MAP übertrifft konsistent State-of-the-Art-Methoden (z. B. LearnPruner, CDPruner, ZOO-Prune) über verschiedene Token-Erhaltungsraten hinweg. Die Leistungslücke vergrößert sich, wenn die Erhaltungsrate sinkt, was auf die Robustheit von MAP unter aggressiver Kompression hindeutet.
Ablationsstudien:
- Teacher-Selektion: QCTS übertrifft die feste Schicht-Selektion (z. B. Schicht 14) und die Multi-Layer-Fusion, was die Notwendigkeit der sample-spezifischen Teacher-Selektion bestätigt.
- Diversität: Die diversitäts-bewusste Selektion liefert geringfügige Gewinne bei hohen Token-Budgets, verbessert aber die Leistung unter aggressiverem Pruning (z. B. 32 Tokens) signifikant, indem sie Redundanz unter hoch-bewerteten Tokens mildert.
- Effizienz: MAP reduziert die Nutzung des KV-Caches um bis zu 91,39 % auf LLaVA-NeXT-7B.

Bedeutung

Das Paper behauptet, dass MAP den grundlegenden Zielkonflikt zwischen Pruning-Effektivität und Inferenzkosten löst. Durch die Vorhersage des optimalen Attention-Signals anstelle dessen, es zu berechnen, ermöglicht MAP ein frühes Token-Pruning, das fragen-relevante visuelle Evidenz bewahrt, ohne den Rechenaufwand für das Durchlaufen mehrerer LLM-Schichten zu verursachen. Die Methode wird als generalisierbare Lösung präsentiert, welche die Effizienz von MLLMs verbessert und gleichzeitig eine hohe Genauigkeit beibehält, insbesondere in Szenarien, die eine aggressive Reduktion von Tokens erfordern.