💻 computer science

SepPrune:A Separator-based Pruning Framework for Efficient Multimodal Large Language Models

SepPrune ist ein trainingsfreies, Plug-and-Play-Framework, das die Rechenkosten in multimodalen großen Sprachmodellen effizient senkt, indem es Modalitätstrennungs-Token als vereinheitlichte Abfragen verwendet, um 80,2 % der Vision-Token zu beschneiden und dabei 96,3 % der ursprünglichen Genauigkeit beizubehalten.

Ursprüngliche Autoren: Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

Veröffentlicht 2026-07-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, gleichzeitig zu sehen und zu sprechen. Dies ist die Welt der Multimodalen Großen Sprachmodelle (MLLMs), der KI-Stars, die ein Bild eines Sonnenuntergangs betrachten und ein Gedicht darüber schreiben können oder ein komplexes Diagramm analysieren und Fragen dazu beantworten können. Um dies zu tun, „sieht“ der Roboter das Bild nicht einfach nur; er zerlegt das Bild in Tausende von winzigen digitalen Puzzleteilen, die „Vision Tokens“ genannt werden. Denken Sie bei diesen Token wie bei einzelnen Pixeln an diese Teile, aber sie sind viel smarter – sie tragen alle Details des Bildes in sich.

Es gibt jedoch einen Haken. Wenn man dem Roboter ein hochauflösendes Foto oder ein langes Video füttert, generiert er so viele dieser Token, dass der Roboter überfordert wird. Es ist, als würde man versuchen, eine ganze Bibliothek an Büchern auf einmal zu lesen; der Prozess wird langsam, teuer und ineffizient. Wissenschaftler haben versucht, dies zu beheben, indem sie herausfinden, welche Puzzleteile tatsächlich wichtig sind und welche nur Unrat darstellen. Einige Methoden versuchen, die Wichtigkeit zu erraten, indem sie darauf schauen, wie der Roboter auf Wörter achtet, während andere versuchen, doppelte Teile zu finden. Aber diese Ansätze bleiben oft in ihrer eigenen Komplexität stecken und verlangsamen den Roboter sogar noch mehr, während sie versuchen, ihn zu beschleunigen. Die große Frage bleibt: Wie entfernen wir den Unrat, ohne das Bild zu verlieren?

Hier kommt SepPrune ins Spiel, eine neue Methode, die wie ein cleverer Editor für diese KI-Modelle fungiert. Die Forscher hinter dieser Arbeit bemerkten etwas Faszinierendes, während sie beobachteten, wie diese Modelle denken. Sie fanden heraus, dass das Modell in den frühen Stadien der Verarbeitung einer riesigen Menge an speziellen „Separator“-Token Aufmerksamkeit schenkt – winzigen Markern, die zwischen den Bilddaten und den Textdaten sitzen und als Brücke zwischen diesen beiden Welten fungieren. Es stellt sich heraus, dass diese Separatoren der Schlüssel zum Verständnis des Bildes sind.

Anstatt zu versuchen, die Wichtigkeit jedes einzelnen Vision-Tokens zu berechnen, indem man sie miteinander vergleicht (was langsam und unordentlich ist), nutzt SepPrune den Separator-Token als Master-Query. Stellen Sie sich den Separator als einen Reiseführer vor, der am Eingang eines Museums steht. Anstatt jedes einzelne Gemälde zu fragen: „Bist du wichtig?“, betrachtet der Reiseführer den gesamten Raum und zeigt auf: „Du, du und du seid die Meisterwerke; der Rest kann warten.“ Indem SepPrune den Separator nutzt, um die Vision-Tokens schnell zu bewerten, kann es sofort die informativsten Teile des Bildes identifizieren und den Rest verwerfen.

Die Ergebnisse sind beeindruckend. Bei Tests mit leistungsstarken Modellen wie Qwen2.5-VL-7B gelang es SepPrune, über 80 % der Vision-Tokens wegzuwerfen und dabei immer noch 96,3 % der ursprünglichen Genauigkeit des Modells beizubehalten. Selbst als die Reduzierung durch SepPrune auf extreme 90,2 % getrieben wurde, behielt das Modell 87,2 % seiner Leistung bei. Dies ist ein bedeutender Sprung im Vergleich zu anderen Methoden, die oft Schwierigkeiten haben, eine so hohe Genauigkeit beizubehalten, wenn sie so tiefgreifend kürzen. Darüber hinaus ist diese Methode viel schneller, da sie keine komplexen Berechnungen zwischen jedem Token erfordert, und sie arbeitet nahtlos mit bestehenden Technologien zur Beschleunigung zusammen.

Die Forscher haben auch bewiesen, dass ihre spezifischen Entscheidungen entscheidend sind. Sie zeigten, dass die Verwendung des Separator-Tokens als „Guide“ besser funktioniert als die Verwendung anderer Teile des Textes, und dass das Ignorieren der „Position“ der Token (wo sie im Bild sitzen) während des Auswahlprozesses verhindert, dass das Modell versehentlich nur die untere Hälfte eines Bildes behält. Kurz gesagt: SepPrune legt nahe, dass wir, indem wir der Brücke zwischen dem Bild und dem Text zuhören, diese KI-Visionäre schneller und effizienter machen können, ohne sie für die Details zu blind zu machen, auf die es wirklich ankommt.

Technisches Resümee: SepPrune

Problemstellung

Neuere multimodale Large Language Models (MLLMs), wie Qwen2.5-VL und InternVL3, nutzen „any-res“-Vision-Encoder-Strukturen, die eine massive Anzahl an Vision-Token generieren, insbesondere bei der Verarbeitung hochauflösender Eingaben (z. B. 4K/8K-Videos oder hochauflösende Bilder). Dieses Token-Volumen übersteigt das von Texteingaben erheblich und erzeugt einen beträchtlichen Rechenaufwand sowie Latenzzeiten bei der Inferenz. Während bestehende Methoden zur Pruning von Vision-Token darauf abzielen, dies zu mildern, leiden sie unter kritischen Einschränkungen:

Aufmerksamkeitsbasierte Methoden (Attention-based methods) verlassen sich oft auf cross-modale Attention-Scores, die den Rechenfluss unterbrechen und die Verwendung effizienter Hardware-Operatoren wie FlashAttention verhindern, oder sie hängen von spezifischen architektonischen Tokens ab (z. B. [CLS]), die in modernen Vision-Backbones nicht vorhanden sind.
Diversitätsbasierte Methoden (Diversity-based methods) verursachen typischerweise eine quadratische Zeitkomplexität ( $O(N^2)$ ), um Inter-Token-Ähnlichkeitsmatrizen zu berechnen, was paradoxerweise die Latenz erhöht und die Effizienzgewinne durch das Pruning zunichtemacht.

Methodik: SepPrune

Die Autoren schlagen SepPrune vor, ein Plug-and-Play-, trainingsfreies Vision-Token-Pruning-Framework, das die intrinsische Rolle von Modality Separator Tokens nutzt. Die Methode operiert vor dem LLM-Backbone und gewährleistet so die Kompatibilität mit Beschleunigungstechniken wie FlashAttention.

Kernaspekte

Durch eine Analyse der Attention-Verteilungen in Modellen wie Qwen2.5-VL-7B beobachteten die Autoren:

Separator-Peaks: In flachen Schichten (shallow layers) erreichen die Attention-Scores sowohl von Vision- als auch von Text-Tokens Spitzenwerte bei den Modality Separator Tokens (spezielle Tokens, die visuelle und textuelle Modalitäten trennen), anstatt bei semantisch reichen visuellen Inhalten.
Brückenfunktion: Ablationsstudien zeigten, dass das Entfernen von Separator-Tokens zu einem signifikant stärkeren Leistungsabfall führt als das Entfernen einer äquivalenten Anzahl an Vision- oder Text-Tokens. Dies deutet darauf hin, dass Separator-Tokens als kritische cross-modale Brücken für das frühe Alignment fungieren.

Algorithmischer Arbeitsablauf

SepPrune nutzt das Separator-Token als vereinheitlichten Query, um Vision-Tokens zu bewerten, ohne die LLM-Architektur zu verändern:

Vereinheitlichter Query: Das nach der Vision-Sequenz gelegene Separator-Token ( $S_{right}$ ) wird als Query-Vektor ( $Q_{sep}$ ) verwendet. Dieses Token wurde gewählt, da es unter kausalen Attention-Masks das einzige Token ist, das die vollständige Menge der Vision-Tokens ( $K_{visual}$ ) „attenden“ kann.
Eliminierung von Bias: Um sicherzustellen, dass Tokens rein nach ihrer semantischen Bedeutung und nicht nach ihrer räumlichen Position bewertet werden, lässt die Methode während der Scoring-Phase explizit die Rotary Position Embeddings (RoPE) weg. Dies verhindert, dass das Modell Tokens aus bestimmten Bildregionen (z. B. dem unteren Bereich) aufgrund von Positions-Bias bevorzugt beibehält.
Scoring und Pruning: Die Attention-Scores werden mit der folgenden Formel berechnet:
$\text{Score}_{prune} = \text{softmax}\left(\frac{Q_{sep} K_{visual}^T}{\sqrt{d_k}}\right)$
Dies reduziert die Komplexität von $O(N^2)$ auf $O(N)$ . Die informativsten Top- $k$ Vision-Tokens werden basierend auf diesen Scores beibehalten, während der Rest geprunt wird.
Projektions-Wiederverwendung: Die Methode verwendet die bereits eingebauten Projektionsparameter ( $q\_proj$ , $k\_proj$ ) der ersten Schicht des LLM wieder, wodurch keine zusätzlichen lernbaren Parameter erforderlich sind.

Wichtigste Beiträge

Mechanismus-Entdeckung: Die Arbeit ist die erste, die die Rolle von Modality Separators als cross-modale Brücken in MLLMs aufdeckt und validiert, und zeigt deren kritische Bedeutung für das frühe Vision-Language-Fusion zu.
Neuartige Pruning-Strategie: Einführung von SepPrune, einer leichtgewichtigen, trainingsfreien und Plug-and-Play-Methode, die Separator-Tokens zur globalen Bewertung von Vision-Tokens nutzt.
Effizienz und Kompatibilität: Die Methode erreicht eine lineare Zeitkomplexität ( $O(N)$ ) und ist vollständig kompatibel mit bestehenden Inferenz-Beschleunigungsframeworks (z. B. FlashAttention) und dem KV-Cache-Management, im Gegensatz zu bisherigen attentionbasierten Ansätzen.

Experimentelle Ergebnisse

Die Autoren evaluierten SepPrune auf Qwen2.5-VL-7B und InternVL3-8B über 12 Benchmarks hinweg, die allgemeines VQA, Halluzinationserkennung und textorientiertes VQA abdecken.

Leistungserhalt: Auf Qwen2.5-VL-7B behielt SepPrune 96,3 % der ursprünglichen Genauigkeit bei, während 80,2 % der Vision-Tokens geprunt wurden. Dies übertraf die State-of-the-Art-Baselines (FastV, DivPrune, CDPruner) deutlich (z. B. übertraf es CDPruner um ca. 3 Prozentpunkte bei 80,2 % Pruning).
Extreme Kompression: Selbst bei einer Pruning-Rate von 90,1 % behielt SepPrune 87,2 % der ursprünglichen Leistung bei, was eine überlegene Robustheit in informationsintensiven Aufgaben wie TextVQA und ChartQA demonstriert.
Generalisierbarkeit: Ähnliche Leistungssteigerungen wurden bei InternVL3-8B beobachtet, wo SepPrune bei 80 % Pruning einen relativen Score von 93,1 % erreichte.
Effizienz: Empirische Tests auf einer NVIDIA H20 GPU zeigten, dass SepPrune mit 591,4 s die niedrigste End-to-End-Latenz erreichte, verglichen mit der ungeprunten Baseline (760,4 s) und anderen Pruning-Methoden, was die lineare Skalierbarkeit validiert.

Bedeutung und Ansprüche

Das Paper behauptet, dass SepPrune den Effizienzengpass bei der hochauflösenden MLLM-Inferenz adressiert, indem es den Pruning-Mechanismus durch die Linse der Modalitätsinteraktion neu denkt. Durch die Identifizierung des Separator-Tokens als natürlichen „globalen Query“ vermeidet die Methode den Rechenaufwand diversitätsbasierter Matrixberechnungen sowie die architektonischen Einschränkungen attentionbasierter Methoden. Die Autoren betonen, dass dieser Ansatz eine erhebliche Reduktion der Inferenzkosten ermöglicht, während eine starke Modellleistung über diverse Aufgaben hinweg erhalten bleibt, was eine praktische Lösung für den Einsatz von MLLMs in ressourcenbeschränkten Umgebungen bietet.