🤖 machine learning

Fast-Slow Efficient Training for Multimodal Large Language Models via Visual Token Pruning

Dieses Paper schlägt DualSpeed vor, ein Fast-Slow-Trainingsframework, das visuelles Token-Pruning für Effizienz mit einem Full-Sequence-Hilfsmodus und Selbstdistillation kombiniert, um Trainings-Inferenz-Diskrepanzen zu lösen, wodurch das Training von MLLMs um bis zu 4,0× beschleunigt wird, ohne die Leistung zu beeinträchtigen.

Ursprüngliche Autoren: Dingkun Zhang, Shuhan Qi, Yulin Wu, Xinyu Xiao, Xuan Wang, Long Chen

Veröffentlicht 2026-02-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dingkun Zhang, Shuhan Qi, Yulin Wu, Xinyu Xiao, Xuan Wang, Long Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr klugen Schüler (einem Multimodalen Large Language Model) die Welt beizubringen, indem Sie ihm tausende Bilder zeigen.

Das Problem: Der „Zu viele Informationen“-Engpass
Momentan sind diese Modelle wie Schüler, die überfordert sind. Wenn man ihnen ein Bild zeigt, zerlegt der Computer es in hunderte oder sogar tausende winzige Teile, sogenannte „visuelle Token“. Es ist, als würde man dem Schüler für jedes einzelne Bild ein 1.000-seitiges Buch überreichen, obwohl die meisten Seiten nur aus leerem weißem Raum oder repetitiven Mustern bestehen.

Der Versuch, all diese Seiten zu lesen, dauert ewig. Das macht das Training dieser Modelle unglaublich langsam, teuer und energiehungrig.

Die alte Idee: Der „Ausschneiden-und-Einfügen“-Fehler
Forscher erkannten, dass viele dieser Seiten nutzlos und redundant sind. Sie versuchten eine Technik namens Visual Token Pruning, was so ähnlich ist, als würde man einen Textmarker benutzen, um die langweiligen, redundanten Seiten durchzustreichen, bevor man dem Schüler das Buch zeigt. Das funktioniert bei der späteren Anwendung (Inference) hervorragend, um die Modelle schneller zu machen.

Aber als sie diese Methode während des Trainings anwendeten, schlug es fehl und erzeugte einen „Mismatch“ (eine Diskrepanz).

Die Analogie: Stellen Sie sich vor, Sie hätten den Schüler immer nur mit einer 10-seitigen Zusammenfassung eines Buches trainiert. Dann überreichen Sie ihm bei der Abschlussprüfung das vollständige 1.000-seitige Buch. Der Schüler würde Panik bekommen und durchfallen, weil er nie gelernt hat, mit der Vollversion umzugehen. Er hat sich zu sehr an die Kurzfassung gewöhnt.

Die Lösung: DualSpeed (Das „Schnell-Langsam“-Trainingslager)
Die Autoren dieser Arbeit, Dingkun Zhang und sein Team, entwickelten ein neues Trainings-Framework namens DualSpeed. Betrachten Sie es als ein Zwei-Spur-Trainingslager, das zwischen zwei Modi hin und her wechselt, um das Mismatch-Problem zu lösen.

Die Schnelle Spur (Das schnelle Üben):
- Die meiste Zeit (etwa 90 % der Sitzungen) trainiert das Modell im „Fast Mode“.
- Hier nutzen sie die „Pruning“-Technik, um die nutzlosen visuellen Token herauszuschneiden. Das Modell lernt schnell aus den effizienten, gekürzten Zusammenfassungen.
- Um dem Modell zu helfen, sich zu merken, welche Version es gerade vor sich hat, fügen sie am Anfang der Kurzfassung ein winziges, unsichtbares „Namensschild“ (einen sogenannten Mode Isolator) hinzu. Dies sagt dem Modell: „Hey, das ist die gekürzte Version; konzentriere dich auf die wesentlichen Details.“
Die Langsame Spur (Die Voll-Buch-Rezension):
- Gelegentlich (etwa 10 % der Zeit) wechselt das Modell in den „Slow Mode“.
- Hier zeigen sie dem Modell das vollständige, ungekürzte Bild (alle 1.000 Seiten).
- Um sicherzustellen, dass das Modell während dieser seltenen Sitzungen nicht nachlässig wird, verwenden sie einen Trick namens Self-Distillation. Der „Fast Mode“ (der bereits viel gelernt hat) fungt als Lehrer, der dem „Slow Mode“-Schüler die Antworten zuflüstert. Dies stellt sicher, dass der Schüler die Vollversion effektiv lernt, auch wenn er sie seltener sieht.

Das Ergebnis: Das Beste aus beiden Welten
Durch das Mischen dieser beiden Modi erhält das Modell die Geschwindigkeit der schnellen Spur, behält aber die Fähigkeit bei, die volle, komplexe Welt der langsamen Spur zu bewältigen.

Geschwindigkeit: Sie trainierten Modelle 2,1-mal bis 4,0-mal schneller als zuvor.
Leistung: Trotz der Geschwindigkeit wurden die Modelle nicht dümmer. Sie behielten über 99 % ihrer ursprünglichen Leistung bei.
Flexibilität: Das fertige Modell ist klug genug, um sowohl die kurzen Zusammenfassungen (wenn man später Geschwindigkeit möchte) als auch die vollständigen Bilder (wenn man maximale Genauigkeit möchte) zu verarbeiten.

Zusammenfassend
Die Arbeit behauptet, dass man durch ein „Schnell-Langsam“-Wechselsystem diese massiven KI-Modelle viel schneller trainieren kann, ohne dass sie verlernen, die vollständigen Bücher zu lesen. Sie fanden heraus, dass etwa 90 % der visuellen Token während des Trainings tatsächlich redundant sind, und dass man durch das kluge Wegschneiden dieser Token (während man gelegentlich mit der Vollversion übt) massiv Zeit und Geld sparen kann, ohne die Intelligenz zu verlieren.

Technisches Resümee: DualSpeed für effizientes MLLM-Training

1. Problemstellung

Multimodale Large Language Models (MLLMs) stehen vor einem kritischen Engpass in der Trainingseffizienz aufgrund ihrer massiven Modellgrößen und des enormen Volumens an visuellen Token, die aus hochauflösenden Eingaben generiert werden. Während sich bestehende effiziente Trainingsmethoden darauf konzentrieren, die Modellparameter oder die trainierbaren Parameter zu reduzieren, übersehen sie oft das Potenzial, die Anzahl der Trainings-Token zu reduzieren.

Visual Token Pruning (VTP) hat sich als effektiv erwiesen, um die Inferenz-Effizienz zu verbessern, indem redundante visuelle Token (z. B. Hintergrund oder repetitive Texturen) verworfen werden. Die direkte Anwendung von VTP während der Trainingsphase führt jedoch zu einem schwerwiegenden Training-Inferenz-Mismatch. Modelle, die auf geprunten Sequenzen trainiert wurden, haben Schwierigkeiten, bei der Inferenz auf vollen, nicht-geprunten visuellen Sequenzen effektiv zu arbeiten. Diese Lücke entsteht durch Diskrepanzen in der Sequenzlänge, der Informationsdichte und der räumlichen Struktur zwischen den Trainings- und Inferenz-Datenverteilungen. Folglich führt das einfache Pruning von Token während des Trainings zu einer signifikanten Leistungsdegradation in Standard-Inferenzszenarien.

2. Methodik: DualSpeed

Um den Training-Inferenz-Mismatch zu adressieren und gleichzeitig die Effizienz von VTP zu nutzen, schlagen die Autoren DualSpeed vor, ein Fast-Slow-Framework für das MLLM-Training. Das Framework arbeitet durch das zufällige Umschalten zwischen zwei distinkten Modi während des Trainingsprozesses:

A. Fast-Mode (Primärer Effizienzmodus)

Ziel: Maximierung der Trainingsgeschwindigkeit durch Reduzierung der visuellen Token.
Mechanismus: Dieser Modus integriert bestehende VTP-Methoden als Plugins, um die visuelle Token-Sequenz zu prunen.
Mode Isolator: Um sicherzustellen, dass das Modell zwischen geprunteten und vollen Eingaben unterscheiden kann, wird ein lernbarer Mode Isolator (ein Soft-Prompt der Länge $l$ ) als Präfix an die geprunte visuelle Sequenz angehängt. Dies fordert das LLM explizit dazu auf, ein spezifisches Wahrnehmungsmuster für spärliche Eingaben zu aktivieren. Beim Verarbeiten voller Sequenzen wird dieser Isolator deaktiviert.
Trainingsziel: Standardmäßige Cross-Entropy-Loss auf der geprunten Sequenz (mit dem Isolator).

B. Slow-Mode (Auxiliärer Konsistenzmodus)

Ziel: Aufrechterhaltung der Trainings-Inferenz-Konsistenz durch Lernen von vollen visuellen Sequenzen.
Mechanismus: Das Modell wird auf nicht-geprunten, vollen visuellen Sequenzen trainiert.
Selbst-Distillation: Da der Slow-Mode seltener aktiviert wird (gesteuert durch die Wahrscheinlichkeit $r$ ), wird sein Lernen mittels Selbst-Distillation verstärkt. Der ausreichend trainierte Fast-Mode fungiert als „Lehrer“ (Teacher), und der Slow-Mode fungiert als „Schüler“ (Student). Sie teilen dieselben Modellparameter, unterscheiden sich jedoch in den Input-Sequenzen. Der Schüler minimiert die Kullback–Leibler-Divergenz zwischen seinen Output-Logits und den Logits des Lehrers (berechnet auf der geprunten Sequenz).
Trainingsziel: Eine Kombination aus Cross-Entropy-Loss auf der vollen Sequenz und dem Distillations-Loss.

C. Übergreifende Trainingsstrategie

Das Framework wechselt pro Batch basierend auf einer Wahrscheinlichkeit $r$ zwischen den Modi. In Phasen, in denen das LLM-Backbone eingefroren ist (z. B. beim Pretraining), wird nur der Fast-Mode aktiviert, um die Effizienz weiter zu steigen. Während der Inferenz operiert das Modell ausschließlich auf vollen, nicht-geprunten visuellen Sequenzen ohne den Mode Isolator, was eine ungebrochene Performance gewährleistet.

3. Zentrale Beiträge

Identifizierung einer Schlüsselherausforderung: Die Arbeit identifiziert und analysiert den Training-Inferenz-Mismatch als primäre Barriere für die Anwendung von Visual Token Pruning während des Trainings von MLLMs.
DualSpeed-Framework: Der Vorschlag eines kollaborativen Fast-Slow-Trainings-Frameworks, das VTP-Plugins integriert und gleichzeitig die Konsistenz durch einen Mode Isolator und Selbst-Distillation bewahrt.
Empirische Validierung: Der Nachweis, dass das Framework eine signifikante Trainingsbeschleunigung (bis zu 4,0×) erreicht, während es nahezu 99 % der Baseline-Performance über verschiedene MLLM-Architekturen und Auflösungen hinweg beibehält.

4. Experimentelle Ergebnisse

Die Autoren evaluierten DualSpeed auf LLaVA-1.5 und LLaVA-NeXT unter Verwendung von 9 repräsentativen Benchmarks für visuelles Verständnis (z. B. VQAv2, GQA, MME, MMBench).

Trainingsbeschleunigung:
- LLaVA-1.5: Erzielte eine 2,1× allgemeine Trainingsbeschleunigung (mit einer 5,8× Beschleunigung in der Pretraining-Phase).
- LLaVA-NeXT: Erzielte eine 4,0× allgemeine Trainingsbeschleunigung (mit einer 5,3× Beschleunigung im Pretraining), was auf den höheren Anteil an visuellen Token in hochauflösenden Modellen zurückzuführen ist.
Performance-Retention:
- DualSpeed behielt 99,61 % der Baseline-Performance bei LLaVA-1.5 und 99,04 % bei LLaVA-NeXT bei.
- Im Gegensatz dazu führte eine naive Anwendung von Pruning (NaivePrune) zu einer Performance-Retention von nur etwa 95,89 %, was die Schwere der Training-Inferenz-Lücke verdeutlicht.
Schließung der Lücke: Das Framework konnte eine Performance-Lücke von etwa 3,72 % im Vergleich zu naiven Pruning-Methoden erfolgreich schließen und brachte die Leistung des Modells nahezu auf das Niveau des Full-Training-Baselines.
Redundanzanalyse: Experimente zeigten, dass bis zu 90 % der visuellen Token während des Trainings ohne signifikanten Leistungsverlust gepruned werden können, sofern das DualSpeed-Framework verwendet wird.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass DualSpeed einen neuartigen Weg zur Skalierung des MLLM-Trainings bietet, indem es den Rechenengpass der visuellen Token adressiert, ohne die Modellkapazität zu opfern. Das Framework ermöglicht durch die Entkopplung der Effizienzgewinne des Prunings von den Konsistenzanforderungen der Inferenz:

Ressourceneffizienz: Drastische Reduktion der Trainingszeit und der Rechenkosten.
Skalierbarkeit: Die Fähigkeit, hochauflösende Modelle (wie LLaVA-NeXT) praktikabler zu trainieren.
Robustheit: Die resultierenden Modelle sind natürlich kompatibel mit sowohl normaler Inferenz (volle Sequenzen) als auch Pruning-Inferenz (geprunte Sequenzen), da der Trainingsprozess beide Datenverteilungen explizit berücksichtigt.

Die Autoren betonen, dass ihr Ansatz keine architektonischen Änderungen an den VTP-Methoden selbst erfordert, was eine nahtlose Integration bestehender Pruning-Techniken als Plugins in die Trainings-Pipeline ermöglicht.