💬 NLP

ReGATE: Learning Faster and Better with Fewer Tokens in MLLMs

ReGATE ist ein Lehrer-Schüler-Framework, das das Training multimodaler großer Sprachmodelle beschleunigt, indem es redundante Token mithilfe von Leitungsverlusten und Schwierigkeitsschätzungen adaptiv beschneidet, wodurch eine schnellere Konvergenz und überlegene Leistung bei gleichzeitiger erheblicher Reduzierung des gesamten Tokenverbrauchs erreicht werden.

Ursprüngliche Autoren: Chaoyu Li, Yogesh Kulkarni, Pooyan Fazli

Veröffentlicht 2026-04-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chaoyu Li, Yogesh Kulkarni, Pooyan Fazli

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten Roboter beizubringen, Videos zu verstehen. Der aktuelle Standardweg, dies zu tun, gleicht dem Zwang, den Roboter jedes einzelne Wort in einem Skript zu lesen, auch die langweiligen wie „der", „ist" oder „und", während er einen Film anschaut. Dies ist unglaublich langsam, teuer und verschwendet viel Energie, weil der Roboter unnötige Arbeit verrichtet.

Die Arbeit stellt eine neue Methode namens REGATE (Reference-Guided Adaptive Token Elision) vor. Stellen Sie sich REGATE als einen super-effizienten Lerncoach vor, der dem Roboter hilft, schneller zu lernen, indem es ihm genau sagt, auf welche Wörter er sich konzentrieren und welche er überspringen soll.

Hier ist die Funktionsweise, erläutert mit einfachen Analogien:

1. Das Problem: Das gesamte Skript lesen

Auf die alte Weise (Standard-Training) verarbeitet der Roboter jedes „Token" (ein Textstück) in einer Videobeschreibung.

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine neue Sprache zu lernen, indem Sie ein Buch lesen, in dem jedes einzelne Wort in leuchtendem Neon hervorgehoben ist. Sie verbringen Stunden damit, auf gängige Wörter wie „der" und „ein" zu starren, die Ihnen eigentlich nichts über die Geschichte beibringen. Sie werden müde, und Sie lernen langsam.

2. Die Lösung: Der „Lehrer" und der „Schüler"

REGATE nutzt ein Zwei-Personen-Team:

Der Schüler: Dies ist das Haupt-Robotermodell, das wir trainieren möchten. Es betrachtet sowohl das Video als auch den Text.
Der Lehrer: Dies ist eine „eingefrorene" (unveränderliche) Version des Roboters, die nur den Text sieht. Sie kann das Video nicht sehen.

Wie sie zusammenarbeiten:
Der Lehrer betrachtet einen Satz und fragt: „Kann ich erraten, was dieses Wort bedeutet, nur indem ich den Text lese, ohne das Video zu sehen?"

Wenn das Wort „der" oder „ist" ist, sagt der Lehrer: „Einfach! Das kenne ich."
Wenn das Wort „rot", „drehend" oder „mischend" ist, sagt der Lehrer: „Wow, das kann ich erraten, ohne das Bild zu sehen! Dieses Wort braucht das Video."

3. Der „Schwierigkeits-Score"

REGATE kombiniert die Vermutung des Lehrers mit der eigenen Historie des Schülers.

Die Analogie: Stellen Sie sich vor, der Schüler macht einen Probetest. REGATE führt ein Protokoll darüber, bei welchen Fragen der Schüler immer wieder scheitert.
Wenn der Lehrer sagt: „Sie brauchen das Video für dieses Wort", UND der Schüler zuvor bei ähnlichen Wörtern Schwierigkeiten hatte, markiert REGATE dieses Wort als „Hohe Priorität".
Wenn der Lehrer sagt: „Ich kenne dieses Wort", und der Schüler es bereits gemeistert hat, markiert REGATE es als „Überspringen".

4. Das Ergebnis: Der „intelligente Sprung"

Während des Trainings erstellt REGATE eine Maske. Es sagt dem Roboter: „Lesen Sie diese wichtigen Wörter, aber überspringen Sie die langweiligen."

Die Analogie: Anstatt das ganze Buch Seite für Seite zu lesen, liest der Roboter nun nur noch die hervorgehobenen Sätze, die die Geschichte tatsächlich voranbringen. Er ignoriert die Füllwörter.
Der Vorteil: Der Roboter leistet 40 % weniger Arbeit (verarbeitet weniger Token), lernt aber genauso gut oder sogar besser, weil er keine Energie für Dinge verschwendet, die er bereits kennt.

Was die Arbeit behauptet (Die Ergebnisse)

Die Autoren testeten dies an drei verschiedenen Arten von Video-lernenden Robotern:

VideoChat2
VideoLLaMA2
InternVL3.5

Sie stellten fest, dass:

Geschwindigkeit: Die Roboter ihre Spitzenleistung zweimal so schnell erreichten wie üblich.
Effizienz: Sie verwendeten nur 38 % der Token (Wörter/Stücke) im Vergleich zur Standardmethode.
Genauigkeit: In vielen Fällen wurden die mit REGATE trainierten Roboter tatsächlich klüger als die, die auf die alte Weise trainiert wurden, insbesondere bei komplexen Video-Fragen.
Keine zusätzlichen Kosten: Diese Methode erfordert keinen neuen Roboter oder zusätzliche Teile; sie ändert nur, wie der Roboter während des Trainings liest.

Zusammenfassung

REGATE ist wie ein intelligenter Filter für das Training von KI. Anstatt die KI dazu zu bringen, jedes einzelne Wort in einem Skript zu lesen, nutzt es einen „nur-Text"-Experten, um zu identifizieren, welche Wörter tatsächlich den Videokontext benötigen, um verstanden zu werden. Indem es die einfachen, redundanten Wörter überspringt, lernt die KI schneller, verbraucht weniger Strom und endet oft klüger, als wenn sie alles gelesen hätte.

1. Problemstellung

Multimodale Large Language Models (MLLMs) stoßen während des Trainings auf erhebliche rechnerische Engpässe, die hauptsächlich durch die quadratische Komplexität des Selbst-Aufmerksamkeitsmechanismus in Bezug auf die Länge der Eingabesequenz verursacht werden. Dieses Problem wird bei Videoaufgaben verschärft, bei denen Frames in extrem lange Sequenzen tokenisiert werden.

Grenzen bestehender Methoden: Aktuelle Effizienzstrategien (Token-Pruning, -Merging, -Kompression) zielen weitgehend auf die Inferenz unter Verwendung statischer oder vorab bewerteter Token ab. Sie versagen darin, sich während der Trainingsphase dynamisch anzupassen.
Ineffizienz beim Training: Beim Standardtraining verarbeitet das Modell jeden Token in jedem Vorwärts- und Rückwärtspass, unabhängig davon, ob der Token redundant ist oder allein aus dem Text leicht vorhersehbar ist. Dies verschwendet erhebliche Rechenressourcen und begrenzt die Fähigkeit, auf längere Kontexte und größere Datensätze zu skalieren.
Die Lücke: Es fehlt an prinzipiellen, adaptiven Methoden zur Schätzung der Token-Bedeutung während des Trainings, die multimodale Abhängigkeiten erfassen, ohne auf Heuristiken (wie zufälliges Weglassen) zurückzugreifen oder architektonische Änderungen einzuführen.

2. Methodik: REGATE

Die Autoren schlagen REGATE (Reference-Guided Adaptive Token Elision) vor, ein Framework, das darauf ausgelegt ist, das Training von MLLMs zu beschleunigen, indem es dynamisch informative Token auswählt und redundante überspringt.

Kernarchitektur: Lehrer-Schüler-Framework

Schülermodell: Das MLLM, das trainiert wird (z. B. VideoChat2, VideoLLaMA2, InternVL3.5).
Lehrermodell: Eine eingefrorene, rein textbasierte Version des LLM-Rückgrats des Schülers. Sie wird erstellt, indem der visuelle Encoder und der Projektor aus dem Schülermodell entfernt werden.
Mechanismus: Der Lehrer fungiert als Referenz-Experte, um abzuschätzen, wie stark ein bestimmter Token auf visuellen Kontext angewiesen ist.

Token-Bewertungsmechanismus

REGATE berechnet einen einheitlichen Schwierigkeitswert ( $d_{b,i}$ ) für jeden Token basierend auf zwei komplementären Signalen:

Referenzverlust ( $\ell^{ref}_{b,i}$ ): Das Lehrermodell versucht, den Token unter Verwendung nur des textuellen Kontexts vorherzusagen (wobei visuelle Token durch Platzhalter ersetzt werden).
- Niedriger Verlust: Der Token ist allein aus dem Text vorhersehbar (redundant).
- Hoher Verlust: Der Token erfordert visuelle Verankerung (kritisch).
Historische Schüler-Schwierigkeit ( $m_{s,i}$ ): Ein Exponentieller Gleitender Durchschnitt (EMA) des Kreuzentropie-Verlusts des Schülers für diese Token-Position über die Zeit. Dies verfolgt Token, mit denen der Schüler konsistent Schwierigkeiten beim Lernen hat.

Die kombinierte Bewertung wird wie folgt formuliert:
$d_{b,i} = m_{s,i} + \lambda \ell^{ref}_{b,i}$
Wobei $\lambda$ das statische Referenzsignal und das dynamische Lernsignal des Schülers ausbalanciert.

Dynamisches Token-Gating und Sparsamkeit

Maskengenerierung: Für jeden Batch wird eine binäre Maske generiert, indem die Top- $k$ Token mit den höchsten kombinierten Schwierigkeitswerten ausgewählt werden.
Erhaltung visueller Token: Spezielle visuelle Token (z. B. <image>, <video>) werden immer beibehalten, um die multimodale Struktur zu erhalten, unabhängig von ihrem Schwierigkeitswert.
Dual-Zyklus-Planung: Um Stabilität zu gewährleisten, setzt REGATE einen deterministischen Plan ein:
- Warm-up-Phase: Alle Token werden für die ersten $F$ Schritte jedes Zyklus verarbeitet.
- Sparsame Phase: Nur ein fester Anteil ( $p_{sparse}$ ) der Token wird für die verbleibenden Schritte verarbeitet.
Implementierung des spärlichen Decoders: Der Transformer-Decoder wird modifiziert, um Selbst-Aufmerksamkeit und Feed-Forward-Netzwerk (FFN)-Operationen nur auf aktive (beibehaltene) Token durchzuführen. Inaktive Token umgehen die Berechnung, behalten jedoch residuale Verbindungen bei, um die Kontinuität des Gradientenflusses zu erhalten. Dies wird effizient unter Verwendung von Flash-Aufmerksamkeits-Masken implementiert.

3. Hauptbeiträge

Adaptives Trainings-Pruning: Einführung der ersten adaptiven Token-Pruning-Methode speziell für das MLLM-Training, die visuell essentielle Token dynamisch identifiziert, ohne trainierbare Parameter hinzuzufügen.
Modellagnostisch und Architekturfrei: REGATE lässt sich nahtlos in bestehende MLLMs integrieren (einschließlich solcher, die LoRA oder vollständiges Fine-Tuning verwenden), ohne die Modellarchitektur zu ändern oder zusätzliche lernfähige Komponenten zu erfordern.
Dual-Signal-Leitung: Ein neuartiger Bewertungsmechanismus, der einen statischen cross-modalen Referenzverlust (von einem rein textbasierten Lehrer) mit der dynamischen Lernhistorie des Schülers kombiniert und effektiv Token isoliert, die sowohl visuell kritisch als auch schwer zu lernen sind.

4. Experimentelle Ergebnisse

Die Autoren bewerteten REGATE an drei repräsentativen MLLMs: VideoChat2 (Mistral-7B), VideoLLaMA2 (Qwen2-7B) und InternVL3.5 (Qwen3-14B) über 5 Bild- und 8 Video-Benchmarks hinweg.

Effizienzgewinne

Token-Reduktion: REGATE erreicht die Spitzenleistung unter Verwendung von durchschnittlich nur 38% der Token im Vergleich zum Standardtraining.
Trainingsgeschwindigkeit: Es erreicht die Spitzenleistung des Baseline-Modells auf dem MVBench-Benchmark 2x schneller.
Ressourceneinsparungen:
- VideoLLaMA2: Reduzierte die Trainingszeit von 129,6 auf 64,0 GPU-Stunden (bei aggressivem Pruning) bei gleicher Genauigkeit.
- InternVL3.5: Reduzierte die Token-Nutzung um 41,4% und die Trainingszeit um ca. 40%, während die Baseline-Genauigkeit übertroffen wurde.
- Speicher: Reduzierte die durchschnittliche pro-GPU-Speichernutzung um 7–8 GB (ca. 10–11%) über alle Modelle hinweg.

Leistungsgenauigkeit

Übertreffen der Baselines: Bei verlängertem Training übertrafen REGATE-Modelle die Standard-Baselines konsistent über mehrere Benchmarks hinweg.
- Beispiel: VideoLLaMA2-REGATE verbesserte die ScienceQA-Genauigkeit um 19,1% und MME um 33,1 Punkte, bei gleichzeitiger Verwendung von 41% weniger Token.
- Beispiel: InternVL3.5-REGATE erreichte eine höhere Genauigkeit auf den Benchmarks Video-MME und MLVU mit deutlich weniger Token.
Generalisierung: Die Methode erwies sich als effektiv über verschiedene Rückgrate (Mistral, Qwen) und Trainingsstrategien (Vollständiges Fine-Tuning, LoRA) hinweg.

5. Bedeutung und Fazit

REGATE adressiert einen kritischen Engpass beim Skalieren von MLLMs: die Rechenkosten des Trainings auf langen multimodalen Sequenzen.

Paradigmenwechsel: Es verlagert die Token-Effizienz von einem reinen Inferenz-Anliegen zu einer Optimierung während des Trainings und beweist, dass Modelle besser (höhere Genauigkeit) und schneller lernen können, indem sie sich auf die informativsten Datenpunkte konzentrieren.
Praktikabilität: Da keine architektonischen Änderungen und keine zusätzlichen trainierbaren Parameter erforderlich sind, bietet REGATE eine Plug-and-Play-Lösung für Forscher und Praktiker, um größere Modelle auf begrenzter Hardware zu trainieren.
Zukünftige Arbeiten: Die Autoren schlagen zukünftige Richtungen vor, darunter eine adaptive Sparsamkeitsplanung basierend auf der Aufgabenkomplexität und die Erforschung stärkerer Lehrermodelle für komplexere Schlussfolgerungsaufgaben.

Zusammenfassend zeigt REGATE, dass weniger mehr ist beim MLLM-Training: Durch das intelligente Überspringen redundanter Token konvergieren Modelle schneller, verbrauchen weniger Speicher und erreichen letztendlich ein überlegenes multimodales Verständnis.