🤖 machine learning

Fast-Slow Efficient Training for Multimodal Large Language Models via Visual Token Pruning

Dit artikel stelt DualSpeed voor, een fast-slow trainingsframework dat visuele token-pruning combineert voor efficiëntie met een full-sequence auxiliary mode en zelf-distillatie om training-inferentie mismatch te verhelpen, waardoor de training van MLLM's met wel 4,0 $\times$ wordt versneld zonder de prestaties in gevaar te brengen.

Oorspronkelijke auteurs: Dingkun Zhang, Shuhan Qi, Yulin Wu, Xinyu Xiao, Xuan Wang, Long Chen

Gepubliceerd 2026-02-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Dingkun Zhang, Shuhan Qi, Yulin Wu, Xinyu Xiao, Xuan Wang, Long Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer intelligente student (een Multimodaal Groot Taalmodel) probeert te leren de wereld te begrijpen door hem duizenden afbeeldingen te laten zien.

Het Probleem: De "Te Veel Informatie"-bottleneck
Op dit moment zijn deze modellen als studenten die overweldigd raken. Wanneer je ze een afbeelding laat zien, breekt de computer deze af in honderden of zelfs duizenden kleine stukjes die "visuele tokens" worden genoemd. Het is alsof je de student voor elke enkele afbeelding een boek van 1.000 pagina's overhandigt, terwijl de meeste pagina's alleen maar uit blanco witte ruimte of repetitieve patronen bestaan.

Het proberen te lezen van al die pagina's kost een eeuwigheid. Dit maakt het trainen van deze modellen ongelooflijk traag, duur en energieverslindend.

Het Oude Idee: De "Knippen-en-Plakken"-fout
Onderzoekers realiseerden zich dat veel van die pagina's nutteloos zijn. Ze probeerden een techniek genaamd Visual Token Pruning, wat lijkt op het gebruik van een markeerstift om de saaie, overbodige pagina's door te strepen voordat je het boek aan de student laat zien. Dit werkt geweldig tijdens het testen van de student later (inferentie), waardoor ze sneller worden.

Maar toen ze deze methode tijdens de training probeerden te gebruiken, werkte het averechts. Het creëerde een "mismatch".

De Analogie: Stel je voor dat je de student alleen traint op een samenvatting van 10 pagina's van een boek. En dan, tijdens het eindexamen, overhandig je ze het volledige boek van 1.000 pagina's. De student raakt in paniek en faalt omdat hij nooit heeft geleerd hoe hij de volledige versie moet verwerken. Hij is te gewend geraakt aan de korte versie.

De Oplossing: DualSpeed (Het "Snel-Langzaam" Trainingskamp)
De auteurs van dit paper, Dingkun Zhang en zijn team, hebben een nieuw trainingsframework ontwikkeld genaamd DualSpeed. Denk aan een tweesporen-trainingskamp dat willekeurig heen en weer schakelt om het mismatch-probleem op te lossen.

De Snelle Rijbaan (De Snelle Oefening):
- De meeste tijd (ongeveer 90% van de sessies) traint het model in de "Snelle Modus".
- Hier gebruiken ze de "pruning"-techniek om de nutteloze visuele tokens eruit te snijden. Het model leert snel van de korte, efficiënte samenvattingen.
- Om het model te helpen onthouden welke versie het bekijkt, voegen ze een klein, onzichtbaar "naamkaartje" (een Mode Isolator genoemd) toe aan het begin van de korte samenvatting. Dit vertelt het model: "Hé, dit is de verkorte versie; focus op de belangrijkste details."
De Langzame Rijbaan (De Volledige Boekbehandeling):
- Af en toe schakelt het model over naar de "Langzame Modus".
- Hier laten ze het model de volledige, niet-geprunede afbeelding zien (alle 1.000 pagina's).
- Om ervoor te zorgen dat het model niet lui wordt tijdens deze zeldzame sessies, gebruiken ze een truc genaamd Self-Distillation. De "Snelle Modus" (die al veel heeft geleerd) fungeert als een leraar die de antwoorden in het oor van de "Langzame Modus"-student fluistert. Dit zorgt ervoor dat de student de volledige versie effectief leert, ook al ziet hij deze minder vaak.

Het Resultaat: Het Beste van Beide Werelden
Door deze twee modi te mengen, krijgt het model de snelheid van de Snelle Rijbaan, maar behoudt het het vermogen om de volledige, complexe wereld van de Langzame Rijbaan aan te kunnen.

Snelheid: Ze trainden modellen 2,1 tot 4,0 keer sneller dan voorheen.
Prestaties: Ondanks de snelheid werden de modellen niet dommer. Ze behielden meer dan 99% van hun oorspronkelijke prestaties.
Flexibiliteit: Het uiteindelijke model is slim genoeg om zowel de korte samenvattingen (als je later voor snelheid wilt gaan) als de volledige afbeeldingen (als je voor maximale nauwkeurigheid wilt gaan) aan te kunnen.

Samenvattend
Het paper stelt dat door een "Snel-Langzaam" schakelsysteem te gebruiken, ze deze enorme AI-modellen veel sneller kunnen trainen zonder dat ze vergeten hoe ze de volledige boeken moeten lezen. Ze ontdekten dat ongeveer 90% van de visuele tokens eigenlijk overbodig is tijdens de training, en dat door ze slim weg te snijden (en af en toe te oefenen met de volledige versie), ze enorme hoeveelheden tijd en geld kunnen besparen zonder intelligentie te verliezen.

Technische Samenvatting: DualSpeed voor Efficiënte MLLM-training

1. Probleemstelling

Multimodale Large Language Models (MLLM's) kampen met een kritieke flessenhals in de efficiëntie van de training vanwege hun enorme modelgroottes en de enorme hoeveelheid visuele tokens die gegenereerd worden uit hoogresolutie-inputs. Hoewel bestaande efficiënte trainingsmethoden zich richten op het verminderen van modelparameters of trainbare parameters, negeren zij vaak het potentieel van het verminderen van het aantal trainings-tokens.

Visual Token Pruning (VTP) is effectief gebleken voor het verbeteren van de efficiëntie tijdens de inferentie door redundante visuele tokens (bijv. achtergrond of repetitieve texturen) te verwijderen. Het direct toepassen van VTP tijdens de trainingsfase introduceert echter een ernstige training-inferentie mismatch. Modellen die getraind zijn op geprunede sequenties hebben moeite om effectief te presteren tijdens de inferentie op volledige, niet-geprunede visuele sequenties. Deze kloof ontstaat door discrepanties in sequentielengte, informatiedichtheid en ruimtelijke structuur tussen de trainings- en inferentiedata-distributies. Bijgevolg leidt het simpelweg prunen van tokens tijdens de training tot significante prestatievermindering in standaard inferentiescenario's.

2. Methodologie: DualSpeed

Om de training-inferentie mismatch aan te pakken terwijl de efficiëntie van VTP wordt benut, stellen de auteurs DualSpeed voor, een fast-slow framework voor MLLM-training. Het framework werkt door willekeurig te schakelen tussen twee verschillende modi tijdens het trainingsproces:

A. Fast-Mode (Primaire Efficiëntie-modus)

Doel: De trainingssnelheid maximaliseren door het aantal visuele tokens te verminderen.
Mechanisme: Deze modus incorporeert bestaande VTP-methoden als plugins om de visuele tokensequentie te prunen.
Mode Isolator: Om ervoor te zorgen dat het model onderscheid kan maken tussen geprunede en volledige inputs, wordt een leerbare Mode Isolator (een soft prompt van lengte $l$ ) als prefix aan de geprunede visuele sequentie geconcateneerd. Dit instrueert de LLM expliciet om een specifiek perceptiepatroon te activeren dat geschikt is voor ijle (sparse) inputs. Bij het verwerken van volledige sequenties wordt deze isolator uitgeschakeld.
Trainingsdoel: Standaard Cross-Entropy loss op de geprunede sequentie (met de isolator).

B. Slow-Mode (Auxiliaire Consistentie-modus)

Doel: De training-inferentie consistentie behouden door te leren van volledige visuele sequenties.
Mechanisme: Het model wordt getraind op niet-geprunede, volledige visuele sequenties.
Zelf-distillatie: Omdat de slow-mode minder frequent wordt geactiveerd (gestuurd door waarschijnlijkheid $r$ ), wordt het leerproces geboost via zelf-distillatie. De voldoende getrainde Fast-Mode fungeert als een "leraar" (teacher), en de Slow-Mode fungeert als een "leerling" (student). Ze delen dezelfde modelparameters maar verschillen in inputsequenties. De student minimaliseert de Kullback–Leibler (KL) divergentie tussen zijn output-logits en de logits van de leraar (berekend op de geprunede sequentie).
Trainingsdoel: Een combinatie van Cross-Entropy loss op de volledige sequentie en de distillatie-loss.

C. Algemene Trainingsstrategie

Het framework schakelt per batch tussen modi op basis van een waarschijnlijkheid $r$ . Tijdens fasen waarin de LLM-backbone bevroren is (bijv. pretraining), wordt alleen de Fast-Mode geactiveerd om de efficiëntie verder te verhogen. Tijdens de inferentie werkt het model uitsluitend op volledige, niet-geprunede visuele sequenties zonder de Mode Isolator, wat zorgt voor ongecompromitteerde prestaties.

3. Belangrijkste Bijdragen

Identificatie van een Cruciale Uitdaging: Het artikel identificeert en analyseert de training-inferentie mismatch als een primaire barrière voor het toepassen van Visual Token Pruning tijdens de training van MLLM's.
DualSpeed Framework: Het voorstel van een collaboratief fast-slow trainingsframework dat VTP-plugins integreert terwijl de consistentie behouden blijft door middel van een Mode Isolator en zelf-distillatie.
Empirische Validatie: Demonstratie dat het framework een significante trainingsversnelling (tot 4,0×) bereikt terwijl bijna 99% van de baseline-prestaties behouden blijft over verschillende MLLM-architecturen en resoluties.

4. Experimentele Resultaten

De auteurs evalueerden DualSpeed op LLaVA-1.5 en LLaVA-NeXT met behulp van 9 representatieve benchmarks voor visueel begrip (bijv. VQAv2, GQA, MME, MMBench).

Trainingsversnelling:
- LLaVA-1.5: Bereikte een algehele trainingsversnelling van 2,1× (met een 5,8× versnelling in de pretraining-fase).
- LLaVA-NeXT: Bereikte een algehele trainingsversnelling van 4,0× (met een 5,3× versnelling in pretraining), toegeschreven aan het hogere aandeel visuele tokens in hoogresolutie-modellen.
Prestatiebehoud:
- DualSpeed behield 99,61% van de baseline-prestaties op LLaVA-1.5 en 99,04% op LLaVA-NeXT.
- In tegenstelling hiermee resulteerde een naïeve toepassing van pruning (NaivePrune) in slechts ~95,89% prestatiebehoud, wat de ernst van de training-inferentie kloof benadrukt.
Kloofverkleining: Het framework slaagde erin een prestatiekloof van ongeveer 3,72% te dichten ten opzichte van naïeve pruning-methoden, waardoor de prestaties van het model bijna het niveau van de volledige-training baseline bereikten.
Redundantie-analyse: Experimenten gaven aan dat tot wel 90% van de visuele tokens tijdens de training gepruned kan worden zonder significant prestatieverlies, mits het DualSpeed-framework wordt gebruikt.

5. Betekenis en Claims

Het artikel claimt dat DualSpeed een nieuw pad biedt om de training van MLLM's te schalen door de computationele bottleneck van visuele tokens aan te pakken zonder de modelcapaciteit op te offeren. Door de efficiëntievoordelen van pruning te ontkoppelen van de consistentie-eisen van inferentie, maakt het framework het volgende mogelijk:

Resource-efficiëntie: Drastische reductie van de trainingstijd en computationele kosten.
Schaalbaarheid: De mogelijkheid om hoogresolutie-modellen (zoals LLaVA-NeXT) haalbaarder te trainen.
Robuustheid: De resulterende modellen zijn van nature compatibel met zowel normale inferentie (volledige sequenties) als pruning-inferentie (geprunede sequenties), aangezien het trainingsproces expliciet rekening houdt met beide data-distributies.

De auteurs benadrukken dat hun aanpak geen architecturale wijzigingen vereist van de VTP-methoden zelf, waardoor bestaande pruning-technieken naadloos geïntegreerd kunnen worden als plugins in de trainingspipeline.