ReGATE: Learning Faster and Better with Fewer Tokens in MLLMs

1. Probleemstelling

Multimodale Grote Taalmodellen (MLLM's) ondervinden aanzienlijke computatieflesneuzen tijdens het trainen, voornamelijk veroorzaakt door de kwadratische complexiteit van het self-attention-mechanisme ten opzichte van de lengte van de invoersequentie. Dit probleem wordt verergerd bij videotaken, waarbij frames worden getokeniseerd tot extreem lange sequenties.

• Beperkingen van bestaande methoden: Huidige efficiëntiestrategieën (token-pruning, samenvoegen, compressie) richten zich grotendeels op inference met statische of vooraf gescoorde tokens. Ze falen in het dynamisch aanpassen tijdens de trainingsfase.
• Inefficiëntie bij training: Bij standaard training verwerkt het model elke token in elke forward- en backward-pass, ongeacht of de token overbodig is of eenvoudig vanuit tekst alleen te voorspellen. Dit verspillen aanzienlijke rekenkracht en beperkt de mogelijkheid om te schalen naar langere contexten en grotere datasets.
• De kloof: Er ontbreekt een principiële, adaptieve methode om tokenbelang tijdens het trainen te schatten, die cross-modale afhankelijkheden vastlegt zonder te vertrouwen op heuristieken (zoals willekeurig weglaten) of architecturale wijzigingen.

2. Methodologie: REGATE

De auteurs stellen REGATE (Reference-Guided Adaptive Token Elision) voor, een raamwerk ontworpen om MLLM-training te versnellen door dynamisch informatieve tokens te selecteren en overbodige over te slaan.

Kernarchitectuur: Leerkracht-Leerling Framework

• Studentmodel: Het MLLM dat wordt getraind (bijv. VideoChat2, VideoLLaMA2, InternVL3.5).
• Leerkrachtmodel: Een bevroren, alleen-tekst versie van de LLM-ruggengraat van de student. Deze wordt gemaakt door de visuele encoder en projector uit het studentmodel te verwijderen.
• Mechanisme: De leerkracht fungeert als een referentie-expert om te schatten hoeveel een specifieke token afhankelijk is van visuele context.

Token-scoresysteem

REGATE berekent een uniforme moeilijkheidsscore ($d_{b,i}$) voor elke token op basis van twee complementaire signalen:

1. Referentieverlies ($\ell^{ref}_{b,i}$): Het leerkrachtmodel probeert de token te voorspellen met alleen de tekstuele context (waarbij visuele tokens zijn vervangen door placeholders).
   • Laag verlies: De token is alleen vanuit tekst voorspelbaar (overbodig).
   • Hoog verlies: De token vereist visuele gronding (kritiek).
2. Historische moeilijkheid van de student ($m_{s,i}$): Een Exponentiële Glijdende Gemiddelde (EMA) van het cross-entropyverlies van de student voor die tokenpositie in de loop van de tijd. Dit houdt tokens bij waar de student consequent moeite mee heeft om te leren.

De gecombineerde score wordt geformuleerd als:
$$d_{b,i} = m_{s,i} + \lambda \ell^{ref}_{b,i}$$
Waarbij $\lambda$ het statische referentiesignaal en het dynamische studentleersignaal in evenwicht brengt.

Dynamische Tokengating en Sparsiteit

• Maskergeneratie: Voor elke batch wordt een binair masker gegenereerd door de bovenste $k$ tokens met de hoogste gecombineerde moeilijkheidsscores te selecteren.
• Behoud van visuele tokens: Speciale visuele tokens (bijv. <image>, <video>) worden altijd behouden om de multimodale structuur te bewaren, ongeacht hun moeilijkheidsscore.
• Twee-cyclus schema: Om stabiliteit te waarborgen, hanteert REGATE een deterministisch schema:
  • Warm-up fase: Alle tokens worden verwerkt gedurende de eerste $F$ stappen van elke cyclus.
  • Spaarfase: Alleen een vast percentage ($p_{sparse}$) van de tokens wordt verwerkt voor de resterende stappen.
• Implementatie van spaardecoder: De transformer-decoder is aangepast om self-attention en Feed-Forward Network (FFN)-operaties alleen uit te voeren op actieve (behouden) tokens. Inactieve tokens omzeilen de berekening maar behouden residuale verbindingen om de continuïteit van de gradiëntstroom te bewaren. Dit wordt efficiënt geïmplementeerd met Flash Attention-masks.

3. Belangrijkste Bijdragen

1. Adaptieve trainingspruning: Introductie van de eerste adaptieve token-pruningmethode specifiek voor MLLM-training die dynamisch visueel essentiële tokens identificeert zonder trainbare parameters toe te voegen.
2. Modelonafhankelijk en architectuurvrij: REGATE integreert naadloos in bestaande MLLM's (inclusief die met LoRA of volledige fine-tuning) zonder de modelarchitectuur te wijzigen of extra leerbare componenten te vereisen.
3. Dubbel-signaal geleiding: Een nieuw scoresysteem dat een statische cross-modale referentieverlies (van een alleen-tekst leerkracht) combineert met een dynamische geschiedenis van studentleren, waardoor effectief tokens worden geïsoleerd die zowel visueel kritiek als moeilijk te leren zijn.

4. Experimentele Resultaten

De auteurs hebben REGATE geëvalueerd op drie representatieve MLLM's: VideoChat2 (Mistral-7B), VideoLLaMA2 (Qwen2-7B) en InternVL3.5 (Qwen3-14B) over 5 afbeeldings- en 8 videobenchmarks.

Efficiëntiewinst

• Tokenreductie: REGATE bereikt piekprecisie met gemiddeld slechts 38% van de tokens in vergelijking met standaardtraining.
• Trainingsnelheid: Het bereikt de piekprecisie van de baseline 2x sneller op de MVBench-benchmark.
• Ressourcenvoordeel:
  • VideoLLaMA2: Trainingsduur gereduceerd van 129,6 naar 64,0 GPU-uren (met agressieve pruning) terwijl de precisie gelijk bleef.
  • InternVL3.5: Tokengebruik gereduceerd met 41,4% en trainingsduur met ongeveer 40% terwijl de baseline-precisie werd overtroffen.
  • Geheugen: Het gemiddelde geheugengebruik per GPU gereduceerd met 7–8 GB (ongeveer 10–11%) voor alle modellen.

Prestatieprecisie

• Overtreffen van baselines: Bij verlengde training presteerden REGATE-modellen consequent beter dan standaard baselines over meerdere benchmarks.
  • Voorbeeld: VideoLLaMA2-REGATE verbeterde de ScienceQA-precisie met 19,1% en MME met 33,1 punten terwijl 41% minder tokens werden gebruikt.
  • Voorbeeld: InternVL3.5-REGATE bereikte een hogere precisie op de Video-MME- en MLVU-benchmarks met aanzienlijk minder tokens.
• Generalisatie: De methode bleek effectief over verschillende ruggengraten (Mistral, Qwen) en trainingsstrategieën (Volledige Fine-tuning, LoRA).

5. Betekenis en Conclusie

REGATE adresseert een kritieke bottleneck in het schalen van MLLM's: de rekenkosten van training op lange multimodale sequenties.

• Paradigmaverschuiving: Het verlegt token-efficiëntie van een uitsluitend inference-gerelateerde zorg naar een optimalisatie tijdens het trainen, en bewijst dat modellen beter (hogere precisie) en sneller kunnen leren door de berekening te focussen op de meest informatieve datapunten.
• Praktijktoepasbaarheid: Door geen architecturale wijzigingen en geen extra trainbare parameters te vereisen, biedt REGATE een drop-in oplossing voor onderzoekers en praktijkmensen om grotere modellen op beperkte hardware te trainen.
• Toekomstig werk: De auteurs suggereren dat toekomstige richtingen adaptieve sparsiteitsplanning op basis van taakcomplexiteit omvatten en het verkennen van sterkere leerkrachtmodellen voor complexere redeneertaken.

Kortom, REGATE demonstreert dat minder meer is in MLLM-training: door slim overbodige tokens over te slaan, convergeren modellen sneller, verbruiken ze minder geheugen en bereiken ze uiteindelijk een superieure multimodale begrip.