Technische Samenvatting: EarlyTom

Probleemstelling

Video Large Language Models (Video-LLM's) hebben sterke capaciteiten aangetoond in video-interpretatie, maar staan voor aanzienlijke belemmeringen voor praktische implementatie vanwege de rekenkundige inefficiëntie bij het verwerken van enorme hoeveelheden visuele tokens. Hoewel recente tokencompressiemethoden lage tokenbehoudspercentages bereiken met minimaal verlies aan nauwkeurigheid, opereren ze voornamelijk in het late stadium van het prefill-proces (na de visuele encoder) of binnen de LLM zelf.

Latency-profileren onthult een kritieke bottleneck: het visuele encoderingsstadium verbruikt een aanzienlijk deel van de Time-to-First-Token (TTFT). In basismodellen staat visuele encoding voor 36,3% van de TTFT. Bij state-of-the-art methoden die zijn geoptimaliseerd voor LLM prefill-latency (zoals HoliTom en VisionZip), stijgt dit aandeel respectievelijk tot 55,8% en 68,4%, omdat deze methoden de visuele encoder niet geoptimaliseerd laten. Bovendien introduceren bestaande compressiestrategieën vaak niet-triviale rekenkundige overhead tijdens tokenverwerking, wat de latency verder verhoogt. Daarnaast zijn standaard Top-K tokenselectiemethoden vatbaar voor "attention sinks" – specifieke tokens die consistent onevenredig hoge attentiescores aantrekken, ongeacht de inhoud – wat leidt tot bevooroordeelde compressie en potentieel verlies van semantische informatie in dynamische frames.

Methodologie: EarlyTom

De auteurs stellen EarlyTom voor, een trainingsvrij tokencompressieframework dat is ontworpen om compressie vroeg binnen de visuele encoder uit te voeren en gebruik te maken van een ontkoppelde ruimtelijke selectiestrategie. Het framework bestaat uit twee kernfasen:

1. Inner Vision Encoder Frame Merging (Temporele Compressie)

Deze fase comprimeert redundante visuele informatie tijdens het coderingsproces om het aantal tokens te verminderen voordat ze de projector of LLM bereiken.

• Streaming Frame Segmentatie: De invoervideo wordt adaptief gesegmenteerd op basis van framesimilariteit. De cosinus-similariteit tussen opeenvolgende frames wordt berekend en gladgestreken met een Exponentiële Moving Average (EMA). Een segmentgrens wordt gedefinieerd wanneer de gladgestreken similariteit onder een drempelwaarde ($\tau_{seg}$) daalt.
• Middle Frame Merge: Binnen elk segment worden middelste frames (exclusief het eerste en laatste) samengevoegd als ze sterk vergelijkbaar zijn met hun buren en meer vergelijkbaar met elkaar dan met het daaropvolgende paar.
• Weighted Frame Merge: Samengevoegde frames worden gegenereerd via een gewogen fusie van de framekenmerken, waarbij de gewichten worden bepaald door de similariteitsscores. Dit zorgt ervoor dat de samengevoegde representatie geconcentreerd blijft rond semantisch belangrijke inhoud, terwijl temporele redundantie wordt verminderd.

2. Ontkoppelde Ruimtelijke Tokenselectie

Om de bevooroordeeling door attention sinks aan te pakken en het aantal tokens verder te verminderen, maakt de methode gebruik van een systeemgeïntegreerde, co-ontworpen selectiestrategie na frame-merging.

• Dynamische versus Statische Decompositie: Samengevoegde frames worden verdeeld in dynamische (hoofd- en staartframes van segmenten, met hoge discriminerende kracht) en statische (middelste frames) sets.
• Global Top-K Selectie (Dynamisch): Voor dynamische frames wordt een globale Top-K-selectie uitgevoerd op basis van attentiescores per token om bewegingsgevoelige tokens over de temporele dimensie te behouden.
• Local Window Top-K Selectie (Statisch): Voor statische frames, om te voorkomen dat de bevooroordeeling van attention sinks de selectie domineert, worden de frames verdeeld in lokale vensters. Binnen elk venster wordt het token met de maximale attentiescore geselecteerd. Dit behoudt de oorspronkelijke ruimtelijke verdeling en mitigeert de negatieve effecten van structurele attractoren.
• Systeem Co-Design: Om de efficiëntie te verhogen, wordt de rekenkundig lichtere statische tokenselectie uitbesteed aan de CPU, terwijl de GPU de intensievere dynamische tokenselectie afhandelt, waarbij gebruik wordt gemaakt van heterogene rekenmiddelen.

Belangrijkste Bijdragen

1. Inner-Vision Encoder Frame Merge: Een mechanisme dat redundante visuele informatie comprimeert tijdens de coderingsfase, visuele tokens effectief reduceert met verwaarloosbare overhead en de TTFT aanzienlijk verlaagt.
2. Ontkoppelde Tokenselectie: Een strategie die frames scheidt in dynamische en statische sets en verschillende bemonsteringsplannen toepast (Global Top-K versus Local Window Top-K) om tokens te verminderen zonder bevooroordeeling door attention sinks in te brengen.
3. State-of-the-Art Prestaties: Uitgebreide experimenten op LLaVA-OneVision-0.5B en 7B-modellen tonen aan dat EarlyTom superieure versnelling bereikt terwijl het een nauwkeurigheid behoudt die vergelijkbaar is met full-token baselines.

Experimentele Resultaten

Geëvalueerd op een enkele NVIDIA A100 GPU met LLaVA-OneVision-7B en vier benchmarks (MVBench, EgoSchema, LongVideoBench, VideoMME):

• Efficiëntie: EarlyTom verlaagt de TTFT met maximaal 2,65× (van 889 ms naar 336 ms bij 10% behoud) en vermindert de FLOPs met maximaal 61% vergeleken met de full-token baseline. Het presteert consequent beter dan andere trainingsvrije methoden (zoals VisionZip, HoliTom, FastVID) qua doorvoer en latency bij verschillende behoudspercentages (10%–25%).
• Nauwkeurigheid: De methode behoudt concurrerende downstream-kwaliteit. Bij een behoudspercentage van 10% bereikt EarlyTom een gemiddelde benchmarkscore van 56,2 (96,2% van de full-token baseline), en presteert het beter dan andere methoden die aanzienlijke nauwkeurigheidsdegradatie onderhevig zijn bij agressieve pruning.
• Generaliseerbaarheid: De aanpak is gevalideerd op de LLaVA-Video-7B en Qwen2.5-VL-7B-architecturen, waarbij consistente verbeteringen worden getoond in FLOPs-reductie en TTFT-versnelling, terwijl de nauwkeurigheid behouden blijft.
• Ablatie: Het verwijderen van óf de frame-merging óf de ontkoppelde selectiestrategie resulteert in prestatiedegradatie, wat de noodzaak bevestigt van beide componenten voor het balanceren van efficiëntie en fideliteit.

Betekenis

Het artikel stelt dat EarlyTom een fundamentele bottleneck in de implementatie van Video-LLM's aanpakt door het compressieparadigma te verschuiven van het late stadium (post-encoder) naar het vroege stadium (binnen de visuele encoder). Door het meest tijdrovende onderdeel van de inferentiepijplijn (visuele encoding) direct te optimaliseren en een bevooroordeelingsbewuste ruimtelijke selectiestrategie in te voeren, maakt EarlyTom aanzienlijk snellere inferentie (lagere TTFT) en hogere doorvoer mogelijk zonder in te leveren op modelprestaties. Dit werk legt de basis voor de praktische implementatie van Video-LLM's in real-world, latency-gevoelige productiescenario's waar rekenmiddelen beperkt zijn.