Technische Samenvatting: LiteFrame: Efficiënte Vision Encoders Ontgrendelen Frame-Schaling in Video LLM's

1. Probleemstelling

De fundamentele uitdaging bij het schalen van Video Large Language Models (Video LLM's) naar langdurige video's ligt in de explosieve groei van de contextlengte van visuele tokens. Huidige Video LLM's volgen doorgaans een meerfasige architectuur: een beeldencoder (bijvoorbeeld Vision Transformer) verwerkt frames, een uitlijnprojector mapt features, en een LLM redeneert over verweven visuele en teksttokens. Naarmate het aantal frames toeneemt, stijgen de rekentkosten door zowel de verwerking per frame door de vision encoder als de kwadratische zelf-attentiecomplexiteit van de LLM.

Bestaande strategieën richten zich voornamelijk op "post-hoc" tokenreductie, waarbij een zware, bevroren vision encoder dichte features extrahert, die vervolgens worden gereduceerd (via ruimtelijke/temporale pruning of merging) voordat ze de LLM binnenkomen. Hoewel dit de rekentlast van de LLM verlicht, stellen de auteurs een kritieke blinde vlek in de schaling vast: naarmate de rekenkracht van de LLM afneemt, verschuift de latentieknelpunt naar de dure verwerking per frame van de vision encoder. Bijgevolg faalt agressieve post-hoc reductie om efficiënt begrip van lange video's te ontgrendelen, omdat de latentie van de vision encoder de onoverkomelijke ondergrens wordt voor end-to-end inferentie.

2. Methodologie

Om dit aan te pakken, introduceren de auteurs LiteFrame, een lichtgewicht, efficiënte video-encoderbackbone die ruimtelijk-temporale tokencompressie internaliseert, gekoppeld aan een nieuw trainingskader.

2.1. Architectuur: Ruimtelijk-Temporale Token Compressieve Encoding

LiteFrame maakt gebruik van een compacte studentencoder (87M parameters, ViT-Base backbone) in vergelijking met de zware leraar (304M parameters, ViT-Large). De architectuur is ontworpen om ruimtelijk-temporale redundanties progressief te reduceren:

• Verweven Layers: Standaard ruimtelijke attentielayers worden verweven met lichtgewicht, diepte-gewijze (DW) 1D temporale convolutielayers.
• Gestreepte Downsampling: Diepte-gewijze gestreepte convolutielayers zijn geïntegreerd op strategische intervallen (na het 4e en 8e blok) om featurekaarten geleidelijk te downsamplen in zowel ruimtelijke als temporale dimensies.
• Efficiëntie: Dit ontwerp stelt het model in staat om temporale dynamiek te vangen met aanzienlijk lagere latentie en FLOP's in vergelijking met volledige ruimtelijk-temporale attentie of standaard temporale attentieblokken.

2.2. Gecomprimeerde Token Distillatie (CTD)

Het trainen van een compacte student om een grote leraar te benaderen terwijl het tokenaantal wordt gereduceerd, is niet triviaal. Standaard distillatie dwingt de student om redundante details te leren. De auteurs stellen Compressed Token Distillation (CTD) voor:

• Supervisie-Doel: In plaats van de dichte output van de leraar na te bootsen, wordt de student getraind om de gecomprimeerde representatie te voorspellen die door de leraar wordt geproduceerd.
• Gewogen Gemiddelde Pooling (WAP): De auteurs identificeren WAP als een superieure compressieprimitief in vergelijking met complexe tokenmerging of -pruning. WAP aggregeert dichte tokens naar een compacte latente ruimte met behulp van attentiegebaseerde weging binnen ruimtelijk-temporale blokken.
• Doel: De student minimaliseert de Mean Squared Error (MSE) tussen zijn output en de door WAP gecomprimeerde features van de leraar. Dit overbrengt effectief het attentiegebaseerde wegingsmechanisme naar de statische parameters van de student, waardoor de noodzaak voor runtime-attentie over redundante patches wordt omzeild.

2.3. Taalmodel Aanpassing (LMA)

Om de modale kloof te overbruggen en de gecomprimeerde latente ruimte voor de LLM te optimaliseren, wordt een minimale Language Model Adaptation (LMA)-fase ingezet:

• De LLM en de encoder worden fijngefineerd op video-tekstparen met behulp van Low-Rank Adaptation (LoRA).
• Deze fase aligneert de latente ruimte van de student met de LLM en stelt het model in staat om uitgebreide temporale contexten te hanteren (tot 512 frames).

3. Belangrijkste Bijdragen

1. Identificatie van een Schalingsblinde Vlek: Het artikel benadrukt dat post-hoc tokenreductie het latentieknelpunt verschuift van de LLM naar de vision encoder, wat efficiënte schaling naar lange video's verhindert.
2. LiteFrame Architectuur: Een lichtgewicht video-encoder die tokencompressie internaliseert via een ruimtelijk-temporale architectuur met diepte-gewijze temporale convoluties en gestreepte downsampling.
3. Compressed Token Distillation (CTD): Een nieuw trainingskader dat een studentencoder leert om direct informatie-dichte, ruimtelijk-temporaal gecomprimeerde representaties (via WAP) te voorspellen vanuit een leraar, in plaats van dichte features.
4. Hedefiniëren van de Pareto-Grens: De integratie van LiteFrame en LMA bereikt een nieuw afwegingspunt tussen latentie en nauwkeurigheid, waarbij aanzienlijk meer frames worden verwerkt met lagere end-to-end latentie.

4. Experimentele Resultaten

De auteurs evalueren LiteFrame tegen de InternVL3-8B-baseline en diverse state-of-the-art post-hoc methoden (bijvoorbeeld FastVID, PruMerge, ToMe) en efficiënte encoders (bijvoorbeeld VideoPanda, AutoGaze).

• Latentie en Nauwkeurigheid: In vergelijking met InternVL3-8B bereikt LiteFrame een reductie van 35% in end-to-end latentie terwijl het 8× meer frames verwerkt. Bijvoorbeeld, bij 64 frames reduceert LiteFrame de totale latentie van ~208ms naar ~150ms, terwijl de gemiddelde nauwkeurigheid over benchmarks (Video-MME, MLVU, LongVideoBench) verbetert.
• Vergelijking met Post-Hoc Methodes: Hoewel post-hoc methoden (zoals FastVID) LLM-tokens reduceren, blijven ze geblokkeerd door de zware originele vision encoder. LiteFrame presteert beter dan deze methoden in zowel efficiëntie als nauwkeurigheid door de "rekenkundige vloer" van de originele encoder te vermijden.
• Vergelijking met AutoGaze: LiteFrame presteert aanzienlijk beter dan AutoGaze. Hoewel AutoGaze probeert zowel ViT- als LLM-knelpunten aan te pakken, introduceert zijn voor-reductie hulpmodule aanzienlijke overhead (die in sommige configuraties bijna de helft van de totale inferentietijd beslaat). LiteFrame bereikt lagere latentie en hogere nauwkeurigheid zonder dergelijke hulpoverhead.
• Ruimtelijke Schaling: LiteFrame demonstreert sterke zero-shot ruimtelijke schalingscapaciteiten. Op de HLVid-benchmark bereikt het een state-of-the-art score van 54,1 bij een resolutie van 2688px met 48 frames, waarmee het AutoGaze (52,6) overtreft, dat hogere resoluties en frameaantallen vereiste.
• Ablatiestudies:
  • CTD vs. RTD: CTD (met WAP-doelen) presteert aanzienlijk beter dan Reconstructive Token Distillation (RTD), wat suggereert dat expliciete alignering met de WAP-primitief een robuustere semantische basis biedt dan generieke auto-encoding.
  • Architectuur: Diepte-gewijze temporale convoluties presteren beter dan volledige ruimtelijk-temporale attentie in termen van latentie en nauwkeurigheid.
  • Compressiestrategie: Ruimtelijk-temporale compressie (4× ruimtelijk, 4× temporaal) presteert beter dan alleen ruimtelijke compressie (16×), waarbij kritieke ruimtelijke fideliteit wordt behouden terwijl temporale redundantie wordt geaggregeerd.

5. Betekenis en Claims

Het artikel stelt dat LiteFrame een nieuw potentieel pad demonstreert om begrip van langdurige video's te ontgrendelen binnen vaste rekenbudgetten. Door de focus te verschuiven van "extraheren-en-reduceren" (post-hoc) naar "internaliseren-en-comprimeren" (architecturaal), tonen de auteurs aan dat het mogelijk is om de latentieknelpunt van de vision encoder te omzeilen, die huidige Video LLM's heeft beperkt.

De auteurs benadrukken dat hun aanpak de efficiëntie-nauwkeurigheid Pareto-grens herdefinieert, waardoor modellen ruimtelijk-temporale redundantie kunnen inruilen voor aanzienlijk rijkere temporale context. Zij concluderen dat de architecturale internalisatie van tokencompressie via distillatie een schaalbaardere oplossing is voor begrip van langdurige video's dan puur tokenreductiemethoden.

Erkende Beperkingen:

• De LMA-fase is getraind op een subset van bestaande video-data; hogere kwaliteit, extreem langdurige datasets kunnen de prestaties verder verbeteren.
• Het model is voornamelijk geëvalueerd op video-gerichte benchmarks; prestaties op statische beeldbenchmarks blijven onverkend.
• Het schalen naar nog kleinere studentmodellen (<87M) werd beperkt door trainingsinstabiliteiten (bijvoorbeeld loss-explosies), wat wijst op de noodzaak voor verdere stabilisatie van het CTD-kader.