Technische Samenvatting: OTT-Vid

Probleemstelling

Naarmate Video Large Language Models (Video-LLMs) schalen om langere en complexere video's te verwerken, staan ze voor een kritiek inferentie-flesenhals: de accumulatie van visuele tokens over frames vergroot de sequentielengte en de rekenkosten drastisch. Hoewel compressie van tokens zonder training een praktische oplossing biedt, lijden bestaande methoden voor temporele compressie onder twee primaire beperkingen:

1. Overmatige afhankelijkheid van gelijkenis: Huidige methoden vertrouwen voornamelijk op cross-frame token-gelijkenis of segmentatieheuristieken. Ze slagen er niet in om onderscheid te maken tussen niet-informatieve herhaling van de achtergrond en het aanhouden van semantisch belangrijke inhoud (bijvoorbeeld stationaire objecten). Bijgevolg leidt hoge gelijkenis vaak tot agressieve compressie van essentieel temporeel bewijs, wat de prestaties verslechtert op taken die duur, continuïteit en detectie van gebeurtenisgrenzen vereisen, zoals temporele grounding.
2. Statische toewijzing van budget: Bestaande benaderingen behandelen compressie niet expliciet als een toewijzingsprobleem. Ze passen uniforme compressiedrempels of harde grenzen toe die niet adaptief zijn voor de variabele comprimeerbaarheid van verschillende frameparen. Dit resulteert in ondercompressie van sterk redundante gebieden en overcompressie van frames die kritiek temporeel bewijs bevatten.

Methodologie: OTT-Vid

De auteurs stellen OTT-Vid voor, een framework zonder training dat temporele tokencompressie formuleert als een Optimaal Transport (OT)-probleem met adaptieve budgettoewijzing. De methode werkt in twee gekoppelde fasen:

1. Ruimtelijke Snoeiing en Massatoewijzing

Voordat temporele compressie plaatsvindt, ondergaat elk frame onafhankelijke ruimtelijke snoeiing om intra-frame redundantie te verwijderen.

• Selectie: Een salientie-gewogen dekkingdoelwit selecteert representatieve tokens op een hebzuchtige manier. Dit balanceert semantische belangrijkheid (salientie) met representativiteit (dekking) om tokeninstorting in redundante clusters te voorkomen.
• Massatoewijzing: Een "leave-one-out"-strategie kwantificeert de onvervangbare bijdrage van elke behouden token. Als het verwijderen van een token de representatie van het oorspronkelijke frame aanzienlijk verslechtert, wordt deze als belangrijk beschouwd.
• Inverse Massa: Cruciaal wordt de transportmassa $m_t$ invers toegewezen aan tokenbelangrijkheid. Semantisch kritieke tokens krijgen een kleinere massa (wat compressie weerstaat), terwijl minder informatieve tokens een grotere massa krijgen (wat overdracht faciliteert). Dit codeert prioriteit voor behoud direct in de OT-marginaalbeperkingen.

2. Optimaal Transport voor Temporele Compressie

Temporele compressie tussen aangrenzende frames ($t$ en $t+1$) wordt opgelost als een entropisch geregulariseerd OT-probleem.

• Kostfunctie: De transportkosten combineren semantische dissimilariteit (cosinusafstand) en ruimtelijke afstand. Een mengcoëfficiënt $\alpha_t$ past zich dynamisch aan op basis van scenesbeweging: in statische scènes wordt ruimtelijke localiteit zwaarder gewogen om het koppelen van visueel vergelijkbare maar ruimtelijk verre objecten te voorkomen; in dynamische scènes domineert semantische dissimilariteit om koppeling over grotere verplaatsingen mogelijk te maken.
• Transportplan: Het oplossen van het OT-probleem levert een koppelingsmatrix $P_t$ op die tokencorrespondenties rangschikt. Hoge koppelingswaarden geven kandidaten aan voor compressie (samenvoegen of verwijderen).
• Transportmoeilijkheid: De totale kosten van het transportplan ($W_t$) dienen als maatstaf voor de "comprimeerbaarheid" van een framepaar. Een lage $W_t$ impliceert hoge redundantie (makkelijk te comprimeren), terwijl een hoge $W_t$ de aanwezigheid van uniek temporeel bewijs impliceert.

3. Adaptieve Budgettoewijzing

Het framework verdeelt het globale compressiebudget niet-uniform over alle aangrenzende frameparen op basis van $W_t$.

• Inverse Toewijzing: Met behulp van een negatieve softmax krijgen paren met lagere transportmoeilijkheid (hoge redundantie) grotere compressiebudgetten, terwijl paren met hoge moeilijkheid (lage redundantie) kleinere budgetten krijgen.
• Uitvoering: Compressie wordt parallel uitgevoerd. Geselecteerde bron-tokens worden ofwel samengevoegd met hun bestemming (als de kosten onder een drempel $\tau_c$ liggen) of verwijderd. Keten van samenvoegingen over opeenvolgende frames worden opgelost via een union-find-algoritme om globale consistentie te waarborgen.

Belangrijkste Bijdragen

1. Belangrijkheidsbewuste Temporele Compressie: In tegenstelling tot eerdere op gelijkenis gebaseerde methoden, integreert OTT-Vid intra-frame tokenbelangrijkheid in het temporele compressieproces. Door inverse massa toe te wijzen aan belangrijke tokens, behoudt het bewijs van duur en continuïteit dat door op gelijkenis gebaseerde methoden doorgaans wordt weggegooid.
2. Transport-afgeleide Budgettoewijzing: Het artikel introduceert een principiële methode om de comprimeerbaarheid van elk framepaar te schatten via transportmoeilijkheid ($W_t$). Dit maakt dynamische, niet-uniforme budgettoewijzing mogelijk die zich aanpast aan de specifieke redundantiekarakteristieken van de video-inhoud.
3. Unificerend Framework: OTT-Vid verenigt token-niveau compressiebeslissingen (via het transportplan) en paarniveau budgettoewijzing (via transportmoeilijkheid) binnen één Optimaal Transport-formulering.

Experimentele Resultaten

De auteurs hebben OTT-Vid geëvalueerd op zes benchmarks: vier Video Question Answering (VQA)-datasets (MVBench, VideoMME, LongVideoBench, MLVU) en twee Video Temporal Grounding (VTG)-datasets (Charades-STA, ActivityNet-Captions met TimeLens-annotaties).

• Prestatiebehoud: Op de Qwen2.5-VL-7B-ruggengraat behoudt OTT-Vid 95,8% van de niet-gecomprimeerde VQA-prestaties en 73,9% van de VTG-prestaties, terwijl slechts 10% van de oorspronkelijke tokens wordt behouden.
• Vergelijking: Het presteert consistent beter dan state-of-the-art training-free baselines (HoliTom, FastVID, FlashVID, UniComp). Het prestatieverschil is het meest significant in VTG-taken, waar op gelijkenis gebaseerde methoden ernstige degradatie ondergaan (dalen tot ongeveer 50-60% behoud) als gevolg van het verlies van temporeel bewijs.
• Generalisatie: De methode toont robuustheid over verschillende Video-LLM-ruggengraten (LLaVA-OneVision, LLaVA-Video) en diverse tokenbehoudverhoudingen.
• Efficiëntie: OTT-Vid bereikt een 2,0× snelheidswinst in Time-to-First-Token (TTFT) met piekgeheugengebruik vergelijkbaar met andere efficiënte methoden, wat bevestigt dat de compressie-overhead de inferentiewinsten niet tenietdoet.

Betekenis en Beweringen

De auteurs beweren dat de primaire betekenis van OTT-Vid ligt in het vermogen om semantische persistentie te ontkoppelen van visuele gelijkenis. Door temporele compressie te behandelen als een transportprobleem met belangrijkheidsbewuste massa, slaagt de methode erin het "bewijs" te behouden dat nodig is voor complexe temporele redeneertaken, wat eerdere op gelijkenis gebaseerde heuristieken niet lukte.

De auteurs benadrukken dat hun aanpak zonder training is, wat compatibiliteit garandeert met bestaande voorgeöordeelde Video-LLMs zonder de noodzaak van hertraining. Ze merken op dat hun methode momenteel transportplannen parallel berekent vanuit aanvankelijke ruimtelijk gesnoeide sets (waarbij representatieve veranderingen veroorzaakt door eerdere compressie worden genegeerd); deze ontwerpkeuze prioriteert lage overhead en efficiëntie in één doorgang. Toekomstig werk kan sequentiële uitvoering verkennen om transportplannen te verfijnen, hoewel dit de rekenkosten zou verhogen.

Kortom, OTT-Vid adresseert de kritieke flesenhals van inferentie voor lange video's door een theoretisch onderbouwde, adaptieve mechanisme te bieden dat tokenbelangrijkheid afweegt tegen cross-frame redundantie, en bestaande methoden aanzienlijk overtreft in het behoud van temporele fideliteit onder agressieve compressie.