Technische Samenvatting: ST-SimDiff

Probleemstelling

Multimodale Grootte Taalmodellen (MLLM's) staan voor aanzienlijke rekenkundige en opslagknelpunten bij het verwerken van lange video's. Het standaardparadigma omvat het bemonsteren van een video tot een reeks frames en het omzetten van elk frame in honderden of duizenden visuele tokens. Naarmate de videolengte en resolutie toenemen, groeit het aantal tokens explosief, wat leidt tot verbodsfactoren in de rekenkosten als gevolg van de kwadratische complexiteit ($O(N^2)$) van het self-attention-mechanisme.

Bestaande methoden voor tokencompressie vallen over het algemeen in twee categorieën:

1. Op belangrijkheid gebaseerde pruning: Het verwijderen van tokens met lage attentiescores (bijvoorbeeld FastV, FasterVLM).
2. Op gelijkenis gebaseerde samenvoeging/selectie: Het combineren of selecteren van tokens op basis van hoge gelijkenis binnen frames of tussen aangrenzende frames (bijvoorbeeld FrameFusion, VisionZip).

De auteurs identificeren twee kritieke beperkingen in huidige benaderingen:

• Gebrek aan gezamenlijke ruimtelijk-temporale modellering: Bestaande methoden behandelen ruimtelijke en temporale correlaties vaak geïsoleerd, waardoor ze complexe dynamische gebeurtenissen niet kunnen vastleggen die afhankelijk zijn van het samenspel van beide dimensies.
• Verwaarlozing van "Verschil": Huidige methoden richten zich sterk op informatieve gemeenschappelijkheden (gelijkenis en belangrijkheid) om redundantie te verminderen. Ze negeren echter vaak cruciale veranderingen, keerpunten en dynamische verschuivingen. Aangezien videoverhalen vaak worden gedreven door deze gebeurtenissen, riskeert een model dat alleen op gelijkenis zoekt, plotselinge acties te gladstrijken, wat leidt tot misinterpretatie.

Methodologie: ST-SimDiff

Het artikel stelt ST-SimDiff voor, een trainingsvrij kader dat Ruimtelijk-temporale Gelijkenis (voor het identificeren van redundantie) en Temporaal Verschil (voor het vastleggen van sleutelgebeurtenissen) in evenwicht brengt. De methode werkt op een ruimtelijk-temporaal grafiek opgebouwd uit visuele tokens en hanteert een parallelle dubbele selectiestrategie.

1. Constructie van Ruimtelijk-temporale Grafiek

De visuele tokens $T = \{t_1, \dots, t_N\}$ worden gemodelleerd als hoekpunten in een grafiek $G=(V, E)$. De randenverzameling $E$ is de vereniging van:

• Ruimtelijke Randen ($E_S$): Verbinden tokens die ruimtelijk aangrenzend zijn binnen hetzelfde frame.
• Temporale Randen ($E_T$): Verbinden tokens op dezelfde ruimtelijke positie over aangrenzende frames heen.
  Randgewichten worden gedefinieerd door de cosinusgelijkenis van de featurevectoren van de verbonden tokens.

2. Dubbele Selectiestrategie

Het kader voert twee parallelle selectieprocessen uit:

A. Op Gelijkenis Gebaseerde Selectie van Representatieve Tokens (SRTS)

• Doel: Statische en redundante inhoud comprimeren.
• Proces:
  1. De grafiek drempelen om alleen randen met gewichten boven een gelijkenisdrempel $\tau_{sim}$ te behouden.
  2. Een community-detectie-algoritme toepassen (specifiek samenhangende componenten in de implementatie) om clusters van sterk vergelijkbare tokens te identificeren.
  3. Binnen elke community een centraliteitsscore berekenen voor elke token op basis van zijn gemiddelde gelijkenis met anderen in de cluster.
  4. De top-tokens met de hoogste centraliteitsscores uit elke community behouden om de set $T_{rep}$ te vormen.

B. Op Verschil Gebaseerde Selectie van Event-tokens (DETS)

• Doel: Tokens behouden die cruciale dynamische verschuivingen en keerpunten vastleggen.
• Proces:
  1. De temporale randen ($E_T$) in de grafiek analyseren.
  2. Paren van temporale aangrenzende tokens identificeren waarbij de gelijkenis scherp daalt (d.w.z. het gewicht onder een verschil-drempel $\tau_{diff}$ valt).
  3. Het daaropvolgende token in zo'n paar markeren als een kritiek event-token, waardoor de set $T_{trans}$ wordt gevormd.

3. Eindreductie

De uiteindelijke token-subset is de vereniging van representatieve en event-tokens ($T_{candidate} = T_{rep} \cup T_{trans}$). Als de grootte van deze set de doelbegroting overschrijdt (bepaald door het compressiepercentage $r$), verwijdert een laatste pruning-stap tokens met de laagste attentiescores (gebaseerd op ondiepe LLM-lagen) om strikt te voldoen aan de tokenaantalbeperking.

Belangrijkste Bijdragen

1. Nieuw Perspectief: De auteurs stellen dat gelijkenis en verschil gelijke belangrijkheid moeten krijgen bij video-tokencompressie, met het argument dat gelijkenis redundantie identificeert terwijl verschil sleutelmomenten vastlegt.
2. Ruimtelijk-temporale Grafiekkader: Een unificerend model voor complexe ruimtelijk-temporale relaties dat gelijktijdige screening mogelijk maakt voor representatieve tokens en cruciale event-tokens.
3. Dubbele Selectiestrategie: Een nieuw mechanisme dat community-detectie combineert voor statische compressie met temporele verschilanalyse voor dynamisch behoud.
4. Trainingsvrije Efficiëntie: De methode vereist geen extra training en bereikt aanzienlijke rekenkundige besparingen terwijl de prestaties worden behouden of verbeterd.

Experimentele Resultaten

De methode werd geëvalueerd op drie benchmarks voor het begrijpen van lange video's: VideoMME, LongVideoBench en EgoSchema, met LLaVA-Video-7B en NVILA-8B als basismodellen.

• Prestaties: ST-SimDiff presteerde consistent beter dan state-of-the-art baselines (waaronder FastV, PruMerge, FasterVLM, VisionZip en FrameFusion) in alle configuraties. Opmerkelijk is dat bij een retentiepercentage van 50% de prestaties van ST-SimDiff op sommige benchmarks gelijkstonden aan of de oorspronkelijke niet-gecomprimeerde model (100% tokens) overtroffen.
• Ablatiestudies:
  • Het toevoegen van de gelijkenismodule (+Sim) verbeterde de prestaties ten opzichte van de baseline.
  • Gezamenlijke ruimtelijk-temporale modellering was effectiever dan ruimtelijke of temporele modellering alleen.
  • Het toevoegen van de verschilmodule (++Diff) zorgde voor een aanzienlijke prestatiesprong, vooral bij hoge compressiepercentages (30%), wat bevestigt dat het fungeert als een veiligheidsnet voor het behoud van verhaal-kritieke gebeurtenissen.
• Rekenkundige Efficiëntie:
  • Inferenti Tijd: ST-SimDiff verlaagde de inferenti tijd met maximaal 30,2% voor video's van 128 frames ten opzichte van de baseline.
  • Geheugengebruik: Het piekgebruik van GPU-geheugen nam met 31,7% af voor video's van 128 frames, waardoor het verwerken van langere video's mogelijk werd op hardware met beperkt geheugen.
  • Complexiteit: Het kader werkt met lineaire complexiteit $O(Nd)$, aanzienlijk lager dan de kwadratische complexiteit van het self-attention-mechanisme.

Betekenis

Het artikel stelt dat ST-SimDiff een kritieke blinde vlek in bestaand onderzoek naar video-interpretatie aanpakt: de neiging om prioriteit te geven aan gelijkenis terwijl het "verschil" dat videoverhalen drijft, wordt verwaarloosd. Door een ruimtelijk-temporale grafiek te construeren en een dubbele selectiestrategie toe te passen, bereikt de methode een robuust evenwicht tussen het comprimeren van redundante statische informatie en het behoud van essentiële dynamische gebeurtenissen. Deze aanpak biedt een principiële en adaptieve oplossing voor efficiënte video-interpretatie, en toont aan dat hoogwaardig videobegrip kan worden behouden met een drastisch verlaagd tokenbudget.