Learning Compact Video Representations for Efficient Long-form Video Understanding in Large Multimodal Models

Dit paper introduceert een nieuw end-to-end raamwerk voor het begrijpen van lange video's in grote multimodale modellen, dat gebruikmaakt van een adaptieve video-sampler en een spatiotemporele compressor om redundante informatie te verminderen en toch essentiële discriminatieve details te behouden binnen de geheugenbeperkingen.

De kern

Stel je voor dat je een enorme, urenlange film moet bekijken en daarna een heel gedetailleerd verslag moet schrijven. Als je dat met een gewone computer zou doen, zou die machine waarschijnlijk oververhitten, vastlopen of vergeten wat er in het eerste uur gebeurde terwijl hij nog steeds naar het einde kijkt.

Dit is precies het probleem waar onderzoekers van Amazon mee worstelen bij het laten "kijken" en "begrijpen" van lange video's door kunstmatige intelligentie (AI). Hun nieuwe paper, getiteld "Learning Compact Video Representations...", biedt een slimme oplossing.

Hier is de uitleg in simpele taal, met wat creatieve vergelijkingen:

Het Probleem: Te veel rommel in de kamer

Lange video's zitten vol met redundantie (dubbel werk). Denk aan een scène waarin iemand 10 minuten lang rustig koffie drinkt. Voor een mens is dat saai; voor een computer zijn dat duizenden bijna identieke beelden. Als je al die beelden aan een slimme AI (een Large Language Model of LLM) geeft, wordt de "werkgeheugen" van de AI overvol. Het is alsof je probeert een heel boekenkastje in één klein ladekastje te proppen; er komt gewoon niets meer in.

De huidige methoden doen vaak één van twee dingen:

1. Ze kijken naar elke seconde (te traag en te duur).
2. Ze maken samenvattingen van elke scène, maar verliezen dan de fijne details (zoals een gezichtsuitdrukking of een klein voorwerp).

De Oplossing: Twee slimme helpers

De auteurs hebben een systeem bedacht met twee speciale onderdelen die samenwerken als een perfect team.

1. De Slimme Regisseur (De Adaptive Video Sampler - AVS)

Stel je voor dat je een regisseur bent die een film moet samenvatten voor een snel overzicht. Je kijkt niet naar elke seconde, maar je let op momenten van verandering.

• Hoe het werkt: In plaats van elke seconde te bekijken, kijkt deze "regisseur" waar er iets gebeurt (een shotwisseling, een nieuwe actie). Hij pakt alleen die belangrijke momenten eruit en negeert de saaie, statische stukken.
• De analogie: Het is alsof je een heel boek leest, maar alleen de hoofdstuktitels en de belangrijkste zinnen in de marge noteert. Je mist de saaie beschrijvingen van de weersomstandigheden, maar je weet precies wat er gebeurt.

2. De Slimme Verpakker (De Spatiotemporal Video Compressor - SVC)

Nu hebben we nog steeds een heleboel beelden, maar veel minder dan voorheen. Toch zijn ze nog steeds te groot om direct naar de "hersenen" van de AI te sturen. Hier komt de tweede helper: de Verpakker.

• Hoe het werkt: Deze verpakker is een soort "magische koffer". Hij neemt de beelden en drukt ze extreem klein samen (tot 64 keer kleiner!), zonder dat de inhoud verloren gaat.
• De analogie: Stel je voor dat je een grote, opgeblazen luchtballon hebt (de video). De verpakker zuigt de lucht eruit en vouwt het materiaal zo strak mogelijk op, zodat het in je broekzak past. Als je het later weer uitpakt, is het nog steeds een volle luchtballon, maar nu in een veel kleiner formaat.
• Het geheim: Ze gebruiken een techniek die "Autoencoder" heet. Dit is als een leerling die eerst oefent met het samenvouwen van duizenden verschillende objecten, zodat hij later perfect weet hoe hij een nieuwe, onbekende video in één keer compact kan maken.

Waarom is dit zo geweldig?

Dit systeem combineert deze twee stappen tot een end-to-end oplossing (van begin tot eind).

• Efficiëntie: De AI hoeft niet meer naar uren aan beelden te kijken, maar naar een compact pakketje van slechts een paar minuten aan "essentiële" informatie.
• Geen verlies: In tegenstelling tot eerdere methoden die zomaar beelden weggooiden of willekeurig samenvoegden, zorgt dit systeem ervoor dat de belangrijke details (zoals wie met wie praat, of wat er gebeurt in een specifieke scène) behouden blijven.
• Resultaat: In tests bleek hun systeem beter te presteren dan de beste bestaande systemen (zoals LLaVA-OV), terwijl het 80% minder rekenkracht gebruikte. Het kon vragen beantwoorden over video's van urenlang, terwijl andere systemen al vastliepen.

Conclusie

Kortom: De auteurs hebben een manier bedacht om lange video's te "schrappen" tot hun essentie, net als een goede samenvatting van een boek, maar dan visueel. Hierdoor kunnen slimme AI's nu lange video's bekijken, begrijpen en erover praten, zonder dat hun "hersenen" oververhitten. Het is een enorme stap voorwaarts voor het begrijpen van lange video's in de toekomst.

Technische samenvatting

Probleemstelling

De analyse van lange video's (long-form video) die tientallen minuten duren, wordt steeds belangrijker door de vooruitgang in Large Language Models (LLMs) en video-backbone-architecturen. Echter, de inherente redundantie van videosequenties vormt een grote uitdaging voor state-of-the-art modellen. De problemen zijn tweeledig:

1. Geheugenbeperkingen: Het efficiënt opnemen van een groot aantal frames binnen de beperkte contextvenster van een LLM.
2. Informatie-extractie: Het extraheren van discriminerende informatie uit een enorme hoeveelheid invoergegevens zonder dat cruciale details verloren gaan.

Bestaande methoden hebben tekortkomingen:

• Clip-gebaseerde aggregatie: Het vertalen van clips naar tekst (captions) voordat ze naar de LLM gaan, leidt tot verlies van laag-niveau visuele informatie en hallucinaties.
• Uniforme sampling + Pooling: Het gelijkmatig selecteren van frames en het toepassen van gemiddelde pooling (average pooling) is suboptimaal voor lange video's omdat het belangrijke momenten kan missen en informatie kan vervormen door dissimilair materiaal te combineren.
• Token-merging/compressie: Bestaande compressiemethoden vereisen vaak grote hoeveelheden video-tekst paren voor training of leiden tot significant informatieverlies.

Methodologie

Het paper introduceert een end-to-end schema voor langdurig video-begrip dat bestaat uit drie hoofdblokken, geïntegreerd met een Multimodal Large Language Model (MLLM):

1. Adaptive Video Sampler (AVS)
In plaats van uniforme sampling, selecteert de AVS frames op basis van informatiedichtheid.

• Het model maakt gebruik van een shot boundary detector om de waarschijnlijkheid van inhoudswijzigingen per frame te berekenen.
• Door Non-Maximum Suppression (NMS) en het selecteren van de top-k frames met de hoogste betrouwbaarheidsscores, worden alleen de momenten met de meeste dynamiek en nieuwe informatie geselecteerd.
• Dit zorgt ervoor dat de LLM zich richt op cruciale momenten in plaats van op redundante, visueel identieke frames.

2. Spatiotemporal Video Compressor (SVC)
Om het aantal visuele tokens verder te reduceren, wordt een autoencoder-gebaseerde compressor gebruikt.

• Architectuur: Een lichtgewicht 3D-convolutie-netwerk (met residual blocks) dat ruwe video-features comprimeert naar een compacte latente ruimte.
• Training: De compressor wordt getraind met alleen video-data (zonder tekst) via een reconstructieverlies (Mean Absolute Loss). De encoder leert de nodige informatie te behouden in de compressie, terwijl de decoder de originele features probeert te reconstrueren.
• Residuale Constraint: Een belangrijke innovatie is het toevoegen van een constraint waarbij de geaggregeerde features (via 3D-average pooling) worden gebruikt als basis. De autoencoder leert dan alleen de residu (de verloren informatie ten opzichte van de gemiddelde pooling). Dit voorkomt dat de latente ruimte "gaten" bevat en zorgt voor betere generalisatie dan VAE's (Variational Autoencoders) die een Gaussische verdeling opleggen.
• Compressie: Het systeem bereikt een compressiefactor van 64x (bijv. 4x in tijd, 4x in hoogte, 4x in breedte).

3. Integratie met MLLM
De gecomprimeerde en gesamplede video-features worden via een projector (MLP) ingevoerd in de LLM (in dit geval QWen2) voor het beantwoorden van vragen of het genereren van dialogen.

Belangrijkste Bijdragen

• Nieuw Schema: Een volledig end-to-end pipeline die sampling en compressie combineert, specifiek ontworpen voor lange video's in MLLMs.
• Adaptive Sampling: Een methode die dynamisch belangrijke frames selecteert op basis van shot-veranderingen, in plaats van statische sampling.
• Efficiënte Compressie: Een autoencoder-gebaseerde compressor die een 64-voudige compressie bereikt zonder discriminerende informatie te verliezen, getraind puur op video-data.
• Efficiëntie: Het systeem verlaagt de token-begroting voor MLLMs met 80% (van ~6000 naar ~1440 tokens voor bepaalde taken) terwijl de prestaties verbeteren.

Resultaten

De methode is getest op diverse benchmarks, waaronder EgoSchema, PerceptionTest, ActivityNet-QA, NExTQA, MLVU en MVBench.

• Prestaties: Het model overtreft state-of-the-art methoden zoals LLaVA-OV met 2,6% op EgoSchema en 3,3% op PerceptionTest, terwijl het 80% minder visuele tokens gebruikt.
• Vergelijking: Het presteert beter dan methoden die clip-captions aggregatie gebruiken (zoals VideoAgent en LLoVi) en methoden die op traditionele pooling vertrouwen (zoals LLaMA-VID en MovieChat).
• Ablatie Studies:
  • De AVS toont aanzienlijke verbeteringen op taken die afhankelijk zijn van sleutelframes (zoals "needle-in-a-haystack" en anomaliedetectie).
  • De autoencoder-gebaseerde compressor presteert significant beter dan 3D-average pooling en Perceiver-based downsampling, zelfs bij een lagere token-aantal.
  • Pre-training van de compressor met alleen video-data is cruciaal voor de uiteindelijke prestaties (+2-4% verbetering).
  • De residuale constraint in de autoencoder is essentieel voor convergentie en generalisatie; zonder deze constraint faalt de training.

Betekenis en Conclusie

Dit werk biedt een elegante en efficiënte oplossing voor de uitdaging van het verwerken van lange video's in multimodale modellen. Door de redundantie in video's slim te elimineren via adaptieve sampling en geavanceerde compressie, kunnen MLLMs nu video's van urenlang in hun geheel verwerken zonder dat de rekenkosten exploderen.

De aanpak maakt het mogelijk om complexe redeneringen en open dialogen over lange video-inhoud mogelijk te maken in omgevingen met beperkte resources. Het markeert een belangrijke stap voorwaarts in het veld van video-interpretatie en opent de deur voor real-time toepassingen en verdere onderzoek in multimedia-domeinen.