WeaveTime: Stream from Earlier Frames into Emergent Memory in VideoLLMs

WeaveTime is een modelonafhankelijk framework dat Video-LLMs in staat stelt om tijdgevoelige videostreams te verwerken door een lichtgewicht tijdsreconstructiedoel te introduceren voor het aanleren van chronologische volgorde en een dynamische focuscache voor efficiënte historische retrievel, waardoor prestaties en latentie in online scenario's worden verbeterd.

De kern

🎥 De Film die Vergeten is hoe ze moet kijken

Stel je voor dat je een video-robot hebt die heel slim is. Hij kan praten, kijken en vragen beantwoorden. Maar er is een groot probleem: deze robot kijkt naar een video alsof het een doos met losse foto's is, niet als een film die in de tijd verloopt.

Als je de robot vraagt: "Wat gebeurde er eerst?", raakt hij in de war. Hij ziet de foto's wel, maar hij weet niet welke foto voor welke komt. Dit noemen de auteurs "Tijd-Blindheid".

In de echte wereld (zoals bij een zelfrijdende auto of een robot die met mensen praat) komen beelden één voor één binnen. Je kunt niet naar de toekomst kijken. De robot moet onthouden wat hij al heeft gezien, maar ook weten wat hij nu ziet. De huidige robots doen dit slecht: ze verwarren het verleden met het heden en weten niet in welke volgorde dingen gebeuren.

🧶 De Oplossing: "WeaveTime" (Tijd Weven)

De onderzoekers hebben een nieuwe methode bedacht die WeaveTime heet. Het idee is simpel: eerst leren ze de robot hoe tijd werkt, en daarna laten ze hem die kennis gebruiken om slim te onthouden.

Het werkt in twee stappen, net als het leren van een nieuwe vaardigheid:

Stap 1: De "Puzzeltrainer" (Leren de volgorde)

Stel je voor dat je een kind leert een puzzel maken. In plaats van alleen de oplossing te laten zien, geef je het kind een verwarde stapel puzzelstukken en vraag je: "In welke volgorde horen deze stukken?"

• Wat doet WeaveTime? Ze geven de robot tijdens het trainen een video waarin de beelden door elkaar zijn geschud. De robot moet eerst de juiste tijdsvolgorde raden voordat hij het antwoord op de vraag mag geven.
• Het effect: De robot leert dat "eerst" en "laatst" belangrijk zijn. Hij bouwt een mentaal tijdlijn op in zijn hoofd, in plaats van alleen een doos met losse beelden. Dit kost weinig energie en er zijn geen speciale "streaming" video's voor nodig; ze gebruiken bestaande video's die ze even in de war hebben gegooid.

Stap 2: De "Slimme Bibliothecaris" (Gebruik de kennis)

Nu de robot weet hoe tijd werkt, moeten we hem leren hoe hij zijn geheugen gebruikt. Stel je voor dat de robot een bibliotheek heeft met duizenden boeken (het verleden).

• Het oude probleem: Als iemand een vraag stelt, bladerde de robot door alle boeken, zelfs als het antwoord al in zijn hand lag. Dit was traag en verwarrend.
• De nieuwe methode (PCDF-Cache): De robot heeft nu een slimme bibliothecaris in zijn hoofd.
  1. Kijk eerst naar het heden: Als de vraag simpel is (bijv. "Wat is de kleur van de bloem nu?"), kijkt de robot alleen naar het huidige beeld. Hij hoeft niet in de bibliotheek te zoeken.
  2. Twijfel = Zoek: Als de robot twijfelt (hij is "onzeker"), dan pas gaat hij naar de bibliotheek.
  3. Snel zoeken: In plaats van alle boeken te lezen, zoekt hij eerst naar de juiste hoofdstukken (grove zoekopdracht) en leest dan alleen de relevante zinnen (fijne zoekopdracht).

Dit heet "Onzekerheid-gestuurde zoekopdracht". De robot slaapt niet door als het antwoord voor de hand ligt, en hij raakt niet verdwaald in zijn eigen geheugen als het antwoord ergens anders moet worden gezocht.

🚀 Waarom is dit belangrijk?

Dit systeem maakt video-robots veel beter voor echte, live situaties:

1. Sneller: Omdat de robot niet constant door zijn hele geheugen hoeft te zoeken, is hij sneller.
2. Slimmer: Hij maakt minder fouten over wat er eerst of later gebeurde.
3. Efficiënter: Hij heeft minder rekenkracht nodig, omdat hij alleen zoekt als het echt nodig is.

🏁 Samenvatting in één zin

WeaveTime is als het geven van een klok aan een robot die eerst de tijd moet leren lezen (door puzzels op te lossen) en daarna een slim geheugen krijgt dat alleen de juiste oude herinneringen ophaalt als hij het echt nodig heeft, waardoor hij sneller en slimmer reageert op wat er nu gebeurt.

Technische samenvatting

Titel: WeaveTime: Stream van eerdere frames naar opkomend geheugen in VideoLLMs

1. Het Probleem: Tijd-agnosticisme in Streaming VideoLLMs

Huidige Multimodale Grootte Taalmodellen (VideoLLMs) hebben enorme vooruitgang geboekt in visueel begrijpen en redeneren. Echter, deze modellen zijn voornamelijk ontworpen voor offline settings, waar het volledige video- en vraagmateriaal van tevoren beschikbaar is. Ze zijn minder geschikt voor streaming scenario's (zoals autonoom rijden, robotica of live surveillance), waar frames sequentieel binnenkomen en toekomstige observaties onbeschikbaar zijn.

De auteurs identificeren een kernbeperking die ze "Time-Agnosticism" (Tijd-agnosticisme) noemen:

• Video's worden door de modellen behandeld als een ongeordende "zak met bewijs" in plaats van een causaal geordende tijdsreeks.
• Dit leidt tot twee specifieke fouten in streaming situaties:
  1. Temporele Order Ambiguïteit: Het model kan de juiste chronologische volgorde van gebeurtenissen niet volgen of redeneren (bijv. verwisselen van "binnenkomen" en "verlaten" van een kamer).
  2. Blindheid voor Focus op Heden vs. Verleden: Het model faalt in het dynamisch toewijzen van aandacht tussen de huidige observatie en relevante herinneringen uit het verleden. Het kan vastlopen op het heden terwijl het verleden nodig is, of juist irrelevant verleden herinneren terwijl het antwoord in het heden ligt.

Bestaande oplossingen vereisen vaak dure, gespecialiseerde streaming-datasets of complexe architecturale wijzigingen, wat ze onpraktisch maakt.

2. Methodologie: WeaveTime

WeaveTime is een eenvoudig, efficiënt en model-onafhankelijk framework dat geen architecturale wijzigingen vereist. Het volgt een twee-fasen filosofie: "Eerst de volgorde leren, daarna de volgorde gebruiken".

Fase 1: Streaming Order Perception Enhancement (SOPE) - Training
Om het probleem van tijd-agnosticisme op te lossen, introduceren de auteurs een lichtgewicht Temporale Reconstructie (TR) taak.

• Mechanisme: Tijdens het trainen worden video-frames verward (shuffled) maar worden expliciete tijdstempels behouden. Het model krijgt de instructie om eerst de juiste chronologische volgorde van de verwarde segmenten te reconstrueren voordat het de oorspronkelijke vraag beantwoordt.
• Voordeel: Dit dwingt het model om causale afhankelijkheden en tijdsorde te coderen zonder extra modules of gespecialiseerde streaming-data. Het verandert het geheugen van een ongeordende cache naar een orde-bewuste staat.

Fase 2: Past–Current Dynamic Focus Cache (PCDF-Cache) - Inferentie
Zodra het model orde-bewust is, wordt een slimme geheugenretrieval-mechanisme ingezet om de "Blindheid voor Focus" op te lossen.

• Principe: "Kijk nu, herinner alleen als nodig."
• Uncertainty-Gated Policy: Bij een nieuwe vraag berekent het model eerst het antwoord uitsluitend op basis van het korte, huidige venster. De voorspellende entropie (onzekerheid) wordt gemeten.
  • Lage onzekerheid: Het model geeft direct antwoord (geen geheugenretrieval nodig).
  • Hoge onzekerheid: Het activeert een Coarse-to-Fine (C2F) retrieval-module.
• Coarse-to-Fine Retrieval:
  1. Coarse: Eerst wordt op frame-niveau gezocht naar relevante segmenten in het verleden (via similariteit).
  2. Fine: Vervolgens wordt binnen deze geselecteerde segmenten fijnmazig gezocht op token-niveau.
• Dit zorgt voor een efficiënte uitbreiding van de context alleen wanneer het echt nodig is, wat de latentie verlaagt en de focus behoudt.

3. Belangrijkste Bijdragen

1. Diagnose: Het blootleggen van "Time-Agnosticism" als de onderliggende oorzaak van falen in streaming VideoLLMs, waarbij wordt aangetoond dat het willekeurig herschikken van frames de prestaties van modellen nauwelijks beïnvloedt (in tegenstelling tot mensen).
2. Framework: Een plug-and-play oplossing (WeaveTime) die werkt met bestaande VideoLLMs zonder extra data of architecturale wijzigingen.
3. SOPE: Een lichtgewicht trainingstechniek die orde-bewustzijn installeert via een tijdsreconstructie-taak.
4. PCDF-Cache: Een uncertainty-gedreven, hiërarchisch geheugenbeheersysteem dat de balans vindt tussen huidige observatie en historische context.
5. Resultaten: Uitgebreide experimenten tonen verbeteringen in zowel nauwkeurigheid als efficiëntie.

4. Resultaten

De auteurs evalueren WeaveTime op representatieve streaming benchmarks (OVO-Bench en Streaming-Bench) en offline benchmarks (QA-Ego4D, MLVU, EventHALL).

• Prestatieverbetering: Geïntegreerd met LLaVA-OV-7B, boekt WeaveTime significante winsten ten opzichte van sterke baselines zoals StreamBridge en ReKV.
  • +7.10% verbetering op OVO-Bench Real-Time.
  • +3.74% verbetering op Streaming-Bench Real-Time.
  • Specifiek sterke verbeteringen in tijdsbewuste taken zoals Actierecognitie (+11.09%) en Eventbegrip (+9.04%).
• Efficiëntie: Door de uncertainty-gated aanpak wordt de latentie verlaagd omdat niet elke vraag een dure geheugenretrieval vereist.
• Data-efficiëntie: Het model bereikt deze resultaten met slechts 30.000 offline video-voorbeelden en geen gespecialiseerde streaming-data, terwijl concurrenten vaak honderdduizenden streaming-specifieke data nodig hebben.
• Ablatie-studies: Bevestigen dat zowel SOPE (voor orde) als PCDF-Cache (voor focus) noodzakelijk zijn voor de beste prestaties. De optimale entropiedrempel voor het activeren van herinnering ligt rond 0.6.

5. Betekenis

WeaveTime biedt een praktische en kosteneffectieve route naar tijd-bewuste streaming VideoLLMs onder strikte online, causale beperkingen. Het lost het fundamentele probleem op dat huidige modellen "blind" zijn voor de tijdsorde van gebeurtenissen. Door een simpele trainingstuning en een slimme inferentiestrategie te combineren, maakt het VideoLLMs geschikt voor real-time, interactieve toepassingen zoals autonoom rijden en mens-robot interactie, zonder de enorme rekenkosten van gespecialiseerde streaming-modellen. De code en gewichten worden openbaar beschikbaar gesteld.