Technische Samenvatting: Semantisch Bewuste Adaptieve Visuele Geheugen voor Streaming Video Begrip

Probleemdefinitie

Het artikel behandelt Online Streaming Video Vraag-Antwoord (StreamingVQA), een taak waarbij een model een continue, onbegrensde video-stream moet verwerken en natuurlijke taalvragen in real-time moet beantwoorden naarmate ze binnenkomen. In tegenstelling tot offline omgevingen waar de volledige video beschikbaar is, stelt streaming drie kritieke beperkingen:

1. Geen Toegang tot de Toekomst: Het model kan alleen frames tot het huidige tijdstip $T$ benaderen.
2. Query-agnostische Encodering: De constructie van het geheugen moet plaatsvinden zonder kennis van de specifieke vraag, aangezien vragen onvoorspelbaar binnenkomen.
3. Beperkt Geheugen: De totale geheugenvoetafdruk moet constant blijven, ongeacht de videolengte.

Bestaande methoden worstelen met deze beperkingen. De meeste vertrouwen op heuristieken voor visuele gelijkenis voor tokencompressie, wat faalt in het vastleggen van semantisch belang, of ze voegen zoekmechanismen toe op het niveau van de KV-cache na dat de compressie is afgerond. Deze scheiding maakt het moeilijk om retentie en ophalen te coördineren, wat vaak leidt tot het verlies van semantisch kritieke maar visueel redundante informatie.

Methodologie: SAVEMem

De auteurs stellen SAVEMem voor, een trainingsvrij, tweestapskader dat query-agnostische geheugengeneratie ontkoppelt van query-bewust ophalen. Het systeem opereert onder een constant geheugenbudget $B$ en maakt gebruik van een vaste "pseudo-vragenbank" om semantische priors in te brengen zonder modelfine-tuning te vereisen.

Stap 1: Semantische Geheugengeneratie (Query-agnostisch)

In deze stap bouwt het model een drie-laags streaminggeheugen ($M_{short}$, $M_{mid}$, $M_{long}$) online naarmate frames binnenkomen.

• Semantische Prior: In plaats van uitsluitend te vertrouwen op visuele gelijkenis, scoort SAVEMem elke visuele token $v$ tegen een vaste bank van pseudo-vragen $Q$ (dekkend objecten, acties, scènes, enz.) met behulp van een MaxSim late-interactie mechanisme: $s(v) = \max_{q \in Q} \cos(v, q)$. Dit biedt een query-agnostische schatting van semantische salientie.
• Drie-laags Hiërarchie met Selectief Vergeten:
  • Korte termijn ($M_{short}$): Een FIFO-buffer die de meest recente frames in volledige fideliteit behoudt om de huidige context te verankeren.
  • Middellange termijn ($M_{mid}$): Wanneer $M_{short}$ vol raakt, ondergaat het oudste frame Temporele Semantische Pruning. Tokens worden verwijderd als ze goed worden vertegenwoordigd door temporele buren, tenzij ze hoge semantische scores hebben ($s(v)$) of zich op scènegrenzen bevinden.
  • Lange termijn ($M_{long}$): Wanneer $M_{mid}$ overloopt, verplaatsen frames zich hierheen via Ruimtelijke Semantische Selectie. Dit behandelt ruimtelijke dekking als een harde beperking, waarbij tokens worden gerangschikt op basis van hun semantische scores om een verspreid maar semantisch geordend subset te behouden.
  • Globale Budgethandhaving: Een Selectief Vergeten stap zorgt ervoor dat het totale aantal tokens $B$ nooit overschrijdt. Bij overschrijding worden de tokens met de laagste scores in $M_{long}$ verwijderd.

Stap 2: Adaptief Geheugenophalen (Query-bewust)

Bij ontvangst van een gebruikersvraag $q$ op tijdstip $T$, haalt het systeem relevante frames op uit het bevroren geheugen.

• Anker-geconditioneerd Recente Poort: Het systeem controleert eerst of de vraag de directe recente toekomst target. Het berekent de affiniteit tussen $q$ en het korte-termijn anker ($M_{short}$). Als deze affiniteit hoog is (relatief aan een lopend gemiddelde), geeft het systeem $M_{short}$ direct terug en omzeilt het de oudere lagen. Deze poort past zich per vraag aan op basis van de specifieke affiniteitsverdeling van de video.
• Query-bewuste Late Interactie: Als de vraag historische context vereist, berekent het systeem een ColBERT-stijl late-interactie score tussen de vraag en tokens in $M_{mid} \cup M_{long}$. De score voor een frame is het gemiddelde van de maximale cosinus-similariteiten tussen zijn tokens en de vraag-tokens.
• Adaptief Ophalen: Frames worden gerangschikt op basis van deze score. Het aantal opgehaalde frames ($K$) past zich aan aan de scoreverspreiding: sterk geclusterde scores (diffuus bewijs) resulteren in het ophalen van meer frames, terwijl goed gescheiden scores agressieve filtering triggeren. De uiteindelijke set bevat altijd $M_{short}$ plus de best gerangschikte historische frames.

Belangrijkste Bijdragen

1. Tweestapskader: Een trainingsvrije architectuur die semantisch bewuste compressie scheidt van query-bewust ophalen, waardoor de twee stappen kunnen worden gecoördineerd via een gedeelde scoringsmechanisme (MaxSim) zonder gezamenlijke training.
2. Semantisch Bewuste Compressie: De introductie van een pseudo-vragenbank om langdurige retentie te sturen op basis van semantische salientie in plaats van alleen visuele gelijkenis, waardoor informatieve tokens behouden blijven zelfs als ze visueel redundant zijn.
3. Adaptieve Ophaal Scope: Een anker-geconditioneerde recente poort die dynamisch de ophaal scope (korte termijn versus lange termijn) aanpast op basis van of de vraag het heden of het verre verleden target.
4. Efficiëntie: De methode bereikt sub-lineaire token-groei en bijna vlakke piek GPU-geheugengebruik ten opzichte van de videolengte, waardoor lang-video verwerking wordt omgezet in een probleem met een gebonden budget.

Experimentele Resultaten

SAVEMem werd geëvalueerd op OVO-Bench, StreamingBench en ODV-Bench met de Qwen2.5-VL backbone (3B en 7B parameters) zonder enige training.

• OVO-Bench:
  • Op de Qwen2.5-VL-7B backbone verbeterde SAVEMem de totale score van 52,27 naar 62,69, presterend beter dan recente trainingsvrije methoden (bijv. FluxMem, HERMES) en concurrerende op training gebaseerde benaderingen (bijv. ViSpeak).
  • Beduidende winsten werden waargenomen in Real-time Visuele Perceptie (+10,41 punten) en Terugwaartse Tracering (+10,41 punten).
  • De methode toonde bijzondere sterkte in taken die fijnkorrelige visuele details vereisen (OCR, STU, ACR) en hallucinatie-detectie.
• StreamingBench & ODV-Bench:
  • Consistente verbeteringen werden waargenomen voor beide backbones. Op het 7B model verbeterde de ODV-Bench Static score met 8,7 punten (van 48,3 naar 57,0).
• Efficiëntie:
  • Bij 128 frames verminderde SAVEMem het piek GPU-geheugengebruik met 48% ten opzichte van de backbone (18,5 GB versus 35,8 GB), terwijl het sub-lineaire token-groei behield.

Betekenis en Beweringen

Het artikel beweert dat het ontkoppelen van query-agnostische semantische compressie van query-bewuste adaptieve ophaling een praktische richting is voor het schalen van streaming video begrip zonder de noodzaak van training. Door semantische signalen in te brengen in de compressiefase en de ophaal scope per vraag aan te passen, adresseert SAVEMem de "perceptie-geheugen afweging" inherent aan streaming. De auteurs benadrukken dat hun aanpak modellen in staat stelt om onbegrensde streams te verwerken op commerciële GPU's door een constant geheugenbudget af te dwingen terwijl semantisch kritieke informatie behouden blijft.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de methologie inherent gevoelig is voor de afweging tussen selectief ophalen en volledige dekking voor taken die exhaustieve temporele scanning vereisen (bijv. tellen). Zij merken ook op dat de pseudo-vragenbank momenteel generiek is en niet domein-aangepast, en dat het trainingsvrije ontwerp gezamenlijke optimalisatie van de twee stappen uitsluit.