Riepilogo Tecnico: Memoria Visiva Adattiva Consapevole del Semantico per la Comprensione di Video in Streaming

Definizione del Problema

Il documento affronta la Risposta a Domande su Video in Streaming Online (StreamingVQA), un compito in cui un modello deve elaborare un flusso video continuo e illimitato e rispondere a query in linguaggio naturale in tempo reale man mano che arrivano. A differenza degli scenari offline in cui è disponibile l'intero video, lo streaming impone tre vincoli critici:

1. Nessun Accesso al Futuro: Il modello può accedere solo ai fotogrammi fino al timestamp corrente $T$.
2. Codifica Indipendente dalla Query: La costruzione della memoria deve avvenire senza conoscenza della query specifica, poiché le query arrivano in modo imprevedibile.
3. Memoria Limitata: L'ingombro totale della memoria deve rimanere costante indipendentemente dalla durata del video.

I metodi esistenti faticano a rispettare questi vincoli. La maggior parte si affida a euristiche di similarità visiva per la compressione dei token, che non riesce a catturare l'importanza semantica, oppure aggiunge meccanismi di recupero a livello di cache KV dopo che la compressione è stata finalizzata. Questa separazione rende difficile coordinare la ritenzione e il recupero, portando spesso alla perdita di informazioni semanticamente critiche ma visivamente ridondanti.

Metodologia: SAVEMem

Gli autori propongono SAVEMem, un framework a due stadi senza addestramento che disaccoppia la generazione della memoria indipendente dalla query dal recupero consapevole della query. Il sistema opera con un budget di memoria costante $B$ e utilizza una "banca di pseudo-domande" fissa per iniettare prior semantiche senza richiedere il fine-tuning del modello.

Stadio 1: Generazione della Memoria Semantica (Indipendente dalla Query)

In questa fase, il modello costruisce una memoria in streaming a tre livelli ($M_{short}$, $M_{mid}$, $M_{long}$) online man mano che arrivano i fotogrammi.

• Prior Semantico: Invece di affidarsi esclusivamente alla similarità visiva, SAVEMem assegna un punteggio a ogni token visivo $v$ rispetto a una banca fissa di pseudo-domande $Q$ (che coprono oggetti, azioni, scene, ecc.) utilizzando un meccanismo di interazione tardiva MaxSim: $s(v) = \max_{q \in Q} \cos(v, q)$. Questo fornisce una stima indipendente dalla query della salienza semantica.
• Gerarchia a Tre Livelli con Dimenticanza Selettiva:
  • Breve termine ($M_{short}$): Un buffer FIFO che preserva i fotogrammi più recenti con piena fedeltà per ancorare il contesto corrente.
  • Medio termine ($M_{mid}$): Quando $M_{short}$ si riempie, il fotogramma più vecchio subisce una Potatura Semantica Temporale. I token vengono rimossi se sono ben rappresentati dai vicini temporali, a meno che non abbiano punteggi semantici elevati ($s(v)$) o si trovino ai confini della scena.
  • Lungo termine ($M_{long}$): Quando $M_{mid}$ va in overflow, i fotogrammi vengono spostati qui tramite Selezione Semantica Spaziale. Questo tratta la copertura spaziale come un vincolo rigido, classificando i token in base ai loro punteggi semantici per mantenere un sottoinsieme disperso ma semanticamente ordinato.
  • Applicazione del Budget Globale: Un passo di Dimenticanza Selettiva garantisce che il conteggio totale dei token non superi mai $B$. Se viene superato, i token con il punteggio più basso in $M_{long}$ vengono espulsi.

Stadio 2: Recupero Adattivo della Memoria (Consapevole della Query)

Al ricevimento di una query utente $q$ al tempo $T$, il sistema recupera i fotogrammi rilevanti dalla memoria congelata.

• Porta di Recenza Condizionata all'Anchore: Il sistema verifica prima se la query mira al passato immediato. Calcola l'affinità tra $q$ e l'ancoraggio a breve termine ($M_{short}$). Se questa affinità è alta (rispetto a una media mobile), il sistema restituisce direttamente $M_{short}$, bypassando i livelli più vecchi. Questa porta si adatta per ogni query in base alla distribuzione specifica di affinità del video.
• Interazione Tardiva Consapevole della Query: Se la query richiede un contesto storico, il sistema calcola un punteggio di interazione tardiva stile ColBERT tra la query e i token in $M_{mid} \cup M_{long}$. Il punteggio per un fotogramma è la media delle massime similarità coseno tra i suoi token e i token della query.
• Recupero Adattivo: I fotogrammi vengono classificati in base a questo punteggio. Il numero di fotogrammi recuperati ($K$) si adatta alla dispersione del punteggio: punteggi strettamente raggruppati (evidenza diffusa) risultano nel recupero di più fotogrammi, mentre punteggi ben separati attivano un filtraggio aggressivo. L'insieme finale include sempre $M_{short}$ più i fotogrammi storici meglio classificati.

Contributi Chiave

1. Framework a Due Stadi: Un'architettura senza addestramento che separa la compressione consapevole del semantico dal recupero consapevole della query, permettendo ai due stadi di essere coordinati tramite un meccanismo di punteggio condiviso (MaxSim) senza addestramento congiunto.
2. Compressione Consapevole del Semantico: L'introduzione di una banca di pseudo-domande per guidare la ritenzione a lungo termine basata sulla salienza semantica piuttosto che sulla semplice similarità visiva, garantendo che i token informativi siano preservati anche se visivamente ridondanti.
3. Ambito di Recupero Adattivo: Una porta di recenza condizionata all'ancoraggio che regola dinamicamente l'ambito di recupero (breve termine vs. lungo termine) in base al fatto che la query miri al presente o al passato remoto.
4. Efficienza: Il metodo raggiunge una crescita sub-lineare dei token e un utilizzo della memoria GPU di picco quasi piatto rispetto alla durata del video, trasformando l'elaborazione di video lunghi in un problema vincolato da un budget.

Risultati Sperimentali

SAVEMem è stato valutato su OVO-Bench, StreamingBench e ODV-Bench utilizzando l'architettura di base Qwen2.5-VL (3B e 7B parametri) senza alcun addestramento.

• OVO-Bench:
  • Sulla base Qwen2.5-VL-7B, SAVEMem ha migliorato il punteggio complessivo da 52,27 a 62,69, superando i recenti metodi senza addestramento (ad es. FluxMem, HERMES) e gli approcci competitivi basati sull'addestramento (ad es. ViSpeak).
  • Sono stati osservati guadagni significativi nella Percezione Visiva in Tempo Reale (+10,41 punti) e nel Tracciamento Indietro (+10,41 punti).
  • Il metodo ha mostrato una forza particolare nei compiti che richiedono dettagli visivi fini (OCR, STU, ACR) e nel rilevamento delle allucinazioni.
• StreamingBench & ODV-Bench:
  • Sono stati osservati miglioramenti coerenti su entrambe le architetture di base. Sul modello 7B, il punteggio Statico di ODV-Bench è migliorato di 8,7 punti (da 48,3 a 57,0).
• Efficienza:
  • A 128 fotogrammi, SAVEMem ha ridotto l'utilizzo della memoria GPU di picco del 48% rispetto all'architettura di base (18,5 GB contro 35,8 GB), mantenendo al contempo una crescita sub-lineare dei token.

Significato e Affermazioni

Il documento afferma che disaccoppiare la compressione semantica indipendente dalla query dal recupero adattivo consapevole della query è una direzione pratica per scalare la comprensione di video in streaming senza la necessità di addestramento. Iniettando segnali semantici nella fase di compressione e adattando l'ambito di recupero per ogni query, SAVEMem affronta il "compromesso percezione-memoria" intrinseco allo streaming. Gli autori sottolineano che il loro approccio permette ai modelli di gestire flussi illimitati su GPU commerciali imponendo un budget di memoria costante pur mantenendo informazioni semanticamente critiche.

Gli autori riconoscono le limitazioni, notando che il metodo è intrinsecamente sensibile al compromesso tra recupero selettivo e copertura completa per compiti che richiedono una scansione temporale esaustiva (ad es. conteggio). Notano inoltre che la banca di pseudo-domande è attualmente generica e non adattata al dominio, e che la progettazione senza addestramento preclude l'ottimizzazione congiunta dei due stadi.