Riepilogo Tecnico: SelectStream

Definizione del Problema

La comprensione di video in streaming richiede che i Modelli Vision-Language (VLM) rispondano a query in qualsiasi momento durante uno streaming video continuo, utilizzando solo il prefisso osservato, entro budget fissi di memoria, contesto e computazione. Sebbene lavori recenti abbiano tentato di risolvere questo problema aggiungendo banche di memoria esterne, moduli di recupero o compressione dei token visivi, tali metodi spesso si basano sull'assunto che una "memoria più ricca" conduca automaticamente a una migliore comprensione.

Gli autori sostengono che l'iniezione indiscriminata della cronologia possa diluire la percezione della scena corrente, un fenomeno in cui le prove rilevanti si mescolano con contenuti irrilevanti, indebolendo la capacità di ragionamento del modello. Al contrario, i semplici baseline a finestra recente (che scartano le evidenze più vecchie) falliscono quando informazioni critiche si trovano al di fuori del contesto immediato. La sfida centrale non è se utilizzare la memoria, ma come allocarla selettivamente: decidere quando scrivere nuova evidenza, cosa preservare quando la capacità è esaurita, come recuperare l'evidenza per una specifica query e quanta quantità di contesto storico esporre durante la generazione senza far crescere la finestra di contesto con la lunghezza dello stream.

Metodologia: SelectStream

SelectStream è un framework di memoria latente selettiva che formula la memoria in streaming come allocazione di evidenza latente online a budget limitato. Opera su un backbone VLM congelato e gestisce la cronologia attraverso un grafo di evidenza latente dinamico ($G_t = (M_t, E_t)$) invece di riprodurre i frame grezzi o convertire la cronologia in riassunti testuali. Il sistema è governato da tre meccanismi coordinati:

1. Finestratura Adattiva guidata dalla Sorpresa (SAW) – Quando Scrivere

SAW determina quando chiudere un segmento video e scriverlo in memoria. Invece di intervalli fissi, assegna voci di memoria grossolane agli intervalli stabili e una risoluzione più fine vicino alle transizioni sorprendenti.

• Meccanismo: Calcola un punteggio di sorpresa ($s_t$) basato sugli spostamenti dell'attenzione (divergenza JS delle mappe di attenzione) e sui cambiamenti delle caratteristiche (distanza del coseno degli embedding proiettati).
• Trigger: Un segmento si chiude quando raggiunge una lunghezza minima ($L_{min}$) e viene soddisfatta una delle tre condizioni: un picco di sorpresa ($\bar{s}_t > \theta_{high}$), l'energia di sorpresa accumulata supera un budget ($B_s$), o viene raggiunta la lunghezza massima del segmento ($L_{max}$).

2. Memoria Visiva Latente (LVM) – Cosa Preservare

LVM gestisce un grafo di memoria a capacità fissa dove gli embedding visivi proiettati sono memorizzati come nodi latenti.

• Scrittura: Quando un segmento viene chiuso, il suo embedding viene confrontato con i nodi attivi. Se è semanticamente simile e con bassa sorpresa, aggiorna un nodo esistente tramite un meccanismo di aggiornamento a porta (gated update) (per prevenire la sostituzione diretta di una cronologia utile). Altrimenti, viene creato un nuovo nodo.
• Consolidamento: Quando il budget di memoria ($N$) viene superato, il sistema esegue un consolidamento che preserva la priorità. Esso fonde la coppia di nodi con la penalità minore, bilanciando la ridondanza semantica (similarità) rispetto ai fattori di priorità (sorpresa, frequenza di accesso e recenza). Ciò assicura che l'evidenza sorprendente o frequentemente accessata venga preservata.

3. Ragionamento tramite Graph Attention condizionato alla Query (GAR) – Come Leggere

Quando arriva una query, il modello recupera un sottografo compatto invece di ragionare sull'intera cronologia.

• Routing: La query viene codificata e utilizzata per punteggiare i nodi attivi. Un sottografo viene instradato dai seed top-$k$ attraverso archi temporali e semantici, vincolato da un budget di sottografo ($B$).
• Ragionamento: Una rete di Graph Attention (GAR) affina gli stati dei nodi aggregando il contesto temporale e semantico dai vicini.
• Iniezione: I top-$M$ nodi raffinati vengono calibrati e iniettati come token di evidenza latente nel decoder del VLM congelato. Ciò consente al VLM di accedere all'evidenza storica senza aumentare la lunghezza del contesto in proporzione alla durata dello stream.

Contributi Chiave

1. Formulazione: Il paper formula il ricordo selettivo in video streaming come un problema di allocazione di evidenza latente online a budget limitato, affrontando esplicitamente il compromesso tra la ritenzione della percezione della scena corrente e l'accesso alla cronologia a lungo raggio.
2. Architettura (SelectStream): Un'architettura di memoria latente dinamica che scrive gli embedding visivi proiettati in un grafo a capacità fissa. Utilizza la finestratura guidata dalla sorpresa per la scrittura adattiva, il consolidamento consapevole della priorità per la preservazione e il ragionamento su grafo condizionato alla query per il recupero.
3. Interfaccia: Un design che inietta token di evidenza latente calibrati in un VLM congelato, evitando la riproduzione di frame grezzi o la riassunzione testuale, mantenendo così un costo di inferenza limitato indipendentemente dalla lunghezza dello stream.

Risultati Sperimentali

SelectStream è stato valutato su benchmark di video streaming e offline utilizzando i backbone Qwen2.5-VL-7B e Qwen3-VL-8B.

• Benchmark di Streaming:
  • StreamingBench: Ha raggiunto l'82,67% di accuratezza (Qwen3-VL-8B), superando i forti baseline a finestra recente (ad esempio, Qwen3-VL-8B + 4f all'80,59%) e precedenti metodi di memoria in streaming.
  • OVO-Bench: Ha raggiunto il 67,03% di accuratezza complessiva. Notevolmente, ha migliorato significativamente i punteggi di Backward Tracing (BT) (dal 54,00% al 62,20% su Qwen3-VL-8B), dimostrando una superiore capacità di utilizzare il contesto visivo precedente pur mantenendo un'alta Percezione Visiva in Tempo Reale (82,76%).
• Benchmark Offline:
  • Su VideoMME, MLVU e MVBench, SelectStream ha raggiunto un'accuratezza media del 74,4% (Qwen3-VL-8B), mostrando che il metodo preserva le capacità generali di comprensione del video e non sacrifica le prestazioni offline per l'efficienza dello streaming.
• Efficienza:
  • Il modello mantiene una latenza di query (TTFT) quasi piatta e un picco di memoria GPU costante all'aumentare del numero di frame elaborati, poiché lo stato della memoria attiva è limitato da $N$ e il recupero è limitato da $B$ e $M$.

Significato e Claim

Il paper sostiene che SelectStream affronti il problema della "diluizione dell'evidenza" inerente all'iniezione indiscriminata della memoria. Mantenendo l'osservazione corrente direttamente visibile al VLM congelato ed esponendo le informazioni storiche solo attraverso un budget di evidenza compatto e condizionato alla query, il modello ottiene un compromesso superiore tra memoria a lungo raggio e percezione della scena corrente.

Gli autori posizionano SelectStream come una direzione scalabile per la comprensione del video in streaming sotto vincoli di risorse fissi. I risultati suggeriscono che la memoria latente selettiva fornisce benefici che vanno oltre il semplice mantenimento degli ultimi frame, consentendo un robusto ragionamento dipendente dalla cronologia senza l'overhead computazionale di finestre di contesto in crescita. Il framework è progettato come uno strato di memoria generale per backbone video-linguistici congelati, separando la gestione della memoria online dalla generazione al tempo della query.