💻 computer science

ObjectStream: Latent Objects as Memory Anchors for Streaming Video Understanding

ObjectStream è un framework senza addestramento che potenzia la comprensione dei video in streaming organizzando le rappresentazioni di un Video-LLM congelato in ancore di oggetti latenti persistenti, consentendo un ragionamento efficiente e ad alte prestazioni sulle storie e sulle interazioni degli oggetti riducendo significativamente l'uso della memoria e il numero di token.

Autori originali: Mingkang Dong, Muxin Pu, Jie Li, Bohan Guo, Songruo Chen, Bin Ren, Xu Zheng, Chen Zhao, Tianwen Qian, Mohamed Elhoseiny, Yuqian Fu

Pubblicato 2026-07-31

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Mingkang Dong, Muxin Pu, Jie Li, Bohan Guo, Songruo Chen, Bin Ren, Xu Zheng, Chen Zhao, Tianwen Qian, Mohamed Elhoseiny, Yuqian Fu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di guardare lo streaming live di una strada cittadina trafficata. Le auto sfrecciano, le persone attraversano la strada e un uccello si posa su un lampione. Ora, immagina di essere un robot che cerca di rispondere a domande su questa strada, ma puoi ricordare solo una minuscola fetta di ciò che vedi in un singolo momento. Se qualcuno ti chiedesse: "Di che colore era l'auto che è passata dieci minuti fa?" o "Quella persona ha fatto cadere le chiavi?", la tua memoria potrebbe essere un muro bianco. Questa è la sfida della comprensione video in streaming. È un ramo dell'intelligenza artificiale in cui i computer cercano di dare un senso ai video che arrivano in tempo reale, come un feed dal vivo, piuttosto che a un film che possono mettere in pausa e riavvolgere. Il grande problema è che il video è enorme; è un'inondazione di dati visivi. Se un computer prova a salvare ogni singolo fotogramma, finisce lo spazio in memoria (lo spazio nel suo cervello) e diventa troppo lento per rispondere alle domande velocemente. Quindi, gli scienziati devono capire come scartare le parti noiose (come un cielo vuoto) e tenere le parti importanti (come un cane che si muove) senza perdere la storia.

Entra in gioco ObjectStream, un nuovo metodo che agisce come un bibliotecario super organizzato per la memoria di un robot. Invece di cercare di ricordare ogni singolo pixel del flusso video, ObjectStream decide di ricordare gli oggetti come i protagonisti della storia. Pensa a questo: se stessi descrivendo una festa caotica a un amico, non elencheresti ogni singola persona che è passata attraverso la porta. Invece, terresti traccia dei "protagonisti chiave": il DJ, la persona che balla sul tavolo, il ragazzo con il cappello rosso. ObjectStream fa esattamente questo per i robot. Guarda i dati video congelati e dice: "Ehi, quella macchia di pixel sembra una tazza", e poi tiene un diario costante di quella tazza. Traccia dove va la tazza, se viene urtata o se scompare. Non ha bisogno di assumere un team separato di esperti (come rilevatori di oggetti esterni) per trovare questi elementi; lo capisce tutto da solo usando il cervello esistente del robot.

Il documento presenta un sistema intelligente in tre parti per gestire questa memoria. Per prima cosa, crea degli "Ancore di Oggetti Latenti" (Latent Object Anchors). Immaginale come dei post-it che attacchi sulle cose importanti del video. Mentre il video scorre, il robot aggiorna queste note: "La tazza arancione è ora sul tavolo" o "La tazza blu viene impugnata". Tiene una cronologia di questi oggetti, anche se si muovono o cambiano leggermente. In secondo luogo, ha una sezione speciale per i "Cambiamenti Transitori" (Transient Changes). A volte, le cose accadono velocemente: un coltello taglia un cetriolo o una palla rimbalza. Questi sono momenti rapidi che potrebbero essere mediati se si guarda solo alla cronologia a lungo termine. ObjectStream mantiene un "fermo immagine" di questi cambiamenti rapidi in modo che il robot non perda l'azione. Terzo, mantiene una "Finestra di Grounding Visivo Recente" (Recent Visual Grounding Window), che è semplicemente una vista chiara e di alta qualità degli ultimi secondi di video. Ciò assicura che se qualcuno chiede: "Cosa sta succando proprio ora?", il robot abbia una visione fresca e non sfocata da osservare.

I ricercatori hanno testato questa idea su modelli di IA esistenti che erano già bravi a comprendere i video ma che faticavano con gli streaming live. Hanno scoperto che, aggiungendo questo sistema di "ancore di oggetti", i modelli sono diventati molto più bravi a rispondere a domande su ciò che accadeva nel video. Ad esempio, in un test chiamato OVO-Bench, che controlla quanto bene un robot possa percepire le cose in tempo reale, il punteggio del modello è salito di 10,0 punti (passando da 63,3 a 73,3). Ancora più impressionante, lo ha fatto utilizzando circa il 50% di memoria in meno e rispondendo alle domande due volte più velocemente rispetto a prima. In effetti, il sistema era così efficiente che poteva scartare l'82,5% dei dati video grezzi (i "token") e comunque performare meglio dei modelli che cercavano di tenere tutto.

Il documento suggerisce che questo approccio è un modo pratico per risolvere il problema della memoria senza dover riaddestrare l'intero modello di IA da zero. Dimostra che organizzare la memoria attorno alle "cose" (oggetti) piuttosto che solo ai "momenti" (fotogrammi) aiuta il robot a tenere traccia della storia. Gli autori hanno scoperto che questo metodo funziona bene sia per gli streaming live che per i video lunghi e pre-registrati, provando che tenere un diario degli oggetti è un modo intelligente per gestire l'inondazione di informazioni visive. Non è una soluzione magica che risolve ogni problema del mondo, ma suggerisce che se vogliamo che i robot comprendano il nostro mondo frenetico e in movimento in tempo reale, dobbiamo insegnare loro a ricordare i personaggi, non solo la scenografia.

Riepilogo Tecnico: ObjectStream

Definizione del Problema

La comprensione di video in streaming richiede che i modelli elaborino input visivi che arrivano continuamente e rispondano a domande che possono essere poste in qualsiasi momento, senza accesso ai frame futuri. Questa capacità è critica per applicazioni come assistenti indossabili, agenti incarnati (embodied agents) e sistemi autonomi. A differenza della comprensione video offline, dove l'intero video è disponibile per essere rivisitato, i modelli in streaming devono decidere quali informazioni conservare sotto rigidi vincoli di memoria e latenza prima che le query future siano note.

Gli approcci esistenti per i Video-LLM in streaming gestiscono principalmente il crescente contesto visivo basandosi sull'importanza dei token, sulla ridondanza temporale o sulla rilevanza a livello di segmento. Tuttavia, questi metodi raramente organizzano le evidenze attorno ad oggetti che persistono ed evolvono nel tempo. Di conseguenza, mentre i design esistenti preservano semantiche contestuali e temporali grossolane, le informazioni a grana più fine (come identità, interazioni e cambiamenti di stato) sono spesso meno esplicitamente organizzate nel tempo. Questo limite ostacola la capacità del modello di ragionare su domande che richiedono il tracciamento della storia di un oggetto o della sua evoluzione di stato.

Metodologia: ObjectStream

Per affrontare queste limitazioni, gli autori introducono ObjectStream, un framework di memoria visiva training-free e plug-and-play. ObjectStream tratta gli oggetti latenti come ancoraggi di memoria, organizzando lo stream video in arrivo senza richiedere detector di oggetti esterni, modelli di segmentazione o modifiche all'architettura del Video-LLM sottostante.

Il framework mantiene una memoria visiva limitata $R_\tau$ composta da tre moduli complementari:

1. Latent Object-Anchored Memory (LOAM)

Questo modulo scopre e traccia candidati oggetto spazialmente coerenti direttamente dalle rappresentazioni congelate del Video-LLM. Opera in quattro fasi:

Stima della Saliency dei Token Query-Agnostic: Per ogni frame, i token visivi vengono normalizzati e aggregati in un vettore di contesto globale. La saliency del token è stimata sulla base della dissimilarità del coseno rispetto a questo contesto; i token che deviano dalla rappresentazione globale sono identificati come potenziali candidati oggetto.
Clustering Spaziale: I token attivi vengono raggruppati utilizzando una struttura a griglia di patch 2D (vicini spaziali a 4 connessioni) per formare regioni coerenti a livello di oggetto senza segmentazione esterna.
Associazione Cross-Frame: I candidati oggetto sono associati tra i frame per costruire tracce persistenti. Viene mantenuto un set di oggetti dinamico in cui ogni traccia memorizza un vettore di feature, un timestamp, un punteggio di coerenza temporale e un punteggio di saliency. I match vengono aggiornati tramite Exponential Moving Average (EMA).
Manutenzione del Set di Oggetti Limitato: Per gestire stream video continui, il set di oggetti è limitato da un budget $M$ . Gli oggetti vengono espunti in base a una classificazione lessicografica di recenza, saliency e coerenza temporale.
Ritenzione delle Evidenze: Per gli oggetti mantenuti, il framework seleziona i top- $K$ token rappresentativi dai loro pool storici, garantendo una rappresentazione compatta ma completa delle storie visive persistenti.

2. Object-Conditioned Temporal Residuals (OCTR)

Mentre LOAM ammorbidisce le rappresentazioni degli oggetti nel tempo, ciò può sopprimere cambiamenti brevi ma critici (ad esempio, movimento, transizioni di stato o interazioni). OCTR rileva cambiamenti improvvisi nelle feature a livello di oggetto calcolando la differenza del coseno tra osservazioni consecutive di una traccia. Quando un cambiamento supera una soglia adattiva, il sistema recupera i token visivi grezzi da una finestra temporale locale attorno all'evento. Ciò preserva evidenze transitorie che completano la memoria storica ammorbidita.

3. Recent Visual Grounding Window (RVGW)

Per supportare domande in tempo reale sullo stato visivo corrente (ad esempio, "Cosa sta succedendo ora?"), ObjectStream mantiene una finestra leggera di token visivi grezzi dagli ultimi $L$ frame. Ciò assicura che sia disponibile un'evidenza locale ad alta fedeltà per il grounding immediato, completando il contesto storico compresso.

Contributi Chiave

Il paper riassume i suoi contributi come segue:

Framework ObjectStream: Un meccanismo di memoria visiva training-free e plug-and-play per una comprensione video in streaming efficiente che non richiede modifiche architettoniche al Video-LLM di base.
Latent Object-Anchored Memory: Un approccio innovativo che utilizza oggetti latenti come ancoraggi persistenti per organizzare le evidenze visive a lungo termine, eliminando la necessità di detector o segmentatori esterni.
Design di Memoria Complementare: L'integrazione di storie di oggetti persistenti con Object-Conditioned Temporal Residuals e una Recent Visual Grounding Window, ottenendo prestazioni elevate e l'efficienza dei token sia nell'apprendimento online che nei benchmark di comprensione video offline.

Risultati Sperimentali

Gli autori hanno valutato ObjectStream sia su benchmark di streaming online che su benchmark di video lunghi offline utilizzando backbone Qwen2.5-VL (3B e 7B).

Benchmark di Streaming Online:

OVO-Bench: ObjectStream ha migliorato Qwen2.5-VL-7B di 10.0 punti nella percezione visiva in tempo reale (da 63.3 a 73.3) e di 4.9 punti nel Backward Tracing. Ha superato altri metodi training-free come FluxMem e QueryStream.
StreamingBench: Il metodo ha migliorato il punteggio medio da 73.9 a 76.8 (backbone 7B) e da 68.0 a 72.4 (backbone 3B).
Efficienza: Nella valutazione online, ObjectStream ha ridotto il picco di memoria GPU e il Time-To-First-Token (TTFT) di circa il 50% rispetto ai baseline a token completi.

Benchmark Offline per Video Lunghi:

VideoMME-Long & EgoSchema: ObjectStream ha superato il baseline a token completi scartando l'82.5% dei token visivi. Nello specifico, ha migliorato i punteggi di Qwen2.5-VL-7B di 2.7 punti su VideoMME-Long e di 2.3 punti su EgoSchema.

Analisi di Ablazione ed Efficienza:

Gli studi di ablazione hanno confermato che LOAM fornisce una memoria strutturata degli oggetti (potenziando OVO-Bench), RVGW preserva le osservazioni recenti (potenziando StreamingBench) e OCTR cattura i cambiamenti improvvisi, con la combinazione completa che produce i risultati migliori.
Rispetto alle strategie che utilizzano la segmentazione esterna (SAM+DINOv2) o la semplice selezione di patch (Patch Top-K), ObjectStream ha raggiunto un equilibrio superiore tra accuratezza ed efficienza, offrendo minore latenza e uso della memoria pur mantenendo alte prestazioni.

Significato e Rivendicazioni

Il paper sostiene che gli oggetti latenti fungano da principio organizzativo pratico ed efficace per una memoria video in streaming compatta. Passando da una gestione centrata sui token o sui segmenti a un approccio centrato sugli oggetti, ObjectStream consente ai Video-LLM esistenti di ragionare su identità di oggetti, interazioni e cambiamenti di stato senza alterare il modello sottostante. I risultati evidenziano come l'organizzazione delle evidenze attorno ad ancoraggi latenti persistenti permetta ai modelli di trattenere efficientemente le evidenze visive utili, affrontando la sfida centrale della comprensione video in streaming: decidere cosa mantenere e come organizzarlo prima che le query future siano note.