💻 computer science

OmniReasoner: Thinking with Long Audio-Video via Native Tool Use

OmniReasoner è un framework di post-training per l'uso di strumenti che consente agli LLM omnimodali di ragionare efficientemente su flussi audio-video prolungati decidendo dinamicamente quando invocare uno strumento di "zoom-in" per un'ispezione ad alta fedeltà di prove sparse, supportato da un nuovo meccanismo TimeAnchor per la coerenza temporale e da un Temporal Augmented Data Engine per un addestramento scalabile.

Autori originali: Yu Chen, Caorui Li, Ziyu Xiong, Yidong Wang, Mingqi Gao, Shuman Liu, Biao Liu, Chunfeng Yang, Anxiang Zeng, Haibo Zhang, Chaofan Chen

Pubblicato 2026-07-22

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yu Chen, Caorui Li, Ziyu Xiong, Yidong Wang, Mingqi Gao, Shuman Liu, Biao Liu, Chunfeng Yang, Anxiang Zeng, Haibo Zhang, Chaofan Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un mistero in una biblioteca che non finisce mai. La biblioteca è piena di migliaia di libri, ma gli indizi di cui hai bisogno per risolvere il caso sono minuscoli: forse una singola parola sussurrata a pagina 4.002, o un disegno specifico nascosto nel margine di pagina 12.500. Se provi a leggere ogni singola pagina alla stessa velocità, il tuo cervello si stanca e potresti perdere i piccoli dettagli perché stavi correndo attraverso tutto. Questo è l'esatto problema che i computer affrontano quando cercano di comprendere video e audio lunghi. Sono modelli "omni-modali", il che significa che possono vedere e sentire, ma quando un video dura un'ora, l'indizio più importante potrebbe essere un suono di una frazione di secondo o un breve movimento visivo. Se il computer cerca di elaborare l'intera ora con un dettaglio elevato, esaurisce la memoria. Se scorre tutto velocemente, perde gli indizi. Gli scienziati hanno cercato di insegnare ai computer come diventare dei veri investigatori migliori: come scorrere rapidamente l'intera storia, individuare la parte sospetta e poi rallentare per guardare da vicino solo dove conta.

Entra in scena OmniReasoner, un nuovo framework di "pensiero" che insegna a questi detective IA come usare uno strumento speciale: un pulsante di zoom. Invece di fissare l'intero video di un'ora tutto in una volta, OmniReasoner prima dà un rapido "sguardo" a bassa qualità all'intera linea temporale, un po' come sfogliare un libro per prendere confidenza con la trama. Se pensa che la risposta sia proprio lì, fornisce la risposta. Ma se percepisce che un indizio si nasconde in un momento specifico — come un personaggio che dice una frase particolare o un pesce che appare in una ciotola — si ferma e richiede uno zoom. Richiede una clip ad alta definizione e alta velocità di solo quei pochi secondi. L'IA osserva quindi questa prova "zoomata" insieme al suo sguardo rapido originale per risolvere l'enigma.

Il trucco magico qui è come l'IA sa dove fare lo zoom. In passato, i computer avevano difficoltà perché contavano i "frame" (come contare le pagine), ma se acceleri o rallenti il video, i numeri delle pagine cambiano. OmniReasoner utilizza un sistema ingegnoso chiamato TimeAnchor. Pensalo come una coordinata GPS basata sull'orario (ad esempio, "guarda a 2 minuti e 49 secondi") piuttosto che su un numero di pagina. In questo modo, sia che l'IA stia guardando la versione sfocata e velocizzata, sia che stia guardando la versione cristallina e zoomata, "2:49" punta sempre allo stesso identico momento. Ciò assicura che l'IA non si perda quando passa dal quadro generale al primo piano.

Per insegnare all'IA questa abilità, i ricercatori non si sono limitati a chiedere agli esseri umani di etichettare ogni video; questo richiederebbe troppo tempo. Invece, hanno costruito un Temporal Augmented Data Engine. Immagina un editor video che prende brevi clip, le cuce insieme in un film lungo e nasconde segretamente un "indizio" in una delle nuove cuciture. L'IA viene quindi addestrata a trovare quell'indizio nascosto. A volte all'IA viene chiesto di indovinare semplicemente dall'intero film, e altre volte è costretta a usare lo strumento di zoom. Attraverso un processo di tentativi ed errori (apprendimento per rinforzo), l'IA impara che usare lo strumento di zoom porta a punteggi migliori, ma solo quando è effettivamente necessario.

I risultati dimostrano che questo approccio funziona. Testato su varie sfide video e audio, OmniReasoner è diventato significativamente più bravo a trovare risposte, specialmente in video molto lunghi dove gli indizi sono rari. Non è diventato solo più intelligente nel rispondere; ha imparato a essere efficiente, spendendo la sua "potenza cerebrale" solo nei momenti che contavano davvero. Il documento suggerisce che insegnando all'IA decidere quando guardare più da vicino, invece di costringerla a guardare tutto equamente, possiamo risolvere misteri complessi in flussi audio-video lunghi che prima erano troppo difficili da decifrare. È un passo verso un'IA che non si limita a guardare i video, ma li pensa davvero, sapendo esattamente quando fermarsi e prestare attenzione.

Riepilogo Tecnico: OmniReasoner

Problema

Il ragionamento su audio-video lunghi presenta una sfida fondamentale per i modelli linguistici di grandi dimensioni (LLM) omnimodali: l'evidenza decisiva necessaria per rispondere a una domanda è spesso sparsa, distribuita nel tempo e cross-modale (coinvolge sia indizi visivi che uditivi). Preservare ogni fotogramma e segmento audio ad alta fedeltà è computazionalmente proibitivo a causa dei vincoli della finestra di contesto e dei costi dei token. Al contrario, il sottocampionamento uniforme per far rientrare flussi lunghi nel contesto spesso scarta l'evidenza fine necessaria per un ragionamento accurato. Gli approcci esistenti si affidano o a pre-elaborazioni fisse, o alla ricerca di segmenti rilevanti utilizzando solo indizi visivi, o ottimizzano il ragionamento dopo la selezione dell'evidenza, fallendo nel risolvere la decisione fondamentale su quando e dove allocare l'elaborazione ad alta fedeltà in uno stream audio-video lungo.

Metodologia

Gli autori introducono OmniReasoner, un framework di post-training per l'uso di strumenti (tool-use) progettato per insegnare agli LLM omnimodali come "ragionare con audio-video lunghi" decidendo adattivamente se chiamare uno strumento di zoom-in.

1. Workflow di Inferenza

OmniReasoner opera in un processo a due stadi:

Anteprima Globale (Global Preview): Il modello consuma prima un'anteprima globale sparsa e a basso costo dell'intero stream audio-video (video a bassa frequenza di fotogrammi e audio completo).
Decisione dello Strumento (Tool Decision): In base a questa anteprima e alla domanda dell'utente, la policy decide tra due azioni:
- Risposta Diretta (Direct Answer): Se l'evidenza globale è sufficiente, il modello risponde immediatamente.
- Zoom-in: Se è necessaria più evidenza, il modello chiama uno strumento di zoom-in, specificando un intervallo temporale $[s, e]$ .
Ispezione Locale (Local Inspection): Il sistema recupera una clip locale ad alta fedeltà corrispondente all'intervallo richiesto. Il modello esegue quindi un ragionamento esaustivo utilizzando sia il contesto globale che l'evidenza locale dettagliata per generare la risposta finale.

2. TimeAnchor

Un contributo tecnico critico è TimeAnchor, che risolve il problema del grounding temporale attraverso diverse granularità di campionamento.

La Sfida: Gli indici dei fotogrammi standard o gli ID dei chunk sono relativi a un tasso di campionamento specifico. Un indice di fotogramma valido in un'anteprima globale sparsa non corrisponde allo stesso momento fisico in una clip locale densa.
La Soluzione: TimeAnchor antepone un marker temporale assoluto in testo semplice (ad esempio, <32 secondi>) a ogni chunk di due secondi dello stream di token audio-video intersecati. Ciò assicura che un argomento temporale (ad esempio, "ispeziona 32–38 secondi") rimanga valido e coerente nel round-trip indipendentemente dal fatto che il modello stia visualizzando lo stream globale sparso o la clip locale densa. L'argomento è legato al tempo reale (wall-clock time), non agli indici dei fotogrammi.

3. Motore di Dati per l'Augmentation Temporale (Temporal Augmented Data Engine)

Per addestrare il modello senza costose annotazioni manuali degli intervalli, gli autori hanno costruito un Motore di Dati per l'Augmentation Temporale che sintetizza traiettorie di uso degli strumenti:

Costruzione del Task: Crea task di ragionamento a lungo formato tramite Composizione Multi-segmento (unendo clip indipendenti) e Inserimento di Anomalie (sostituendo audio, video o entrambi in una finestra). Il processo di editing fornisce intrinsecamente gli intervalli di evidenza ground-truth.
Sintesi delle Traiettorie: Utilizzando un "MediaSandbox", il motore simula l'ambiente di inferenza. Genera due tipi di traiettorie:
- Traiettorie di uso dello strumento (Tool-use trajectories): Il modello osserva la vista globale, richiede un intervallo di zoom, riceve la clip locale e risponde.
- Traiettorie di risposta diretta (Direct-answer trajectories): Il modello risponde direttamente dalla vista globale.
Regime di Addestramento: Il framework impiega il Supervised Fine-Tuning (SFT) su queste traiettorie sintetizzate per stabilire il protocollo di uso degli strumenti, seguito dall'apprendimento per rinforzo tramite Group Relative Policy Optimization (GRPO). La ricompensa RL si basa sull'accuratezza della risposta e sulla conformità del formato, ottimizzando la policy affinché chiami lo strumento solo quando migliora la risposta finale.

Contributi Chiave

Framework OmniReasoner: Un approccio di post-training che consente ai modelli omnimodali di apprendere l'uso adattivo degli strumenti (zoom-in) per il ragionamento audio-video lungo tramite SFT e RL.
TimeAnchor: Un meccanismo che mantiene la validità degli argomenti temporali attraverso i confini di fedeltà (campionamento sparso vs denso) utilizzando marker temporali assoluti invece di indici di fotogrammi.
Motore di Dati per l'Augmentation Temporale: Una pipeline scalabile di generazione dati che sintetizza traiettorie di uso degli strumenti con intervalli di evidenza noti attraverso l'editing video, eliminando la necessità di annotazione manuale degli span.

Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark di ragionamento omnimodale e video, tra cui OmniVideoBench, LVOmniBench, Daily-Omni, WorldSense, VideoMME e VideoHolmes.

Guadagni di Performance: OmniReasoner (basato su Qwen2.5-Omni-7B) ha superato significativamente il modello base. I miglioramenti degni di nota includono:
- OmniVideoBench: +5.5 punti (29.3 $\to$ 34.8).
- LVOmniBench: +3.4 punti (32.0 $\to$ 35.4).
- VideoHolmes: +15.6 punti (24.4 $\to$ 40.0), attribuito alla capacità di recuperare più fotogrammi tramite lo zoom-in rispetto al limite fisso di 32 fotogrammi del baseline.
Sensibilità alla Durata: Il divario di performance si è ampliato con la lunghezza del video. Su OmniVideoBench, i guadagni sono passati da +3.2 punti per i video da 0–5 minuti a +9.9 punti per i video da 10–30 minuti, dimostrando l'efficacia dello zoom-in adattivo per l'evidenza sparsa in contesti lunghi.
Studi di Ablazione:
- Rimuovere i dati temporali auto-curati ha causato cali significativi, confermando la necessità degli intervalli di evidenza costruiti.
- Rimuovere l'input audio o la clip restituita dallo strumento ha degradato le performance, validando la dipendenza dall'evidenza cross-modale e dall'acquisizione locale attiva.
- L'ablatore di TimeAnchor ha mostrato che, sebbene la sola ricetta di addestramento migliori il grounding, TimeAnchor fornisce guadagni aggiuntivi sostanziali (ad esempio, +6.1 punti su Charades-STA mIoU), provando il suo ruolo nell'allineare gli argomenti temporali tra diverse granularità.
- L'addestramento solo con RL senza warm-up SFT è fallito, evidenziando la necessità di un cold-start supervisionato per stabilire il formato di uso dello strumento.

Significato

Il paper sostiene che il ragionamento audio-video lungo richiede un passaggio dalla percezione uniforme all'acquisizione adattiva dell'evidenza. OmniReasoner dimostra che i modelli omnimodali possono essere addestrati per agire come agenti che decidono quando guardare e dove ascoltare di nuovo, piuttosto che elaborare passivamente un contesto fisso. Introducendo TimeAnchor e un motore di dati scalabile, il lavoro affronta le specifiche sfide tecniche del grounding temporale in stream multi-fedeltà, offrendo una ricetta pratica di post-training per migliorare l'accuratezza del ragionamento in compiti audio-video a lungo termine senza richiedere massicce annotazioni manuali. Gli autori segnalano i limiti riguardanti l'attuale ambito di due stadi degli strumenti e la necessità di un'infrastruttura RL più matura per le interazioni agentiche multi-turno in contesti omnimodali.