💬 NLP

OmniTrace: A Unified Framework for Generation-Time Attribution in Omni-Modal LLMs

OmniTrace è un framework unificato e leggero che risolve la sfida dell'attribuzione nelle risposte dei modelli linguistici multimodali generativi tracciando in tempo reale i token prodotti fino alle fonti di input cross-modali, fornendo spiegazioni coerenti e interpretabili senza necessità di riaddestramento.

Autori originali: Qianqi Yan, Yichen Guo, Ching-Chen Kuo, Shan Jiang, Hang Yin, Yang Zhao, Xin Eric Wang

Pubblicato 2026-04-16

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Qianqi Yan, Yichen Guo, Ching-Chen Kuo, Shan Jiang, Hang Yin, Yang Zhao, Xin Eric Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un super-intelligenza artificiale che è come un artista poliedrico: può leggere, guardare foto, ascoltare musica e vedere video, tutto allo stesso tempo. Quando le chiedi una domanda, lei ti risponde con un testo fluido e intelligente.

Ma ecco il problema: come fai a sapere su cosa si basa la sua risposta?
Se l'AI dice "Questo quadro è triste", è perché ha guardato il quadro? O perché ha letto una didascalia? O forse ha ascoltato una descrizione audio? Spesso, le AI moderne sono come "scatole nere": danno la risposta, ma non ti dicono dove l'hanno presa. È come se un cuoco ti servisse un piatto delizioso ma non volesse dirti quali ingredienti ha usato.

Cos'è OmniTrace?

OmniTrace è come un detective digitale o un sistema di tracciamento in tempo reale che entra nella mente dell'AI mentre sta scrivendo la sua risposta.

Invece di aspettare che l'AI finisca di parlare per poi chiedersi "Da dove viene questa frase?", OmniTrace osserva ogni singola parola mentre viene generata e la collega istantaneamente alla fonte originale.

Ecco come funziona, spiegato con delle metafore semplici:

1. Il Problema: Il "Muro di Parole"

Prima di OmniTrace, i metodi per capire le AI erano come cercare di capire un film guardando solo l'ultima scena. Funzionavano bene per domande semplici (classificazione), ma fallivano quando l'AI doveva raccontare una storia complessa mescolando video, audio e testo. Le vecchie tecniche erano come cercare di incollare un'etichetta su un muro di mattoni già costruito: non sapevano quale mattone (quale parte del video o dell'audio) avesse sostenuto quella specifica frase.

2. La Soluzione: Il "Filo di Arianna" in Tempo Reale

OmniTrace agisce come un filo di Arianna che l'AI lascia cadere mentre cammina.

Mentre l'AI scrive: Ogni volta che l'AI genera una parola, OmniTrace chiede: "Ehi, su quale parte dell'input (testo, immagine, audio, video) ti stai basando proprio ora?"
L'Aggregazione: A volte, una singola parola potrebbe sembrare collegata a un po' di tutto. OmniTrace è intelligente: non si ferma alla singola parola. Raggruppa le parole in frasi complete (come "Il quadro è triste") e dice: "Ok, questa intera frase si basa su questo specifico momento del video e su questo paragrafo di testo".

3. La Magia: Filtrare il Rumore

Immagina di cercare di ascoltare una conversazione in una stanza piena di gente che parla. OmniTrace non si perde nel caos. Usa un filtro intelligente (come un setaccio) per:

Ignorare le parole "vuote" (come "il", "e", "ma") che non portano informazioni.
Concentrarsi sulle parole chiave (nomi, verbi importanti).
Assicurarsi che la fonte sia coerente (se l'AI parla di un'immagine per 5 secondi, non cambia improvvisamente fonte per la frase successiva senza motivo).

Perché è importante? (L'Analogia del Giornalista)

Pensa a un giornalista che scrive un articolo.

Senza OmniTrace: Il giornalista ti dà l'articolo. Tu sai cosa ha scritto, ma non sai se ha inventato le cose o se ha intervistato davvero le persone. Non c'è trasparenza.
Con OmniTrace: Il giornalista ti consegna l'articolo, ma ogni frase è accompagnata da un link diretto alla fonte: "Questa frase viene dall'intervista al sindaco (minuto 1:20 del video)", "Questa viene dal grafico statistico (pagina 3)".

I Risultati

Gli autori hanno provato OmniTrace su modelli AI molto avanzati (come Qwen e MiniCPM) che lavorano con video, audio e immagini. Hanno scoperto che:

È più preciso: Trova le fonti giuste molto meglio dei metodi vecchi.
È stabile: Non cambia idea ogni volta che l'AI cambia una virgola.
Funziona ovunque: Che tu stia chiedendo un riassunto di una riunione audio o una spiegazione di un video medico, OmniTrace traccia tutto correttamente.

In Sintesi

OmniTrace trasforma l'AI da un "oracolo misterioso" che dà risposte senza spiegazioni, a un collaboratore trasparente. Non ti dice solo cosa pensa, ma ti mostra esattamente dove ha trovato le prove per pensarlo, rendendo le AI più affidabili, comprensibili e utili per il mondo reale. È come dare all'AI un "libro delle fonti" aperto mentre parla, così possiamo fidarci di quello che dice.

1. Il Problema: Attribuzione nella Generazione Omni-Modale

I moderni Modelli Linguistici Multimodali (MLLM) sono in grado di generare risposte fluide partendo da input intercalati di testo, immagini, audio e video. Tuttavia, esiste una sfida aperta fondamentale: identificare quali fonti di input supportano ciascuna affermazione generata.

Le attuali metodologie di attribuzione presentano limitazioni significative quando applicate a questi modelli:

Orientate alla classificazione: La maggior parte dei metodi esistenti è progettata per compiti di classificazione con target fissi (es. logits di classe) o estrapolazione di span, non per la generazione aperta e autoregressiva.
Architetture Encoder-only: Molti approcci funzionano su architetture basate su encoder, mentre i modelli moderni sono spesso decoder-only.
Mancanza di consapevolezza della generazione: In un processo di generazione autoregressiva, non esiste un target esterno fisso; la struttura del grafo causale evolve ad ogni passo di decodifica.
Frammentazione semantica: I segnali a livello di singolo token (pesi di attenzione o gradienti) sono spesso rumorosi, frammentati e instabili, rendendo difficile costruire spiegazioni coerenti a livello di frase o span semantico.
Omni-modalità: Le tecniche attuali faticano a tracciare evidenze attraverso un timeline unificato che include token eterogenei (testo, pixel, audio, video).

2. Metodologia: OmniTrace

OmniTrace è un framework leggero, agnostico rispetto al modello e privo di riaddestramento che formalizza l'attribuzione come un problema di tracciamento durante la generazione (generation-time tracing).

Formulazione del Problema

L'obiettivo è mappare ogni token generato $y_t$ a un insieme di unità di sorgente $S$ (span di testo, regioni di immagine, intervalli temporali audio/video) che ne giustificano il contenuto. Poiché i segnali a livello di token sono rumorosi, l'obiettivo viene ridefinito a livello di span di generazione (frasi o chunk semantici coerenti).

Algoritmo di OmniTrace

Il framework opera in due fasi principali durante il processo di decodifica:

Tracciamento della Sorgente in Tempo di Generazione (Generation-Time Source Tracing):
- Ad ogni passo di decodifica $t$ , il modello genera un token $y_t$ .
- Viene calcolato un segnale di attribuzione a livello di token $a_t(i)$ (basato su pesi di attenzione, gradienti o altre statistiche interne) per ogni token del contesto causale.
- I punteggi vengono aggregati su unità di sorgente predefinite $S_j$ . Il token $y_t$ viene tracciato alla sorgente $S_j$ che riceve la massa di attribuzione più alta: $\hat{s}(t) = \arg \max_{S_j} \sum_{i \in S_j} a_t(i)$ .
- Viene registrato anche un punteggio di confidenza $c_t$ .
Aggregazione a Livello di Span e Selezione delle Sorgenti:
- Dopo la decodifica, la sequenza generata viene segmentata in span semantici coerenti $C_k$ .
- Per ogni span, i tracciamenti dei singoli token vengono aggregati.
- Viene applicato un processo di curazione delle sorgenti (Source Curation) per selezionare un insieme conciso di fonti supportanti $\hat{S}_k$ $\hat{S}_{k}$ . Questo processo utilizza:
  - Ponderazione POS-aware: Assegna pesi maggiori ai token contenenti informazioni semantiche (sostantivi, numeri) rispetto alle funzioni grammaticali.
  - Filtraggio basato sulla confidenza: Amplifica le assegnazioni ad alta certezza e attenua quelle ambigue.
  - Coerenza temporale (Run-level coherence): Favorisce sorgenti che ricevono supporto continuo per token consecutivi, riducendo il rumore.
  - Filtraggio della massa minima: Elimina le assegnazioni con impatto trascurabile.

Il framework è "plug-and-play": può utilizzare qualsiasi segnale di attribuzione a livello di token (attenzione media, raw attention, gradienti) senza modificare il modello sottostante.

3. Contributi Chiave

Formalizzazione: Definisce l'attribuzione per la generazione multimodale aperta come un problema di tracciamento in tempo reale su architetture decoder-only, evidenziando i limiti dei metodi a target fisso.
Framework Unificato: Introduce OmniTrace, un protocollo che converte segnali a livello di token in spiegazioni a livello di span cross-modale durante la decodifica, senza riaddestramento.
Validazione Empirica: Dimostra che l'attribuzione consapevole della generazione produce spiegazioni più stabili e interpretabili rispetto a baselines post-hoc (come self-attribution o similarità di embedding).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due modelli decoder-only omni-modali (Qwen2.5-Omni-7B e MiniCPM-o-4.5) su un benchmark eterogeneo di 759 esempi che coprono:

Visivo: QA e riassunto (dataset: Mantis-eval, MMDialog, CliConSummation).
Audio: QA e riassunto di riunioni (dataset: MMAU, MISP).
Video: QA video (dataset: Video-MME).

Risultati Principali:

Prestazioni Superiori: OmniTrace supera significativamente le baselines post-hoc (inclusi metodi basati su embedding e self-attribution) in tutti i task. Ad esempio, su Qwen2.5-Omni per il riassunto audio, OmniTrace raggiunge un F1 di 83.12 contro il 4.43 della self-attribution.
Robustezza al Segnale: Le prestazioni rimangono solide indipendentemente dal segnale di attribuzione sottostante utilizzato (media dell'attenzione, raw attention o gradienti).
Generalizzazione Cross-Modale: Il framework funziona efficacemente sia su unità discrete (testo/immagini) che su intervalli temporali continui (audio/video), dimostrando di non essere vincolato a spazi di label discreti.
Importanza della Segmentazione: L'uso di segmentazione ASR (Automatic Speech Recognition) di alta qualità è critico per le prestazioni audio; l'uso di token grezzi senza segmentazione semantica porta a un crollo delle prestazioni.
Sinergia Modale: Nei task video, l'uso combinato di input visivi e audio produce attribuzioni migliori rispetto all'uso di una singola modalità.

Analisi di Qualità:

L'attribuzione mostra una leggera bias verso le posizioni iniziali dell'input (early-token bias).
La qualità dell'attribuzione non è strettamente correlata alla correttezza della risposta finale: il modello può attribuire correttamente le evidenze anche quando commette errori di ragionamento, suggerendo che l'attribuzione cattura il processo di grounding indipendentemente dal risultato finale.

5. Significato e Impatto

OmniTrace rappresenta un passo fondamentale verso la trasparenza e l'interpretabilità dei modelli linguistici omni-modali.

Scalabilità: Offrendo un approccio che non richiede riaddestramento e funziona online durante la generazione, è scalabile per modelli di grandi dimensioni.
Trustworthiness: Fornisce agli utenti e ai ricercatori la capacità di verificare su quali parti dell'input (es. un frame video specifico o un segmento audio) si basa una risposta, cruciale per applicazioni critiche come il supporto decisionale medico o legale.
Fondamento per il Debug: Identifica tendenze di grounding (es. bias posizionali o di modalità) che possono guidare il miglioramento futuro dei modelli.

In sintesi, OmniTrace trasforma l'attribuzione da un esercizio post-hoc statico a un processo dinamico e strutturato, essenziale per comprendere e fidarsi delle capacità di generazione dei futuri modelli AI multimodali.