Causal Tracing of Audio-Text Fusion in Large Audio Language Models

Titolo: Causal Tracing of Audio-Text Fusion in Large Audio Language Models

Autori: Wei-Chih Chen, Chien-yu Huang, Hung-yi Lee (National Taiwan University, Carnegie Mellon University)

---

1. Il Problema

Nonostante i Large Audio Language Models (LALMs) abbiano dimostrato prestazioni eccezionali in compiti che vanno dal riconoscimento vocale al question answering complesso basato sull'audio, i meccanismi interni che governano l'integrazione tra le caratteristiche acustiche e il contesto testuale rimangono un "black box".
La ricerca attuale si concentra prevalentemente su valutazioni macroscopiche delle prestazioni o sulla progettazione architetturale, senza chiarire:

• Quando avviene l'integrazione multimodale all'interno della profondità del modello (fusione precoce vs. tardiva).
• Dove nella sequenza di input il modello collega causalmente gli input acustici al ragionamento testuale.
  La mancanza di questa comprensione limita la capacità di migliorare l'interpretabilità, mitigare le allucinazioni e guidare la progettazione architetturale.

2. Metodologia

Gli autori adattano la tecnica di Causal Tracing (tracciamento causale), solitamente utilizzata nei modelli linguistici puri, per mappare il flusso di informazioni nei LALMs. Il framework si basa su tre esecuzioni di inferenza distinte (illustrate nella Figura 1 del paper):

1. Esecuzione Pulita (Clean Run): Il modello elabora l'audio originale ($A_{clean}$) e il prompt testuale ($T$), generando una probabilità target $P_{clean}$.
2. Esecuzione Corrotta (Corrupted Run): L'input audio viene sostituito interamente con silenzio ($A_{corrupt}$). Questo rimuove il contesto acustico senza alterare la struttura del prompt o la lunghezza della sequenza, generando una probabilità $P_{corrupted}$.
3. Esecuzione Patchata (Patched Run): Durante l'esecuzione corrotta, specifici stati nascosti ($h_{corrupt}$) vengono sostituiti con gli stati corrispondenti dell'esecuzione pulita ($h_{clean}$). La nuova probabilità è $P_{patched}$.

Metrica di Valutazione:
Viene utilizzata la Recovery Rate (RR) per quantificare l'impatto causale:
$$RR = \frac{P_{patched} - P_{corrupted}}{P_{clean} - P_{corrupted}}$$
Un valore di RR vicino a 1.0 indica che lo stato nascosto patchato contiene informazioni causali sufficienti per recuperare la previsione originale.

L'analisi viene condotta su due assi:

• Analisi per Livello (Layer-wise): Patching di tutti gli stati nascosti di un singolo livello transformer per determinare la profondità dell'integrazione.
• Analisi per Token (Token-wise): Patching di singoli stati nascosti in posizioni specifiche del token testuale per mappare la localizzazione spaziale dell'integrazione.

Dataset e Modelli:

• Dataset: SAKURA, focalizzato su quattro attributi acustici: animale, emozione, genere e lingua.
• Modelli Analizzati: DeSTA (2 e 2.5), Qwen (e Qwen2), e Voxtral.

3. Contributi Chiave

Il lavoro introduce un framework sistematico per tracciare causalmente l'integrazione audio-testo, fornendo:

1. Una mappatura della strategia di fusione specifica per diverse famiglie di modelli.
2. L'identificazione di colli di bottiglia informativi nella sequenza di token.
3. La scoperta di un meccanismo di query simile all'attenzione che si attiva in posizioni intermedie.
4. Linee guida pratiche per l'ottimizzazione architetturale e la riduzione delle allucinazioni.

4. Risultati Principali

A. Profondità dell'Integrazione Multimodale (Layer-wise)

L'analisi rivela strategie di fusione divergenti tra le architetture:

• DeSTA (Fusione Progressiva): Mostra un aumento graduale della Recovery Rate man mano che si scende nei livelli, stabilizzandosi dopo il livello 15. L'integrazione avviene in modo progressivo attraverso la rete.
• Qwen (Fusione Tardiva): L'impatto causale dell'audio è vicino allo zero nei livelli iniziali. Si osserva una transizione netta verso un'alta Recovery Rate solo negli ultimi terzi della rete (livelli 18-31). Questi modelli elaborano testo e audio in modo indipendente per la maggior parte della loro profondità, fondendoli solo negli strati finali.
• Voxtral (Fusione Precoce): Raggiunge la massima Recovery Rate significativamente prima rispetto agli altri modelli, indicando una strategia di fusione precoce.

B. Localizzazione Spaziale (Token-wise)

L'analisi token per token identifica due meccanismi critici:

1. Collo di Bottiglia Finale: Il token finale della sequenza di input (immediatamente prima della generazione) mostra costantemente la più alta Recovery Rate. Ciò indica che la rete non fonde i segnali continuamente, ma recupera il contesto audio necessario al momento della previsione finale.
2. Meccanismo di Query Intermedio: Si osserva un'attivazione causale secondaria sui token oggetto (es. "male", "female" nelle opzioni di risposta) negli strati intermedi. Questo suggerisce un meccanismo simile all'attenzione: la presenza esplicita dell'attributo target nel prompt attiva la rete a "tirare" le caratteristiche acustiche rilevanti dalle rappresentazioni audio.

5. Significato e Implicazioni

I risultati hanno diverse implicazioni pratiche per il futuro dei LALMs:

• Ottimizzazione Computazionale: I modelli con fusione tardiva (come Qwen) potrebbero essere ottimizzati trattando i livelli iniziali come processori di testo unimodali, riducendo il sovraccarico computazionale e i costi di inferenza.
• Mitigazione delle Allucinazioni: Poiché il token oggetto agisce come un trigger causale per il recupero del contesto audio, il fallimento di questo meccanismo interno potrebbe essere un indicatore precoce di allucinazione (quando il modello indovina basandosi su prior testuali invece che sull'audio). Monitorare questo meccanismo potrebbe migliorare l'affidabilità.
• Prompt Engineering: La comprensione di dove e quando i modelli recuperano le informazioni audio può guidare la progettazione di prompt più efficaci, evidenziando strategicamente gli attributi target per attivare i meccanismi di recupero corretti.

In conclusione, questo studio fornisce la prima caratterizzazione chiara di quando e dove avviene l'integrazione multimodale nei LALMs, passando da un approccio puramente osservazionale a uno interventista e causale.