Investigating Modality Contribution in Audio LLMs for Music

Sintesi Tecnica: Indagine sul Contributo della Modalità negli LLM Audio per la Musica

Dichiarazione del Problema
I Large Language Models Audio (Audio LLM) sono progettati per facilitare conversazioni simili a quelle umane sulla musica integrando informazioni audio nei processi di ragionamento. Tuttavia, recenti benchmark, come MuChoMusic, rivelano un paradosso: mentre questi modelli raggiungono un'alta accuratezza su domande a scelta multipla, esperimenti indiretti (ad esempio, sostituire l'audio con silenzio o rumore) suggeriscono che potrebbero non "ascoltare" genuinamente. Invece, potrebbero affidarsi prevalentemente al ragionamento testuale o alla conoscenza pregressa, un fenomeno noto come squilibrio modale o collasso unimodale. I metodi di valutazione attuali basati su metriche di accuratezza sono insufficienti perché non riescono a distinguere tra modelli che utilizzano correttamente l'audio e quelli che giungono a risposte corrette tramite il testo da solo. Vi è un bisogno critico di un metodo agnostico rispetto alle prestazioni per quantificare il contributo specifico di ciascuna modalità (audio contro testo) alla previsione di un modello.

Metodologia
Per affrontare ciò, gli autori adattano il framework MultiModal-SHAP (MM-SHAP), originariamente proposto per i modelli visione-linguaggio, al dominio degli Audio LLM. La metodologia centrale si basa sui valori di Shapley della teoria dei giochi cooperativi per misurare il contributo marginale delle caratteristiche di input all'output di un modello.

1. Perturbazione delle Caratteristiche tramite Mascheramento: Lo studio impiega una strategia di mascheramento per approssimare i valori di Shapley.
   • Audio: I segmenti di forma d'onda grezza vengono azzerati. La dimensione della finestra di mascheramento viene regolata dinamicamente in base al numero di token testuali per garantire un conteggio di caratteristiche bilanciato tra le modalità ($n_A \approx n_T$).
   • Testo: Token specifici vengono sostituiti con il token [MASK]. I token speciali (ad esempio, indicatori audio, marcatori di domanda) sono preservati per mantenere l'integrità strutturale.
2. Calcolo del Punteggio: A differenza dei compiti di classificazione dove vengono misurate le probabilità, questo studio affronta compiti di generazione. Gli autori identificano i token corrispondenti alla risposta generata dal modello (ad esempio, "Campanello") in una corsa di base senza mascheramento. Calcolano quindi la variazione nei logit per questi token specifici quando sottoinsiemi di caratteristiche audio e testo vengono mascherati.
3. Metriche di Contributo Modale: Lo studio aggrega i valori assoluti di Shapley per tutte le caratteristiche audio ($\Phi_A$) e le caratteristiche testuali ($\Phi_T$). Per consentire un confronto diretto, definiscono rapporti normalizzati:
   • A-SHAP: $\frac{\Phi_A}{\Phi_T + \Phi_A}$
   • T-SHAP: $1 - \text{A-SHAP}$
     Un modello perfettamente bilanciato produrrebbe un A-SHAP di 0,5.

Configurazione Sperimentale
Gli autori hanno valutato due Audio LLM all'avanguardia sul benchmark MuChoMusic:

• MU-LLaMA: Utilizza MERT-v1-330M come codificatore audio e LLaMA 2 7B come modello linguistico.
• Qwen-Audio: Utilizza Whisper-large-v2 come codificatore audio e Qwen-7B come LLM.

Gli esperimenti sono stati condotti in due condizioni: Scelta Multipla con Istruzioni Precedenti (MC-PI) e Scelta Multipla senza Istruzioni Precedenti (MC-NPI). Lo studio ha incluso anche un'analisi qualitativa di domande specifiche che richiedevano la localizzazione di singoli eventi sonori rispetto alla comprensione audio a lungo termine.

Risultati Chiave

• Relazione Inversa tra Accuratezza e Utilizzo dell'Audio: Il modello con maggiore accuratezza (Qwen-Audio) si affidava significativamente meno alla modalità audio (A-SHAP $\approx$ 0,21–0,23) rispetto al modello meno accurato (MU-LLaMA, A-SHAP $\approx$ 0,47–0,50). Ciò indica che una prestazione superiore su MuChoMusic non si correla con un utilizzo bilanciato delle modalità.
• Dominanza del Testo nella Scelta Multipla: Entrambi i modelli hanno mostrato una forte tendenza verso il testo, in particolare nella configurazione MC-PI, suggerendo che il formato a scelta multipla permette ai modelli di risolvere problemi utilizzando ragionamento testuale o eliminazione dei distrattori piuttosto che analisi percettiva dell'audio.
• L'Audio Non Viene Ignorato: Nonostante i bassi punteggi complessivi di A-SHAP, l'ispezione qualitativa ha rivelato che le caratteristiche audio contribuiscono ancora in modo significativo. Per i token corrispondenti a eventi sonori di verità fondamentale (ad esempio, "campana"), i valori di Shapley positivi si allineavano con i segmenti temporali specifici contenenti quei suoni. Tuttavia, la magnitudine dei contributi audio era spesso inferiore a quella del testo e, in alcuni casi, si verificavano attivazioni forti in regioni non correlate alla risposta corretta (ad esempio, note di pianoforte quando la risposta era una campana).
• Dipendenza dal Compito: Quando il compito è stato spostato dalla scelta multipla alla descrizione audio aperta, l'A-SHAP per Qwen-Audio è aumentato significativamente (a 0,73), dimostrando che l'utilizzo della modalità dipende fortemente dalla formulazione del compito.

Significato e Affermazioni
Il documento afferma di essere la prima applicazione di MM-SHAP agli Audio LLM. Il suo contributo principale è fornire un framework quantitativo e agnostico rispetto alle prestazioni per ispezionare come questi modelli utilizzano l'audio rispetto al testo. Gli autori sostengono che le loro scoperte sfidano l'assunzione secondo cui i modelli multimodali ottimali debbano utilizzare tutte le modalità in modo uguale; un modello può raggiungere un'alta accuratezza affidandosi pesantemente a una singola modalità.

Lo studio evidenzia un divario tra "ascoltare" (elaborazione percettiva) e "ragionare" (inferenza testuale). Sebbene i modelli non ignorino completamente l'audio, i bassi punteggi di contributo nei compiti a scelta multipla suggeriscono che i benchmark attuali potrebbero testare la capacità di un LLM di eliminare i distrattori piuttosto che la sua capacità di percepire il suono. Gli autori concludono che MM-SHAP funge da passo fondamentale per l'AI Spiegabile (XAI) nell'audio, sebbene riconoscano limitazioni riguardanti la mancanza di verità fondamentale per concetti musicali complessi (melodia, struttura) e la sensibilità dei risultati alle strategie di mascheramento e alle dimensioni delle finestre. Viene proposto un lavoro futuro per studiare sistematicamente come le informazioni audio sopravvivono all'integrazione multimodale attraverso diverse formulazioni di compiti.