Cross-Attention is Half Explanation in Speech-to-Text Models

Sintesi Tecnica: La Cross-Attention è solo metà della spiegazione nei modelli Speech-to-Text

Problematica
I meccanismi di cross-attention sono fondamentali per le architetture Transformer encoder-decoder utilizzate nei sistemi di Speech-to-Text (S2T), inclusi l'Automatic Speech Recognition (ASR) e lo Speech Translation (ST). Questi meccanismi vengono frequentemente sfruttati per applicazioni downstream come la predizione dei timestamp, l'allineamento parlato-testo e l'identificazione del parlatore, operando sotto l'assunto implicito che i punteggi di attenzione riflettano in modo affidabile il focus del modello su specifiche caratteristiche di input durante la generazione dell'output. Sebbene l'affidabilità dell'attenzione come strumento esplicativo sia stata ampiamente dibattuta nel Natural Language Processing (NLP), tale assunto rimane in gran parte non verificato nel dominio del parlato. Una preoccupazione primaria è il "context mixing" (miscelazione del contesto), in cui la sequenza di output dell'encoder riorganizza o mescola le informazioni audio grezze con dati contestuali, potenzialmente oscurando l'allineamento diretto tra i pesi della cross-attention e il segnale di input originale. Il lavoro esistente sulla spiegabilità S2T si è concentrato principalmente sulla self-attention o sugli effetti del context mixing, senza valutare sistematicamente il potere esplicativo della cross-attention stessa.

Metodologia
Gli autori presentano la prima analisi sistematica della cross-attention come proxy delle dipendenze input-output nei modelli S2T. Lo studio confronta i punteggi di cross-attention (CA) con le mappe di salienza di input derivate da SPES, un metodo di attribuzione delle feature allo stato dell'arte per l'S2T. La metodologia prevede tre confronti primari:

1. CA vs. Input Saliency ($SM_X$): Per valutare quanto bene la CA rifletta la rilevanza delle caratteristiche di input grezze (spettrogramma mel) rispetto alle predizioni dei token.
2. CA vs. Encoder Output Saliency ($SM_H$): Per valutare quanto bene la CA spieghi l'uso delle rappresentazioni codificate da parte del decoder, isolando così l'impatto del context mixing.
3. Strategie di Aggregazione: Lo studio valuta diversi metodi di aggregazione (media 2D, max 2D e pooling a 2 fasi) sulle dimensioni temporali e di frequenza per determinare il modo ottimale per comprimere le mappe di salienza 3D in una rappresentazione temporale 1D compatibile con la granularità della CA.

L'analisi abbraccia configurazioni monolingue e multilingue, task singoli (ASR) e multi-task (ASR+ST), e modelli di varie scale (da 125M a 878M di parametri). Gli autori utilizzano la correlazione di Pearson per quantificare la relazione lineare tra i punteggi di CA e le mappe di salienza, nonché metriche di cancellazione (deletion metrics) per valutare la fedeltà delle spiegazioni.

Contributi Chiave

• Valutazione Empirica Sistematica: Il documento fornisce la prima valutazione empirica su larga scala della cross-attention come strumento esplicativo nell'S2T, coprendo più lingue (inglese, italiano), task e architetture di modelli (Conformer-Transformer).
• Quantificazione dei Limiti Esplicativi: Lo studio quantifica l'entità con cui la cross-attention cattura la rilevanza dell'input, andando oltre le osservazioni qualitative per raggiungere precisi confini statistici.
• Analisi del Context Mixing: Confrontando la CA con la salienza dell'input grezzo e la salienza dell'output dell'encoder, il lavoro isola il contributo specifico del context mixing alla discrepanza tra l'attenzione e la reale rilevanza dell'input.
• Approfondimenti sull'Aggregazione: Gli autori dimostrano che il pooling massimo 2D produce le spiegazioni di input più fedeli, preservando le regioni salienti localizzate nel dominio della frequenza che il pooling medio tende a sfocare.

Risultati
I risultati empirici rivelano che la cross-attention offre indizi esplicativi utili ma incompleti:

• Allineamento Moderato: Esiste una correlazione da moderata a forte tra la cross-attention e le mappe di salienza dell'input, particolarmente quando i punteggi sono aggregati tra le teste di attenzione e gli strati. Le migliori correlazioni raggiungono circa lo 0,588.
• Copertura Limitata: La cross-attention cattura solo circa il 50% della rilevanza dell'input. Anche confrontando la CA con la salienza dell'output dell'encoder (dove il context mixing è rimosso), la CA spiega solo il 52–75% della salienza dell'output dell'encoder.
• Dinamiche di Strati e Teste: Le singole teste di attenzione mostrano spesso correlazioni deboli o rumorose. Tuttavia, la media tra le teste migliora costantemente l'allineamento, e gli strati finali del decoder mostrano generalmente la correlazione più forte con le mappe di salienza.
• Impatto del Context Mixing: La correlazione tra la CA e gli output dell'encoder è costantemente più alta rispetto agli input grezzi, con differenze assolute che variano da 0,03 a 0,18. Questo quantifica l'influenza del context mixing, eppure il gap rimanente conferma che la CA non è un proxy fedele nemmeno a livello di output dell'encoder.
• Metriche di Cancellazione: La valutazione diretta tramite metriche di cancellazione mostra che le spiegazioni basate sulla CA (punteggio ~41,2) sono significativamente meno fedeli rispetto ai metodi di attribuzione delle feature (punteggio ~52,9 per l'aggregato, ~91,3 per la piena risoluzione), indicando che la CA scarta i segnali spazio-temporali fini.

Significato e Rivendicazioni
Il documento conclude che la cross-attention non dovrebbe essere trattata come uno strumento di intelligenza artificiale spiegabile (XAI) autonomo o come un proxy fedele del comportamento del modello nei sistemi S2T. Sebbene fornisca indizi informativi ed sia computazionalmente leggera, offre solo una visione parziale dei fattori che guidano le predizioni. Gli autori sostengono che la cross-attention sia "metà spiegazione", catturando circa la metà del segnale rilevante. Di conseguenza, il documento raccomanda di interpretare la cross-attention con cautela nelle applicazioni downstream e suggerisce che il lavoro futuro dovrebbe esplorare approcci ibridi o strategie in fase di addestramento (ad esempio, la regolarizzazione dell'attenzione) per allineare meglio i meccanismi di attenzione con i segnali di attribuzione, piuttosto che fare affidamento sui punteggi di attenzione come sostituto dei metodi formali di spiegabilità.