The Unheard Alternative: Contrastive Explanations for Speech-to-Text Models

1. Enunciato del Problema

Sebbene l'AI Spiegabile (XAI) abbia fatto progressi significativi nel Natural Language Processing (NLP) basato su testo, l'applicazione di spiegazioni contrastive ai modelli Speech-to-Text (S2T) rimane una sfida aperta.

• Spiegazioni Contrastive: A differenza delle spiegazioni standard che rispondono alla domanda "Perché il modello ha prodotto l'output P?", le spiegazioni contrastive rispondono a "Perché il modello ha prodotto P invece di Q?" (dove Q è un'alternativa o un foil). Questo si allinea meglio con il ragionamento umano.
• Il Divario: I metodi esistenti di spiegazione S2T (ad esempio SPES) generano mappe di salienza olistiche sugli spettrogrammi audio. Queste mappe evidenziano le caratteristiche rilevanti per la generazione di qualsiasi parola, ma non riescono a isolare le caratteristiche specifiche della scelta tra due output in competizione (ad esempio, perché il modello ha scelto la forma maschile curioso invece di quella femminile curiosa).
• Sfide Specifiche in S2T:
  1. Modalità di Input: I segnali audio sono multidimensionali (tempo e frequenza) e rappresentati come spettrogrammi.
  2. Granularità dell'Output: I modelli S2T generano token di sottoparola, non parole complete, rendendo non banale l'aggregazione delle probabilità a livello di parola.
  3. Valutazione: Le funzioni di punteggio contrastive standard utilizzate nel NLP testuale spesso falliscono quando il modello favorisce fortemente l'obiettivo rispetto al foil, producendo spiegazioni indistinguibili da quelle non contrastive.

2. Metodologia

Gli autori propongono il primo framework per ottenere spiegazioni contrastive in S2T adattando il metodo SPES (Spectrogram Perturbation for Explainable Speech-to-text). L'approccio prevede due interventi tecnici critici:

A. Aggregazione delle Probabilità a Livello di Parola

Poiché i modelli S2T producono token di sottoparola, la probabilità di una parola intera ($t$) deve essere ricostruita dai suoi sottoparole costituenti ($w_0, \dots, w_k$).

• Limitazione dei Lavori Precedenti: I metodi di aggregazione semplici (media, max-pooling o moltiplicazione ingenua della regola della catena) non tengono conto delle discrepanze nel numero di token tra l'obiettivo e il foil, o del fatto che una sequenza di sottoparole potrebbe essere un prefisso di una parola più lunga piuttosto che una parola completa.
• Soluzione Proposta: Gli autori adottano il Metodo dei Confini di Parola (Word Boundary method) (Pimentel and Meister, 2024). Questo metodo calcola la probabilità di una sequenza di parole assicurandosi che sia seguita da un token di "inizio parola" o da un token di punteggiatura. Ciò previene la sovrastima delle probabilità per sequenze di sottoparole che sono meramente prefissi (ad esempio, distinguendo _professor da _professor e ssa).

B. Funzioni di Punteggio Contrastive

Il cuore del metodo è una funzione di punteggio che quantifica come la perturbazione di una regione di input influisce sulla probabilità dell'obiettivo ($t$) rispetto al foil ($f$).

• Il Problema del Punteggio Differenziale ($S_{CD}$): Il punteggio contrastivo standard, $S_{CD}(t, f) = (p(t) - \tilde{p}(t)) - (p(f) - \tilde{p}(f))$, spesso collassa nel punteggio di base $S_B(t)$ quando $p(t) \gg p(f)$. In tali casi, la spiegazione evidenzia caratteristiche rilevanti per la generazione di qualsiasi parola corretta, non il contrasto specifico.
• Soluzione Proposta: Gli autori introducono il Punteggiatore Relativo ($S_{CR}$), basato su Jacovi et al. (2021):
  $$S_{CR}(t, f) = \frac{p(t)}{p(t) + p(f)} - \frac{\tilde{p}(t)}{\tilde{p}(t) + \tilde{p}(f)}$$
  Questa funzione normalizza il contributo di entrambi i termini rispetto alla loro somma. Garantisce che, anche se l'obiettivo è molto più probabile del foil, il punteggio rimanga sensibile ai cambiamenti nella probabilità del foil, isolando efficacemente le caratteristiche specifiche del contrasto.

C. Metriche di Valutazione

Per validare la fedeltà delle spiegazioni (quanto bene riflettono il comportamento effettivo del modello), gli autori adattano metriche dalla classificazione testuale:

1. Copertura: La percentuale di casi in cui il modello genera o l'obiettivo o il foil dopo la cancellazione delle caratteristiche. Un'alta copertura garantisce che le caratteristiche identificate siano specifiche del contrasto, non della generazione generica di testo.
2. Tasso di Inversione (Flip Rate): La frequenza con cui il modello passa dal prevedere l'obiettivo al foil man mano che le caratteristiche salienti vengono progressivamente oscurate (cancellate). Una spiegazione fedele dovrebbe causare un alto tasso di inversione con una cancellazione minima.

3. Contributi Chiave

1. Primo Metodo Contrastivo S2T: Introduzione di una nuova pipeline per generare spiegazioni contrastive per modelli vocali adattando l'attribuzione basata su perturbazione agli spettrogrammi.
2. Meccanismo di Punteggio Innovativo: Proposta del Punteggiatore Relativo ($S_{CR}$) come alternativa superiore al Punteggiatore Differenziale standard per S2T, dimostrando che produce mappe di salienza distinte e realmente contrastive.
3. Framework di Valutazione Robusto: Sviluppo di una valutazione a doppia metrica (Copertura + Tasso di Inversione) adattata per compiti generativi S2T per misurare la fedeltà delle spiegazioni.
4. Validazione Empirica: Validazione del metodo sull'assegnazione del genere del parlante nella traduzione vocale su tre coppie linguistiche (Inglese $\to$ Francese, Italiano, Spagnolo).

4. Risultati

Il metodo è stato valutato utilizzando il dataset MuST-SHE, concentrandosi sulla traduzione di termini inglesi neutri rispetto al genere in lingue romanze con genere grammaticale (ad esempio, "I am curious" $\to$ curioso vs. curiosa).

• Distinzione delle Mappe di Salienza:
  • Punteggiatore Differenziale ($S_{CD}$): Ha prodotto mappe di salienza altamente correlate (Pearson $r \approx 0.93$) con spiegazioni non contrastive. Non è riuscito a isolare caratteristiche specifiche del genere.
  • Punteggiatore Relativo ($S_{CR}$): Ha prodotto mappe con bassa correlazione ($r \approx 0.33$) rispetto alle mappe non contrastive, isolando con successo le regioni acustiche rilevanti per il genere.
• Prestazioni di Copertura:
  • Cancellando le caratteristiche identificate dal Punteggiatore Differenziale, la copertura è scesa sotto il 20% dopo solo il 2% di cancellazione (indicando che le caratteristiche erano generiche).
  • Il Punteggiatore Relativo ha mantenuto una copertura >30% anche dopo il 20% di cancellazione, dimostrando di mirare a caratteristiche specifiche del contrasto di genere.
• Prestazioni del Tasso di Inversione:
  • Obiettivi Femminili: Oscurando il 5% superiore delle caratteristiche identificate dal Punteggiatore Relativo, il modello è passato a previsioni maschili in >70% dei casi coperti.
  • Obiettivi Maschili: I tassi di inversione sono stati più bassi (~30%), cosa che gli autori attribuiscono a un bias di default maschile nei modelli S2T (dove il maschile è il default a meno che non siano presenti forti indizi femminili), piuttosto che a un fallimento del metodo.
• Robustezza del Modello: I risultati sono rimasti coerenti tra diverse architetture (Trasformatore Multilingue, Conformer Monolingue) e coppie linguistiche.

5. Significato e Implicazioni

• Avanzamento della XAI per la Voce: Questo lavoro colma il divario tra le tecniche di spiegazione contrastiva basate su testo e le sfide uniche dell'elaborazione vocale, fornendo una base per comprendere come i modelli S2T utilizzino gli indizi acustici.
• Rilevamento del Bias: Il metodo isola efficacemente le caratteristiche acustiche (ad esempio, tono, formanti) che i modelli utilizzano per la disambiguazione del genere. Questo è cruciale per l'audit del bias di genere nell'IA, rivelando che i modelli spesso si affidano a tratti vocali che potrebbero svantaggiare le persone transgender o quelle con caratteristiche vocali atipiche.
• Applicazioni Future: Sebbene dimostrato sul genere, la metodologia è generalizzabile ad altri fenomeni S2T, come la disambiguazione degli omofoni, la risoluzione della coreferenza e la selezione del registro di cortesia.
• Consapevolezza Etica: Il paper riconosce esplicitamente i rischi etici dell'uso di tratti vocali per la previsione del genere, notando che, sebbene migliori l'accuratezza, potrebbe danneggiare gruppi marginalizzati. Lo strumento è progettato per spiegare i comportamenti attuali dei modelli per facilitare una migliore supervisione e future strategie di mitigazione.

In sintesi, il paper fornisce un rigoroso framework tecnico per comprendere perché i modelli S2T fanno scelte specifiche tra alternative, andando oltre il "cosa" prevedono per arrivare al "come" decidono, con un focus specifico sulla questione critica del bias di genere nella traduzione vocale.