Do LLM Decoders Listen Fairly? Benchmarking How Language Model Priors Shape Bias in Speech Recognition

1. Il Problema

Con l'avvento dei Large Language Models (LLM) pre-addestrati, questi stanno sostituendo i decoder specifici per il compito nei sistemi di riconoscimento vocale automatico (ASR). Sorge una domanda critica: l'introduzione di priors testuali derivati da corpora di lingua inglese standard rende il riconoscimento più equo tra diversi gruppi demografici o, al contrario, amplifica i bias esistenti?
I sistemi ASR tradizionali mostrano già disparità demografiche (es. errori più alti per parlanti neri o con accenti non standard). L'incertezza riguarda se i decoder basati su LLM, che integrano conoscenze linguistiche profonde, mitigino queste differenze o le esacerbino, specialmente in scenari reali dove l'audio è degradato (rumore, riverbero, interruzioni).

2. Metodologia

Gli autori hanno condotto uno studio sistematico su 9 modelli ASR che rappresentano tre generazioni architetturali distinte:

1. Generazione 1 (CTC): Wav2Vec2-large (nessun modello linguistico, mappatura diretta audio-caratteri).
2. Generazione 2 (Implicit LM): Tre checkpoint di Whisper (small, medium, large-v3) che apprendono un modello linguistico implicito durante l'addestramento su coppie audio-testo.
3. Generazione 3 (Explicit LM): Cinque modelli che instradano gli embedding audio in un LLM pre-addestrato esplicito (es. Qwen3-ASR, Canary-Qwen, Granite-Speech).

Dataset e Valutazione:

• Corpus: Circa 43.000 utterance da Common Voice 24 e Meta's Fair-Speech (quest'ultimo elimina i confound lessicali utilizzando prompt controllati).
• Assi Demografici: Valutazione su 5 dimensioni: etnia, accento, genere, età e prima lingua (L1).
• Condizioni Acustiche: Oltre alla valutazione su audio pulito, i modelli sono stati sottoposti a 12 condizioni di degradazione (rumore additivo, riverbero, iniezione di silenzio, mascheramento di chunk) per un totale di 216 esecuzioni di inferenza.
• Metriche: Word Error Rate (WER) assoluto e Max/Min Ratio (MMR) come metrica di equità (dove 1.0 indica parità perfetta).

3. Contributi Chiave

1. Primo studio sistematico sull'impatto dell'integrazione dei decoder LLM sulla equità ASR su cinque assi demografici e in condizioni di degradazione acustica.
2. Sfatare il mito: I decoder LLM non amplificano necessariamente il bias razziale; in alcuni casi, migliorano l'equità etnica rispetto ai modelli precedenti.
3. Identificazione di Hallucination patologiche: Rilevamento di un comportamento anomalo in Whisper-large-v3 su accenti indiani, caratterizzato da un tasso di inserimento (hallucination) non monotono e catastrofico.
4. Ruolo della compressione audio: Dimostrazione che la strategia di compressione audio (encoder) è un fattore predittivo dell'equità sugli accenti più significativo della scala del modello LLM.
5. Effetto paradossale del degrado: La degradazione acustica severa tende a comprimere i gap di equità (tutti i gruppi ottengono WER alti), con l'eccezione critica dell'iniezione di silenzio che amplifica i bias specifici.

4. Risultati Principali

Equità su Audio Pulito

• Bias Razziale: Contrariamente alle ipotesi, i modelli Gen 3 (LLM espliciti) non mostrano un peggioramento dell'equità etnica rispetto ai modelli Gen 2. Il modello più equo per l'etnia è Granite-8B (MMR = 2.28), che supera tutti i modelli Whisper.
• Paradosso della Misurazione: Un modello può avere il WER assoluto più basso per un gruppo svantaggiato (es. Qwen3-1.7B per parlanti neri/AA) ma un gap relativo alto perché il WER del gruppo maggioritario è estremamente basso.
• Problema degli Accenti e Hallucination:
  • Whisper-large-v3 mostra un comportamento patologico sugli accenti indiani: il tasso di inserimento (inserimento di parole non presenti) salta dal 1.53% (medium) al 9.62% (large-v3).
  • Questo errore è guidato da loop di ripetizione autoregressiva (il modello ripete frasi all'infinito) e allucinazioni semantiche, mentre i modelli Gen 3 mantengono tassi di inserimento inferiori al 3.1%.
  • La compressione audio è cruciale: modelli Gen 3 con bassa compressione (es. Qwen3-1.7B) sono più equi sugli accenti rispetto a quelli con alta compressione (es. Granite), suggerendo che la perdita di dettagli fonetici fini nell'encoder danneggia l'equità sugli accenti.

Equità sotto Degrado Acustico

• Compressione dei Gap: In condizioni di mascheramento severo (30% dell'audio rimosso), i gap di equità si riducono per tutti i modelli. Questo è un "paradosso della bassa accuratezza": quando tutti i gruppi falliscono catastroficamente, le differenze relative diminuiscono.
• Amplificazione del Bias per il Silenzio: L'iniezione di silenzio è l'unica condizione che amplifica drasticamente i bias.
  • Su Whisper-small, il silenzio amplifica il bias per gli accenti africani fino a 4.64 volte (MMR da 3.23 a 15.0), innescando loop di allucinazione selettivi per demografia.
  • Su Whisper-large-v3, il silenzio riduce l'errore sugli accenti indiani (interrompendo il loop di allucinazione) ma aumenta drasticamente gli errori sugli accenti inglesi, spostando il bias demografico.
• Robustezza Architetturale:
  • I decoder basati su LLM espliciti (Qwen3) sono molto più robusti: producono 38 volte meno inserimenti rispetto a Whisper-small sotto mascheramento e quasi zero loop di ripetizione.
  • Tuttavia, l'alta compressione audio (come nel Q-former di Granite) reintroduce la patologia delle ripetizioni, anche nei decoder LLM, dimostrando che l'architettura dell'encoder audio è il "leva" primaria per la robustezza.

5. Significato e Conclusioni

Lo studio conclude che l'architettura del decoder LLM di per sé non è la causa principale dell'inequità, né amplifica automaticamente i bias razziali. Al contrario:

1. L'encoder audio è fondamentale: La strategia di compressione e trasformazione del segnale audio (prima di raggiungere il decoder) è il fattore determinante per l'equità sugli accenti e la robustezza alle allucinazioni.
2. Il degrado non è sempre un livellatore: Sebbene il rumore e il mascheramento tendano a livellare le prestazioni (peggiorando tutto), l'iniezione di silenzio può esacerbare i bias in modo selettivo e pericoloso.
3. Raccomandazioni Pratiche: Per un deployment equo, è preferibile utilizzare modelli come Qwen3-1.7B (bassa compressione, decoder LLM esplicito) che offrono il miglior compromesso tra accuratezza, equità sugli accenti e robustezza. I modelli Whisper-large-v3 dovrebbero essere utilizzati con cautela su accenti non standard a causa del rischio di allucinazioni patologiche.

In sintesi, la ricerca sposta il focus dalla semplice scalabilità del modello linguistico alla progettazione dell'intero sistema di codifica audio come leva principale per ottenere un riconoscimento vocale equo e robusto.