Do LLM Decoders Listen Fairly? Benchmarking How Language Model Priors Shape Bias in Speech Recognition

Titel: Do LLM Decoders Listen Fairly? Benchmarking How Language Model Priors Shape Bias in Speech Recognition

Auteurs: Srishti Ginjala et al. (Ohio State University & Air Force Research Laboratory)

---

1. Probleemstelling

Met de opkomst van grote taalmodellen (LLM's) die worden gebruikt als decoders in spraakherkenningssystemen (Automatic Speech Recognition - ASR), rijst de kritische vraag of deze modellen, die zijn getraind op tekstuele priors, de eerlijkheid van spraakherkenning verbeteren of verergeren.

• Bestaande bias: ASR-systemen vertonen al langere tijd demografische vooroordelen (bijv. hogere foutenpercentages voor zwarte sprekers of sprekers met een accent).
• Het risico: Er is zorg dat de priors van LLM's, die voornamelijk zijn getraind op standaard Engels, bestaande ongelijkheden kunnen versterken wanneer ze worden toegepast op niet-standaard of geaccentueerde spraak.
• De ontbrekende link: Er is geen systematisch onderzoek gedaan naar hoe de integratie van een vooraf getraind taalmodel in de decoder de eerlijkheid beïnvloedt, zowel op schoon geluid als onder omstandigheden met akoestische degradatie (ruis, echo, stilte).

2. Methodologie

De auteurs hebben een uitgebreide benchmark opgezet om drie generaties van ASR-architecturen te vergelijken:

1. Generatie 1: CTC-encoder zonder taalmodel (bijv. Wav2Vec2-large).
2. Generatie 2: Encoder-decoder met een impliciet taalmodel (bijv. Whisper-small, medium, large-v3).
3. Generatie 3: Encoder die audio-embeddings doorstuurt naar een vooraf getrainde LLM als expliciete decoder (bijv. Qwen3-ASR, Canary-Qwen, Granite-Speech).

Datasets:

• Common Voice 24: ~16.400 uitspraken met zelfgerapporteerde accenten, geslacht en leeftijd.
• Fair-Speech (Meta): ~26.470 uitspraken van sprekers die dezelfde zinnen lezen, waardoor vocabulaire-verwarring wordt geëlimineerd. Dit dataset bevat gedetailleerde demografische labels (etniciteit, geslacht, leeftijd, eerste taal, sociaaleconomische status).
• LibriSpeech: Dient als referentie-baseline.

Experimenten:

• Schoon geluid: Evaluatie van 9 modellen op ~43.000 uitspraken.
• Akoestische degradatie: Alle modellen werden getest onder 12 verstoringcondities (ruis, reverberatie, injectie van stilte, en maskeringsblokken) op beide datasets. Dit resulteerde in totaal in 216 inferentieruns.
• Metingen: Woordfoutpercentage (WER) en de Max/Min Ratio (MMR) als maatstaf voor eerlijkheid (waarbij 1,0 perfecte pariteit betekent). Ook werden hallucinaties (inserties) geanalyseerd in termen van herhaling, syntaxis en semantische inhoud.

3. Belangrijkste Bijdragen

1. Eerste systematische studie naar het effect van LLM-decoders op ASR-eerlijkheid over vijf demografische assen en 12 degradatiecondities.
2. Het weerleggen van de hypothese dat LLM-decoders per se raciale bias versterken.
3. Identificatie van een pathologische hallucinatie in Whisper-large-v3 specifiek voor Indiaas-geaccentueerde spraak.
4. Het aantonen dat audio-compressie een grotere voorspeller is voor accent-eerlijkheid dan de schaal van het LLM.
5. Het ontdekken dat ernstige degradatie paradoxalerwijs de eerlijkheidslagen kan verkleinen (door alle groepen naar hoge foutpercentages te duwen), met uitzondering van stilte-injectie bij Whisper.
6. Het in kaart brengen van architectuurafhankelijke hallucinatietypes onder degradatie.

4. Resultaten

A. Eerlijkheid op Schoon Geluid

• Etniciteit: In tegenstelling tot de verwachtingen verergerden Gen 3-modellen (LLM-decoders) de raciale bias niet. De meest eerlijke competitieve modellen (zoals Granite-8B met een MMR van 2,28) gebruikten expliciete LLM-decoders. Black/African-American sprekers hadden echter overal de hoogste WER, ongeacht het model.
• Accent en Hallucinatie: Whisper-large-v3 vertoonde een pathologische hallucinatie bij Indiaas-geaccentueerde spraak. De insertie-rate steeg niet-monotoon naar 9,62% (tegenover 1,53% bij Whisper-medium), waarbij 50,7% van de fouten bestond uit inserties. Dit was een specifiek probleem voor dit accent; bij andere accenten (VS, Canada) was de prestatie goed. Alle Gen 3-modellen bleven onder de 3,1% insertie-rate.
• Compressie vs. Schaal: Bij Gen 3-modellen bleek dat audio-compressie de eerlijkheid voor accenten beter voorspelde dan de grootte van het model. Low-compression modellen (Qwen3-1.7B) presteerden beter op accent-eerlijkheid dan high-compression modellen (Granite), ondanks dat Granite beter was op etniciteit.

B. Eerlijkheid onder Akoestische Degradatie

• Verstoring en Pariteit: Ernstige degradatie (zoals 30% maskeringsblokken) leidde paradoxalerwijs tot een verkleining van de eerlijkheidslagen (α < 1). Omdat alle groepen toen hoge foutpercentages hadden, leken ze "gelijk" te worden, maar dit was een "low-accuracy parity" (slechte prestaties voor iedereen).
• Stilte-injectie: Dit was de kritieke uitzondering. Bij Whisper-large-v3 versterkte stilte-injectie de accent-bias met een factor 4,64. Dit werd veroorzaakt door demografisch selectieve hallucinaties.
• Hallucinatietypes:
  • Whisper: Onder maskeringscondities produceerde Whisper-small 51.797 inserties, waarvan 86% bestond uit catastrofale herhalingslussen (autoregressieve cycli).
  • LLM-decoders (Gen 3): Deze produceerden 38x minder inserties en hadden bijna geen herhalingen. Hun inserties waren voornamelijk syntactisch of semantisch.
  • Compressie-effect: High-compression audio encoding (zoals bij Granite met Q-former) introduceerde echter opnieuw herhalingspathologieën, zelfs in LLM-decoders.

5. Betekenis en Conclusie

De studie concludeert dat het ontwerp van de audio-encoder en de compressiemethode de belangrijkste hefboom zijn voor eerlijke en robuuste spraakherkenning, en niet de schaal van het taalmodel.

• Advies voor de praktijk:
  • Qwen3-1.7B (low-compression) is de sterkste kandidaat voor eerlijke implementatie vanwege zijn balans tussen nauwkeurigheid, accent-eerlijkheid en robuustheid.
  • Granite-8B is superieur voor etniciteit-eerlijkheid.
  • Whisper-large-v3 moet niet worden ingezet voor geaccentueerde spraak zonder mitigatie van hallucinaties, vooral niet bij signalen met stilte of uitval.
• Fundamenteel inzicht: Het toevoegen van een LLM-decoder versterkt niet per se bestaande bias, maar kan nieuwe, specifieke foutpatronen (zoals hallucinaties bij specifieke accenten) introduceren. De manier waarop audio wordt verwerkt voordat het de taalmodel-decoder bereikt (compressie), is cruciaal voor het voorkomen van pathologische fouten zoals herhalingslussen.

De auteurs benadrukken dat "robustheid" geen monolithisch kenmerk is, maar sterk afhankelijk van het type signaalcorruptie (ruis vs. stilte vs. maskeringsblokken).