Evaluation of Automatic Speech Recognition Using Generative Large Language Models

Titel: Evaluatie van Automatische Spraakherkenning met Generatieve Grootte Taalmodellen (LLMs)

Auteurs: Thibault Bañeras-Roux et al. (Idiap Research Institute en diverse Franse universiteiten)
Publicatiedatum: April 2026 (arXiv)

---

1. Het Probleem

De traditionele evaluatiemethode voor Automatische Spraakherkenning (ASR) is de Woordfoutenratio (WER). Hoewel WER de standaard is, heeft deze ernstige beperkingen:

• Semantische blindheid: WER behandelt alle fouten gelijk, ongeacht of ze de betekenis van de zin veranderen of niet. Een kleine grammaticale fout wordt even zwaar gewogen als een fout die de zin onbegrijpelijk maakt.
• Gebrek aan correlatie met menselijke perceptie: Studies tonen aan dat WER slecht correleert met hoe mensen de kwaliteit van transcripties ervaren.
• Beperkte bruikbaarheid voor downstream-taken: Een lage WER garandeert niet dat de transcriptie nuttig is voor specifieke toepassingen (zoals ondertiteling).

Bestaande alternatieven, zoals semantische metrieken gebaseerd op encoder-modellen (bijv. BERT, SemDist), presteren beter dan WER, maar decoder-based Large Language Models (LLMs) (zoals GPT, Llama, Gemma) zijn voor deze evaluatietaken nog nauwelijks onderzocht.

2. Methodologie

De auteurs evalueren de relevantie van decoder-based LLMs voor ASR-evaluatie via drie complementaire benaderingen, gebruikmakend van het HATS-dataset (een dataset met menselijke annotaties van spraakherkenningsfouten).

A. LLM als 'Rechter' (Hypothese-selectie)

• Taak: Het model moet kiezen welke van twee ASR-hypothese (A of B) het dichtst bij de referentie (de juiste transcriptie) ligt, gebaseerd op zowel lexische trouw als semantische coherentie.
• Prompting: Er wordt gebruik gemaakt van een one-shot prompt met Chain-of-Thought redenering. Het model moet zijn keuze rechtvaardigen en eindigen met 'A' of 'B'.
• Modellen: Verschillende generatieve LLMs (GPT-4, Qwen3, Gemma) van verschillende groottes en families.

B. Semantische Afstand met Decoder-Embeddings

• Taak: Het berekenen van een semantische afstand (SemDist) tussen een referentie en een hypothese, gebaseerd op de vectorrepresentaties (embeddings) van de LLM.
• Techniek: De tekst wordt getokeniseerd en omgezet in een reeks embeddings. Omdat SemDist een vaste dimensie vereist, worden verschillende pooling-strategieën getest om de token-embeddings te aggregeren tot één vector:
  • Laatste token, tweede laatste token, gemiddelde (mean), gewogen gemiddelde, etc.
• Doel: Onderzoeken of embeddings van decoder-LLMs (die zijn getraind voor next-token prediction) even goed semantische gelijkenis kunnen vangen als gespecialiseerde encoder-modellen.

C. Kwalitatieve Classificatie van Fouten

• Taak: Het model moet een (referentie, hypothese)-paar onafhankelijk classificeren in één van vier categorieën:
  1. Identical: Geen of verwaarloosbare fouten.
  2. Useful: Betekenis behouden, kleine fouten (spelling, interpunctie).
  3. Bad: Betekenis deels veranderd (belangrijke woorden verkeerd).
  4. Incomprehensible: Betekenis volledig verloren.
• Doel: Bepalen of LLMs fouten kunnen categoriseren op een manier die overeenkomt met menselijke perceptie en interpretatie.

3. Belangrijkste Resultaten

Hypothese-selectie (LLM als Rechter)

• Menselijke overeenstemming: De beste LLMs (GPT-4.1 en Qwen3.5-35B) bereiken een overeenstemming van 92–94% met menselijke annotatoren bij het kiezen van de beste hypothese.
• Vergelijking met WER/SemDist: Dit is aanzienlijk beter dan WER (63%) en zelfs beter dan geavanceerde semantische metrieken zoals SemDist (73–78%).
• Modelgrootte: Er is geen strikte correlatie tussen modelgrootte en prestatie. Bijvoorbeeld, Qwen3-8B (kleiner) presteert beter dan Gemma3-27b. Open-source modellen (Qwen3.5-35B) presteren vergelijkbaar met gesloten, state-of-the-art modellen (GPT-4.1).

Embedding-kwaliteit (SemDist)

• Poolings-strategieën: In tegenstelling tot intuïtie presteert het gebruik van alleen de laatste token vaak slecht (bijv. 59% voor Qwen3.5-27B). Dit komt doordat decoder-LLMs zijn getraind om de volgende token te voorspellen, niet om de volledige zin te samenvatten.
• Gemiddelde Pooling: Eenvoudige strategieën zoals mean pooling (gemiddelde van alle tokens) presteren vaak het beste of net zo goed als complexe methoden.
• Fine-tuning: Modellen die specifiek zijn gefine-tuned voor embedding-taken (bijv. Qwen3-Embedding-8B) presteren significant beter dan generieke LLMs van vergelijkbare grootte, zelfs met de laatste token als representatie.

Kwalitatieve Classificatie

• LLMs kunnen fouten succesvol classificeren in de vier gedefinieerde categorieën.
• De verdeling van de SemDist-scores over deze categorieën toont een logische correlatie: hoge scores voor "identical" en lage scores voor "incomprehensible". Dit bevestigt dat de kwalitatieve oordelen van de LLM consistent zijn met semantische afstandsmetingen.

4. Bijdragen en Significatie

1. Superioriteit van Generatieve LLMs: Het paper bewijst dat generatieve LLMs, dankzij hun diepe semantische en contextuele begrip, superieur zijn aan traditionele metrieken (WER) en zelfs geavanceerde semantische metrieken (SemDist) voor het evalueren van ASR-kwaliteit.
2. Interpreteerbaarheid: In tegenstelling tot een abstracte score (zoals een WER van 15% of een cosine-similarity van 0.82), kunnen LLMs uitleggen waarom een transcriptie beter of slechter is (bijv. "grammaticale fout" vs. "vloeiendheid"). Dit biedt een transparanere evaluatie.
3. Kostenefficiëntie en Automatisering: LLMs kunnen menselijke annotatie deels vervangen of aanvullen, wat de kosten verlaagt voor het evalueren van ASR-systemen op basis van menselijke perceptie.
4. Inzicht in Embeddings: Het onderzoek leert dat voor ASR-evaluatie niet per se de grootste modellen nodig zijn, en dat de keuze van de pooling-strategie (vooral mean pooling) en eventuele fine-tuning cruciaal zijn voor het verkrijgen van kwalitatieve semantische representaties uit decoder-LLMs.

Conclusie:
De auteurs concluderen dat LLMs een veelbelovende, interpreteerbare en semantisch onderbouwde richting vormen voor de volgende generatie ASR-evaluatiemethoden. Ze sluiten beter aan bij wat mensen daadwerkelijk als een goede transcriptie ervaren dan de huidige industriestandaarden.