💬 NLP

HATS: An Open data set Integrating Human Perception Applied to the Evaluation of Automatic Speech Recognition Metrics

Dit artikel introduceert HATS, een nieuw Frans dataset met door mensen waargenomen transcriptiefouten van 143 annotatoren, om de correlatie tussen menselijke voorkeuren en verschillende automatische spraakherkenningsmetrieken te onderzoeken en te evalueren.

Oorspronkelijke auteurs: Thibault Bañeras Roux, Jane Wottawa, Mickael Rouvier, Teva Merlin, Richard Dufour

Gepubliceerd 2026-05-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Thibault Bañeras Roux, Jane Wottawa, Mickael Rouvier, Teva Merlin, Richard Dufour

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een jurylid bent in een kookwedstrijd. Twee koks (laten we ze Kok A en Kok B noemen) hebben een gerecht bereid op basis van een geheim recept. Jouw taak is om beide te proeven en te beslissen welke dichter bij het originele recept ligt.

In de wereld van computers is dit precies wat Automatische Spraakherkenning (ASR) doet. Het luistert naar een mens die spreekt en probeert de woorden op te schrijven, net als een kok die probeert een gerecht na te maken.

Lange tijd was de enige manier om deze "computer-koks" te beoordelen door fouten te tellen. Als de computer "kat" schreef in plaats van "bat", was dat één fout. Als het "k-a-t" schreef in plaats van "b-a-t", was dat ook een fout. Dit wordt de Woordfoutenratio (WER) genoemd. Het is alsof een jurylid alleen telt hoeveel ingrediënten ontbreken, zonder de smaak te proeven.

Het Probleem: De "Teller"-jury is te streng

De auteurs van dit artikel betogen dat de "teller"-jury niet erg goed is in het begrijpen waar mensen eigenlijk om geven. Soms maakt een computer een fout die een woord verandert maar de betekenis duidelijk houdt (zoals "Ik at een appel" zeggen in plaats van "Ik at een peer"). Een menselijke luisteraar zou de zin perfect begrijpen, maar de "teller"-jury markeert het als een mislukking.

De onderzoekers wilden weten: Welke computermetriek komt eigenlijk overeen met wat een mens als een "goede" transcriptie beschouwt?

De Oplossing: Het HATS-experiment

Om dit uit te vinden, creëerde het team een nieuwe dataset genaamd HATS (Human Assessed Transcription Side-by-Side). Denk hierbij aan een massaal, georganiseerd proeverij-evenement.

De Opzet: Ze verzamelden 143 menselijke vrijwilligers.
De Taak: Ze speelden een opname af van iemand die sprak. Vervolgens lieten ze de vrijwilligers twee verschillende door computers gegenereerde transcripties van dezelfde opname zien. Beide transcripties bevatten fouten.
De Keuze: De vrijwilligers moesten kiezen welke van de twee geschreven versies "beter" of makkelijker te begrijpen was. Ze konden niet zeggen "ze zijn gelijk". Ze moesten een winnaar kiezen.

De onderzoekers kozen specifiek moeilijke gevallen waar de twee computer-versies qua kwaliteit zeer vergelijkbaar waren, waardoor de mensen echt na moesten denken over de nuances van de taal.

De Resultaten: Wat prefereerden de mensen?

Vervolgens vergeleken de onderzoekers de keuzes van de mensen met verschillende computerscoresystemen om te zien welke het meest overeenkwam met de mensen.

Hier is wat ze vonden, met eenvoudige analogieën:

De Oude Manier (WER/CER): De traditionele "Woordfoutenratio" was als een jurylid die alleen telt hoeveel letters verkeerd zijn. Het presteerde slecht. Het koos vaak de "slechtere" transcriptie in vergelijking met wat mensen prefereerden.
De Nieuwe Manier (Semantische Metrieken): De onderzoekers testten slimmere metrieken die kijken naar de betekenis van de woorden, niet alleen naar de spelling. Ze gebruikten hulpmiddelen zoals BERTScore en SemDist.
- Stel je BERTScore voor als een jurylid die begrijpt dat "groot" en "enorm" hetzelfde betekenen, zelfs als de woorden verschillend zijn.
- Stel je SemDist voor als een jurylid die naar de hele zinsstructuur kijkt om te zien of de "sfeer" of betekenis correct is.

De Winnaar: De metriek die het meest overeenkwam met de menselijke vrijwilligers was SemDist (specifiek met gebruik van een model genaamd Sentence-BERT). Het was het beste in het voorspellen welke transcriptie een mens makkelijker zou vinden om te begrijpen.

Een Verrassende Wending: Het "Geluid" van Tekst

Een interessante bevinding ging over de Fonemfoutenratio (PhonER). Deze metriek telt fouten op basis van hoe woorden klinken (hun klanken), niet hoe ze gespeld zijn.

Hoewel de mensen alleen de tekst lazen (en niet naar de audio luisterden), voorspelde de "geluid-gebaseerde" metriek eigenlijk beter de menselijke keuzes dan de "woord-tellende" metriek.
De Analogie: Het is alsof de mensen, terwijl ze de tekst lazen, onbewust de woorden "hoorden" in hun hoofd. Ze prefereerden de tekst die goed klonk, zelfs als ze alleen naar de letters keken.

De Conclusie

Het artikel concludeert dat als je wilt weten of een spraak-naar-tekst-systeem echt goed is voor mensen, je niet alleen de spellingfouten moet tellen. Je hebt een metriek nodig die de betekenis en het verloop van de zin begrijpt.

Ze hebben hun "proeverij"-data (HATS) gratis beschikbaar gesteld zodat andere wetenschappers het kunnen gebruiken om betere, mensvriendelijkere spraakherkenningssystemen te bouwen.

Belangrijke Opmerking: De auteurs waarschuwen dat deze studie volledig in het Frans is uitgevoerd. Alleen omdat deze regels werken voor het Frans, betekent dit niet dat ze automatisch werken voor het Engels of andere talen. Ook, omdat ze zeer lastige voorbeelden voor de test hebben gekozen, vertegenwoordigt de data mogelijk niet elke enkele fout die een computer in de echte wereld maakt.

1. Probleemstelling

Automatische Spraakherkenning (ASR) systemen worden traditioneel geëvalueerd met behulp van Word Error Rate (WER) en Character Error Rate (CER). Deze metrieken tellen het aantal incorrecte woorden of karakters ten opzichte van een referentietranscript. De auteurs betogen echter dat deze metrieken ontoereikend zijn omdat:

Ze systeemgericht zijn in plaats van mensgericht.
Ze semantisch begrip missen (bijvoorbeeld: het vervangen van "kat" door "hond" wordt evenzeer bestraft als "kat" door "auto", terwijl het eerste misschien begrijpelijker is).
Ze geen rekening houden met het feit dat mensen vaak betekenis uit een zin kunnen halen ondanks transcriptiefouten, zolang deze fouten niet fundamenteel zijn.

Er is behoefte aan evaluatiemetrieken die nauwer correleren met de menselijke perceptie van transcriptiekwaliteit, met name voor transcripties die bestemd zijn voor menselijk gebruik (bijvoorbeeld ondertitels, berichten).

2. Methodologie

Het HATS Dataset

De kernbijdrage is de creatie van HATS (Human-Assessed Transcription Side-by-Side), een nieuwe open dataset voor de Franse taal.

Bron: Transcripties werden gegenereerd vanuit het REPERE testcorpus (ongeveer 10 uur radio/TV-uitzendaudio) met behulp van 10 verschillende ASR-systemen (8 end-to-end systemen gebaseerd op Speechbrain/wav2vec2/XLS-R, en 2 DNN-HMM systemen gebaseerd op Kaldi).
Annotatieprotocol:
- Taak: Een "side-by-side" experiment waarbij 143 menselijke deelnemers een geschreven referentietranscript en twee automatische hypotheses (van verschillende ASR-systemen) kregen gepresenteerd.
- Beperking: Deelnemers moesten de "beste" hypothesis kiezen. Ze mochten niet kiezen voor "gelijk".
- Selectie van stimuli: Om ervoor te zorgen dat de taak uitdagend en informatief was, werden triplets niet willekeurig geselecteerd. Ze werden gefilterd op basis van drie criteria:
  1. Hypotheses moeten van elkaar en van de referentie verschillen.
  2. Hypotheses van alle systemen werden tegen elkaar gecontrasteerd.
  3. Op metriek gebaseerde selectie: Paren werden gekozen om specifieke scenario's te creëren:
    - Zelfde/Verschillende scores: Metrieken zijn het eens of oneens over de kwaliteit.
    - Metriekconflict: Eén metriek geeft de voorkeur aan Hypothesis A terwijl een andere Hypothesis B de voorkeur geeft.
    - Ambiguïteit: Gevallen waarbij WER/CER gelijk zijn maar semantische metrieken verschillen.
Datavolume: 1.000 referentie-hypothese triplets, resulterend in 7.150 totale annotaties (elk triplet beoordeeld door minimaal 7 deelnemers).
Inter-rater betrouwbaarheid: Fleiss' Kappa was 0,46, waarbij 82% van de triplets liet zien dat er onder mensen ten minste 71,4% overeenstemming was, wat aangeeft dat de taak moeilijk is maar dat mensen consistent de betere optie kunnen identificeren.

Geteste Evaluatiemetrieken

De studie evalueerde hoe goed verschillende automatische metrieken overeenkomen met menselijke keuzes. De geteste metrieken omvatten:

Lexicaal: WER, CER, Phoneme Error Rate (PhonER).
Semantisch/Embedding-gebaseerd:
- Embedding Error Rate (EmbER): WER gewogen op basis van cosinusafstand van woordembeddings (fastText).
- SemDist: Cosinusgelijkenis tussen zinsniveau-embeddings (getest met CamemBERT, FlauBERT, SentenceBERT).
- BERTScore: Token-niveau gelijkenis met behulp van contextuele embeddings (getest met meertalig BERT, CamemBERT-base, CamemBERT-large).

Analysebenadering

De auteurs berekenden de overeenstemmingsgraad tussen de voorspelling van de metriek (welke hypothesis beter is) en het menselijke consensus.

Definitie van consensus: Overeenstemming werd berekend als $\frac{\max(A, B)}{A + B}$ , waarbij $A$ en $B$ de aantallen mensen zijn die Hypothesis A of B hebben gekozen.
Filtering: Resultaten werden geanalyseerd onder drie voorwaarden:
1. 100% Overeenstemming: Alleen triplets waarbij alle mensen het eens waren.
2. 70% Overeenstemming: Triplets met een sterke consensus.
3. 0% Overeenstemming (Volledig): Geen filtering toegepast.

3. Belangrijkste Resultaten

De prestaties van metrieken werden gemeten aan de hand van het percentage keren dat ze overeenkwamen met menselijke voorkeur.

Metriek Type	Best Presterende Metriek	Prestatie (70% Overeenstemming)	Belangrijkste Bevindingen
Lexicaal	CER	64%	CER presteerde beter dan WER. Dit tegensprekt sommige eerdere studies en kan te wijten zijn aan Franse orthografie (stomme letters) of het gebruik van geschreven tekstreferenties. WER presteerde in dit dataset dicht bij een willekeurige kans (53%).
Fonemisch	PhonER	69%	Presteerde beter dan WER en CER, wat suggereert dat mensen onbewust fonetische gelijkenis overwegen, zelfs bij het lezen van tekst.
Semantisch	SemDist (Sentence CamemBERT-large)	78%	De best presterende metriek. Het presteerde consequent beter dan andere, waarschijnlijk omdat Sentence-BERT embeddings specifiek zijn getraind om semantische gelijkenis te maximaliseren.
Semantisch	BERTScore (CamemBERT-large)	68%	Presteerde goed maar iets lager dan SemDist bij gebruik van dezelfde embedding-modellen.

Opmerkelijke Observaties:

Embedding Gevoeligheid: De keuze van het embedding-model heeft een aanzienlijke impact op de prestatie van de metriek. Bijvoorbeeld, SemDist met FlauBERT-base (59%) presteerde slechter dan CER (60%), terwijl SemDist met Sentence CamemBERT-large (78%) de beste was.
Metriek Onenigheid: In gevallen waarin WER en CER gelijke scores gaven, boden semantische metrieken vaak de differentiatie die overeenkwam met de menselijke keuze.
Menselijke Perceptie: Mensen lijken semantische coherentie en fonetische vloeiendheid te prioriteren boven strikte lexicaal nauwkeurigheid, wat lexicaal metrieken niet kunnen vastleggen.

4. Belangrijkste Bijdragen

HATS Dataset: De release van een grootschalig, handmatig geannoteerd dataset van Franse ASR-fouten met labels voor menselijke voorkeur. Het is de eerste die een side-by-side protocol gebruikt met 10 diverse ASR-systemen en strenge stimuli-selectiecriteria.
Empirische Evaluatie: Een uitgebreide benchmark van lexicaal versus semantische metrieken tegen menselijke perceptie in het Frans.
Inzicht in Frans ASR: De bevinding dat CER een betere proxy is voor menselijke perceptie dan WER in Franse contexten, wat de universele dominantie van WER uitdaagt.
Validatie van Semantische Metrieken: Demonstratie dat SemDist (met behulp van Sentence-BERT embeddings) momenteel de meest betrouwbare automatische metriek is voor het voorspellen van menselijke voorkeur in ASR-evaluatie.

5. Betekenis en Toekomstig Werk

Betekenis: De studie biedt een routekaart voor het verplaatsen van ASR-evaluatie voorbij eenvoudige foutentelling naar mensgerichte kwaliteitsbeoordeling. Het valideert dat embedding-gebaseerde metrieken noodzakelijk zijn voor het evalueren van transcripties die bestemd zijn voor menselijk gebruik.
Beperkingen:
- Het dataset is specifiek voor het Frans; resultaten zijn mogelijk niet generaliseerbaar naar andere talen.
- De stimuli werden geselecteerd op basis van strenge criteria, waardoor het dataset mogelijk minder representatief is voor "gemiddelde" fouten.
- De referentie was tekst, geen audio.
Toekomstige Richtingen:
- Het repliceren van het experiment met een audio-referentie om te testen of CER superieur blijft aan WER wanneer visuele tekstsignalen worden verwijderd.
- Het ontwikkelen van nieuwe metrieken die menselijke correlatie in evenwicht brengen met rekenkundige efficiëntie en interpreteerbaarheid (een huidige sterkte van WER/CER).
- Het uitbreiden van het dataset naar andere talen om cross-linguale generaliseerbaarheid te testen.

Concluderend stelt het paper dat, hoewel WER en CER nuttig blijven vanwege hun lage kosten en interpreteerbaarheid, SemDist met Sentence-BERT de superieure metriek is om ASR-evaluatie af te stemmen op menselijke perceptie, en dat het HATS dataset een kritieke bron is voor het ontwikkelen en valideren van toekomstige evaluatiemethoden.