Qualitative Evaluation of Language Model Rescoring in Automatic Speech Recognition
Dit artikel stelt een kwalitatief evaluatiekader voor voor systemen voor automatische spraakherkenning dat voorbij gaat aan de woordfoutenratio door de POSER- en EmbER-metrics te introduceren om de morfologisch-syntactische en semantische verbeteringen te analyseren die worden behaald door middel van taalmodelherbeoordeling.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een zeer getalenteerde maar iets onhandige schrijver voor die luistert naar mensen die spreken en opschrijft wat ze horen. Dit is een Automatic Speech Recognition (ASR)-systeem. Jarenlang hebben we beoordeeld hoe goed deze schrijver is met één enkel, simpel liniaal: de Word Error Rate (WER).
Denk aan WER als een leraar die een spellingtoets corrigeert. Als de schrijver "kat" schrijft in plaats van "rat", is dat één fout. Als ze "hond" schrijft in plaats van "rat", is dat ook maar één fout. Voor het WER-liniaal zijn deze fouten identiek. Maar in de echte wereld zijn "kat" en "rat" heel verschillende dieren, terwijl "rat" en "bal" beide ronde voorwerpen zijn die je met een stok kunt slaan. Het oude liniaal geeft niets om de betekenis of de grammatica van de fout; het telt gewoon hoeveel woorden verkeerd zijn.
Het probleem met het oude liniaal
De auteurs van dit paper betogen dat dit ene liniaal te grof is. Het is alsof je een chef beoordeelt door alleen te tellen hoeveel ingrediënten hij heeft laten vallen, zonder te kijken of het een snufje zout was of de hele zoutpot. Soms krijgt een schrijver de woorden wel goed, maar de grammatica fout (bijvoorbeeld "hij gaan" in plaats van "hij gaat"), of hij verwisselt een woord met een ander dat er qua klank op lijkt maar een totaal andere betekenis heeft. Het oude liniaal mist al deze nuances.
De nieuwe toolkit: Een multi-lensbenadering
Om dit op te lossen, bouwden de onderzoekers een nieuwe toolkit met zes verschillende "lenzen" om het werk van de schrijver te bekijken, verder dan alleen het tellen van verkeerde woorden:
- De grammaticalens (POSER): Deze controleert of de schrijver het juiste type woord heeft gebruikt. Heeft hij een werkwoord gebruikt waar een zelfstandig naamwoord zou moeten staan? Het is alsof je controleert of de schrijver een wiel op een fiets heeft gezet in plaats van een stuur.
- De wortellens (LER): Deze kijkt naar de "wortel" van het woord. Als de schrijver "rennend" schrijft in plaats van "liep", is de wortel hetzelfde. Deze lens ziet dat als een kleinere fout dan het schrijven van "springend".
- De betekenislenzen (EmbER & BERTScore): Dit is het meest creatieve deel. In plaats van alleen te zeggen "fout", vraagt het: "Hoe ver ligt deze fout weg in de wereld van betekenis?"
- Als de schrijver "appel" schrijft in plaats van "sinaasappel", is de betekenisafstand klein (beide zijn fruit).
- Als ze "appel" schrijven in plaats van "auto", is de afstand enorm.
- Deze lens geeft een "zachte" score voor kleine betekenisfouten en een "harde" score voor grote fouten.
- De zinslens (SemDist): Deze bekijkt de hele zin als één blok betekenis en vraagt: "Maakt het hele idee nog steeds zin?"
Het experiment: De "herbeoordeling"-tovertruc
De onderzoekers testten deze nieuwe lenzen op een Frans spraaksysteem. Ze lieten het systeem twee dingen doen:
- Eerste doorgang (Basis): De schrijver schrijft direct op wat hij hoort.
- Tweede doorgang (Herbeoordeling): De schrijver krijgt een tweede mening van een "Taalmodel" (een superslimme grammatica- en vocabulaire-expert). De expert kijkt naar het eerste concept en zegt: "Hé, dat klinkt niet goed. Laten we dit woord vervangen door dat woord om het vloeiender te maken."
Wat ze vonden
Toen ze hun nieuwe toolkit toepasten, ontdekten ze iets verrassends: De tweede doorgang (Herbeoordeling) hielp niet allemaal evenveel.
- De "woordtelling"-winst: Het oude liniaal (WER) toonde een grote verbetering. Het leek alsof de schrijver veel beter geworden was in het gewoon goed krijgen van de woorden.
- De "betekenis"-kloof: Echter, de nieuwe "betekenislenzen" toonden aan dat de verbetering veel kleiner was. De tweede doorgang was geweldig in het corrigeren van grammatica en woordkeuze, maar het had moeite om woorden te corrigeren die qua betekenis volledig verkeerd waren. Het is alsof de expert-redacteur de spelling en grammatica van een verhaal corrigeerde, maar niet doorhad dat het plot nog steeds een beetje scheef zat.
- Het "gepraat"-probleem: Ze ontdekten ook dat wanneer mensen zeer informeel spraken, met veel pauzes, stotteren en straattaal (spontane spraak), het "tweede oordeel" de dingen eigenlijk slechter maakte. De expert-redacteur probeerde de rommelige, natuurlijke spraak te forceren in een perfect, formeel structuur, wat de betekenis verwarde.
De les
De belangrijkste boodschap van dit paper is simpel: Beoordeel een spraaksysteem niet op basis van slechts één getal.
Als je alleen kijkt naar de Word Error Rate, denk je misschien dat je systeem perfect wordt. Maar als je door de nieuwe lenzen kijkt, zie je misschien dat terwijl de woorden schoner worden, de diepe betekenis en de natuurlijke vloeiendheid niet zozeer verbeteren als je denkt. De onderzoekers bewezen dat om echt te begrijpen hoe goed een spraaksysteem werkt, je niet alleen moet meten welke woorden fout zijn, maar hoe fout ze zijn in termen van grammatica, wortels en betekenis.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.