Generative vs. Encoder Large Language Models for ASR Evaluation: A Comparative Study
Dit artikel presenteert een vergelijkende studie die aantoont dat hoewel correct geconfigureerde encoder-gebaseerde metrieken (zoals BERTScore en SemDist) een sterke correlatie bereiken met menselijke oordelen voor ASR-evaluatie, generatieve LLM's complementaire sterktes bieden in paarsgewijze hypotheese selectie en het verbeteren van de interpreteerbaarheid van foutanalyse.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wanneer een computer naar een menselijke stem luistert en opschrijft wat hij hoort, wordt dit proces automatische spraakherkenning genoemd. Decennialang was de standaardmanier om te beoordelen hoe goed deze systemen werken een eenvoudige telling van fouten. Als de computer "kat" schrijft terwijl de spreker "bak" zei, telt dat als een fout. Als hij een extra woord toevoegt of er een mist, zijn dat ook fouten. Deze methode, bekend als de foutwoordpercentage (word error rate), behandelt elke fout als even erg. Het geeft niet om het feit of de fout de betekenis van een zin verandert of dat het slechts een kleine spelfout is die een menselijke lezer gemakkelijk zou over het hoofd zien. Als gevolg hiervan kan een systeem een perfecte score halen op deze oude test, terwijl de geproduceerde tekst voor een mens robotachtig of verwarrend klinkt.
Om dit op te lossen, hebben onderzoekers zich tot nieuwere methoden gewend die kijken naar de betekenis achter de woorden in plaats van alleen naar de letters zelf. Deze methoden maken gebruik van grote taalmodellen, wat enorme computerprogramma's zijn die getraind zijn op enorme hoeveelheden tekst om te begrijpen hoe taal werkt. Sommige van deze modellen zijn ontworpen om tekst te lezen en te begrijpen, terwijl andere zijn gebouwd om nieuwe tekst te genereren, zoals het schrijven van een verhaal of het beantwoorden van een vraag. De grote vraag voor het vakgebied is geweest of deze krachtige nieuwe instrumenten een betere taak kunnen uitvoeren bij het beoordelen van spraakherkenning dan de oude telmethoden, en zo ja, welk type model de beste rechter is.
Een team van onderzoekers aan het Idiap Research Institute in Zwitserland, samen met collega's van universiteiten in Frankrijk, zette zich in om deze vraag te beantwoorden. Ze wilden zien hoe verschillende soorten grote taalmodellen presteren wanneer ze de opdracht krijgen om de kwaliteit van getranscribeerde spraak te evalueren. Ze keken niet alleen naar de modellen in algemene zin; ze testten ze op twee zeer verschillende manieren. Eerst behandelden ze de modellen als instrumenten om de afstand te meten tussen de gesproken woorden en de geschreven tekst, waarbij ze zoch even naar een wiskundige score die overeenkomt met de menselijke opinie. Ten tweede vroegen ze de modellen om als een menselijke rechter op te treden, door twee verschillende versies van een transcriptie te lezen en te beslissen welke beter was, of simpelweg een enkel transcript als goed, slecht of verwarrend te labelen.
De onderzoekers testten hun ideeën met behulp van een dataset genaamd HATS, die paarwijze menselijke voorkeuren bevat over Franse ASR-hypothesen geproduceerd door diverse computersystemen. Cruciaal is dat deze dataset ook de meningen bevat van menselijke luisteraars die gevraagd werden de kwaliteit van de transcripties te beoordelen. Dit stelde de onderzoekers in staat om te zien of de computermodellen dezelfde oordelen velden als mensen zouden maken. Ze begonnen met het testen van de modellen als meetinstrumenten. Ze berekenden BERTScore en SemDist met behulp van embeddings geëxtraheerd uit de modellen om een score te genereren op basis van hoe vergelijkbaar de computerversie was met de menselijke versie. Ze ontdekten dat de beste resultaten niet voortkwamen uit het simpelweg gebruiken van het grootste of krachtigste model. In plaats daarvan hing succes af van hoe de onderzoekers de informatie binnen het model verwerkten.
Voor de modellen die tekst lezen en begrijpen, ontdekten de onderzoekers dat de beste resultaten voortkwamen uit het kijken naar specifieke lagen van de interne structuur van het model, in plaats van alleen naar de uiteindelijke output. Ze ontdekten ook dat modellen die specifelijk getraind zijn om zinsniveau-samenvattingen te maken, beter presteerden dan algemene modellen. Voor de modellen die tekst genereren, waren de resultaten vergelijkbaar: de beste prestaties vereisten een zorgvuldige selectie van welk deel van de interne kennis van het model gebruikt moest worden. In deze tests presteerden de modellen die ontworpen zijn om tekst te genereren net zo goed als, en soms zelfs iets beter dan, de modellen die ontworpen zijn om tekst te lezen. De tekstgenererende modellen bereikten dit echter met veel minder computerbronnen, wat hen een zeer efficiënte keuze maakt voor deze specifieke taak.
De onderzoekers gingen vervolgens over naar het tweede deel van hun studie, waarbij ze de modellen vroegen om als rechters op te treden. In het eerste scenario gaven ze het model een referenzenzin en twee verschillende door de computer gegenereerde versies van die zin. Het model moest degene kiezen die een mens de voorkeur zou geven. Bij deze taak presteerden de meest geavanceerde generatieve modellen, inclusief enkele van de grootste beschikbare, uitzonderlijk goed. In de beste gevallen stemden ze in 94 procent van de gevallen overeen met menselijke keuzes, waarmee ze zowel de oude telmethode als de nieuwe scoringsmethoden overtroffen. Dit suggereert dat wanneer een model de hele zin mag lezen en over de context kan nadenken, het subtiele verschillen in kwaliteit kan opmerken die eenvoudige wiskunde mist.
In het laatste experiment vroegen de onderzoekers de modellen om naar een enkele transcriptie te kijken en er een label aan toe te kennen: identiek, nuttig, slecht of onbegrijpelijk. Deze benadering bood een nieuw soort inzicht. In plaats van een enkel getal kregen de onderzoekers een beschrijving van de fout. Bijvoorbeeld, het model kon identificeren dat een zin begrijpelijk was ondanks een paar spelfouten, of dat het volledig verwarrend was. Hoewel de modellen niet perfect waren bij deze taak, toonden ze een duidelijk vermogen om fouten te ordenen op basis van ernst. De resultaten suggereerden dat deze modellen een gedetailleerder en mensvriendelijker rapport konden geven over waarom een spraaksysteem faalde, in plaats van alleen maar te zeggen dat het faalde.
De studie concludeert dat grote taalmodellen een flexibele en krachtige nieuwe manier bieden om spraakherkenning te evalueren. De op het lezen gerichte modellen leveren snelle en nauwkeurige scores die overeenkomen met de menselijke perceptie, terwijl de tekstgenererende modellen uitblinken in het vergelijken van verschillende versies van een transcript en het verklaren van de aard van de fouten. De onderzoekers ontdekten dat de grootte van het model minder belangrijk was dan hoe het werd gebruikt; een kleiner, goed geconfigureerd model kon vaak de taak van een veel groter model vervullen. Uiteindelijk laat het werk zien dat door deze verschillende benaderingen te combineren, we verder kunnen gaan dan eenvoudige foutentellingen naar een dieper begrip van hoe goed een computer werkelijk de menselijke stem begrijpt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.