Chain of Correction for Full-text Speech Recognition with Large Language Models

Dit artikel introduceert de Chain of Correction (CoC), een methode die gebruikmaakt van meervoudige chat-interacties met grote taalmodellen om volledige tekstherkenning uit spraak nauwkeuriger en vloeiender te corrigeren door fouten segment voor segment te verhelpen op basis van de volledige context.

De kern

De "Ketting van Correctie": Hoe AI een spraakherkenning-chaos in een perfect verhaal verandert

Stel je voor dat je een zeer snelle, maar soms slordige vertaler hebt. Je fluistert hem een heel lang verhaal in, maar hij schrijft het op alsof hij net uit bed is gekomen: zonder leestekens, met verkeerde namen, en soms met woorden die klinken als wat hij dacht dat je zei, maar niet wat je bedoelde. Dit is wat Automatische Spraakherkenning (ASR) vaak doet.

Deze paper introduceert een slimme nieuwe methode, genaamd Chain of Correction (CoC), die dit probleem oplost met behulp van een "Super-Intelligentie" (een Large Language Model of LLM).

Hier is hoe het werkt, vertaald naar alledaags taalgebruik:

1. Het Probleem: De "Alles-in-één" Fout

Vroeger probeerden computers het hele lange verhaal in één keer te verbeteren.

• De analogie: Stel je voor dat je een hele berg vuilnis (het foutieve verhaal) in één keer probeert op te ruimen. De robot die het moet doen, raakt overweldigd. Hij vergeet details, maakt nieuwe fouten, of verandert dingen die al goed waren (zoals een te lange zin die hij onnodig herschrijft).
• Het resultaat: De tekst wordt soms nog slechter of onleesbaar.

2. De Oplossing: De "Ketting van Correctie" (CoC)

De auteurs van dit paper zeggen: "Laten we het niet in één keer doen, maar stap voor stap."

• De analogie: In plaats van de hele berg vuilnis in één keer op te ruimen, geven we de robot een kopje koffie en een klein stukje van de berg. Hij maakt dat stukje perfect schoon. Dan geven we hem het volgende stukje, maar we vertellen hem ook: "Kijk, dit is wat je net hebt opgeruimd, en dit is wat er nog komt."
• Hoe het werkt:
  1. De AI leest eerst het hele verhaal om de context te begrijpen (wie spreekt er? waar gaat het over?).
  2. Vervolgens wordt het verhaal opgesplitst in kleine stukjes (zinnen).
  3. De AI corrigeert stukje voor stukje, alsof het een gesprek voert. Hij kijkt naar het vorige stukje dat hij al heeft verbeterd en gebruikt dat als leidraad voor het volgende.

3. Waarom is dit zo slim? (De 4 Voordelen)

De paper noemt vier redenen waarom deze "stap-voor-stap" aanpak beter werkt dan de oude methoden:

• Stabiliteit (Geen Paniek): Omdat de AI maar naar een klein stukje kijkt, raakt hij niet in de war. Hij hallucineert niet (droomt hij geen dingen in) en verandert geen hele zinnen die al goed waren.
• Controle (De Rem): Je kunt de AI een "rem" geven. Als hij een stukje te veel verandert (bijvoorbeeld een grappige grap die hij serieus maakt), kun je zeggen: "Nee, ga terug naar de originele tekst." Je kunt dit per stukje controleren.
• Volledigheid (Geen Vergeten Dingen): Omdat de AI het hele verhaal in zijn hoofd heeft, ziet hij fouten die je in één zin niet ziet. Bijvoorbeeld: als iemand in de eerste zin "Hij" zegt, en in de laatste "Zij", en het gaat over een vrouw, ziet de AI dat en corrigeert hij de naam.
• Vloeiendheid (Natuurlijk Lezen): In plaats van alleen één woord te vervangen (alsof je een puzelstukje uitruilt), herschrijft de AI het hele stukje alsof hij het opnieuw schrijft. Dit zorgt voor een veel natuurlijker lopende tekst.

4. De "Rem" (De Correctiedrempel)

De onderzoekers hebben ook een slimme "rem" bedacht.

• De analogie: Stel je voor dat je een fotograaf bent die een foto retoucheert. Als je te hard trekt aan de "gladheid"-knop, wordt het gezicht een plastic pop.
• De AI heeft een drempelwaarde ingesteld. Als de AI een stukje tekst te veel verandert (te veel "gladstrijken"), wordt die verandering verworpen en blijft de originele tekst staan. Dit zorgt voor een perfecte balans tussen "niets doen" en "te veel doen".

5. Wat kan deze AI nu allemaal?

Naast het gewoon verbeteren van woorden, kan deze methode dingen doen die voor gewone computers heel lastig zijn:

• Leestekens: Hij weet waar een punt of een vraagteken moet komen, zelfs als de spraakherkenning dat niet deed.
• Namen: Als iemand een rare bedrijfsnaam zegt, kan de AI, door naar de rest van het verhaal te kijken, raden wat de juiste spelling is.
• Vulwoorden: Hij verwijdert "uh" en "hmm" om de tekst strakker te maken.
• Geslacht: In het Chinees klinken "hij" en "zij" hetzelfde, maar door de context van het hele verhaal weet de AI wie er bedoeld wordt en corrigeert hij het juiste woord.

Conclusie

Kortom: Chain of Correction is als het geven van een lange, rommelige tekst aan een zeer slimme redacteur. In plaats van hem te zeggen "maak dit heel verhaal perfect", zeggen we: "Lees eerst het hele verhaal, en maak dan stukje voor stukje de fouten weg, terwijl je steeds kijkt naar wat je al hebt gedaan."

Dit zorgt voor een resultaat dat niet alleen foutloos is, maar ook leest alsof het door een mens is geschreven, zelfs bij zeer lange documenten.

Technische samenvatting

Titel: Chain of Correction (CoC) voor Volledige Tekstherkenning met Grote Taalmodellen

1. Het Probleem

Automatische Spraakherkenning (ASR) systemen zijn essentieel voor toepassingen zoals spraakzoekopdrachten en transcriptie, maar ze lijden vaak onder fouten veroorzaakt door achtergrondruis, sprekersaccenten en audio-kwaliteit. Deze fouten ondermijnen downstream-toepassingen.
Bestaande methoden voor foutcorrectie hebben beperkingen:

• N-best herschoring: Gebruikt taalmodellen om hypotheses opnieuw te scoren, maar negeert nuttige informatie in andere hypotheses.
• Generatieve correctie met LLM's: Bestaande werken gebruiken vaak alleen zinsniveau (single sentence) vanwege beperkingen in trainingsdata, wat documentniveau-contextmodellering verhindert.
• Eerdere benaderingen (bijv. JSON-formaat): De voorgaande methode van de auteurs [15] gebruikte een JSON-formaat voor fout-correctieparen, maar had drie belangrijke tekortkomingen:
  1. Onvolledige foutontdekking: Woorden werden vaak gemist.
  2. Gebrek aan vloeiendheid: Correctie gebeurde door enkel het foutieve woord te vervangen, wat de algehele vloeiendheid van de tekst negeerde.
  3. Foutverwarring: Het exacte positiëren van fouten was onnauwkeurig, wat leidde tot verwarring of overcorrectie.

Daarnaast blijven uitdagingen bestaan op het gebied van stabiliteit, controleerbaarheid, volledigheid en vloeiendheid, vooral bij zeer lange teksten.

2. Methodologie: Chain of Correction (CoC)

De auteurs introduceren Chain of Correction (CoC), een nieuw paradigma dat gebruikmaakt van een multi-turn chat-formaat om ASR-fouten in volledige teksten stuk voor stuk te corrigeren.

• Werking:

  1. Context: De volledige vooraf herkende tekst (pre-recognized full text) wordt aan het LLM gegeven als context, samen met een instructie.
  2. Segmentatie: De tekst wordt opgesplitst in segmenten (elk bestaande uit enkele zinnen).
  3. Iteratieve Correctie: Het model corrigeert de segmenten één voor één. In elke "beurt" van de chat krijgt het 'user'-gedeelte een origineel segment, en het 'assistant'-gedeelte retourneert de gecorrigeerde versie.
  4. Keten-effect: De gecorrigeerde segmenten van vorige beurten dienen als extra context voor de volgende beurten, waardoor het model een globaal semantisch beeld behoudt.

• Voordelen t.o.v. eerdere methoden:

  • Stabiliteit: Door te focussen op kleine segmenten in plaats van de hele tekst opnieuw te genereren, wordt hallucinatie en over-herschrijven (over-rephrasing) bij lange teksten verminderd.
  • Controleerbaarheid: Het proces is flexibeler; men kan per segment controleren of de correctie acceptabel is, wat helpt bij het behouden van de originele volgorde en synchronisatie met de audio.
  • Volledigheid: Het gebruik van de volledige tekst als context maakt het makkelijker om fouten te ontdekken zonder dat exacte posities hoeven te worden gespecificeerd (wat vaak onnauwkeurig is).
  • Vloeiendheid: In plaats van enkel woorden te vervangen, wordt het segment als geheel herschreven (re-generation), wat de vloeiendheid maximaliseert door gebruik te maken van de next-token predictie van het LLM.

• Correctiedrempel (Correction Threshold):
  Om een balans te vinden tussen ondercorrectie en overcorrectie, wordt een drempelwaarde ingesteld. Na elke correctie wordt de Error Rate (ER) tussen het originele en het gecorrigeerde segment berekend. Als de verandering de drempel niet overschrijdt, wordt de correctie geaccepteerd; anders wordt deze verworpen of wordt om herziening gevraagd.

3. Experimenten en Resultaten

De methode werd getraind en geëvalueerd op de ChFT-dataset (Chinese Full-text Error Correction Dataset), die bestaat uit 41.651 artikelen met referentie-hypothese paren.

• Model: Een vooraf getraind LLM (Hunyuan-7B, 7 miljard parameters, 256k context) werd fijnge tune (fine-tuned) met de CoC-methode.

• Resultaten op ChFT-testsets:

  • CoC presteerde significant beter dan zowel de baseline als eerdere benchmark-systemen (zoals "seg json" uit [15]) op alle testsets (Homogeen, Hard, Up-to-date).
  • Op de "Up-to-date" testset (nieuwe artikelen die niet in de training zaten) werd een 39,72% reductie in de totale Error Rate (ERR) bereikt.
  • Op de "Hard" testset (met ruis) werd een verbetering van 16,92% in de totale ERR behaald.
  • Vergelijking met een zeer groot model (DeepSeek-R1, 671B parameters) toonde aan dat een specifiek gefinetuned kleiner model (CoC) beter presteert, omdat het grote model de taak soms "overdenkt" en te veel herschrijft.

• Extra-lange context:

  • Het model werd getest op artikelen tot 80.000 tekens (ongeveer 54k tokens). Ondanks dat dit de contextlimiet van veel modellen benadert, behaalde CoC een 18,48% reductie in de foutenrate voor Mandarijnse tekst, wat aantoont dat het schaalbaar is voor zeer lange documenten.

• Alternatieve gidsinformatie:

  • Er werd geëxperimenteerd met het gebruik van Pinyin (fonetische representatie) in plaats van de tekstuele hypothese als gids. Hoewel dit iets minder goed presteerde dan tekstuele gidsinformatie, toont het aan dat andere representaties (zoals discrete spraaktokens) potentie hebben.

4. Belangrijke Bijdragen

1. Chain of Correction (CoC) Paradigma: Een nieuwe architectuur die ASR-foutcorrectie omzet in een multi-turn chat-proces, waarbij segmenten sequentieel worden gecorrigeerd met volledige context.
2. Overcoming Limitaties: Oplossing voor de problemen van onvolledigheid, gebrek aan vloeiendheid en positiestabiliteit die bestonden bij eerdere generatieve correctiemethoden.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat CoC state-of-the-art prestaties levert op diverse fouttypes (punctuatie, ITN, code-switching) en contextlengtes.
4. Analyse van Correctiedrempels: Een mechanisme om de sterkte van correctie te regelen en een balans te vinden tussen het behouden van de originele tekst en het verbeteren van de nauwkeurigheid.

5. Betekenis en Toekomstperspectief

Dit paper toont aan dat Large Language Models (LLMs) zeer effectief kunnen worden ingezet voor documentniveau ASR-foutcorrectie, mits de juiste structuur (CoC) wordt toegepast. De methode lost het probleem van contextbeperkingen op en verbetert de vloeiendheid en nauwkeurigheid aanzienlijk.

De auteurs wijzen erop dat toekomstig werk zich kan richten op:

• Uitbreiden naar meer doelen, zoals conversie van gesproken naar geschreven taal (spoken-to-written conversion).
• Integratie van diverse contextbronnen, zoals webzoekresultaten en gebruikersgeschiedenis, om de correctie verder te verbeteren.

Kortom, CoC biedt een robuust en schaalbaar kader voor het verhelpen van ASR-fouten in lange, complexe documenten, waarbij de balans tussen stabiliteit en correctiekracht optimaal wordt beheerd.