Chain of Correction for Full-text Speech Recognition with Large Language Models

Dieses Papier stellt die Chain of Correction (CoC) vor, eine Methode, die Large Language Models mittels eines Multi-Turn-Chat-Formats nutzt, um Fehler in vollständigen Spracherkennungstexten segmentweise zu korrigieren und dabei Stabilität, Kontrolle und Flüssigkeit im Vergleich zu bestehenden Systemen signifikant verbessert.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr schnellen, aber etwas chaotischen Diktierassistenten. Wenn Sie ihm einen langen Text vorgelesen haben, liefert er Ihnen eine Rohfassung. Diese Fassung ist oft voller kleiner Fehler: Es fehlen Kommas, Zahlen sind falsch geschrieben, Sätze sind abgehackt oder Wörter wurden vertauscht.

Bisherige Methoden, um diesen Text zu reparieren, waren wie ein Stempel, der nur einzelne Wörter austauscht. Das Problem: Der Stempel sieht nicht den ganzen Satz, vergisst den Kontext und macht den Text oft holprig.

Die Forscher von Tencent und der Tsinghua-Universität haben nun eine neue Methode namens „Chain of Correction" (CoC) entwickelt. Hier ist eine einfache Erklärung, wie das funktioniert, mit ein paar anschaulichen Vergleichen:

1. Der alte Weg: Der „Alles-oder-Nichts"-Ansatz

Früher versuchte man, den gesamten Text auf einmal zu korrigieren.

• Das Problem: Stellen Sie sich vor, Sie müssten einen 50-seitigen Roman auf einmal lesen und gleichzeitig jeden einzelnen Tippfehler finden. Ihr Gehirn (oder der Computer) würde überfordert sein. Es entstehen „Halluzinationen" (der Computer erfindet Dinge) oder er ändert zu viel, wo er nichts ändern sollte.
• Die Metapher: Es ist wie ein Maler, der versucht, ein riesiges Wandgemälde auf einmal zu übermalen, ohne sich auf Details zu konzentrieren. Das Ergebnis ist oft unsauber.

2. Der neue Weg: Die „Kette der Korrektur" (CoC)

Die neue Methode bricht den riesigen Text in kleine, handliche Stücke auf.

• Wie es funktioniert: Der Computer liest den gesamten Text einmal durch, um den „Rahmen" zu verstehen (den Kontext). Dann geht er Satz für Satz (oder Stück für Stück) durch.
• Die Metapher: Stellen Sie sich einen Lektor vor, der einen Roman Korrektur liest.
  • Der Lektor liest erst das ganze Buch, um die Handlung zu verstehen (das ist der „Kontext").
  • Dann nimmt er sich nur eine Seite vor. Er korrigiert diese Seite sorgfältig, während er die vorherige Seite schon im Kopf hat.
  • Sobald die Seite fertig ist, legt er sie zur Seite und nimmt die nächste.
  • Der Clou: Weil er nur eine Seite auf einmal bearbeitet, bleibt er ruhig und konzentriert. Er vergisst nicht, was auf der vorherigen Seite stand, weil er den „ganzen Buchrücken" im Blick hat.

3. Die vier Superkräfte dieser Methode

Die Forscher nennen vier Vorteile, die man sich so vorstellen kann:

• Stabilität (Der ruhige Handwerker): Weil der Computer nicht den ganzen Text auf einmal umschreiben muss, macht er weniger Fehler. Er wird nicht „verwirrt" von der Länge des Textes.
• Kontrolle (Der strengen Chef): Man kann dem Computer sagen: „Ändere nur, wenn es wirklich nötig ist." Wenn der Computer einen Satz zu sehr umformuliert (wie ein zu kreativer Autor), kann man die Änderung verwerfen und den Originaltext behalten.
• Vollständigkeit (Der Detektiv): Da der Computer das ganze Buch im Hintergrund hat, findet er Fehler, die man im einzelnen Satz nicht sieht. Zum Beispiel: Ein Name wird im ersten Kapitel falsch geschrieben, aber im letzten Kapitel richtig. Der Lektor merkt: „Aha, hier muss es auch im ersten Kapitel richtig heißen."
• Flüssigkeit (Der Sprachfluss): Anstatt nur ein Wort zu tauschen, schreibt der Computer den ganzen kleinen Abschnitt neu. Das klingt natürlicher, als würde man ein Puzzle mit einem falschen Teil neu zusammenlegen.

4. Der „Korrektur-Schwellenwert" (Die Goldene Regel)

Es gibt eine wichtige Einstellung: Wie streng soll der Computer sein?

• Zu streng: Der Computer ändert alles, auch wenn der Originaltext eigentlich okay war. Das nennt man „Überkorrektur".
• Zu locker: Der Computer lässt viele Fehler stehen.
• Die Lösung: Die Forscher haben einen „Schwellenwert" (wie einen Thermostat) gefunden. Wenn der Unterschied zwischen dem alten und dem neuen Text zu groß ist, wird die Änderung verworfen. So bleibt das Gleichgewicht gewahrt.

5. Was kann das System noch?

Das System ist nicht nur gut für normale Texte. Es kann auch:

• Lange Texte bewältigen: Es kann Texte bearbeiten, die so lang sind wie ein ganzer Roman (über 4 Stunden Audio), ohne den Überblick zu verlieren.
• Klingende Hilfe: Es kann sogar mit „Pinyin" (der Lautschrift für Chinesisch) arbeiten, um Fehler zu finden, die beim bloßen Lesen schwer zu erkennen sind.
• Kleine Details: Es setzt nicht nur Kommas, sondern erkennt auch, ob ein „er" oder eine „sie" gemeint war, oder ob ein Firmenname richtig geschrieben ist.

Fazit

Die „Chain of Correction" ist wie ein intelligenter, geduldiger Lektor, der einen riesigen Text nicht auf einmal, sondern in kleinen, überschaubaren Häppchen bearbeitet. Dabei behält er immer den großen Zusammenhang im Kopf, damit am Ende ein perfekter, flüssiger und fehlerfreier Text herauskommt. Das ist ein großer Schritt, um die Qualität von Sprachassistenten und Diktiergeräten massiv zu verbessern.

Technische Zusammenfassung

1. Problemstellung

Automatische Spracherkennung (ASR) ist anfällig für Fehler, die durch Hintergrundgeräusche, Akzente oder Audioqualität entstehen. Diese Fehler beeinträchtigen nachgelagerte Anwendungen erheblich.

• Herausforderungen bei bestehenden Methoden: Herkömmliche Ansätze nutzen oft N-Best-Hypothesen mit Sprachmodellen zur Neu-Bewertung (Rescoring), ignorieren dabei aber nützliche Informationen in anderen Hypothesen.
• Limitierungen aktueller LLM-Ansätze: Generative Fehlerkorrektur mit Large Language Models (LLMs) konzentriert sich meist auf einzelne Sätze, was die Modellierung von Dokumentenkontexten einschränkt.
• Spezifische Mängel vorheriger Volltext-Ansätze: Eine vorherige Arbeit der Autoren (basierend auf dem ChFT-Datensatz) nutzte ein JSON-Format für Fehlerkorrekturpaare. Dies hatte jedoch drei Hauptprobleme:
  1. Unvollständigkeit: Fehler wurden häufig übersehen.
  2. Mangelnde Flüssigkeit: Das Ersetzen einzelner Wörter ignorierte den Gesamtfluss des Textes.
  3. Verwirrung bei der Positionierung: Ungenaue Positionsangaben führten zu falschen Ersetzungen oder Überkorrekturen.

Ziel ist es, diese Probleme zu lösen, um Stabilität, Kontrollierbarkeit, Vollständigkeit und Flüssigkeit bei der Korrektur ganzer Dokumente zu gewährleisten.

2. Methodik: Chain of Correction (CoC)

Die Autoren schlagen das Chain of Correction (CoC)-Paradigma vor, das auf einem Multi-Turn-Chat-Format basiert und Fehler segmentweise korrigiert.

• Ablauf:

  1. Der LLM erhält den gesamten vorerkannten Text (Pre-recognized full text) als Kontext sowie eine Korrekturanweisung.
  2. Der Text wird in Segmente (jeweils einige Sätze) unterteilt.
  3. In einem iterativen Prozess (Multi-Turn) wird dem Modell jeweils ein rohes Segment zur Korrektur gegeben.
  4. Das Modell korrigiert das aktuelle Segment unter Berücksichtigung des bereits korrigierten Vorgänger-Kontexts und des globalen Textkontexts.
  5. Der Prozess wiederholt sich für alle Segmente.

• Vorteile gegenüber JSON-basierten Ansätzen:

  • Stabilität: Durch die Fokussierung auf kleine Segmente werden Halluzinationen und übermäßige Umschreibungen (Over-rephrasing) bei langen Texten vermieden.
  • Kontrollierbarkeit: Der Korrekturprozess ist flexibel steuerbar; Korrekturen können auf Segmentebene akzeptiert oder abgelehnt werden, wobei die ursprüngliche Reihenfolge erhalten bleibt.
  • Vollständigkeit: Die Nutzung des vollen Textes als Kontext erleichtert das Aufspüren von Fehlern ohne explizite Positionsangaben, die oft ungenau sind.
  • Flüssigkeit: Da das Segment Wort für Wort neu generiert wird, nutzt das Modell die Vorhersagefähigkeiten des LLM optimal aus, was zu einem natürlicheren Textfluss führt.

• Korrekturschwelle (Correction Threshold):
  Um Unter- und Überkorrektur auszubalancieren, wird eine Schwelle eingeführt. Nach jeder Korrektur wird die Fehlerquote (Error Rate) zwischen Original und Korrektur berechnet. Nur wenn diese eine festgelegte Schwelle (z. B. 0,3) nicht überschreitet, wird die Korrektur akzeptiert.

3. Schlüsselbeiträge

• Einführung des CoC-Paradigmas: Ein neuer Ansatz für die Volltext-Korrektur, der Multi-Turn-Chat-Interaktionen nutzt, um globale Semantik und lokale Genauigkeit zu verbinden.
• Fine-Tuning auf ChFT: Ein vortrainiertes LLM (Hunyuan-7B) wurde auf dem offenen ChFT-Datensatz (Chinese Full-text Error Correction Dataset) mit dem CoC-Format feinabgestimmt.
• Analyse von Korrekturstrategien: Untersuchung der Korrekturschwelle, der Extrapolation auf extrem lange Kontexte und der Nutzung alternativer Eingabeformen (z. B. Pinyin statt Text).
• Benchmarking: Umfassende Evaluation gegen Baseline-Systeme und State-of-the-Art-Modelle (inkl. DeepSeek-R1).

4. Ergebnisse

Die Experimente wurden auf dem ChFT-Datensatz (Homogen, Hard, Up-to-date) und einem zusätzlichen Testset für extrem lange Texte durchgeführt.

• Leistungssteigerung: CoC übertrifft sowohl Baseline-Systeme als auch frühere Benchmark-Methoden (wie das JSON-Format) signifikant in allen Fehlerkategorien (Mandarin, Interpunktion, ITN, Code-Switching).
  • Auf dem „Up-to-date"-Testset (nicht im Pre-Training enthalten) konnte CoC die Gesamtfehlerquote (Overall ER) um 39,72 % senken.
  • Auf dem „Hard"-Testset (schwierige Bedingungen) wurde eine Verbesserung von 16,92 % erreicht.
• Vergleich mit großen Modellen: Das riesige Modell DeepSeek-R1 (671B Parameter) schnitt schlechter ab, vermutlich aufgrund von „Overthinking" und zu langen, formatverletzenden Ausgaben. Dies unterstreicht den Wert von domänenspezifischem Fine-Tuning kleinerer Modelle.
• Extrem lange Kontexte: CoC bewährte sich auch bei Texten mit bis zu 160k Tokens (entsprechend ca. 4 Stunden Audio), was die Skalierbarkeit des Ansatzes demonstriert.
• Pinyin als Führung: Die Nutzung von Pinyin (phonetische Darstellung) als Eingabe führte zu Verbesserungen gegenüber der Basislinie, blieb aber hinter der Leistung der textbasierten Führung zurück. Dies zeigt Potenzial für die Integration von Sprachtoken.

5. Bedeutung und Ausblick

Das Paper demonstriert, dass die segmentweise Korrektur im Chat-Format ein effektiver Weg ist, um die Grenzen aktueller ASR-Systeme zu überwinden. CoC löst das Problem der Kontextverluste bei langen Dokumenten und verbessert die Qualität von Interpunktion, Normalisierung und semantischer Kohärenz.

• Typische Korrekturen: Das Modell beherrscht komplexe Aufgaben wie die Korrektur von VAD-Fehlern (falsche Segmenttrennung), Wiederholungen, Füllwörtern, Kasus bei Code-Switching, Coreferenzauflösung (z. B. „er" vs. „sie" trotz gleicher Aussprache) und Named Entities.
• Zukunft: Die Autoren planen, CoC auf weitere Ziele wie die Konvertierung von gesprochener zu geschriebener Sprache (Spoken-to-Written) auszuweiten und externe Kontextquellen (Web-Suche, Benutzerhistorie) zu integrieren.

Zusammenfassend bietet CoC einen robusten, kontrollierbaren und skalierbaren Rahmen für die Fehlerkorrektur in ASR-Pipelines mittels Large Language Models.