💬 NLP

Mind the Pause: Disfluency-Aware Objective Tuning for Multilingual Speech Correction with LLMs

Dieser Artikel schlägt eine mehrsprachige Pipeline zur Korrektur von Sprache vor, die eine Diskrepanzerkennung auf Token-Ebene mit Instruction Fine-Tuning und einem kontrastiven Lernziel kombiniert, um Füllwörter und Wiederholungen aus ASR-Transkripten effektiv zu entfernen, während die grammatikalische Struktur und semantische Kohärenz bewahrt werden, und zeigt eine überlegene Leistung gegenüber bestehenden Baselines in Hindi, Bengali und Marathi.

Ursprüngliche Autoren: Deepak Kumar, Baban Gain, Asif Ekbal

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Deepak Kumar, Baban Gain, Asif Ekbal

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „stotternde" Roboter

Stellen Sie sich vor, Sie sprechen mit einem Roboter-Assistenten. Sie sagen: „Äh, ich denke, ähm, das Meeting ist, sozusagen, um 15 Uhr."

Das Hörsystem des Roboters (genannt ASR) schreibt genau das auf, was es hört: „Äh, ich denke, ähm, das Meeting ist, sozusagen, um 15 Uhr."

Obwohl dies akustisch korrekt ist, ist es für das Gehirn des Roboters (das Large Language Model oder LLM) ein Chaos zu verstehen. Es ist, als würde man versuchen, ein Buch zu lesen, bei dem der Autor ständig anhält, um sich zu räuspern, Wörter zu wiederholen oder Sätze von vorne zu beginnen. Dieser „Lärm" verwirrt den Roboter, sodass er schlechte Antworten gibt, Dinge schlecht übersetzt oder unnatürlich klingt, wenn er mit Ihnen zurückredet.

Die meisten alten Methoden versuchten, dies zu beheben, indem sie wie eine Schere wirkten: Sie fanden das „äh" und „ähm" und schnitten sie einfach heraus. Oft ließ dies den Satz jedoch zerbrochen aussehen, wie einen Satz, dem ein Puzzleteil fehlt.

Die Lösung: Ein zweistufiges „Redakteur"-Team

Die Autoren schlagen ein neues, klügeres Team vor, um diese Transkripte zu bereinigen. Stellen Sie sich ein zweiköpfiges Redakteur-Team vor, das an einem unordentlichen Entwurf arbeitet.

Schritt 1: Der Textmarker (Der Detektor)

Zuerst verwenden sie ein spezielles Werkzeug (genannt MuRIL), das wie ein Textmarkerstift funktioniert. Es scannt den unordentlichen Satz und markiert genau, welche Wörter „Müll" (Füllwörter, Wiederholungen) und welche „Gold" (die eigentliche Bedeutung) sind.

Analogie: Stellen Sie sich einen Lehrer vor, der einen Aufsatz eines Schülers korrigiert. Anstatt die Fehler einfach wegzuerasen, kreist der Lehrer sie mit roter Tinte ein, damit der Schüler genau weiß, was zu korrigieren ist.

Schritt 2: Der Umschreib-Künstler (Das LLM)

Als Nächstes geben sie diesen markierten Entwurf einem leistungsstarken KI-Schreiber (ein LLM). Der KI wird gesagt: „Hier ist der unordentliche Satz, und hier sind die roten Kreise. Schreibe dies in einen perfekten, flüssigen Satz um, aber behalte die ursprüngliche Bedeutung bei."

Das Geheimnis: Die „Anti-Wiederholungs"-Regel

Hier liegt die größte Innovation des Papiers. Normalerweise lernt eine KI beim Umschreiben, indem sie die „gute" Antwort betrachtet und versucht, ihr zu entsprechen. Manchmal wird die KI jedoch faul und kopiert versehentlich trotzdem die schlechten Wörter (die „äh" und „ähm").

Um dies zu verhindern, fügten die Autoren eine spezielle Regel namens Contrastive Learning hinzu.

Analogie: Stellen Sie sich vor, Sie bringen einem Kind das Backen eines Kuchens bei.
- Standard-Training: Sie zeigen ihnen einen perfekten Kuchen und sagen: „Machen Sie einen wie diesen."
- Die Methode des Papiers: Sie zeigen ihnen den perfekten Kuchen, aber Sie setzen auch ein großes rotes „X" über die verbrannten Kekse, die sie letztes Mal gebacken haben. Sie sagen: „Machen Sie einen Kuchen wie diesen, aber setzen Sie keine verbrannten Kekse hinein."

Diese „Anti-Wiederholungs"-Regel bestraft die KI aktiv, wenn sie versucht, das „äh" oder „ähm" wieder in den Satz zu setzen. Sie zwingt die KI, besonders sorgfältig darauf zu achten, den Müll zurückzulassen.

Was sie getestet haben

Das Team testete dies an drei indischen Sprachen: Hindi, Bengali und Marathi. Diese Sprachen sind schwierig, weil sie eine komplexe Grammatik haben und es viele verschiedene Möglichkeiten gibt, wie Menschen stottern oder Sätze neu beginnen.

Sie verglichen ihre neue Methode mit:

Alte Schere: Einfach das Heraus schneiden von Wörtern.
Kluge Rater: KI-Modelle, die versuchen, die Korrektur ohne Hilfe zu erraten.
Große berühmte Modelle: Wie GPT-4 und Gemini, die sehr teuer und leistungsstark sind.

Die Ergebnisse

Das Papier fand heraus, dass ihr „Zweistufiges Team mit der Anti-Wiederholungs-Regel" der Gewinner war.

Besser als die Schere: Es reparierte die Sätze, ohne die Grammatik zu zerstören.
Besser als die Rater: Es verstand den Kontext viel besser.
Die Giganten schlagen: Überraschenderweise schnitt ihr kleines, spezialisiertes Modell genauso gut ab, manchmal sogar besser als die riesigen, teuren Modelle wie GPT-4, insbesondere bei realen, unordentlichen Audioaufnahmen.

Warum das wichtig ist

Die Autoren zeigten, dass, wenn man das „Stottern" in der Sprache nicht bereinigt, das Gehirn des Roboters verwirrt wird.

Fragen beantworten: Der Roboter gibt dümmere Antworten.
Übersetzung: Die Übersetzung wird schlechter.
Zurückreden: Wenn der Roboter zurückredet, klingt er roboterhaft und unbeholfen.

Durch die Verwendung dieser neuen Methode kann der Roboter eine unordentliche, stotternde menschliche Stimme aufnehmen, sie in einen sauberen, flüssigen Satz verwandeln und ihn dann perfekt verstehen.

In Kürze

Das Papier stellt eine intelligente Methode vor, um Sprachtranskripte zu bereinigen. Anstatt Fehler einfach zu löschen, verwendet es einen „Textmarker", um sie zu finden, und einen „Umschreib-Künstler", um sie zu beheben, mit einer speziellen Regel, die sicherstellt, dass der Künstler die Fehler nie versehentlich wieder hineinschreibt. Dies macht Sprachassistenten und Chatbots viel besser, insbesondere für Sprachen wie Hindi, Bengali und Marathi.

Technischer Überblick: Achten Sie auf die Pause

Problemstellung
Automatische Spracherkennungssysteme (ASR) bewahren häufig Unflüssigkeiten aus spontaner Sprache bei, wie Füllwörter (z. B. „äh", „ähm"), Wiederholungen, falsche Starts und Selbstkorrekturen. Während diese Artefakte in der menschlichen Konversation natürlich sind, beeinträchtigt ihre Anwesenheit in ASR-Transkripten die Lesbarkeit erheblich und behindert nachgelagerte Anwendungen der Verarbeitung natürlicher Sprache (NLP), einschließlich Chatbots, Sprachassistenten und maschineller Übersetzung.

Bestehende Ansätze behandeln die Handhabung von Unflüssigkeiten primär als ein Problem der Detektion gefolgt von der Löschung. Obwohl diese Methoden effektiv darin sind, unflüssige Tokens zu identifizieren, stören sie oft die grammatikalische Struktur und semantische Kohärenz, was zu ungrammatischen oder unterbrochenen Sätzen führt. Darüber hinaus wurden zwar Große Sprachmodelle (LLMs) für die Detektion von Unflüssigkeiten oder Datenvermehrung untersucht, jedoch nicht vollständig in eine umfassende Korrekturpipeline integriert, die die Bedeutung bewahrt und gleichzeitig Artefakte entfernt. Eine empirische Analyse in der Studie zeigt, dass selbst state-of-the-art ASR-Systeme (z. B. Whisper v3 Large, AI4Bharat Indic Conformer) diese Unflüssigkeiten nicht konsistent normalisieren, sodass etwa 30 % der transkribierten Sätze mindestens eine Unflüssigkeit enthalten. Diese Persistenz verursacht eine messbare Verschlechterung in nachgelagerten Aufgaben, reduziert die Genauigkeit bei Fragen und Antworten um 0,5–1,6 Punkte und die Qualität der maschinellen Übersetzung um 2–4,7 BLEU-Punkte.

Methodik
Die Autoren schlagen eine mehrsprachige Pipeline zur Korrektur von Unflüssigkeiten vor, die die Token-Ebene-Detektion mit der Generierung durch instruktionsfeinabgestimmte LLMs vereint, verstärkt durch ein neuartiges kontrastives Lernziel. Das Framework arbeitet in drei Hauptphasen:

Detektion von Unflüssigkeiten (MuRIL): Ein multilingualer, auf Encodern basierender Sequenz-Tagger, speziell MuRIL (Multilingual Representations for Indian Languages), wird feinabgestimmt, um Tokens entweder als fließend (0) oder unflüssig (1) zu klassifizieren. Dieses Modell liefert Signale auf Token-Ebene, die anzeigen, welche Teile des ASR-Transkripts verrauscht sind.
Instruktionsfeinabstimmung: Ein LLM (getestet mit Llama-3.2-3B-Instruct und Qwen2.5-3B-Instruct) wird unter Verwendung eines Instruktionsbefolgungsparadigmas feinabgestimmt. Die Eingabe für das LLM besteht aus:
- Eine natürliche Sprachinstruktion, die die Aufgabe definiert.
- Das ursprüngliche unflüssige ASR-Transkript.
- Die von MuRIL vorhergesagten Token-Level-Labels.
- Eine Liste der identifizierten unflüssigen Tokens.
  Das Zieloutput ist der entsprechende fließende Referenzsatz. Dieses Setup leitet das LLM an, den Text umzuschreiben, während es explizit auf die detektierten Unflüssigkeitssignale konditioniert wird.
Kontrastives Lernziel: Um die Einschränkung zu adressieren, bei der Modelle, die ausschließlich mit Cross-Entropy-Verlust trainiert wurden, gelegentlich unflüssige Tokens regenerieren, obwohl sie Labels erhalten, führen die Autoren eine kontrastive Verlustkomponente ein. Dieses Ziel bestraft das Modell explizit, wenn die generierte Ausgabe als unflüssig identifizierte Tokens enthält. Die gesamte Verlustfunktion kombiniert den Standard-Cross-Entropy-Verlust ( $L_{CE}$ ) mit einer kontrastiven Strafe ( $L_{contrastive}$ ):
$L_{total} = L_{CE} + \lambda \cdot L_{contrastive}$
Der kontrastive Term berechnet die Wahrscheinlichkeit der Generierung bekannter unflüssiger Tokens und wendet eine Strafe an, wodurch die Generierung des Modells effektiv von unflüssigen Mustern weg und hin zu fließenden Zielen gedrückt wird.

Hauptbeiträge

Kontrastiver Verlust für Unflüssigkeitsbewusste Abstimmung: Die Studie führt ein Multi-Loss-Ziel ein, das Cross-Entropy mit einer kontrastiven Strafe kombiniert. Dies schreckt explizit die Regenerierung bekannter unflüssiger Tokens ab, eine Fähigkeit, die bei der Standard-Instruktionsfeinabstimmung oft fehlt.
Erste LLM-basierte Korrekturpipeline: Im Gegensatz zu früheren Arbeiten, die sich auf reine Detektion oder Encoder-Decoder-Architekturen (z. B. mBART) konzentrierten, stellt diese Arbeit die erste vollständige Pipeline vor, die Token-Level-Detektionssignale mit instruktionsfeinabgestimmten LLMs für mehrsprachige Korrekturen integriert.
Gemeinsame Detektion und Korrektur in mehrsprachigen Umgebungen: Das Framework trainiert MuRIL für Sequenz-Tagging und speist sowohl das unflüssige Transkript als auch die vorhergesagten Labels in ein LLM ein. Dies vermeidet die Fallstricke manueller Token-Löschungen und stellt die Generierung wohlgeformter Sätze sicher, die die semantische Integrität bewahren.

Ergebnisse
Das System wurde an drei indischen Sprachen bewertet: Hindi, Bengali und Marathi, unter Verwendung sowohl manuell bearbeiteter synthetischer Daten als auch realer ASR-Transkripte.

Leistungssteigerungen: Der vorgeschlagene kontrastive Ansatz übertraf konsistent starke Baselines, einschließlich mehrsprachiger Instruktionsfeinabstimmung und mBART.
- Im Vergleich zum nicht-kontrastiven Training erzielte die Methode eine Verbesserung von +1,97 BLEU (durchschnittlich über Modelle und Sprachen).
- Im Vergleich zur mehrsprachigen Instruktionsfeinabstimmung erzielte sie eine Verbesserung von +6,16 BLEU.
- Im Vergleich zu mBART erzielte sie eine Verbesserung von +8,54 BLEU.
Modellvergleich: Der Qwen2.5-3B-Instruct-Basiscode profitierte signifikant stärker vom kontrastiven Ziel als Llama-3.2-3B-Instruct und zeigte größere Gewinne bei BLEU- und chrF2-Werten.
Auswirkung auf nachgelagerte Aufgaben: Korrigierte Ausgaben deckten den Großteil der Leistungslücke zwischen unflüssigen und fließenden Eingaben in nachgelagerten Aufgaben (Fragen und Antworten, Maschinelle Übersetzung und Text-to-Speech) wieder auf und bestätigten den praktischen Nutzen.
Vergleich mit proprietären Modellen: Das kontrastive Modell mit 3 Milliarden Parametern entsprach oder übertraf GPT-4o (unter Zero-Shot- und Few-Shot-Prompting) bei 4 von 6 Evaluierungsbedingungen und übertraf Gemini 2.5 Pro bei allen drei Sprachen erheblich.

Bedeutung und Behauptungen
Die Studie behauptet, dass reine Detektionsstrategien für eine hochwertige Korrektur von Unflüssigkeiten unzureichend sind. Durch die Kombination von Token-Level-Hinweisen mit Instruktionsfeinabstimmung und kontrastivem Lernen bieten die Autoren eine skalierbare, sprachagnostische Lösung für mehrsprachige sprachgesteuerte NLP-Systeme. Die Arbeit zeigt, dass eine aufgaben spezifische kontrastive Schulung notwendig ist, um den morphologischen Reichtum und die syntaktische Komplexität indischer Unflüssigkeiten zu bewältigen, eine Herausforderung, die weder durch Skalierung der Modellgröße noch durch alleinige fortschrittliche Prompting gelöst werden kann. Die Autoren betonen, dass ihr Ansatz die Lücke zwischen Detektion und Generierung effektiv überbrückt und fließenden, bedeutungserhaltenden Text erzeugt, der die Zuverlässigkeit nachgelagerter Anwendungen verbessert.