AgenticASR: Refining Speech Recognition in Real-World Scenarios via an Agentic Approach
Das Papier stellt AgenticASR vor, ein agentisches Framework, das die Echtzeit-Spracherkennung durch iteratve Überarbeitung von Transkripten verfeinert, um Disfluenzen zu entfernen und Selbstkorrekturen aufzulösen, während die endgültige Intention des Sprechers bewahrt wird, validiert durch einen neuen bilingualen Benchmark und eine überlegene Leistung über mehrere ASR-Frontends hinweg.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, die Geschichte eines Freundes aufzuschreiben, aber Ihr Freund spricht genau wie ein Mensch: Er stolpert über Wörter, sagt „äh“ und „hm“, beginnt einen Satz, merkt, dass er einen Fehler gemacht hat, und korrigiert sich dann mitten im Fluss selbst. Wenn Sie jedes Geräusch aufschreiben, das er macht, erhalten Sie ein unordentliches, verwirrendes Transkript voller Satzabbrüche und Wiederholungen. Das ist das, was traditionelle Spracherkennungstechnologie tut; sie ist ein sehr wörtlicher Schreiber, der das Geräusch der Sprache erfasst, aber nicht die Absicht der Botschaft. Auf der anderen Seite versuchen einige neuere Tools, den Text zu bereinigen, aber sie warten normalerweise, bis die Person ganz fertig gesprochen hat, bevor sie mit dem Editieren beginnen. Dies schafft ein Problem: Wenn Ihr Freund sagt: „Triff mich bei Marys Haus... warte, nein, Maries Haus“, könnte ein Tool, das bis zum Ende wartet, bereits „Mary“ geschrieben haben und kann nicht zurückgehen, um es zu korrigieren, ohne von vorne zu beginnen. Das Ziel dieser Forschung ist es, ein System zu bauen, das wie ein superschneller, aufmerksamer Editor agiert, der live zuhört, Fehler erkennt, während sie passieren, und den Text sofort umschreibt, um ihn sauber und lesbar zu machen, während die Person noch spricht.
Das Paper stellt einen neuen Ansatz namens AgenticASR (Agentic Speech Recognition) vor. Denken Sie an ein Zwei-Personen-Team, das an einer Live-Übertragung arbeitet. Die erste Person ist der „Schreiber“ (das ASR-Frontend), der schnell alles niederschreibt, was er hört, einschließlich aller Stotterer und „Ähs“. Die zweite Person ist der „Refiner“ (der agentische Teil), ein intelligenter Editor, der ständig die letzten paar Sätze des Schreibers im Blick beht. Soblich der Schreiber einen Textblock schreibt, sieht sich der Refiner diesen an, korrigiert das Chaos und ersetzt die unordentliche Version durch eine saubere.
Hier ist der magische Trick: Der Refiner betrachtet nicht nur den aktuellen Satz; er behält ein kleines „Fenster“ der letzten paar Textblöcke in seinem Gedächtnis. Wenn der Schreiber „Triff Mary“ schreibt und der nächste Block als „Warte, Marie“ eintrifft, sieht der Refiner die Verbindung sofort. Er erkennt, dass der erste Block ein Fehler war, löscht „Mary“ und aktualisiert den gesamten Satz zu „Triff Marie“, noch bevor der Sprecher seinen nächsten Gedanken beendet hat. Dies ermöglicht es dem System, Selbstkorrekturen und Erklärungen laufend zu verarbeiten, anstatt zu warten, bis die Sprache aufhört.
Um zu testen, ob dies tatsächlich funktioniert, bauten die Autoren einen speziellen Spielplatz namens AASR-Bench. Stellen Sie sich einen riesigen Hindernisparcours mit 917 verschiedenen Szenarien vor, die von lockeren Gesprächen und Kundenservice-Anrufen bis hin zu technischen Coding-Sessions und Sprachsuchen reichen. Sie erstellten 6.637 winzige, spezifische Fragen (Rubriken), um die Ergebnisse zu bewerten, wobei sie Dinge prüften wie: „Haben sie die ‚Ähs‘ entfernt?“, „Haben sie die Schreibweise des Namens korrigiert?“ und „Haben sie die endgültige Bedeutung korrekt beibehalten?“. Sie schauten nicht nur darauf, wie viele Wörter richtig waren; sie schauten darauf, wie lesbar und nützlich der Text war.
Die Ergebnisse legen nahe, dass dieser „agentische“ Ansatz ein bedeutender Schritt nach vorn ist. Als die Autoren AgenticASR gegen andere Systeme testeten, produzierte es konsistent sauberere und genauere Texte. Beispielsweise erzielte das System unter Verwendung eines spezifischen Setups (Qwen3-ASR-1.7B mit ihrem Refiner) einen Wert von 79,95 auf ihrem Gesamt-Benchmark und übertraf damit die nächstbesten Methoden mit deutlichem Abstand. Die Studie fand heraus, dass das System am besten funktioniert, wenn es ein „Fenster“ von etwa drei Sprachblöcken gleichzeitig betrachtet. Diese Fenstergröße war der ideale Mittelweg: Sie war groß genug, um Korrekturen abzufangen, die vor ein paar Sekunden stattfanden (wie der Wechsel von „Mary“ zu „Marie“), aber klein genug, um das System schnell zu halten.
Die Autoren entdeckten auch, dass die Größe des „Refiners“ eine Rolle spielt. Ein größerer, intelligenterer Editor (ein Modell mit 4 Milliarden Parametern) erledigte die Korrektur komplexer Sätze etwas besser als ein kleinerer, brauchte aber etwas länger zum „Nachdenken“. Dennoch waren selbst die kleineren, schnelleren Modelle viel besser als Systeme, die erst am Ende mit dem Editieren warten. Das Paper betont, dass dieses System nicht perfekt ist: Wenn der ursprüngliche Schreiber ein Wort komplett übersieht, kann der Refiner es nicht magisch wieder herbeizaubern. Aber für das chaotische, reale Zeug, das wir tatsächlich sagen – Füllwörter, Stottern und Korrekturen mitten im Satz – bietet AgenticASR einen praktischen Weg, um sofort saubere, lesbare Texte zu erhalten und den chaotischen Strom menschlicher Sprache in eine polierte Geschichte zu verwandnen, während sie entsteht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.