Uni-ASR: Unified LLM-Based Architecture for Non-Streaming and Streaming Automatic Speech Recognition

Das Papier stellt Uni-ASR vor, ein einheitliches LLM-basiertes Framework, das durch ein gemeinsames Trainingsparadigma und eine kontextbewusste Strategie nahtlos zwischen nicht-streaming- und streaming-fähiger Spracherkennung wechselt und dabei hohe Genauigkeit bei niedriger Latenz erreicht.

Das Wesentliche

🎙️ Uni-ASR: Der „Zweiköpfige" Übersetzer für Sprache

Stell dir vor, du hast einen extrem klugen Assistenten (eine KI), der dir hilft, gesprochene Sprache in Text umzuwandeln. Bisher gab es bei diesem Job ein großes Dilemma, das man sich wie folgt vorstellen kann:

1. Der langsame, aber perfekte Übersetzer: Er wartet, bis der ganze Satz fertig gesprochen ist, denkt lange nach und schreibt dann das perfekte Ergebnis auf. Das ist wie ein Schweizer Taschenmesser, das alles kann, aber erst funktioniert, wenn man es komplett ausgeklappt hat. Das ist gut für Aufzeichnungen, aber zu langsam für ein Live-Gespräch.
2. Der schnelle, aber nervöse Übersetzer: Er schreibt mit, während du sprichst. Das ist wie ein Stenograf, der sofort tippt. Aber weil er nicht warten kann, macht er oft Fehler, wenn er den Kontext verpasst, und muss später viel korrigieren.

Bisher mussten Entwickler zwei verschiedene Systeme bauen: eines für die perfekte Aufzeichnung und eines für das Live-Streaming.

Uni-ASR ist nun die Lösung: Ein einziges System, das beides kann. Es ist wie ein Chamäleon, das sich je nach Situation sofort anpassen kann – mal ist es der langsame Denker, mal der schnelle Stenograf, ohne dass man die Hardware wechseln muss.

---

🧠 Wie funktioniert das? (Die drei Geheimnisse)

Die Forscher haben drei clevere Tricks entwickelt, damit dieses Chamäleon funktioniert:

1. Der „Zwei-in-Eins"-Trainings-Parcours

Stell dir vor, du trainierst einen Sportler. Normalerweise trainiert man entweder für den Marathon (langsam, Ausdauer) oder für den Sprint (schnell, explosiv).
Bei Uni-ASR trainieren sie den Sportler gleichzeitig für beides.

• Der Trick: Sie lassen den KI-Assistenten Texte hören, die in kleinen Häppchen (Chunks) kommen, aber sie geben ihm auch die Möglichkeit, den ganzen Text auf einmal zu sehen.
• Das Ergebnis: Das Gehirn der KI lernt, dass es manchmal warten darf (für hohe Genauigkeit) und manchmal sofort antworten muss (für Geschwindigkeit). Es braucht keine zwei verschiedenen Gehirne, sondern nur eines, das flexibel ist.

2. Der „Kontext-Blick" (Context-Aware Training)

Das größte Problem beim Live-Übersetzen ist die Lücke. Wenn du sprichst, weiß der Computer oft nicht, was als Nächstes kommt.

• Das Problem: Stell dir vor, du liest ein Buch, aber dir fehlen immer die letzten drei Wörter jedes Kapitels, bevor das nächste beginnt. Du würdest raten müssen.
• Die Lösung von Uni-ASR: Während des Trainings lassen die Forscher absichtlich Lücken in den Texten, genau so, wie sie im echten Leben vorkommen. Sie sagen der KI: „Hey, hier fehlt ein Wort, weil der nächste Satz noch nicht da ist. Versuche, es zu erraten, aber sei bereit, es zu korrigieren, sobald der nächste Teil kommt."
• Die Analogie: Es ist wie ein Puzzle-Spieler, der geübt wird, auch dann ein Bild zu erkennen, wenn ihm ein paar Teile fehlen. Wenn die fehlenden Teile später nachgereicht werden, passt er das Bild sofort an.

3. Der „Notfall-Plan" (Fallback-Decoding)

Manchmal ist die KI unsicher. Beim Live-Streaming muss sie aber trotzdem etwas sagen.

• Der alte Weg: Die KI sagt etwas, und wenn sie sich später unsicher ist, löscht sie den ganzen Text und fängt von vorne an. Das ist wie ein Redner, der mitten im Satz stockt, alles vergisst und von vorne beginnt. Das nervt das Publikum.
• Der Uni-ASR-Weg: Die KI sagt den letzten Teil vorläufig. Wenn der nächste Sprach-Häppchen kommt, prüft sie: „War mein letztes Wort richtig?" Wenn nein, korrigiert sie nur dieses eine Wort und geht weiter.
• Die Analogie: Stell dir vor, du schreibst eine E-Mail. Du tippst einen Satz, merkst aber, dass das letzte Wort falsch war. Statt die ganze E-Mail zu löschen, korrigierst du nur das letzte Wort und schickst sie ab. Das spart Zeit und Nervenkostüm.

---

🏆 Was bringt das in der Praxis?

Die Tests zeigen, dass Uni-ASR ein echter Gewinner ist:

• Genauigkeit: Wenn es nicht auf Geschwindigkeit ankommt (z. B. bei der Transkription eines Podcasts), ist es genauso gut wie die besten Systeme der Welt.
• Geschwindigkeit: Wenn es auf Geschwindigkeit ankommt (z. B. Live-Untertitelung bei einer Konferenz), ist es deutlich besser als andere Streaming-Systeme. Es macht weniger Fehler, weil es durch den „Notfall-Plan" und den „Kontext-Blick" schlauer ist.
• Effizienz: Man braucht nur ein einziges Modell. Das spart Speicherplatz und Rechenleistung, weil man nicht zwei verschiedene Systeme warten muss.

🚀 Fazit

Uni-ASR ist wie ein Schweizer Taschenmesser für Spracherkennung, das endlich auch als Rasiermesser funktioniert. Es beendet den Kompromiss zwischen „perfekt, aber langsam" und „schnell, aber fehleranfällig". Ob du jetzt eine Live-Untertitelung brauchst oder eine präzise Aufzeichnung – dieses eine System erledigt beides hervorragend.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Uni-ASR: Unified LLM-Based Architecture for Non-Streaming and Streaming Automatic Speech Recognition" auf Deutsch:

1. Problemstellung

Die Integration von Automatic Speech Recognition (ASR) mit Large Language Models (LLMs) hat die Genauigkeit und semantische Kohärenz von Transkriptionen erheblich verbessert. Dennoch bleibt der Einsatz solcher Systeme in latenzkritischen Streaming-Szenarien (z. B. Echtzeit-Untertitelung) eine große Herausforderung.

Bisherige Ansätze verfolgen zwei getrennte Pfade, die jeweils Nachteile haben:

• Nachträgliche Streaming-Pipelines: Bestehende nicht-streaming-Modelle werden mit inkrementellen Inferenzstrategien (z. B. hold-n, wait-k) versehen. Dies führt jedoch zu einem Mismatch zwischen Training und Inferenz, was zu Rechenredundanzen (wiederholte Initialisierung) und unvorhersehbaren Latenzspitzen führt.
• Dedizierte Streaming-Modelle: Modelle wie Transducer-Llama oder SpeechLLM-XL sind von Grund auf für Streaming entwickelt. Diese leiden jedoch oft unter mangelnder tiefer Integration von Sprach- und Textmodalitäten, begrenzter Skalierbarkeit auf große LLMs oder einer zu hohen Komplexität der Inferenzpipeline.

Das Ziel ist es, ein einheitliches Framework zu schaffen, das sowohl hohe Genauigkeit im Nicht-Streaming-Modus als auch effiziente, latenzarme Leistung im Streaming-Modus ohne Architekturänderungen bietet.

2. Methodik und Architektur

Uni-ASR ist ein einheitliches Framework, das auf der Qwen3-1.7B-Architektur basiert und drei Hauptkomponenten umfasst:

1. Audio-Encoder: Nutzt eine Conformer-Architektur mit kausalen Faltungen für den Streaming-Modus, um Sprachrepräsentationen zu extrahieren.
2. Audio-Adapter: Projiziert die Sprachmerkmale in den Embedding-Raum des LLMs.
3. LLM-basierter Decoder: Generiert autoregressiv die Transkription basierend auf Sprachmerkmalen und Text-Prompts.

Das Herzstück der Methode ist ein gemeinsames Trainingsparadigma (Joint Training), das es dem Modell ermöglicht, nahtlos zwischen Nicht-Streaming- und Streaming-Modi zu wechseln.

Schlüsseltechniken:

• Gemeinsames Training (Joint Training): Das Modell wird gleichzeitig mit Daten für Nicht-Streaming (NS), Standard-Streaming (SS) und kontextbewusstes Streaming (CS) trainiert.
  • Nicht-Streaming: Verarbeitet den gesamten Satz als Eingabe (Teacher-Forced).
  • Standard-Streaming: Teilt Audio in feste Blöcke (Chunks) und nutzt externe Forced-Alignment-Tools, um interleaved (verschachtelte) Audio-Text-Sequenzen zu erstellen.
  • Kontextbewusstes Streaming (CS): Dies ist eine innovative Erweiterung. Um den Mismatch zwischen Training und Inferenz zu beheben, wird das letzte Text-Token eines Chunks während des Trainings durch ein <pad>-Token ersetzt. Das Modell lernt so, Kontextbrüche zu erkennen und fehlende Tokens basierend auf dem nachfolgenden Kontext neu zu berechnen.
• Fallback-Decoding-Strategie (Latest-Token Fallback):
  • Während der Inferenz wird das letzte Text-Token eines Chunks vorläufig ausgegeben, um die Latenz niedrig zu halten.
  • Sobald der nächste Chunk eintrifft, wird der KV-Cache zurückgesetzt, das letzte Token durch <pad> ersetzt und das Modell führt eine kontextbewusste Neuberechnung (Re-decoding) durch.
  • Dies eliminiert den Mismatch, da das Training explizit das Fehlen des letzten Tokens simuliert hat.

3. Hauptbeiträge

1. Einheitliche Architektur: Uni-ASR ist das erste LLM-basierte ASR-System, das native Unterstützung für Nicht-Streaming und Streaming in einer einzigen Architektur bietet, ohne separate Modellvarianten zu benötigen.
2. Kontextbewusstes Trainingsparadigma: Durch die gezielte Maskierung von Tokens und die Simulation von Kontextbrüchen während des Trainings wird die Konsistenz zwischen Training und Inferenz gewährleistet.
3. Effiziente Fallback-Strategie: Die vorgeschlagene Decoding-Strategie verbessert die Streaming-Genauigkeit signifikant, ohne zusätzliche Latenz zu verursachen, da sie nur innerhalb des aktuellen Inferenzfensters operiert.
4. Skalierbarkeit: Das System demonstriert, dass komplexe LLMs (hier Qwen3-1.7B) effektiv für Streaming-ASR genutzt werden können, was bisherige Einschränkungen bei der Skalierbarkeit von Streaming-Modellen überwindet.

4. Experimentelle Ergebnisse

Die Evaluierung erfolgte auf mehreren öffentlichen Benchmarks (AISHELL, LibriSpeech, FLEURS, WeNetSpeech) für Chinesisch und Englisch.

• Nicht-Streaming-Leistung: Uni-ASR erreicht Genauigkeiten, die mit dem State-of-the-Art (SOTA) konkurrieren (z. B. 1,44 % CER auf AISHELL-1), was die Wirksamkeit der gemeinsamen Architektur bestätigt.
• Streaming-Leistung:
  • Uni-ASR übertrifft native Streaming-Frameworks wie Speech ReaLLM, SpeechLLM-XL und MoCha-ASR in der Genauigkeit, ohne auf spezielle Streaming-Decoding-Techniken angewiesen zu sein.
  • Auf dem AISHELL-Datensatz erzielte Uni-ASR mit einer Chunk-Länge von 1000 ms einen CER von 2,15 % (verglichen mit 5,1 % bei MoCha-ASR).
• Ablationsstudien:
  • Chunk-Länge: Wie erwartet führt eine Verkürzung der Chunk-Länge (z. B. auf 320 ms) zu einem Genauigkeitsverlust.
  • Decoding-Strategie: Die Fallback-Strategie (gekennzeichnet mit †) reduziert den WER (Word Error Rate) signifikant. Bei einer Chunk-Länge von 320 ms konnte der durchschnittliche WER um 19,88 % im Vergleich zur Standard-Greedy-Decoding gesenkt werden. Dies zeigt, dass die Strategie besonders bei kurzen Chunks und hohem Latenzdruck effektiv ist.

5. Bedeutung und Fazit

Uni-ASR stellt einen Paradigmenwechsel in der ASR-Entwicklung dar. Es beweist, dass die Kluft zwischen hochpräzisen Nicht-Streaming-Modellen und effizienten Streaming-Systemen durch ein einheitliches LLM-Framework geschlossen werden kann.

Die Arbeit bietet eine praktische, ressourceneffiziente Lösung für den Einsatz in realen Szenarien, die sowohl hohe Genauigkeit als auch Echtzeitfähigkeit erfordern. Durch die Beseitigung des Trainings-Inferenz-Mismatchs und die Einführung kontextbewusster Trainingsmethoden setzt Uni-ASR neue Maßstäbe für die Entwicklung zukünftiger, universeller Spracherkennungssysteme.