Benchmarking Commercial ASR Systems on Code-Switching Speech: Arabic, Persian, and German

Stellen Sie sich vor, Sie versuchen, einer Gruppe von Übersetzern beizubringen, wie man eine sehr spezifische, knifflige Situation bewältigt: Menschen, die zwei Sprachen im selben Satz sprechen. In der realen Welt passiert dies ständig. Ein Softwareingenieur in Kairo könnte sagen: „The deadline is tomorrow, we need to ship the update," und dabei englische Tech-Begriffe mit arabischer Grammatik mischen. Ein Entwickler in Teheran könnte sagen: „This new feature has a lot of bugs," und dabei Farsi und Englisch mischen.

Dieser Artikel ist wie ein Zeugnis für fünf verschiedene kommerzielle „Sprache-zu-Text"-Systeme (die Art, die Sie vielleicht auf Ihrem Handy oder in einer Meeting-App verwenden), um zu sehen, wie gut sie diese spezifische „Code-Switching"-Herausforderung bewältigen.

Hier ist die Aufschlüsselung dessen, was sie taten und was sie herausfanden, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Reinraum" vs. Der „Bunte Markt"

Die meisten Unternehmen testen ihre Sprachsysteme in einem „Reinraum". Sie spielen ihnen klare, einsprachige Audiodateien vor (wie einen Nachrichtensprecher, der ein Skript liest) und geben ihnen eine Bewertung basierend darauf, wie viele Wörter sie richtig erkannt haben.

• Die Argumentation des Artikels: Das ist wie das Testen eines Autos nur auf einer glatten, leeren Rennstrecke. Es sagt Ihnen nichts darüber aus, wie das Auto eine holprige, überfüllte Marktstraße bewältigt, auf der Menschen gleichzeitig in verschiedenen Sprachen schreien.
• Die Realität: Echte Gespräche sind chaotisch. Menschen wechseln mitten im Satz die Sprache, oft ohne nachzudenken. Der Artikel argumentiert, dass die alten „Reinraum"-Tests für diese realen Szenarien irreführend sind.

2. Der Aufbau des Tests: Die „Talent-Suche"-Pipeline

Um einen fairen Test zu erstellen, griffen die Forscher nicht einfach auf zufällige Audioaufnahmen zurück. Sie bauten ein zweistufiges „Talent-Suche"-System, um die schwierigsten und interessantesten Beispiele aus Tausenden von Kandidaten zu finden:

• Stufe 1 (Der schnelle Filter): Sie verwendeten eine einfache Computerregel, um Sätze zu erkennen, die so aussahen, als würden sie zwei Schriftsysteme mischen (wie arabische und englische Buchstaben). Das ist wie ein Türsteher, der am Eingang Ausweise kontrolliert.
• Stufe 2 (Das Expertengremium): Die verbleibenden Kandidaten wurden an zwei superintelligente KI-„Richter" (GPT-4o und Gemini 1.5 Pro) weitergeleitet. Diese Richter lasen die Sätze und bewerteten sie anhand sechs verschiedener „Schwierigkeits"-Faktoren, wie zum Beispiel wie häufig die Sprachen wechseln, wie komplex der Slang ist und wie verwirrend die Klänge sind.
• Das Ergebnis: Sie landeten bei 1.200 schwierigen Sätzen (300 für jedes Sprachpaar: Arabisch-Englisch, Persisch-Englisch und Deutsch-Englisch). Dieser Prozess sparte ihnen eine massive Menge an Geld (etwa 91 %) im Vergleich dazu, die KI-Richter gebeten zu haben, jeden einzelnen Satz zu lesen.

3. Die Bewertung: Das „Lineal" vs. Der „Übersetzer"

Dies ist die wichtigste Entdeckung des Artikels. Sie verwendeten zwei verschiedene Methoden, um die Systeme zu benoten:

• Das Lineal (WER – Word Error Rate): Dies ist die traditionelle Methode. Sie zählt jeden einzelnen Buchstaben- und Wortfehler. Wenn der Sprecher „feature" sagte und der Computer das persische Wort für „feature" schrieb (was dasselbe bedeutet, aber anders aussieht), sagt das Lineal: „Falsch! Das ist ein Fehler."
• Der Übersetzer (BERTScore): Dies ist eine intelligentere Methode. Sie versteht die Bedeutung. Wenn der Sprecher „feature" sagte und der Computer das persische Wort für „feature" schrieb, sagt der Übersetzer: „Gute Arbeit! Sie haben die Bedeutung richtig verstanden, auch wenn die Rechtschreibung anders ist."
• Die Entdeckung: Für Sprachen wie Arabisch und Persisch, bei denen Wörter auf verschiedene Arten geschrieben werden können, aber dasselbe bedeuten, ist das „Lineal" zu hart. Es bestraft Systeme dafür, dass sie kreativ mit der Rechtschreibung umgehen. Der „Übersetzer" (BERTScore) gibt eine viel fairere Note.

4. Die Rennergebnisse

Sie testeten fünf große kommerzielle Systeme. So landeten sie:

• Der Gewinner: ElevenLabs Scribe v2 war der klare Champion. Er erzielte die niedrigste Fehlerrate und die höchste Bedeutungs-Bewertung über alle vier Sprachpaare hinweg. Er war besonders gut darin, die kniffligen Mischungen aus Arabisch und Persisch zu bewältigen.
• Das Mittelfeld: OpenAI und Google machten es okay, aber sie machten deutlich mehr Fehler als der Gewinner, besonders bei den schwierigsten Sätzen.
• Der Kämpfer: Azure (Microsoft) hatte die höchsten Fehlerraten. Der Artikel stellt jedoch fest, dass es etwas besser wird, wenn man Azure anweist, die Sprache ständig zu „überprüfen" (anstatt nur einmal am Anfang), aber es bleibt dennoch hinterher.
• Der Sonderfall: Deepgram wurde nur für Deutsch-Englisch getestet, da es Arabisch oder Persisch offiziell nicht unterstützt. Bei Deutsch schnitt es sehr gut ab, aber man kann es nicht mit den anderen vergleichen, da der Test einfacher war (beide Sprachen verwenden dasselbe Alphabet).

5. Die „Hard-Mode"-Entdeckung

Die Forscher unterteilten den Test nach Schwierigkeitsgrad (Einfach, Mittel, Schwer, Experte).

• Die Überraschung: Bei den „einfachen" Sätzen sahen alle Systeme ziemlich ähnlich aus. Aber bei den „Experten"- (schwierigsten) Sätzen explodierte die Lücke.
• Die Analogie: Stellen Sie sich ein Rennen vor, bei dem alle auf einer flachen Strecke mit derselben Geschwindigkeit laufen. Aber wenn die Strecke in einen steilen, felsigen Berg übergeht, klettert ein Läufer (ElevenLabs) weiterhin stetig voran, während die anderen anfangen zu rutschen und zu fallen. Der Durchschnittswert verbirgt diesen riesigen Unterschied; man sieht die echte Lücke nur, wenn man sich die schwierigsten Herausforderungen ansieht.

6. Der visuelle Beweis

Um zu beweisen, dass bei diesen Sprachen die „Bedeutung" wichtiger ist als die „Rechtschreibung", verwendeten sie eine visuelle Karte (wie ein GPS für Wörter).

• Sie trugen die „korrekten" Sätze und die „Computer-Vermutungen" auf einer Karte ein.
• Das Ergebnis: Selbst wenn der Computer ein anderes Schriftsystem verwendete (wie zum Beispiel ein englisches Wort in persischen Buchstaben), lagen die Punkte auf der Karte direkt nebeneinander. Dies beweist, dass der Computer die Bedeutung verstanden hat, auch wenn das „Lineal" (WER) sagte, es sei falsch.

Das Fazit

Wenn Sie ein Produkt für Menschen entwickeln, die mehrere Sprachen in einem Atemzug sprechen, schauen Sie nicht nur auf die Standard-Bewertung „Word Error Rate". Das ist wie ein Koch nur danach zu beurteilen, wie perfekt er Zwiebeln geschnitten hat, und dabei zu ignorieren, ob die Suppe gut schmeckt.

• Verwenden Sie den „Meaning Score" (BERTScore) für Arabisch und Persisch.
• Testen Sie an den „schwierigsten" Sätzen, nicht nur an den einfachen.
• ElevenLabs Scribe v2 ist derzeit das beste System für diese spezifische Aufgabe, aber der Artikel warnt, dass auch reale Faktoren wie Geschwindigkeit (Latenz) und Kosten bei der Auswahl eines Systems für ein Unternehmen eine Rolle spielen.