Analysis of Numerical Localisation in LLM Translations

Stellen Sie sich vor, Sie möchten eine Postkarte an einen Freund in einem anderen Land schicken. Sie schreiben das Datum als „07/04/2024“. Für Sie ist es der 4. Juli. Für Ihren Freund in Großbritannien ist es der 7. April. Wenn Sie ein Rezept, eine Banküberweisung oder eine wissenschaftliche Formel versenden, ist ein falsches Datum oder eine falsche Zahl nicht nur ein Tippfehler; es ist eine Katastrophe. Dies ist die Welt der Lokalisierung. Während Übersetzung so ist, als würde man Wörter austauschen (aus „dog“ wird „Hund“), ist Lokalisierung wie das Wechseln des gesamten Outfits der Information, um sie an die lokale Kultur anzupassen. Es ist die Entscheidung, ob man einen Anzug oder einen Smoking trägt – oder in diesem Fall, ob man ein Komma oder einen Punkt verwendet, um Dezimalstellen zu trennen.

Hier kommen Large Language Models (LLMs) ins Spiel. Betrachten Sie diese als unglaublich kluge, superschnelle Roboter, die fast alles im Internet gelesen haben. Sie sind großartig darin, Geschichten zu schreiben und Sätze zu übersetzen, aber sie stolpern manchmal über die strengen Regeln von Zahlen und Daten. Sie wissen vielleicht, dass „1,000“ eintausend bedeutet, aber sie vergessen vielleicht, dass dieselbe Zahl in Deutschland als „1.000“ geschrieben wird. Diese Arbeit taucht in eine spezifische Ecke der KI-Wissenschaft ein: Können diese Robotergehirne nicht nur Wörter übersetzen, sondern auch Zahlen und Daten korrekt für ein neues Land „umkleiden“? Dies ist eine entscheidende Frage, denn wenn eine KI die Lokalisierung falsch macht, könnte sie eine sichere medizinische Dosis in eine gefährliche verwandeln oder einen kleinen Gewinn in einen massiven Verlust.

Die große Zahlen-Verwandlung

In dieser Studie hat eine Forscherin namens Patrizia Kaye fünf verschiedene KI-Modelle getestet. Dies waren keine massiven, supercomputergestützten Modelle, die Millionen kosten; stattdessen wählte sie fünf kleinere „Commodity“-Modelle, die auf Standard-Hardware laufen können, wie etwa einem leistungsstarken Gaming-Laptop. Sie wollte sehen, ob diese Modelle die knifflige Aufgabe bewältigen könnten, englischen Text ins Deutsche (und umgekehrt) zu übersetzen und dabei Zahlen, Daten und Zeiten exakt nach den lokalen Regeln korrekt darzustellen.

Zu diesem Zweck schuf sie ein kleines Experiment. Sie nahm 700 Sätze, die Daten, Zeiten und Zahlen aus realen Quellen wie Aufzeichnungen des Europäischen Parlaments und medizinischen Dokumenten enthielten. Dann bat sie die KI-Modelle, diese unter Verwendung von vier verschiedenen „Strategien“ oder Methoden zu übersetzen:

1. Direkte Übersetzung: Einfach die KI fragen: „Übersetze diesen Satz.“
2. In-Context Learning (ICL): Der KI einen Bezug im Prompt geben, wie zum Beispiel: „Erinnere dich, in Deutschland verwenden wir einen Punkt für Tausender und ein Komma für Dezimalstellen.“
3. Chain-of-Thought (CoT): Die KI bitten, „laut zu denken“ und ihre Schritte zu erklären, bevor sie die Antwort gibt.
4. Post-Editing: Die KI zuerst übersetzen lassen und dann ein separates Computer-Skript verwenden, um die Zahlen aufzuspüren und manuell zu korrigieren.

Der überraschende Gewinner

Die Ergebnisse waren eine kleine Wendung der Handlung. In einer früheren Studie über die Übersetzung von Zahlen zwischen Englisch und Chinesisch fanden Forscher heraus, dass die „Post-Editing“-Methode (das Korrigieren der Zahlen im Nachhinein) die beste war. Doch als Patrizia dies für Englisch und Deutsch testete, war Post-Editing tatsächlich die schlechteste Strategie und erreichte oft eine Genauigkeit von unter 30 %. Es scheint, dass es die KI verwirrt, wenn man versucht, die Zahlen nachträglich zu korrigieren – das macht nur alles noch schlimmer.

Die „Chain-of-Thought“-Methode, bei der die KI ihre Argumentation erklärt, half auch nicht viel. Sie führte oft dazu, dass die Modelle falsche Antworten gaben, während sie versuchten, klug über ihren Weg zur Lösung zu klingen.

Der wahre Champion war das In-Context Learning. Als die Forscherin einfach ein paar klare Anweisungen in den Prompt einfügte – indem sie der KI genau sagte, wie sie Zahlen und Daten formatieren soll – schnitten die Modelle signifikant besser ab. Für das leistungsstärkste Modell (Qwen3-4B-Instruct-2507) steigerte dieser einfache „Bezug“ die Genauigkeit für Zahlen in der Richtung Englisch-zu-Deutsch auf 91,7 %, eine leichte Verbesserung gegenüber den 92,2 %, die durch die direkte Übersetzung allein erreicht wurden. Die Studie fand heraus, dass diese Verbesserung kein Glückstreffer war; statistische Tests bestätigten, dass das Hinzufügen dieser Regeln zum Prompt einen realen, messbaren Unterschied im Vergleich zu anderen Strategien machte.

Was ist mit größeren Gehirnen?

Man könnte denken, dass ein größeres KI-Modell mit mehr „Gehirnleistung“ (Parametern) immer besser abschneidet. Das Papier stellte jedoch fest, dass Größe nicht immer Erfolg bedeutet. Die getesteten Modelle reichten von 2 bis 7 Milliarden Parametern. Überraschenderweise schnitt das 4-Milliarden-Parameter-Modell in vielen Fällen besser ab als die 7-Milliarden-Parameter-Modelle. Dies deutet darauf an, dass für diese spezifische Aufgabe die richtigen Anweisungen wichtiger sind als das größte Gehirn.

Die Studie testete auch, ob es half, der KI genau zu sagen, welche Version von Englisch oder Deutsch sie verwenden soll (wie „Britisch-Englisch“ vs. „Deutsch aus Deutschland“). Es half ein wenig, aber nicht so viel wie das bloße Geben der Formatierungsregeln im Prompt.

Das Fazit

Dieses Papier legt nahe: Wenn Sie möchten, dass eine KI Zahlen und Daten bei der Übersetzung korrekt handhabt, sagen Sie ihr nicht einfach, sie solle „ihr Bestes geben“. Verlassen Sie sich nicht darauf, dass sie ihre Fehler später selbst korrigiert, und zwingen Sie sie nicht dazu, ihr Denken zu erklären. Geben Sie ihr stattdessen direkt zu Beginn einen klaren Satz von Regeln. Indem Sie die Lokalisierungsprinzipien direkt in das Gespräch einbetten, können Sie aus einem verwirrten Roboter einen präzisen Übersetzer machen. Obwohl die Ergebnisse spezifisch für die getesteten Modelle und Sprachpaare sind, bietet die Methode einen reproduzierbaren Weg, um KI-Übersetzungen für jeden, der mit Geld, Wissenschaft oder Zeitplänen über Grenzen hinweg arbeitet, sicherer und genauer zu machen.