An Investigation of Translationese in the Generations of Multilingual Large Language Models

Wenn ein Mensch in einer Sprache spricht oder schreibt, die nicht seine Muttersprache ist, tragen seine Worte oft einen subtilen, unsichtbaren Fingerabdruck. Er verwendet vielleicht Satzstrukturen, die sich etwas steif anfühlen, wählt Wörter, die technisch korrekt, aber von Einheimischen selten verwendet werden, oder ordnet Phrasen so an, dass der Einfluss seiner Erstsprache spürbar wird. Linguisten nennen dieses Phänomen „Translationese“ (Übersetzungssprache). Es ist das nachhallende Echo der Originalsprache, das selbst dann sichtbar bleibt, wenn der Text erfolgreich übersetzt wurde. Jahrzehntelang wurde dieses Konzept in der menschlichen Übersetzung untersucht, wobei Wissenschaftler analysierten, wie der Akt des Übersetzens die Textur einer Sprache verändert. Heute ist jedoch eine neue Frage im Bereich der künstlichen Intelligenz aufgetaucht. Große Sprachmodelle, die leistungsfähigen Computersysteme, die in Dutzenden von Sprachen fließend schreiben können, werden immer häufiger eingesetzt. Während diese Maschinen Texte produzieren können, die an der Oberfläche perfekt aussehen, beginnen Forscher sich zu fragen, ob sie wirklich in der Sprache denken, in der sie schreiben, oder ob sie im Geheimen alles von einer dominanten internen Sprache, wahrscheinlich Englisch, übersetzen, bevor sie das Endergebnis ausgeben. Wenn sie dies tun, würde ihr Output dieselben verborgenen Fingerabdrücke der Übersetzung tragen, die menschliche Übersetzer hinterlassen.

Ein Forscherteam setzte sich zum Ziel, diese Möglichkeit zu untersuchen, indem es den von diesen Modellen der künstlichen Intelligenz generierten Text so behandelte, als wäre er eine Übersetzung. Sie wollten wissen, ob die Maschinen Texte produzierten, die so klangen, als wären sie übersetzt worden, selbst wenn sie aufgefordert wurden, direkt in einer bestimmten Sprache zu schreiben. Zu diesem Zweck sammelten sie Textproben in fünf verschiedenen Sprachen: Englisch, Deutsch, Spanisch, Griechisch und Paschtu. Sie erstellten eine massive Sammlung von Texten, die drei verschiedene Arten umfasste: Text, der natürlich von Muttersprachlern geschrieben wurde, Text, der tatsächlich von Menschen übersetzt wurde, und Text, der von zwei der fortschrittlichsten verfügbaren KI-Modellen generiert wurde. Sie fügten auch eine vierte Art hinzu, bei der die KI auf Englisch schrieb und ein separates Computerprogramm diesen in die Zielsprache übersetzte, um zu sehen, wie sich dies im Vergleich zum direkten Schreiben der KI in der Zielsprache verhalten würde. Die Forscher verwendeten daraufhin ein hochentwickeltes Computerprogramm, das darauf trainiert war, die spezifischen Muster von Translationese zu erkennen. Dieses Programm war an tausenden Beispielen menschlicher Texte und menschlicher Übersetzungen trainiert worden und hatte gelernt, die subtilen statistischen Unterschiede zu erkennen, die einen Muttersprecher von einem Übersetzer unterscheiden.

Die Ergebnisse zeigten ein klares Muster. Wenn die KI-Modelle auf Englisch schrieben, wurde ihr Text selten als übersetzt markiert, was darauf hindeutet, dass sie natürlich in ihrer dominanten Sprache operierten. Sob sobald die Modelle jedoch zu anderen Sprachen wechselten, änderte sich die Geschichte. In Deutsch und Spanisch zeigten die KI-generierten Texte starke Anzeichen von Translationese. Das Computerprogramm identifizierte einen signifikanten Teil des deutschen Textes und eine große Menge des spanischen Textes als besitzend der markanten Merkmale einer Übersetzung. Dies deutet darauf hin, dass die Modelle, selbst wenn sie dazu aufgefordert werden, direkt in diesen Sprachen zu schreiben, möglicherweise auf einen internen Prozess zurückgreifen, der einer Übersetzung ähnelt – indem sie vielleicht zuerst auf Englisch denken und die Ideen dann konvertieren. Der Effekt war noch ausgeprägter, als die Forscher sich die spezifischen Wörter ansah, die die Modelle wählten. Sie fanden heraus, dass die KI dazu neigte, die offensichtlichsten, plumpen Fehler zu vermeiden, die Menschen machen könnten, aber dennoch mit der subtilen Verteilung gebräuchlicher Wörter kämpfte. Beispielsweise verwendeten die Modelle in Deutsch bestimmte Bindewörter in Mustern, die eher zu übersetzten Texten als zu muttersprachlicher Rede passten, während sie in Spanisch Artikel wie „the“ (das/die/der) weitaus seltener verwendeten als ein Muttersprecher.

Interessanterweise hing der Grad dieses „Übersetzungseffekts“ stark von der jeweiligen Sprache ab. Die Modelle schnitten in Griechisch und Paschtu – zwei Sprachen mit weniger verfügbaren digitalen Ressourcen für das Training – besser ab als in Deutsch und Spanisch. In diesen ressourcenärmeren Sprachen wurde der KI-generierte Text seltener als übersetzt markiert. Die Forscher vermuten, dass dies daran liegen könnte, dass die Trainingsdaten für Deutsch und Spanisch eine enorme Menge an bereits existierendem übersetztem Material enthalten, welches die Modelle einfach imitieren. Im Gegensatz dazu enthalten die Trainingsdaten für Griechisch und Paschtu möglicherweise weniger übersetzte Inhalte, was die Modelle dazu zwingt, sich stärker auf die verfügbaren nativen Strukturen zu verlassen. Das Team bat auch menschliche Leser, eine kleine Stichprobe des Textes zu beurteilen. Überraschenderweise waren die Menschen oft nicht in der Lage, die Translationese zu erkennen, die das Computerprogramm so leicht fand. Die Menschen bemerkten meist seltsame Wortwahlen oder ungewöhnliche Kombinationen, während der Computer die tieferen statistischen Verschiebungen in der Anordnung der Wörter detektierte. Dies deutet darauf hin, dass die KI zwar die offensichtlichsten Fehler verbirgt, die zugrunde liegende Struktur ihres Schreibens jedoch einen Mangel an muttersprachlicher Flüssigkeit verrät.

Die Studie kommt zu dem Schluss, dass diese leistungsstarken Sprachmodelle noch nicht in einer wahrhaft nativen Weise für nicht-englische Sprachen Texte generieren. Stattdessen trägt ihr Output oft die verborgene Signatur der Übersetzung, was darauf hindeutet, dass ihre interne Verarbeitung immer noch am Englischen verankert sein könnte. Dies bedeutet nicht, dass die Modelle versagen; sie sind oft sehr effektiv und nützlich. Es offenbart jedoch eine fundamentale Limitierung in der Art und Weise, wie sie lernen und operieren. Es scheint, als würden sie die Oberflächenebene vieler Sprachen meistern, während sie sich dennoch auf ein zentrales, englischbasiertes Framework für ihr Denken stützen. Die Forscher merken an, dass dieser Befund erklärt, warum diese Modelle manchmal Schwierigkeiten mit kulturellen Nuancen oder dem natürlichen Fluss einer Sprache haben, die nicht Englisch ist. Durch das Identifizieren dieser verborgenen Fingerabdrücke bietet die Studie einen neuen Weg, die wahre Qualität maschinell generierter Texte zu messen – über die bloße Korrektheit hinaus, um die echte Natürlichkeit der Stimme zu bewerten, die die Maschine zu emulieren versucht.