Fabricator or dynamic translator?
Die Arbeit untersucht die Herausforderung, verschiedene Formen von Übergenerierungen bei der maschinellen Übersetzung durch Large Language Models zu identifizieren, und stellt Strategien sowie Ergebnisse aus einem kommerziellen Einsatz vor.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Übersetzung: Der Übersetzer oder der Erfinder? – Wenn KI zu viel erzählt
Stellen Sie sich vor, Sie beauftragen einen Dolmetscher, um einen wichtigen Text von Englisch ins Deutsche zu übertragen. In der Vergangenheit waren diese Dolmetscher wie sehr präzise, aber etwas starre Maschinen: Sie nahmen den Satz, wandelten ihn Wort für Wort um und lieferten das Ergebnis. Manchmal machten sie Fehler, wie wenn sie ein Wort zehnmal wiederholten oder sinnloses Kauderwelsch (das sogenannte „Neurobabble") von sich gaben. Das war leicht zu erkennen – wie ein kaputtes Radio, das nur noch statisches Rauschen produziert.
Heute haben wir jedoch Große Sprachmodelle (LLMs). Das sind keine starren Maschinen mehr, sondern eher wie kreative Schriftsteller, die sehr gut darin sind, Texte zu schreiben. Das Problem ist: Diese Schriftsteller lieben es, Dinge hinzuzufügen, die nicht im Originaltext stehen.
Die Forscher Lisa Vasileva und Karin Sim von Language Weaver haben sich genau damit beschäftigt: Was passiert, wenn diese KI-Übersetzer zu viel erzählen?
Das Problem: Der „Übersetzer", der sich zum Autor aufschwingt
Die KI macht zwei Dinge, die den ursprünglichen Text verfälschen:
- Der „Erklärer": Die KI fügt Sätze hinzu wie: „Ich entschuldige mich, aber ich übersetze diesen Teil nicht, weil er zu hart klingt." Das steht nicht im Original!
- Der „Erfinder" (Confabulation): Die KI fügt kleine Details hinzu, die zwar flüssig klingen und zum Thema passen, aber einfach erfunden sind.
Stellen Sie sich vor, Sie sagen: „Der Hund bellte."
- Der alte Übersetzer sagt: „Der Hund bellte." (Perfekt).
- Der neue KI-Übersetzer sagt: „Der Hund bellte laut, weil er einen Postboten sah, der eine rote Jacke trug."
- Der Postbote und die Jacke waren im Original nicht! Die KI hat sich das einfach ausgedacht, um die Geschichte „besser" zu machen. Das nennt man Übergenerierung.
Die vier Arten des „Zuviel-Erzählens"
Die Forscher haben diese Fehler in vier Kategorien unterteilt, ähnlich wie man verschiedene Arten von Lügen unterscheidet:
- Das Stottern (Oszillierend): Die KI wiederholt Wörter wie ein kaputtes Band („Hund, Hund, Hund..."). Das ist leicht zu erkennen.
- Der Abreißer (Ganz abgetrennt): Die KI schreibt einen ganzen Absatz über etwas, das nichts mit dem Original zu tun hat, oder verweigert die Übersetzung komplett. Das ist wie ein Dolmetscher, der plötzlich über das Wetter redet, statt Ihre Worte zu übersetzen.
- Der Halbe (Teilweise abgetrennt): Die KI übersetzt gut, fügt aber am Anfang oder Ende eine kleine Erklärung hinzu, wie: „Hier ist die Übersetzung:".
- Der Tarnkappen-Meister (Minimal abgetrennt): Das ist das Schwierigste. Die KI fügt nur ein oder zwei Wörter hinzu, die perfekt in den Satz passen, aber nicht da sein sollten.
- Beispiel: Im Original steht „das Programm". Die KI schreibt „das nordkoreanische Programm". Das Wort „nordkoreanisch" war nicht da, aber es klingt plausibel. Das ist eine gefährliche Lüge, die schwer zu entdecken ist.
Wie fangen wir diese Lügner? (Die Detektive)
Da diese Fehler oft sehr geschickt sind, reicht ein einfacher Blick nicht aus. Die Forscher haben zwei Strategien entwickelt, um die KI auf die Schliche zu kommen:
Strategie 1: Der Qualitäts-Checker (MTQE)
Stellen Sie sich einen strengen Lehrer vor, der den Text liest und eine Note gibt. Dieser „Lehrer" (ein KI-Modell) wurde trainiert, um zu spüren, wenn etwas „falsch" oder „zu viel" ist. Er schaut sich den gesamten Text an und sagt: „Das hier riecht verdächtig nach einer Erfindung."
- Ergebnis: Er ist gut bei großen Fehlern, aber bei den kleinen, geschickten Lügen (den zwei zusätzlichen Wörtern) wird er oft unsicher.
Strategie 2: Der Wort-Verfolger (CheckAlign)
Stellen Sie sich vor, Sie legen den Originaltext und den Übersetzungstext nebeneinander und versuchen, jedes Wort mit einem Faden zu verbinden.
- Wenn ein Wort im Original ist, muss es einen Faden zum Zielwort haben.
- Wenn die KI ein Wort hinzugefügt hat, das im Original nicht existiert, hat dieses Wort keinen Faden. Es hängt in der Luft.
- Dieser „Wort-Verfolger" sucht genau nach diesen hängenden Fäden.
- Ergebnis: Er findet die kleinen Hinzufügungen sehr gut. Aber er ist manchmal zu misstrauisch: Manchmal fügt eine KI ein Wort hinzu, um es verständlicher zu machen (z. B. „der Arzt" statt nur „Arzt", weil im Deutschen der Artikel wichtig ist). Das ist keine böswillige Lüge, sondern eine Erklärung (Explicitation), die ein guter menschlicher Übersetzer auch machen würde. Der Verfolger verwechselt diese gute Hilfe manchmal mit einer Lüge.
Das Fazit: Ein schwieriges Balanceakt
Die Studie zeigt uns, dass KI-Übersetzer heute zwei Gesichter haben:
- Sie können riskant sein und Dinge erfinden, die nicht da waren (wie ein Autor, der die Handlung verändert).
- Sie können aber auch genial sein und Dinge erklären, damit der Leser sie besser versteht (wie ein guter Dolmetscher, der kulturelle Nuancen hinzufügt).
Die größte Herausforderung ist heute nicht mehr, die offensichtlichen Fehler zu finden, sondern zu unterscheiden: Hat die KI gerade gelogen (eine Erfindung), oder hat sie gerade geholfen (eine Erklärung)?
Die Forscher hoffen, dass sie in Zukunft Modelle entwickeln, die diesen Unterschied verstehen können – vielleicht durch eine Zusammenarbeit von KI und menschlichen Prüfern, die den KI-Fehlern lernen lassen, wann sie schweigen sollen und wann sie erklären dürfen.
Kurz gesagt: Wir müssen aufpassen, dass unser digitaler Übersetzer nicht zum Geschichtenerfinder wird, aber wir wollen ihm auch nicht verbieten, Dinge verständlicher zu machen. Es ist ein schmaler Grat zwischen „falsch" und „hilfreich".
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.