Fluency and Faithfulness in Human and Machine Literary Translation

Technische Zusammenfassung: Flüssigkeit und Treue in der menschlichen und maschinellen literarischen Übersetzung

Problemstellung
Die literarische Übersetzung erfordert eine Balance zwischen zwei oft konkurrierenden Zielen: die Erzeugung eines Textes, der in der Zielsprache flüssig und natürlich ist (Flüssigkeit), und die Bewahrung des semantischen und stilistischen Inhalts des Quelltextes (Treue). Während die Übersetzungstheorie, insbesondere Friedrich Schleiermachers Formulierung, diese als entgegengesetzte Pole betrachtet, wurde diese Spannung empirisch in großem Maßstab kaum untersucht. Jüngste Large Language Models (LLMs) zeigen eine hohe Flüssigkeit bei der maschinellen literarischen Übersetzung, doch bleibt unklar, ob diese Flüssigkeit einer semantischen Bewahrung entspricht. Darüber hinaus werden referenzfreie Qualitätsabschätzungsmetriken (wie COMET-KIWI) zunehmend zur Bewertung von Übersetzungen ohne Goldstandard-Referenzen eingesetzt, doch ist ihr Zusammenhang mit syntaktischer Flüssigkeit in literarischen Kontexten nicht gut verstanden.

Methodik
Die Autoren analysieren ein Korpus von 130.486 übersetzten Absätzen aus 106 Romanen, die 16 Quellsprachen umfassen. Der Datensatz umfasst menschliche Übersetzungen, Google-Translate-Ausgaben und Übersetzungen, die von TranslateGemma generiert wurden (ein feinabgestimmtes Modell auf Basis der Gemma3-Architektur).

Um die Beziehung zwischen Flüssigkeit und Treue zu messen, verwendet die Studie zwei unterschiedliche, unabhängige Metriken:

1. Flüssigkeit (Originalähnlichkeit): Flüssigkeit wird operationalisiert als der Grad, in dem ein übersetzter Absatz Originaltext auf Englisch ähnelt. Um die syntaktische Struktur vom semantischen Inhalt zu isolieren, anonymisieren die Autoren den Text, indem sie Tokens durch feinkörnige Part-of-Speech (POS)-Tags ersetzen. Ein logistischer Regressionsklassifikator, der auf POS-n-Grammen (Unigramme, Bigramme, Trigramme) trainiert wurde, unterscheidet zwischen Originalabsätzen auf Englisch (aus einem Korpus von Romanen aus den Jahren 1800–1930) und übersetzten Absätzen. Der Klassifikator wird mit einer gruppenbasierten Kreuzvalidierung auf Buchebene und einer längenstratifizierten Downsampling durchgeführt, um den Einfluss der Segmentlänge zu kontrollieren. Flüssigkeit wird definiert als $1 - P(\text{Übersetzung} | x)$, wobei höhere Werte eine größere Ähnlichkeit zur ursprünglichen englischen Syntax anzeigen.
2. Treue (Semantische Angemessenheit): Treue wird mit COMET-KIWI gemessen, einer referenzfreien neuronalen Metrik, die die Übersetzungsqualität basierend auf Paaren aus Quell- und Zieltext vorhersagt. Die Autoren validieren COMET-KIWI als Proxy für Treue, indem sie eine starke positive Korrelation zwischen seinen Werten und der semantischen Ähnlichkeit beim Hin- und Rückweg (unter Verwendung von BGE-M3-Embeddings) nachweisen.

Hauptbeiträge

• Empirische Analyse in großem Maßstab: Die Studie bietet eine Absatz-für-Absatz-Analyse von über 130.000 Übersetzungen aus menschlichen, Google-Translate- und LLM-Ausgaben und untersucht das Zusammenspiel zwischen Flüssigkeit und Treue.
• POS-basiertes Flüssigkeitsframework: Die Autoren schlagen eine skalierbare Methode zur Messung syntaktischer Flüssigkeit unabhängig von semantischer Treue vor, die auf einer POS-basierten Klassifizierung von Übersetzersprache mit strikter, auf Buchebene zurückgehaltenen Evaluation beruht.
• Anwendung referenzfreier Evaluation: Die Arbeit wendet COMET-KIWI auf die literarische Übersetzung an, um semantische Treue ohne Goldreferenzen zu bewerten, und korreliert dies mit Signalen syntaktischer Flüssigkeit.
• Empirische Evidenz für Zielkonflikte: Die Studie liefert Belege für eine negative Beziehung zwischen Signalen für Flüssigkeit und Treue, insbesondere bei menschlichen Übersetzungen ähnlicher Länge.

Ergebnisse

• Verzerrung durch Länge: Die Autoren stellten fest, dass die Absatzlänge beide Metriken erheblich verzerrt. Längere Absätze korrelieren negativ sowohl mit COMET-KIWI-Werten als auch mit Flüssigkeitswerten.
• Negative Korrelation: Nach Kontrolle der Absatzlänge mittels partieller Spearman-Korrelation tritt eine konsistente negative Beziehung zwischen Flüssigkeit und Treue zutage. Dies deutet darauf hin, dass, je syntaktisch „originalähnlicher" (flüssiger) eine Übersetzung wird, ihre vorhergesagte semantische Angemessenheit tendenziell abnimmt.
• Quellsprachenspezifische Variationen:
  • Menschliche Übersetzungen: Zeigen eine statistisch signifikante negative Korrelation ($\rho \approx -0,078$), was auf einen deutlichen Zielkonflikt hindeutet, bei dem das Erreichen einer muttersprachlichen Syntax semantische Verschiebungen mit sich bringen kann.
  • Google Translate: Zeigt ebenfalls eine negative Korrelation ($\rho \approx -0,051$), wenn auch etwas schwächer als bei menschlichen Übersetzungen.
  • TranslateGemma (LLM): Zeigt eine schwache, oft nicht signifikante und manchmal positive Korrelation. Dies legt nahe, dass LLMs möglicherweise nicht dieselbe Spannung zwischen Flüssigkeit und Treue aufweisen wie menschliche Übersetzer oder traditionelle maschinelle Übersetzungssysteme, oder dass die Metriken unterschiedliche Aspekte ihrer Ausgabe erfassen.
• Divergenz der Metriken: Die Ergebnisse deuten darauf hin, dass COMET-KIWI nicht mit POS-basierten Signalen für Flüssigkeit übereinstimmt. Hohe Flüssigkeit (im Sinne von Originalähnlichkeit) entspricht nicht notwendigerweise einer hohen semantischen Treue, wie sie von COMET-KIWI gemessen wird.

Bedeutung und Behauptungen
Die Autoren behaupten, dass diese Befunde empirische Belege für eine systematische, wenn auch bescheidene Spannung zwischen der Erzeugung syntaktisch muttersprachlichen Englischen und der Bewahrung semantischer Entsprechungen in der literarischen Übersetzung liefern. Die Autoren argumentieren, dass dieser Zielkonflikt bei menschlichen literarischen Übersetzungen ähnlicher Länge deutlicher beobachtet wird.

Die Studie legt nahe, dass automatische Evaluierungsmetriken wie COMET-KIWI implizit Übersetzungen bevorzugen könnten, die strukturelle Muster bewahren, die mit dem Quelltext übereinstimmen, und dabei möglicherweise „Übersetzersprache"-Signale belohnen, wenn sie mit oberflächlicher Treue korrelieren. Umgekehrt erfasst die POS-basierte Flüssigkeitsmetrik syntaktische Natürlichkeit, die von der semantischen Angemessenheit abweichen kann. Die Autoren schließen daraus, dass zwar die Stärke der Beziehung bescheiden ist, die Konsistenz des Musters über verschiedene analytische Ansätze hinweg jedoch darauf hindeutet, dass Flüssigkeit und Treue in der literarischen Übersetzung nicht völlig unabhängige Signale sind. Sie weisen zudem darauf hin, dass das Verhalten des Flüssigkeitsklassifikators einen Einblick in stilistische Unterschiede zwischen historischen menschlichen Übersetzungen (trainiert an Texten aus den Jahren 1800–1930) und modernen maschinellen Ausgaben, die für zeitgenössisches Standardenglisch optimiert sind, bietet.