Can linguistic complexity predict machine translation quality?- a corpus-based study of complexity-quality nexus in philosophical texts

Technische Zusammenfassung: Kann linguistische Komplexität die Qualität der maschinellen Übersetzung vorhersagen? Eine korpusbasierte Studie zum Komplexitäts-Qualitäts-Nexus in philosophischen Texten

Problemstellung
Während Künstliche Intelligenz und Neuronale Maschinelle Übersetzung (NMT) die Übersetzungsqualität in ressourcenreichen Domänen (z. B. juristische, journalistische, akademische Texte) erheblich verbessert haben, gibt es eine deutliche Lücke im Verständnis darüber, wie diese Systeme in ressourcenarmen, kognitiv anspruchsvollen Domänen wie philosophischen Texten abschneiden. Insbesondere mangelt es in der bestehenden Literatur an umfassenden Vergleichen über verschiedene maschinelle Übersetzungssysteme (MT) hinweg – einschließlich traditioneller NMT, LLM-basierter Systeme wie DeepSeek und Deep-Learning-getriebener Systeme wie DeepL – wenn diese auf komplexes, abstraktes Ausgangsmaterial angewendet werden. Darüber hinaus waren bisherige Studien, die den Zusammenhang zwischen linguistischer Komplexität und Übersetzungsfehlern untersuchten, oft auf spezifische Sprachpaare (z. B. flektierende Sprachen) oder Genres (z. B. Journalismus) beschränkt und versäumten es häufig, den „Komplexitäts-Qualitäts-Nexus“ in ressourcenarmen literarischen und philosophischen Kontexten zu explorieren. Diese Studie untersucht die Frage, ob Indizes der lexikalischen und syntaktischen Komplexität die Qualität der maschinellen Übersetzung bei deutsch-chinesischen philosophischen Texten vorhersagen können.

Methodik
Die Forschung verwendet ein korpusbasiertes experimentelles Design unter Verwendung der Nachgelassenen Schriften des deutschen Philosophen Theodor W. Adorno. Um Verzerrungen durch bereits vorhandene Trainingsdaten zu eliminieren, wählten die Autoren einen Text, für den es keine vorherige chinesische Übersetzung gibt. Eine Referenzübersetzung wurde von einem erfahrenen akademischen Übersetzer erstellt und durch Rückübersetzung validiert (was einen BLEU-Score von 0,72 gegenüber dem deutschen Original ergab) sowie einer terminologischen Abstimmung unterzogen.

Das Korpus besteht aus 254 Textsegmenten (ca. 59.564 Wörter), die von drei verschiedenen Systemen ins Chinesische übersetzt wurden:

1. DeepL (Deep-Learning-getrieben)
2. DeepSeek (LLM-basiert)
3. NMT (Standardmodell der Neuronalen Maschinellen Übersetzung)

Die Übersetzungsqualität wurde mittels BLEU-Scores (Bilingual Evaluation Understudy) quantifiziert, die gegen die menschliche Referenzübersetzung berechnet wurden. Die linguistische Komplexität wurde mithilfe einer Suite chinesisch-spezifischer Indizes gemessen, die aus vorangegangener Forschung zu Translationese und Zweitspracherwerb adaptiert wurden und in folgende Kategorien unterteilt sind:

• Lexikalische Indizes: Type-Token-Ratios (TTR1, TTR2, TTR1C, TTR2C), Mean Word Rank (MWR) und Mean Character Rank (MCR).
• Syntaktische Indizes: Mean Length of Sentences (MLS), Mean Length of Clauses (MLC), Mean Length of T-units (MLTU), T-units per sentence (T/S) und Clauses per sentence (C/S).

Es wurden drei multiple Regressionsmodelle konstruiert, um die BLEU-Scores vorherzusagen:

• Modell 1: Basierend ausschließlich auf lexikalischer Komplexität.
• Modell 2: Basierend ausschließlich auf syntaktischer Komplexität.
• Modell 3: Ein kombiniertes Modell, das sowohl lexikalische als auch syntaktische Merkmale integriert.

Zentrale Ergebnisse
Die Analyse lieferte die folgenden Erkenntnisse bezüglich der Vorhersagekraft der linguistischen Komplexität:

• Systemleistung: DeepL erzielte über das gesamte Korpus hinweg konsistent höhere BLEU-Scores als DeepSeek und das Standard-NMT-Modell. Dieses Ergebnis stellt die Annahme infrage, dass LLM-basierte Systeme (wie DeepSeek) in diesem spezifischen Bereich inhärent überlegene Alternativen zu traditionellen NMT-Modellen darstellen.
• Modell 1 (Lexikalische Komplexität): Zeigte eine starke Erklärungsleistung mit einem R-Quadrat von 0,849. Lexikalische Reichhaltigkeit und Diversität (indiziert durch positive Koeffizienten für TTR1, TTR1C, TTR2, MWR und MCR) waren signifikante positive Prädiktoren der Übersetzungsqualität. Umgekehrt zeigte TTR2C einen negativen Koeffizienten, was darauf hindeutet, dass übermäßige lexikalische Redundanz oder Repetition die Qualität mindert.
• Modell 2 (Syntaktische Komplexität): Zeigte eine moderate Erklärungsleistung mit einem R-Quadrat von 0,395. Während längere Satzstrukturen (MLS) und Klauseln (MLC) positiv mit der Qualität korrelierten, waren andere syntaktische Merkmale wie die Klauseldichte (C/S) statistisch nicht signifikant. Dies deutet darauf hin, dass die syntaktische Komplexität allein ein schwächerer Prädiktor ist als die lexikalische Komplexität.
• Modell 3 (Kombinierte Komplexität): Erreichte die höchste Erklärungsleistung mit einem R-Quadrat von 0,86. Dieses Modell bestätigte, dass ein ganzheitlicher Ansatz, der sowohl lexikalische als auch syntaktische Merkmale integriert, die Ergebnisse der Übersetzung am umfassendsten vorhersagt. Bemerkenswerterweise wies im kombinierten Modell das Verhältnis von Nebensätzen zu Hauptsätzen (T/S) einen negativen Koeffizienten auf, was darauf hindeutet, dass eine hohe strukturelle Subordination die Übersetzungsschwierigkeit erhöhen und die Qualität verringern kann.

Bedeutung und Beiträge
Die Arbeit beansprucht, auf folgende spezifische Weise zum Feld der automatisierten Qualitätsbewertung von maschinellen Übersetzungen (MTQA) beizutragen:

1. Domänenerweiterung: Sie schließt eine Forschungslücke, indem sie die Beziehung zwischen Komplexität und Qualität in ressourcenarmen, abstrakten Domänen (philosophische Texte) untersucht, statt in ressourcenreichen oder journalistischen Genres.
2. Systemvergleich: Sie liefert empirische Daten zum Vergleich der Leistung von DeepL, DeepSeek (LLM) und Standard-NMT und bietet Einblicke darin, wie unterschiedliche architektonische Ansätze mit komplexen semantischen und syntaktischen Strukturen umgehen.
3. Prädiktive Modellierung: Die Studie validiert die Nützlichkeit von Regressionsmodellen zur Vorhersage der Übersetzungsqualität basierend auf linguistischer Komplexität. Sie stellt fest, dass die lexikalische Reichhaltigkeit ein dominanterer Faktor ist als die syntaktische Komplexität, obwohl die Integration beider die genauesten Vorhersagen liefert.
4. Methodischer Rahmen: Durch die Verwendung eines streng konstruierten Korpus mit einer verifizierten Referenzübersetzung und spezifischen Komplexitätsindizes bietet die Studie einen replizierbaren Rahmen zur Bewertung der MT-Leistung in anspruchsvollen, nicht-standardisierten Domänen.

Die Autoren kommen zu dem Schluss, dass aktuelle MT-Systeme zwar vielversprechend sind, ihre Leistung in philosophischen Texten jedoch stark von der lexikalischen Diversität und der syntaktischen Struktur des Ausgangstextes abhängt. Die Forschung unterstreicht die Notwendigkeit einer ausgewogenen Integration von lexikalischen und syntaktischen Aspekten bei der Bewertung und Verbesserung von MT-Systemen, insbesondere für ressourcenarme und hochkomplexe Anwendungen.