Machine translation of modern Chinese poetry into Japanese: A comparative evaluation of LLMs, neural machine translation systems, and prompt strategies

Sprache ist eine weite, sich ständig verändernde Landschaft, in der die Bedeutung nicht nur durch Wörter, sondern auch durch Rhythmus, Stille und das spezifische Gewicht einer Phrase getragen wird. Jahrzehntelang haben Computer gelernt, diese Landschaft zu verstehen, indem sie sich von starren, regelbasierten Systemen zu neuronalen Netzen entwickelten, die die Fähigkeit des menschlichen Gehirns imitieren, Muster zu erkennen. Diese modernen Systeme, bekannt als neuronale maschinelle Übersetzung, sind bemerkenswert gut darin geworden, Nachrichtenartikel oder technische Handbücher aus einer Sprache in eine andere zu übertragen, wobei sie die Fakten mit hoher Präzision erfassen. Vor kurzem ist eine neue Generation künstlicher Intelligenz, die sogenannten Large Language Models, in dieses Feld eingetreten. Im Gegensatz zu ihren Vorgängern, die speziell für die Übersetzung trainiert wurden, sind diese Modelle vielseitige Denker, die komplexen Anweisungen folgen und Kontext auf eine Weise verstehen können, die sich eher wie ein Gespräch anfühlt. Sie versprechen, die chaotischen, kreativen Teile der Sprache zu bewältigen, mit denen Maschinen normalerweise Schwierigkeiten haben. Doch die Poesie bleibt der ultimative Test. Ein Gedicht ist nicht nur eine zu entschlüsselnde Botschaft; es ist eine Erfahrung, die auf Bildsprache, kulturellen Nuancen und einem feinen Gleichgewicht zwischen dem Gesagten und dem Ungesagten beruht. Die Übersetzung eines Gedichts erfordert von einem Computer mehr als nur das Austauschen von Wörtern; er muss ein Gefühl rekonstruieren. Dies wirft eine schwierige Frage auf: Können diese neuen, konversationellen Maschinen Poesie tatsächlich besser übersetzen als die etablierten Werkzeuge, die wir jeden Tag verwenden, und verändert die Art und Weise, wie wir sie zu arbeiten anweisen, das Ergebnis?

Um dies herauszufinden, setzten Forscher sich zum Ziel, die Leistung dieser verschiedenen Systeme an moderner chinesischer Poesie zu vergleichen, einem Genre, das für seine verdichtete Bildsprache und emotionale Tiefe bekannt ist. Sie wählten eine spezifische Sammlung von zwölf Gedichten der zeitgenössischen Dichterin Yu Xiuhua aus, um sicherzustellen, dass die Texte frisch waren und zuvor weder von Maschinen noch von Menschen übersetzt worden waren. Das Team stellte zwei der populärsten Online-Übersetzungsdienste, die auf Standard-Neuronalen Netzen basieren, zwei der führenden Large Language Models gegenüber. Um zu sehen, ob die den Maschinen gegebenen Anweisungen einen Unterschied machten, testeten sie die Large Language Models unter zwei verschiedenen Bedingungen. Im ersten Szenario gaben sie den Modellen den einfachen, direkten Befehl, den Text zu übersetzen. Im zweiten Szenario baten sie die Modelle, zuerst die Bedeutung des Gedichts im Detail zu erklären, bevor sie mit der Übersetzung begannen – eine Strategie, die darauf abzielt, die Maschine zu zwingen, den Kontext zu verstehen, bevor sie Wörter generiert. Die resultierenden Übersetzungen wurden dann von einem Gremium aus acht Experten für chinesische und japanische Literatur bewertet. Diese Experten bewerteten die Gedichte nicht nur danach, ob die Bedeutung korrekt war, sondern auch danach, wie gut der Fluss der Übersetzung war, ob es wie ein echtes Gedicht klang und wie sehr es sich nach einem maschinengenerierten Text anfühlte.

Die Ergebnisse zeigten einen klaren Vorteil für die neueren, anweisungsfolgenden Modelle. Wenn ihnen der einfache Befehl zur Übersetzung gegeben wurde, produzierten die Large Language Models Versionen, die der ursprünglichen Bedeutung signifikant treuer waren, flüssiger im Japanischen waren und dem ursprünglichen poetischen Stil viel näher kamen als die Standard-Online-Übersetzer. Die Standardwerkzeuge produzierten oft Übersetzungen, die zwar grammatikalisch korrekt waren, sich aber flach anfühlten und den Rhythmus sowie das spezifische kulturelle Gewicht der Worte verloren ließen. Die Large Language Models hingegen schienen das Gedicht als eine Gesamteinheit zu erfassen und bewahrten die Spannung und Bildsprache, die die Poesie resonieren lassen. Beispielsweise verwandelte ein Standard-Übersetzer eine ritualistische Phrase vielleicht in eine wörtliche Beschreibung von Geschwindigkeit, während die Large Language Models in der Lage waren, den Sinn eines feierlichen Gebots beizubehalten und den spirituellen Ton des Originals einzufangen. Sie zeigten auch weit weniger Anzeichen dafür, von einem Computer generiert worden zu sein, indem sie die starren Satzstrukturen vermieden, die oft auf maschinelle Übersetzung hindeuten.

Die Geschichte wird jedoch komplexer, wenn die Forscher die Anweisungen änderten. Die Vorstellung, dass das Geben von mehr Kontext an eine Maschine – das Verlangen, das Gedicht zuerst zu erklären – immer zu einer besseren Übersetzung führen würde, erwies sich als falsch. Der Effekt dieser „Erklärung-zuerst“-Strategie hing vollständig davon ab, welches spezifische Modell verwendet wurde. Bei einem der Large Language Models führte der zusätzliche Schritt, das Gedicht zu erklären, dazu, dass die Übersetzung schlechter wurde. Die resultierenden Gedichte wurden zu explizit, verloren ihre Mystik und poetische Kompression, als hätte die Maschine den Text überanalysiert und ihm die Seele entzogen. Bei dem anderen Modell hingegen war dieselbe Strategie ein Erfolg; der Schritt der Erklärung half dem Modell, seine Gedanken zu ordnen, was zu Übersetzungen führte, die kohärenter und stilistisch stärker waren. Dies deutet darauf an, dass es keine einzelne „beste“ Art gibt, diese Maschinen zu prompten. Was für ein System funktioniert, kann ein anderes behindern, je nachdem, wie dieses spezifische System Informationen verarbeitet.

Vielleicht war die überraschendste Erkenntnis, was geschah, als die Forscher die beiden Large Language Models verglichen, nachdem beide die detaillierte „Erklärung-zuerst“-Anweisung erhalten hatten. Unter diesen spezifischen Bedingungen verschwand der Leistungsunterschied zwischen den beiden Modellen. Obwohl sie mit unterschiedlichen Stärken und Schwächen gestartet sein mochten, führte die gemeinsame Anweisung sie zu einem ähnlichen Qualitätsniveau. Sie produzierten Übersetzungen, die in Bezug auf Genauigkeit, Fluss und Stil statistisch nicht voneinander zu unterscheiden waren. Dies legt nahe, dass die Art und Weise, wie wir eine Maschine zu arbeiten anweisen, genauso wichtig sein kann wie die Maschine selbst. Im Bereich der Poesieübersetzung erzeugt die Interaktion zwischen dem internen Design des Modells und dem Prompt des Menschen das Endergebnis. Die Studie kommt zu dem Schluss, dass wir nicht einfach die leistungsfähigste künstliche Intelligenz auswählen und erwarten können, dass sie Literatur perfekt handhabt. Stattdessen ist die Übersetzung von Poesie mit Maschinen eine delikate Verhandlung zwischen dem Werkzeug und den Anweisungen, bei der das Ziel darin besteht, die spezifische Kombination zu finden, die es der Maschine ermöglicht, einen Schritt zurückzutreten und das Gedicht atmen zu lassen.