Do Evaluation Metrics Detect Errors in Classical Chinese to English Translations?
Diese Arbeit untersucht die Zuverlässigkeit bestehender automatischer Evaluationsmetriken für Übersetzungen aus dem klassischen Chinesisch ins Englische und zeigt auf, dass alle Metriken Schwachstellen aufweisen, wobei MetricX24 am besten abschneidet, was die dringende Notwendigkeit robusterer und interpretierbarerer Metriken unterstreicht, die speziell auf historisch und kulturell distinkte Übersetzungssituationen zugeschnitten sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber die einzigen Hinweise, die Sie haben, sind in einer Sprache verfasst, die seit zweitausend Jahren nicht mehr gesprochen wurde. Dies ist die tägliche Realität für Gelehrte, die das klassische Chinesisch studieren, die antike Sprache der Kaiser, Philosophen und Dichter. Heute haben wir superintelligente Computergehirne, sogenannte Large Language Models (LLMs), die diese antiken Texte lesen und in modernes Englisch übersetzen können. Es ist wie das Besitzen einer magischen Zeitmaschine, die staubige Schriftrollen in lesbare Geschichten verwandelt. Aber hier ist der Haken: Woher wissen wir, dass die Maschine nicht Dinge erfindet? Wenn der Computer ein Wort für „Rabe“ als „Taube“ übersetzt oder einen König in einen Herzog verwandelt, könnte die ganze Geschichte ruiniert sein.
Um zu prüfen, ob der Computer gute Arbeit leistet, nutzen Wissenschaftler „Evaluationsmetriken“. Betrachten Sie diese Metriken als automatisierte Richter oder Rechtschreibprüfer, die der Übersetzung eine Punktzahl geben. Normalerweise sind diese Richter auf moderne Sprachen wie Französisch oder Spanisch trainiert. Sie achten auf Dinge wie übereinstimmende Wörter oder ähnliche Satzstrukturen. Aber das klassische Chinesisch ist ein Joker. Es ist unglaublich kurz, stützt sich stark auf den Kontext und lässt oft Subjekte oder Objekte weg, die moderne Sprachen erfordern. Eine Übersetzung, die für einen modernen englischen Sprecher perfekt klingen mag, könnte in Wirklichkeit eine völlige Lüge darüber sein, was der antike Text eigentlich aussagte. Die große Frage ist: Können unsere aktuellen automatisierten Richter diese klassisch-spezifischen Fehler erkennen, oder sind sie zu sehr damit beschäftigt, moderne Grammatikregeln zu beachten, um die historischen Fehler zu bemerken?
Dieses Paper stellt diese automatisierten Richter auf die Probe. Die Forscher erstellten eine spezielle „Prüfung“ für Übersetzungsmetriken mithilfe eines cleveren Tricks namens „Minimalpaare“. Stellen Sie sich vor, Sie haben eine perfekte Übersetzung eines antiken Satzes. Nun nehmen Sie diesen Satz und nehmen eine winzige, spezifische Änderung vor – wie das Ersetzen eines „Rabens“ durch eine „Taube“ oder das Entfernen des Namens der sprechenden Person. Dies erzeugt eine „fehlerhafte“ Version, die dem Original fast identisch ist, aber einen spezifischen Fehler enthält. Die Forscher fütterten dann sowohl die perfekte Version als sich die fehlerhafte Version in verschiedene Übersetzungsmetriken ein, um zu sehen, ob die Metriken der fehlerhaften Version eine niedrigere Punktzahl geben würden.
Die Ergebnisse waren ein eher gemischtes Bild und zeigten, dass selbst die klügsten automatisierten Richter „blinde Flecken“ haben. Die Studie ergab, dass einige Metriken zwar gut darin sind, offensichtliche Katastrophen zu entdecken (wie die Übersetzung des gesamten Textes in modernes Chinesisch statt in Englisch), sie aber oft daran scheitern, die subtilen, gefährlichen Fehler zu erfassen, die für Historiker am wichtigsten sind. Beispielsweise bemerkten viele Metriken nicht, wenn eine Übersetzung die Zeitform falsch wiedergab (aus „ist“ wurde „war“) oder wenn ein spezifischer Titel wie „Herzog“ durch „König“ ersetzt wurde. Dies sind die Arten von Fehlern, die dazu führen könnten, dass ein Gelehrter zu einem falschen Schluss über die Geschichte kommt.
Unter allen getesteten Richtern schnitt einer namens MetricX24 insgesamt am besten ab. Er war am empfindlichsten gegenüber Fehlern und bestrafte viele der fehlerhaften Übersetzungen korrekt. Dennoch war auch MetricX24 nicht perfekt; er übersah immer noch bestimmte Arten von Fehlern, insbesondere solche, die die moderne gegenüber der antiken Bedeutung von Wörtern betreffen. Auf der anderen Seite waren die Metriken im Allgemeinen sehr gut in einer Sache: Sie bestraften keine harmlosen Änderungen. Wenn die Übersetzung eine etwas andere Art der Formatierung eines Namens verwendete oder einen Satz an einer anderen, aber dennoch gültigen Stelle unterbrach, ließen die Metriken dies meist durchgehen. Das ist eine gute Nachricht, denn es bedeutet, dass die Richter nicht zu streng bei der Stilistik sind.
Letztendlich legt das Paper nahe, dass wir uns nicht allein auf die aktuellen Werkzeuge verlassen können, um antike Übersetzungen zu bewerten. Die Metriken sind wie eine Brille, die für moderne Straßen entworfen wurde; sie funktioniert dort gut, aber sie wird verschwommen, wenn man versucht, sich in den engen, gewundenen Gassen der antiken Geschichte zurechtzufinden. Die Autoren schlagen vor, dass wir für die Digital Humanities zuverlässige Übersetzungswerkzeuge benötigen, die neue, intelligentere Evaluationswerkzeuge sind, die speziell darauf trainiert sind, die einzigartigen Eigenheiten des klassischen Chinesisch zu verstehen, anstatt nur moderne Regeln auf antike Texte anzuwenden. Bis dahin werden menschliche Experten weiterhin die Arbeit unserer KI-Zeitmaschinen überprüfen müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.