Sense-Augmented Corpus for Sanskrit-English Machine Translation: Corpus Construction, Model Fine-Tuning, and Evaluation
Diese Arbeit befasst sich mit der Herausforderung der lexikalischen Ambiguität in der Sanskrit-Englisch-Maschinentranslation, indem sie unter Verwendung von LLMs und einem benutzerdefinierten Sense-Inventar ein sinnserweiterte paralleles Korpus erstellt und zeigt, dass die explizite Einbeziehung von Wortsinnsinformationen die Übersetzungsqualität über verschiedene Modellarchitekturen hinweg signifikant verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Sprache ist mehr als eine bloße Ansammlung von Wörtern; sie ist ein lebendiges System, in dem sich die Bedeutung verschiebt, je nachdem, welche Gesellschaft ein Wort leistet. In der Sprachwissenschaft kann ein einzelnes Wort viele verschiedene Hüte tragen, ein Konzept, das als Polysemie bekannt ist. Für einen menschlichen Leser fungiert der Kontext als Wegweiser, der sofort klärt, ob sich ein Wort auf ein physisches Objekt, eine abstrakte Idee oder eine Handlung bezieht. Für Computer hingegen ist diese Aufgabe notorisch schwierig. Maschinen haben oft Mühe, zwischen diesen verschiedenen Bedeutungen zu unterscheiden, was zu Übersetzungen führt, die zwar grammatikalisch korrekt, aber semantisch verwirrt sind. Dieses Problem ist besonders akut bei antiken Sprachen wie Sanskrit, wo ein einzelner Begriff jahrhundertealte, nuancierte Bedeutungen tragen kann und für die digitale Ressourcen knapp sind. Wenn eine Maschine die beabsichtigte Bedeutung eines Wortes nicht erfasst, kann die resultierende Übersetzung den eigentlichen Kern des Originaltextes verlieren und eine tiefgründige philosophische Aussage in eine unsinnige Zeichenfolge verwandeln.
Forscher des IIIT Hyderabad und der Central Sanskrit University haben diese Herausforderung angegangen, indem sie Maschinen beigebracht haben, der spezifischen Bedeutung von Wörtern mehr Aufmerksamkeit zu schenken, bevor sie versuchen, sie zu übersetzen. Ihre Arbeit konzentriert sich darauf, eine neue Art von Trainingsdaten für die Sanskrit-Englisch-Übersetzung zu erstellen. Anstatt einem Computer einfach Paare von Sanskrit-Sätzen und deren englischen Äquivalenten einzuspeisen, hat das Team diese Paare mit expliziten Labels angereichert, die die exakte Bedeutung jedes Wortes im Satz identifizieren. Sie nutzten ein leistungsfähiges KI-Werkzeug, um als digitaler Lexikograph zu fungieren, der jeden Sanskrit-Satz liest und die korrekte Definition für jedes Wort aus einem riesigen Wörterbuch auswählt, ganz so, wie es ein menschlicher Gelehrter tun würde. Dieser Prozess resultierte in einem „sinn-augmentierten“ Korpus, einem Datensatz, in dem der Computer nicht nur die Wörter sieht, sondern auch genau erfährt, was diese Wörter in diesem spezifischen Kontext bedeuten.
Das Team testete diesen Ansatz mit verschiedenen Übersetzungsmodellen, einschließlich spezialisierter Übersetzungsmaschinen und allgemeiner Large Language Models. Sie begannen damit zu untersuchen, wie diese Modelle ohne zusätzliches Training performten, ein Zustand, der als Zero-Shot-Inferenz bekannt ist. Wie erwartet hatten die Modelle Schwierigkeiten und produzierten oft Übersetzungen, die fragmentiert waren oder den Punkt des Originaltextes völlig verfehlten. Beispielsweise könnte ein Basismodell bei der Übersetzung eines Satzes über Krieger, die in Todesangst fliehen, ein Wort für „Bergfestung“ schlicht als „Wald“ übersetzen und dabei die entscheidende Bildsprache des Originals verfehlen. Als die Forscher diese Modelle dann unter Verwendung der standardmäßigen Parallelsätze feintunten, verbesserten sich die Übersetzungen erheblich und wurden kohärenter und flüssiger. Der dramatischste Sprung in der Qualität erfolgte jedoch, als die Modelle mit den neuen, sinn-augmentierten Daten trainiert wurden.
Die Ergebnisse zeigten, dass die Bereitstellung expliziter Sinninformationen die Qualität der Übersetzungen über alle getesteten Modelle hinweg konsistent verbesserte. Die Maschinen wurden wesentlich besser darin, das richtige Wort für die richtige Situation zu wählen. In einem spezifischen Fall übersetzte ein Modell, das mit den sinn-augmentierten Daten trainiert wurde, eine Phrase, die eine „große Armee“ beschrieb, korrekt als Armee, während dasselbe Modell, das nur mit Standarddaten trainiert wurde, es fälschlicherweise als „Tuch“ übersetzte – ein Fehler, der die Bedeutung der Szene komplett veränderte. Ein weiteres Beispiel betraf ein Wort, das sowohl „Partei“ als auch „Ursache“ bedeuten kann; das verbesserte Modell wählte korrekt „Partei“, um sich auf eine Gruppe von Menschen zu beziehen, während das Standardmodell „Ursache“ wählte, was nicht in den Kontext passte. Diese Verbesserungen waren keine bloßen kleinen Anpassungen; sie repräsentierten einen fundamentalen Wandel in der Art und Weise, wie die Modelle den Text verstanden, was es ihnen ermöglichte, Ambiguitäten aufzulösen, die sie zuvor zum Scheitern gebracht hatten.
Die Studie hob auch hervor, dass diese Methode auch gut bei allgemeinen KI-Modellen funktioniert, die ursprünglich nicht für die Übersetzung konzipiert wurden. Ein allgemeines Modell, das normalerweise mit spezifischen Sprachpaaren zu kämpfen hat, konnte ein Leistungsniveau erreichen, das mit dedizierten Übersetzungsmaschinen vergleichbar ist, sobald es mit den sinn-augmentierten Daten trainiert wurde. Dies deutet darauf hin, dass der Schlüssel zu besseren Übersetzungen nicht nur in mehr Daten liegt, sondern in Daten, die semantisch reichhaltig sind. Die Forscher fanden heraus, dass die Modelle lernten, kontextuell angemessenere Entscheidungen zu treffen, wodurch die Anzahl der Fälle reduziert wurde, in denen sie Phrasen wiederholten oder Unsinn generierten – ein häufiger Fehler in der maschinellen Übersetzung. Während der Prozess der Erstellung dieses angereicherten Datensatzes erhebliche Rechenleistung und Zeit erforderte, war der Ertrag eine klare Demonstration dafür, dass das Lehren von Maschinen zur expliziten Disambiguierung von Wörtern zu Übersetzungen führt, die nicht nur genauer, sondern auch treuer gegenüber dem Geist der Originalsprache sind.
Die Arbeit beansprucht nicht, jedes Problem der maschinellen Übersetzung gelöst zu haben, noch legt sie nahe, dass die aktuellen Methoden perfekt sind. Die Forscher merkten an, dass ihr Sinn-Inventar extrem detailliert war, was es den Modellen manchmal erschwerte, zwischen sehr ähnlichen Bedeutungen zu wählen. Sie räumten auch ein, dass der Prozess rechenintensiv ist und dass Fehler bei der anfänglichen Sinnzuweisung potenziell die endgültige Übersetzung beeinflussen könnten. Dennoch bieten die Ergebnisse einen vielversprechenden Weg nach vorn, insbesondere für ressourcenarme Sprachen, in denen Daten knapp sind. Indem sie zeigten, dass explizite Sinninformationen die Lücke zwischen menschlichem Verständnis und maschineller Verarbeitung schließen können, liefert die Studie einen Entwurf zur Verbesserung der Art und Weise, wie Computer mit den komplexen, vielschichtigen Bedeutungen der menschlichen Sprache interagieren. Das ultimative Ziel ist nicht nur die Übersetzung von Wörtern, sondern die Vermittlung der präzisen Absicht und Nuance des Sprechers – eine Aufgabe, die ein Maß an Verständnis erfordert, das nur durch sorgfältiges, sinnbewusstes Training erreicht werden kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.