Evaluative Cultural Hallucination in Large Language Model Assessment of Tenor in Scenic Area Public Sign Translations
Diese Studie zeigt auf, dass große Sprachmodelle häufig eine „evaluative kulturelle Halluzination“ aufweisen, indem sie die pragmatische und soziokulturelle Angemessenheit (Tenor) der Übersetzungen von Hinweisschildern in Sehenswürdigkeiten signifikant überschätzen, wobei sie oft oberflächliche Formalität oder erkennbare Referenzen fälschlicherweise für echte kulturelle Eignung halten.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Wenn man durch einen historischen Tempel oder eine heilige Begräbnisstätte in China wandert, sind die Schilder, die einen leiten, mehr als nur Wegweiser. Sie sind eine Brücke zwischen den Kulturen und übersetzen nicht nur Worte, sondern auch den tiefen Respekt, die Geschichte und die Feierlichkeit, die erforderlich sind, wenn man über einen Ort spricht, an dem Ahnen ruhen oder Gottheiten geehrt werden. Dies ist das Reich der Übersetzung öffentlicher Beschilderung – eine Aufgabe, die ein empfindliches Gleichgewicht zwischen Klarheit und kultureller Sensibilität erfordert. Jahrzehntelang haben Experten diese Übersetzungen anhand des „Tenors“ beurteilt, eines Konzepts, das die Beziehung zwischen dem Schreiber und dem Leser beschreibt. Es stellt die Frage, ob der Ton angemessen ist: Ist er zu informell für eine heilige Stätte? Ist er zu steif für einen Naturpfad? Zeigt er das angemessene Maß an Respekt gegenüber einer historischen Persönlichkeit? Da Städte und Touristenorte wachsen, hat der Bedarf, Tausende dieser Schilder zu überprüfen, die Fähigkeit menschlicher Experten überholt, sie alle zu prüfen, was viele zu der Frage führt, ob künstliche Intelligenz einspringen kann, um zu helfen.
Große Sprachmodelle, die leistungsstarken Computersysteme hinter modernen Chatbots, haben gezeigt, dass sie mit beeindruckender Flüssigkeit lesen und schreiben können. Sie können Grammatikfehler erkennen und glattere Formulierungen vorschlagen. Doch eine neue Studie von Forschern der University of Malaya stellt eine schwierigere Frage: Können diese Maschinen das unsichtbare Gewicht der Kultur verstehen? Insbesondere wollten sie wissen, ob eine künstliche Intelligenz fälschlicherweise eine Übersetzung loben würde, die zwar höflich und formal klingt, aber tatsächlich die tiefe kulturelle Bedeutung vermissen lässt, die für eine heilige oder historische Stätte erforderlich ist. Die Forscher sammelten 116 zweisprachige Schilder von acht großen Touristenattraktionen in Xuzhou, China, die von Naturführern bis hin zu Beschreibungen antiker Gräber und buddhistischer Tempel reichten. Sie baten sowohl menschliche Experten als auch ein hochentwickeltes KI-Modell, die englischen Übersetzungen danach zu bewerten, wie gut sie den richtigen Ton und Respekt einfingen.
Die Ergebnisse zeigten eine signifikante Lücke zwischen menschlicher Intuition und maschineller Urteilskraft. Während die menschlichen Experten vielen der Übersetzungen niedrige Punktzahlen gaben, weil sie den notwendigen kulturellen Respekt nicht einfingen, vergab das KI-Modell konsequent hohe Bewertungen. In fast der Hälfte der untersuchten Fälle bewertete die KI eine Übersetzung als qualitativ hochwertig, selbst wenn Experten sagten, sie sei kulturell unzureichend. Das Problem war bei Schildern, die sich auf Religion und Rituale bezogen, am schwersten ausgeprägt. Für diese Schilder lag die KI in 65 Prozent der Fälle falsch bezüglich der Qualität der Übersetzung. Die Forscher fanden heraus, dass die KI nicht einfach zufällige Fehler machte; sie folgte einem spezifischen, vorhersehbaren Muster des Missverständnisses. Sie verwechselte das oberflächliche Erscheinungsbild eines Textes mit seinem tiefen kulturellen Wert.
Als die Forscher genauer untersuchten, warum die KI diese hohen Bewertungen vergab, stellten sie fest, dass sie sich auf vier spezifische Abkürzungen verließ. Erstens lobte das Modell eine Übersetzung oft einfach deshalb, weil sie formal oder institutionell klang, wie etwas, das man in einem Museum sehen könnte. Es nahm an, dass der Ton korrekt sei, wenn die Worte offiziell klangen, selbst wenn der spezifische kulturelle Respekt fehlte. Zweitens wurde die KI von erkennbaren Namen getäuscht. Wenn die Übersetzung den Namen einer historischen Figur oder eines religiösen Objekts beibehielt, nahm das Modell an, dass die Aufgabe erledigt sei, und ignorierte dabei, ob die umgebenden Worte diese Figur mit der gebührenden Ehrfurcht behandelten. Drittens verwechselte das Modell manchmal allgemeine Höflichkeit mit spezifischer kultureller Feierlichkeit. Es sah Wörter, die im breiten Sinne respektvoll klangen, und entschied, dass die Übersetzung perfekt sei, ohne zu bemerken, dass die spezifischen rituellen Nuancen verloren gingen. Schließlich war die KI zu tolerant gegenüber fehlenden Informationen. Sie vergab eine hohe Punktzahl an eine Übersetzung, die kurz und leicht lesbar war, selbst wenn sie wichtige Details über Rituale oder die Geschichte ausgelassen hatte, die für die ursprüngliche Bedeutung essenziell waren.
Die Studie legt nahe, dass dies nicht nur ein Fall ist, in dem die Maschine leicht danebenliegt, sondern eine Form dessen, was die Autoren als „evaluative kulturelle Halluzination“ bezeichnen. Dies bedeutet nicht, dass die Maschine Fakten erfindet; vielmehr halluziniert sie, dass eine Übersetzung kulturell angemessen ist, wenn sie es nicht ist. Sie sieht die Oberflächenmerkmale – formale Wörter, erkennbare Namen oder einen höflichen Ton – und überzeugt sich selbst davon, dass die tiefen kulturellen Anforderungen erfüllt wurden. Dies ist besonders gefährlich bei Schildern in religiösen oder rituellen Umgebungen, in denen es als respektlos oder gar beleidigend empfunden werden kann, den Ton falsch zu treffen. Die Forscher fanden heraus, dass die KI viel besser darin war, Schilder über die Natur oder allgemeine Informationen zu beurteilen, wo der Ton weniger komplex ist. Aber wenn der Text heilige Räume, Grabstätten oder antike Rituale betraf, wurde das Selbstvertrauen der Maschine zur Belastung.
Diese Forschung besagt nicht, dass künstliche Intelligenz der Übersetzung nicht helfen kann. Stattdessen warnt sie davor, dass wir der Bewertung der Maschine nicht einfach vertrauen können, insbesondere wenn die Kultur auf dem Spiel steht. Die KI ist exzellent darin zu prüfen, ob ein Satz grammatikalisch korrekt ist oder ob ein Name richtig geschrieben wurde, aber sie hat Schwierigkeiten, die unsichtbaren Regeln des Respekts und der Hierarchie zu verstehen, die bestimmen, wie wir über das Heilige sprechen. Die Studie kommt zu dem Schluss, dass für Schilder in Touristengebieten, insbesondere jene, die sich mit Geschichte und Religion befassen, menschliche Experten im Prozess bleiben müssen. Die Maschine kann einen ersten Blick bieten, aber ihre Argumentation muss von einem Menschen überprüft werden, der versteht, dass ein formaler Ton nicht dasselbe ist wie ein respektvoller Ton und dass ein erkennbarer Name keine kulturell akkurate Übersetzung garantiert. Bis Maschinen die kulturelle Schwere wirklich verstehen können, ist der zuverlässigste Weg, sicherzustellen, dass diese Schilder die Orte, die sie beschreiben, ehren, die menschliche Hand am Steuer zu behalten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.