Non Monotonic Cross Lingual Representational Distances for Culturally Specific Japanese Concepts in Two Transformer Models

In den digitalen Geistern moderner künstlicher Intelligenz existiert eine weite, unsichtbare Landschaft, in der Wörter und Ideen nicht als Definitionen, sondern als Punkte im Raum gespeichert sind. Forscher nennen diese Punkte „Repräsentationen“. Wenn ein Computer einen Satz liest, übersetzt er den Text in eine lange Liste von Zahlen, die die Bedeutung dieses Satzes im Verhältnis zu allem anderen beschreiben, was er weiß. Wenn zwei Ideen sehr ähnlich sind, liegen ihre Punkte in diesem Raum nah beieinander; wenn sie verschieden sind, liegen sie weit auseinander. Seit Jahren wissen Wissenschaftler, dass diese Maschinen Informationen zwischen Sprachen bewegen können, indem sie einen Gedanken von Englisch nach Japanisch oder Spanisch übersetzen, ohne dessen Kernform zu verlieren. Doch eine hartnäckige Frage bleibt: Behandelt die Maschine eine kulturell einzigartige Idee auf die gleiche Weise wie eine standardmäßige? Hinterlässt der spezifische Geschmack einer Kultur, mit ihren einzigartigen sozialen Regeln und Werten, eine deutliche Spur darin, wie die Maschine die Wörter „sieht“, oder glättet die Maschine diese Unterschiede einfach weg?

Diese Frage trieb eine kürzlich durchgeführte Studie an, die in zwei populären Modellen künstlicher Intelligenz untersuchte, wie sie zwanzig spezifische japanische Konzepte verarbeiten, die tief in deren Kultur verwurzelt sind. Dies sind nicht nur gewöhnliche Wörter; es handelt sich um Begriffe wie giri, das eine tiefe soziale Verpflichtung beschreibt, oder wa, das die Harmonie einer Gruppe bezeichnet. Die Forscher wollten wissen, ob die interne Landkarte der Maschine für diese Ideen anders aussah, wenn das Konzept in seiner Muttersprache Japanisch präsentiert wurde, im Vergleich dazu, wenn es auf Englisch oder Spanisch beschrieben wurde. Sie fragten nicht, ob die Maschine die Wörter korrekt übersetzen konnte, sondern vielmehr, wie sich der Abstand zwischen den Ideen veränderte, während die Information durch die verschiedenen Schichten des computergestützten Gehirns wanderte.

Um die Antwort zu finden, gestalteten die Forscher ein sorgfältiges Experiment unter Verwendung zweier verschiedener KI-Modelle, von denen eines etwas größer als das andere war. Sie nahmen zwanzig dieser kulturell spezifischen japanischen Konzepte und erstellten vier verschiedene Versionen eines Prompts für jedes einzelne. Die erste war der ursprüngliche japanische Satz. Die zweite war eine direkte, wortwörtliche englische Übersetzung dieses japanischen Satzes. Die dritte war eine spanische Übersetzung des standardmäßigen englischen Baselines. Die vierte war eine verstümmelte Version des japanischen Textes, bei der die Reihenfolge des internen Codes des Computers vertauscht wurde, um die Bedeutung aufzubrechen, während dieselben Buchstaben und Laute erhalten blieben. Indem sie diese vier Versionen in die Modelle einspeisten, konnte das Team messen, wie weit die resultierenden internen Punkte von einem standardmäßigen englischen Baseline entfernt waren. Sie maßen diesen Abstand bei jedem einzelnen Schritt, oder jeder „Schicht“, der Verarbeitung des Modells, vom allerersten Moment, in dem der Text gelesen wurde, bis zum letzten Moment vor der Generierung einer Antwort.

Die Ergebnisse zeigten ein überraschend konsistentes Muster über alle Bereiche hinweg, unabhängig von der Sprache oder dem spezifischen Konzept. Während die Information durch die Schichten der Modelle wanderte, veränderte sich der Abstand zwischen den Ideen nicht einfach geradlinig kleiner oder größer. Stattdessen folgte er einer Kurve. Der Abstand begann hoch, sank sehr früh im Prozess auf einen Tiefpunkt ab und stieg dann wieder an, während die Information sich in Richtung des Endes bewegte. Dieses „Absinken und Ansteigen“ geschah bei den japanischen Prompts, den spanischen Prompts, den wörtlichen englischen Übersetzungen und sogar beim verstümmelten japanischen Text. Die Tatsache, dass der verstümmelte Text, der keine echte Bedeutung hatte, dasselbe Muster zeigte, legt nahe, dass dieses Verhalten eine grundlegende Eigenschaft der Art und Weise ist, wie diese Modelle eine Sequenz von Token verarbeiten, und kein spezielles Merkmal kultureller Tiefe ist.

Als die Forscher jedoch einen spezifischen mittleren Abschnitt der Modellschichten untersuchten, trat ein klarer Unterschied zutage. In diesem Bereich lagen die japanischen Prompts, die die kulturell spezifischen Konzepte enthielten, konsistent weiter entfernt vom englischen Baseline als die anderen Versionen. Unabhängig davon, ob man Japanisch mit wörtlichem Englisch oder Japanisch mit Spanisch verglich, nahmen die japanischen Ideen eine entferntere Position ein. Die Differenz war messbar und signifikant; die japanischen Konzepte befanden sich spürbar weiter außen als ihre Gegenstücke. Dies galt für alle zwanzig Konzepte in beiden getesteten Modellen. Die Daten zeigten, dass die Maschine diese kulturell reichen Ideen nicht als identisch mit ihren englischen Beschreibungen behandelte; sie hielt sie in einer distinkten Distanz, was darauf hindeutet, dass die kulturelle Rahmung oder die spezifische linguistische Struktur des japanischen Inputs eine bleibende Spur hinterließ.

Trotz dieser klaren Distanz hält die Studie sich zurück damit, zu erklären, dass die Maschine die Kultur nicht versteht oder die Bedeutung nicht übersetzen kann. Die Forscher waren sorgfältig genug anzumerken, dass die japanischen Prompts sich nicht nur in der Kultur, sondern auch in der Sprache, der Satzstruktur und den spezifischen Motivationen, die in den Texten beschrieben wurden, unterschieden. Da sich so viele Faktoren gleichzeitig änderten, ist es unmöglich, mit Sicherheit zu sagen, dass der zusätzliche Abstand ausschließlich durch die kulturelle Einzigartigkeit der Wörter verursacht wurde. Es könnte ebenso gut das Ergebnis der Sprache selbst oder der Art und Weise sein, wie die Sätze konstruiert wurden. Zudem bedeutet die Tatsache, dass auch der verstümmelte Text das frühe Absinken und spätere Ansteigen zeigte, dass das nicht-monotone Muster kein einzigartiger Fingerabdruck kultureller Bedeutung ist.

Die Studie kommt zu dem Schluss, dass diese Modelle zwar schichtabhängige Unterschiede in der Art und Weise zeigen, wie sie kulturell spezifische japanische Konzepte repräsentieren, die Gründe für diese Unterschiede jedoch eine Mischung aus Sprache, Struktur und Kultur bleiben, die mit diesem Experiment allein nicht vollständig getrennt werden können. Die Maschine flacht nicht einfach alle kulturellen Nuancen zu einem einzigen Punkt ab; sie bewahrt eine messbare Distanz für diese spezifischen Ideen. Dennoch beweist diese Distanz nicht, dass die Maschine die Bedeutung verloren hat oder mit der Kultur kämpft. Sie zeigt lediglich, dass die interne Geometrie dieser Modelle komplex und sensibel gegenüber der spezifischen Art und Weise ist, wie ein Konzept gerahmt wird. Die Ergebnisse liefern eine präzise Karte, wo diese Ideen im Geist der Maschine liegen, lassen aber die tiefere Frage, warum sie dort liegen und was diese Distanz für das menschliche Verständnis wirklich bedeutet, als offene Einladung für zukünftige Forschung.