Der große kulturelle Glitch: Warum die KI Zeus kennt, aber Ukko vergisst

Stellen Sie sich vor, Sie betreten eine riesige, hochtechnologische Bibliothek, die fast jedes Buch enthält, das jemals im Internet geschrieben wurde. Diese Bibliothek wird von einem superintelligenten Roboter-Bibliothekar verwaltet, der jede einzelne Seite gelesen hat. Sie fragen den Bibliothekar: „Wer ist der König der Götter in griechischen Geschichten?“ Der Bibliothekar ruft sofort: „Zeus!“ Sie fragen: „Wer ist der König der Götter in römischen Geschichten?“ „Jupiter!“ Sie fragen: „Wer ist der König der Götter in nordischen Geschichten?“ „Thor!“ Der Roboter ist perfekt. Aber dann fragen Sie: „Wer ist der oberste Himmelsgott in der finnischen Mythologie?“ Der Roboter zögert, stottert und gibt schließlich eine falsche Antwort, oder sagt vielleicht sogar: „Ich weiß es nicht.“

Dies ist nicht nur ein zufälliger Fehler; es ist ein Muster. Der Roboter scheint die „populären“ Geschichten (griechisch, römisch, nordisch) zu kennen, hat aber Schwierigkeiten mit den „weniger bekannten“ (finnisch, slawisch, ägyptisch, chinesisch). Das liegt daran, dass die Bibliothek, aus der der Roboter gelernt hat, hauptsächlich aus englischsprachigen Büchern und westlichen Geschichten bestand. Aber hier liegt das große Rätsel: Vergisst der Roboter diese weniger bekannten Götter tatsächlich, oder kennt er sie, aber weigert sich lediglich, den richtigen Namen zu nennen?

Um dies zu lösen, nutzen Wissenschaftler spezielle Werkzeuge, um in das „Gehirn“ des Roboters zu schauen (das eigentlich ein komplexes Computerprogramm namens Large Language Model ist). Sie wollen sehen, ob die Information im Gedächtnis (dem „Encoder“) verloren gegangen ist oder ob das Gedächtnis intakt ist, aber der Teil, der die Antwort ausspricht (der „Decoder“), defekt ist. Stellen Sie sich das wie einen Schüler vor, der eine Prüfung schreibt. Wenn der Schüler eine falsche Antwort schreibt, hat er den Fakt dann nicht gewusst, oder wusste er ihn perfekt, wurde aber nervös und schrieb etwas Falsches? Dieses Paper ist eine Detektivgeschichte, die in das Gehirn des Roboters eintaucht, um genau herauszufinden, wo die kulturelle Voreingenommenheit stattfindet.

Die Untersuchung: Im Gehirn des Roboters

Die Forscher Iaroslav und Ekaterina Chelombitko zusammen mit Mika Hämäläinen beschlossen, 18 verschiedene Open-Source-KI-Modelle zu testen. Sie stellten nicht einfach wahllose Fragen; sie nutzten ein sehr kluges, strukturiertes Spiel, das auf alten Folklore-Büchern basiert. Sie wählten 27 spezifische Rollen aus einem berühmten Katalog von Mythen (wie „Der oberste Himmelsgott“, „Der Sonnengott“ oder „Der Trickster“) und baten die Roboter, die Figur für diese Rolle in 10 verschiedenen Kulturen zu benennen: Griechisch, Römisch, Nordisch, Finnisch, Ukrainisch, Indisch, Ägyptisch, Chinesisch, Japanisch und Mesopotamisch.

Um zu sehen, was im Inneren des Roboters geschah, verwendeten sie vier verschiedene „Röntgen“-Werkzeuge:

1. Linear Probing: Ein Test, um zu sehen, ob das interne Gedächtnis des Roboters das korrekte kulturelle Label enthält.
2. Logit Lens: Eine Methode, um Schicht für Schicht in die Gedanken des Roboters zu blicken, um zu sehen, wann er sich für eine Antwort entscheidet.
3. Activation Patching: Ein „Was-wäre-wenn“-Experiment, bei dem sie die internen Gedanken des Roboters von einer Kultur auf eine andere austauschen, um zu sehen, ob sich die Antwort ändert.
4. Output Extraction: Einfach dem Roboter die Frage stellen und sehen, was er tatsächlich sagt.

Die große Entdeckung: Das Gehirn ist gesund, der Mund ist kaputt

Die Ergebnisse waren überraschend und sehr klar. Als die Forscher in das Gedächtnis des Roboters (den Residual Stream) blickten, stellten sie fest, dass der Roboter die Kultur tatsächlich perfekt kannte.

Stellen Sie sich vor, das Gehirn des Roboters ist ein riesiger Aktenschrank. Wenn Sie nach einem finnischen Gott fragen, zeigen die internen Dateien des Roboters deutlich einen Ordner mit der Aufschrift „Finnische Mythologie“ und dem korrekten Namen darin an. Das Werkzeug „Linear Probe“ konnte diesen Ordner mit hoher Genauigkeit lesen (oft zwischen 60 % und 88 % korrekt). Der Roboter kannte den Unterschied zwischen einem griechischen Gott und einem finnischen Gott.

Jedoch, als der Roboter gebeten wurde zu sprechen, unterliefen ihm Fehler.

Dies ist die Hauptfindung: Der Fehler geschieht beim „Readout“, nicht bei der „Repräsentation“. Der Roboter kennt die Antwort, aber wenn er versucht, sie auszusprechen, kollabiert er den spezifischen, einzigartigen Namen (wie „Ukko“ für den finnischen Himmelsgott) in den populärsten, Standardnamen (wie „Zeus“ oder „Thor“).

Die Forscher nennen dies „Decoding Suppressed“. In ihrer Untersuchung von 18 Modellen war dies das größte Problem. In der Mehrheit der Fälle (zwischen 51 % und 76 %) war das interne Gedächtnis des Roboters korrekt, aber die endgültige Antwort, die er gab, war falsch. Es ist wie ein Schüler, der weiß, dass die Antwort „Finnisch“ lautet, aber beim Aufschreiben automatisch „Griechisch“ schreibt, weil das das, was er jeden Tag auf dem Schreibtisch des Lehrers sieht.

Was sie ausschlossen

Das Paper testete auch einige andere Ideen, um sicherzuge Stelle zu gehen, dass sie richtig lagen:

• Es liegt nicht daran, dass der Roboter nur „Übersetzung pur“ ist: Einige dachten, Roboter würden im Kopf alles ins Englische übersetzen und dann wieder zurückübersetzen. Wäre das der Fall, würde der Roboter den kulturellen Unterschied in seinem Gehirn gar nicht erst erkennen. Aber die Studie zeigte, dass das Gehirn den Unterschied klar erkennt.
• Es liegt nicht nur an der Modellgröße: Die Forscher prüften, ob größere Modelle (mit mehr „Gehirnleistung“) das Problem lösten. Sie fanden heraus, dass größere Modelle zwar etwas besser wurden, aber die Lücke zwischen „die Antwort wissen“ und „die Antwort sagen“ nie geschlossen wurde. Selbst die größten Modelle hatten immer noch diese Voreingenommenheit.
• Es ist nicht nur ein Sprachproblem: Sie testeten, ob der Roboter scheiterte, weil er die Muttersprache (wie Finnisch oder Ukrainisch) nicht lesen konnte. Sie fanden heraus, dass der Roboter selbst dann die bevorzugte westliche Standardantwort wählte, wenn er die Sprache lesen konnte. Die Voreingenommenheit liegt im Entscheidungsteil des Roboters, nicht nur in seiner Fähigkeit zu lesen.

Der sprachliche Dreh

Einer der interessantesten Teile der Studie war es, dieselbe Frage auf zwei Arten zu stellen: auf Englisch und in der Muttersprache der jeweiligen Kultur (z. B. die Frage nach finnischen Göttern auf Englisch vs. auf Finnisch).

Sie fanden heraus, dass das Gehirn des Roboters wie ein Schalter funktioniert. Wenn man auf Englisch fragt, nutzt er einen Satz von Pfaden, um die Antwort zu entscheiden. Wenn man auf Finnisch fragt, nutzt er einen etwas anderen Satz. Manchmal half es dem Roboter, die richtige Antwort zu geben, wenn man in der Muttersprache fragte, aber oft kehrte der Roboter dennoch zu den berühmten westlichen Namen zurück.

Die Forscher entdeckten, dass man etwa 36 % mehr Fehler beheben kann, ohne dem Roboter etwas Neues beizubringen, wenn man dem Roboter dieselbe Frage in beiden Sprachen stellt und dann die beste Antwort aus beiden nimmt. Es ist, als hätte man zwei Freunde, die die Antwort prüfen; wenn einer „Zeus“ sagt und der andere „Ukko“, kann man sich für die richtige entscheiden.

Das Fazit: Den Mund reparieren, nicht das Gehirn

Das Paper kommt zu dem Schluss, dass das Problem nicht darin besteht, dass die KI nichts über die finnische, slawische oder ägyptische Mythologie weiß. Die KI weiß es. Das Problem ist, dass der Teil der KI, der den Text generiert, durch kulturelle Defaults „gegatet“ (beschränkt) wird. Er hat die Angewohnheit, die einzigartigen, spezifischen kulturellen Details in die häufigsten, dominantesten Details zu glätten, die er in seinen Trainingsdaten sieht.

Dies bedeutet, dass wir zur Behebung der kulturellen Voreingenommenheit in der KI nicht nur versuchen sollten, dem Roboter mehr Bücher über die finnische Mythologie zu füttern (was dem Gedächtnis helfen würde, aber dieses Gedächtnis ist bereits vorhanden). Stattdessen müssen wir den Teil der KI reparieren, der spricht. Wir müssen den Roboter lehren, dass es in Ordnung ist, „Ukko“ statt „Zeus“ zu sagen, selbst wenn es sich so anfühlt, als wäre „Zeus“ die sicherere, verbreitetere Antwort.

Die Studie legt nahe, dass die Lösung in „Readout“-Interventionen liegt – also darin, wie der Roboter seine endgültigen Wörter auswählt – und nicht darin, lediglich zu versuchen, sein gesamtes Gehirn neu zu trainieren. Es ist eine Erinnerung daran, dass eine Maschine, die über alle Informationen verfügt, nicht zwangsläufig die Wahrheit sagt; manchmal sagt sie einfach das, wovon sie glaubt, dass Sie es hören wollen.