Stellen Sie sich vor, Sie versuchen herauszufinden, was ein riesiger, unsichtbarer Roboter über die Welt denkt. Dies ist kein Roboter, der Autos baut oder Wäsche faltet; es ist ein „Large Language Model“ (LLM), ein superintelligentes Computerprogramm, das mit fast allem trainiert wurde, was Menschen jemals geschrieben haben. Diese Modelle werden so gut darin zu kommunizieren, dass Unternehmen beginnen, sie als unabhängige Agenten einzusetzen, die eigenständig Entscheidungen treffen und mit Menschen interagieren. Aber hier ist der Haken: Wir wissen nicht wirklich, was sie glauben. Haben sie versteckte Vorurteile? Bevorzugen sie bestimmte Länder oder Menschen gegenüber anderen? Um das herauszufinden, stellen Wissenschaftler dem Roboter normalerweise tausende von zufälligen Fragen und schauen sich die Antworten an, so als würde man einem Fremden eine Million verschiedene Fragen stellen, um seinen Charakter zu erraten. Das Problem ist: Wenn man zu viele zufällige Fragen stellt, kann man nicht unterscheiden, ob die Antwort des Roboters auf einer tief verwurzelten Überzeugung beruht oder nur darauf, dass die Frage auf eine seltsame Weise formuliert war. Es ist, als würde man versuchen, die Liebe eines Menschen zu Pizza zu verstehen, indem man ihn nach Pizza fragt, aber gleichzeitig auch nach seiner Lieblingsfarbe, seiner Schuhgröße und dem Wetter mischt. Man erhält zwar viele Daten, kann aber die Liebe zur Pizza nicht von der Schuhgröße trennen.

Hier setzt ein neues Paper an, um das Chaos zu bereinigen. Die Forscher Davood Wadi, Mohsen Ghodrat und Matthew Philp beschlossen, aufhören, zufällige Fragen zu stellen, und stattdessen ein kontrolliertes wissenschaftliches Experiment durchzuführen. Anstatt zu raten, behandelten sie den Roboter wie ein Testobjekt in einem Psychologiekurs. Sie verwendeten eine spezielle Art der Mathematik, die einen Blick auf die „Gedanken“ des Roboters wirft, noch bevor er ein einziges Wort ausspricht. Während normale Tests darauf warten, dass der Roboter eine Antwort tippt (was verrauscht und zufällig sein kann), betrachtete dieses Team direkt die internen Wahrscheinlichkeitswerte des Roboters – die exakten mathematischen Chancen, mit denen er jedes einzelne mögliche Wort wählen würde. Durch dies konnten sie die „Einstellungen“ des Roboters mit perfekter Präzision messen, ohne das Rauschen des zufälligen Ratens. Sie testeten diese Methode zu einem spezifischen Thema: dem „Ethnozentrismus der Konsumenten“, was im Grunde bedeutet, wie sehr eine Person (oder ein Roboter) ihr eigenes Land liebt und ausländische Länder ablehnt. Sie wollten sehen, ob Roboter, die in verschiedenen Ländern gebaut wurden, tatsächlich unterschiedliche nationale Vorurteile hatten, und ob diese Vorurteil tatsächliche waren oder nur eine Illusion durch schlechte Testmethoden.

Der große Roboter-Persönlichkeitstest

Den alten Weg, KI zu testen, kann man sich wie ein chaotisches Spiel von „Näkel den Esel“ vorstellen. Man dreht den Roboter im Kreis, gibt ihm eine riesige Tasche voller zufälliger Fragen und schaut, was er sagt. Wenn der Roboter etwas Voreingenommenes sagt, weiß man, dass er voreingenommen ist, aber man hat keine Ahnung, warum. Liegt es daran, dass der Roboter Frauen hasst? Liegt es daran, dass die Frage über Führung ging? Oder ist es nur ein Zufall? Die alte Methode vermischt all diese Ursachen, was es unmöglich macht, zwischen dem Kerncharakter eines Roboters und einer vorübergehenden Reaktion auf einen verwirrenden Prompt zu unterscheiden.

Die Autoren dieses Papers sagen: „Hören Sie auf, den Esel zu drehen!“ Stattdessen errichteten sie ein perfekt organisiertes Gitter, wie ein riesiges Sudoku-Rätsel, bei dem jedes Quadrat ein spezifischer Test ist. Sie behandelten das Experiment wie ein Rezept: Sie nahmen jede mögliche Kombination aus „Welcher Roboter?“ und „Welches Land wird gefragt?“ und testeten sie alle. Sie verwendeten fünf verschiedene Roboter (aus den USA, China, Kanada und Frankreich) und fragten sie nach vier verschiedenen Ländern. Dieses „vollständig gekreuzte“ Design bedeutete, dass sie mathematisch isolieren konnten, was genau die Ursache für das Vorurteil war. War es der Roboter selbst? War es das besprochene Land? Oder war es eine seltsame Mischung aus beidem?

In den Kopf des Roboters schauen (ohne das Rauschen)

Das ist der coolste Teil ihres Tricks. Normalerweise, wenn wir eine KI eine Frage stellen, wählt sie ein Wort, dann ein weiteres, dann noch eines, wie beim Würfelspiel, um zu entscheiden, was sie als Nächstes sagt. Dieses „Würfelspiel“ (genannt Sampling) fügt viel Rauschen hinzu. Wenn man dieselbe Frage zehnmal stellt, bekommt man vielleicht zehn leicht unterschiedliche Antworten, und es ist schwer zu wissen, welche die „echte“ Antwort ist.

Dieses Paper überspringt das Würfelspiel komplett. Anstatt darauf zu warten, dass der Roboter spricht, betrachteten die Forscher seine interne „Wahrscheinlichkeitskarte“ (eine sogenannte Probability Mass Function oder PMf). Stellen Sie sich vor, der Roboter hat ein geheimes Dashboard, das die exakte Prozentchance zeigt, mit der er eine „1“, „2“, „3“ usw. auf einer Bewertungsskala wählt. Die Forscher warteten nicht darauf, dass der Robbot sich für eines entscheidet; sie betrachteten das gesamte Dashboard auf einmal. Das ist so, als wüsste man genau, wie ein Würfel gewichtet ist, bevor man ihn überhaupt wirft. Durch die Analyse dieser exakten Karte eliminierten sie das gesamte zufällige Rauschen. Sie konnten die wahre „Meinung“ des Roboters als eine glatte, perfekte Kurve statt als eine zackige, unordentliche Linie sehen.

Die Erkenntnisse: Roboter haben nationale Identitäten (gewissermaßen)

Als sie diese superpräzise Methode auf das Thema „Liebe zum eigenen Land“ anwandten, fanden sie einige faszinierende Dinge, die die alten, chaotischen Methoden übersehen hätten.

Erstens entdeckten sie, dass einige Roboter unglaublich konsistent sind, während andere eher chaotisch sind. Zum Beispiel hatte der Roboter namens „Ministral“ (aus Frankreich) Schwierigkeiten, sich an die Regeln zu halten, und gab oft Antworten, die völlig wahllos waren. Aber die Roboter aus den USA (Llama und Gemma) und China (Qwen) waren sehr fokussiert und konsistent.

Zweitens fanden sie heraus, dass Roboter tatsächlich „nationale Vorurteile“ haben können, aber es ist kompliziert. Die in Amerika gebauten Roboter (Llama und Gemma) zeigten eine klare Präferenz für nordamerikanische Länder (USA und Kanada) und eine Abneigung gegen China. Das ist das, was man als „Ingroup-Favoritismus“ bezeichnen könnte. Es war jedoch keine einfache Geschichte von „Ich liebe mein Land“. Der kanadische Roboter (Aya) und der chinesische Roboter (Qwen) zeigten nicht die gleiche Art von starkem „Liebe mein eigenes Land“-Bias. Tatsächlich zeigte der chinesische Roboter in diesem Test fast gar kein spezifisches Vorurteil gegenüber seinem eigenen Land, wobei sein Interaktionseffekt nahe bei Null lag.

Die wichtigste Entdeckung war jedoch, wie die alten Methoden uns belogen. Wenn man einfach einen großen Durchschnitt aller Antworten bilden würde (der alte Weg), würde man denken, dass jeder Roboter Frankreich und China ablehnt. Aber als die Forscher ihre neue „exakte Mathematik“-Methode anwandten, sahen sie, dass dies falsch war. Der französische Roboter (Ministral) liebte Frankreich tatsächlich! Der kanadische Roboter (Aya) liebte China tatsächlich! Die alte Methode hätte diese spezifischen, positiven Gefühle verborgen, weil sie sie mit den negativen Gefühlen der anderen Roboter vermischt hätte. Die neue Methode schälte die Schichten ab und zeigte, dass Vorurteile keine Einheitsgröße sind; es hängt ganz davon ab, welchen Roboter man testet und was genau man ihn fragt.

Warum das wichtig ist

Das Paper zeigte auch, dass die alte Testweise gefährlich unzuverlässig ist. Aufgrund des zufälligen „Würfelspiels“ bekommen die alten Methoden oft die Richtung des Bias falsch. Manchmal denken sie, ein Roboter sei positiv eingestellt, wenn er eigentlich negativ eingestellt ist, nur wegen des zufälligen Rauschens. Die Autoren berechneten, dass man mit den alten Methoden eine gute Chance hat, das Vorzeichen des Bias allein durch Zufall umzukehren (ihn also falsch herum zu interpretieren). Ihre neue Methode, die die exakte Mathematik im Inneren des Roboters betrachtet, macht diesen Fehler nie.

Kurz gesagt: Dieses Paper argumentet, dass wir, wenn wir verstehen wollen, was diese mächtigen KI-Agenten wirklich denken, aufhören müssen, sie wie Black Boxes zu behandeln, die zufälligen Text ausspucken. Wir müssen sie wie wissenschaftliche Instrumente behandeln und ihre interne Mathematik betrachten, um ihre wahren Werte zu erkennen. Indem wir dies tun, können wir endlich das echte Wesen des Roboters von dem Rauschen des Tests trennen und sicherstellen, dass wir, wenn wir diese Agenten in die reale Welt entlassen, genau wissen, welche Vorurteile sie mit sich führen.