People Are Not Just Their Countries. Disentangling Social Determinants of LLM Value Alignment Across Europe
Unter Verwendung von Daten aus dem European Social Survey zeigt diese Studie, dass sozio-demografische Faktoren die Werteanpassung von Large Language Models in ganz Europa zwar signifikant beeinflussen, das Wohnland einer befragten Person jedoch ein eigenständiger und gleichermaßen mächtiger Prädiktor bleibt, wobei beide Dimensionen komplementäre Einblicke in die Disparitäten der Anpassung bieten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Sie einen superintelligenten, allwissenden Roboter-Freund haben, der jede Frage beantworten, einen Witz erzählen oder Ihnen helfen kann, eine Geschichte zu schreiben. Genau das sind Large Language Models (LLMs) heute. Sie sind die Motoren hinter den Chatbots und KI-Tools, die wir jeden Tag nutzen. Aber hier ist der Haken: Diese Roboter werden nicht mit einer eigenen Meinung geboren. Sie lernen alles, indem sie eine riesige Bibliothek aus Büchern, Websites und Gesprächen lesen, die von Menschen geschrieben wurden. Aus diesem Grund fangen sie an, wie die Menschen zu klingen, die diese Worte geschrieben haben.
Denken Sie nun an „Werte“ als die unsichtbaren Regeln, nach denen wir alle leben – wie zum Beispiel das, was wir als fair empfinden, wie wir unsere Nachbarn behanden oder was wir im Leben für wichtig halten. Wenn ein Roboter hauptsächlich von Menschen aus einer ganz bestimmten Art von Nachbarschaft lernt, könnte er denken, dass die Regeln dieser Nachbarschaft die einzigen Regeln sind. Das ist eine große Sache, denn wir beginnen, diese Roboter um Rat bei allem zu fragen, von Schulprojekten bis hin zu ernsthaften Lebensentscheidungen. Die Wissenschaftler versuchen herauszufinden: Versteht dieser Roboter-Freund wirklich Sie, oder versteht er nur eine bestimmte Version von „Ihnen“, basierend darauf, wo Sie leben oder wie viel Geld Ihre Familie verdient?
Die große Identitätskrise der Roboter
In dieser Studie beschlossen Forscher, 10 der populärsten KI-Chatbots auf die Probe zu stellen. Sie ließen die Roboter nicht einfach nur raten; sie gaben ihnen eine riesige, reale Umfrage namens European Social Survey. Diese Umfrage war voll von Fragen darüber, was Menschen in 29 europäischen Ländern tatsächlich über das Leben, Geld, Religion und Politik denken und fühlen. Die Forscher verglichen dann die Antworten der Roboter mit den Antworten von über 50.000 echten Menschen.
Stellen Sie sich das wie ein riesiges Spiel „Wer bin ich?“ vor, das in einem ganzen Kontinent gespielt wird. Die Forscher wollten sehen, ob die Antworten der Roboter mit den Antworten der Menschen übereinstimmten, und wenn ja, mit welchen Menschen sie am besten übereinstimmten. Klingten die Roboter eher wie eine wohlhabende, akademisch gebildete Person, die in einer Großstadt in Schweden lebt? Oder klangen sie eher wie ein pensionierter Bauer in einem kleinen Dorf in Bulgarien?
Die Roboter haben ein Lieblingspublikum
Die Ergebnisse waren ziemlich eindeutig: Die Roboter haben definitiv ein Lieblingspublikum. Die Studie ergab, dass die KI-Modelle viel besser mit (das heißt, sie stimmten eher zu mit) Menschen übereinstimmten, die reicher, gebildeter und in westeuropäischen Ländern lebten.
Stellen Sie sich eine Party vor, auf der der DJ (die KI) Musik spielt. Der DJ scheint genau zu wissen, welche Musik die wohlhabenden, gebildeten Gäste in der VIP-Sektion hören wollen. Aber wenn der DJ versucht, Lieder für die Gäste im hinteren Teil des Raumes zu spielen – Menschen mit geringerem Einkommen, weniger formaler Bildung oder jene aus Osteu oder Südosteuropa – fühlt sich die Musik etwas falsch an. Die Roboter waren konsistent weniger genau darin, die Werte dieser Gruppen zu verstehen.
Die Studie untersuchte auch die Religion. Es stellte sich heraus, dass die Roboter viel besser darin waren, Menschen zu verstehen, die nicht religiös waren oder zu bestimmten christlichen Gruppen gehörten. Sie hatten jedoch erhebliche Schwierigkeiten mit Menschen, die sich als Muslime oder orthodoxe Christen identifizierten. Es ist, als ob im „kulturellen Wörterbuch“ des Roboters einige wichtige Seiten für diese spezifischen Gemeinschaften fehlten.
Es geht nicht nur darum, wo man lebt
Hier ist die Wendung, die die Forscher überraschte. Lange Zeit nahmen die Leute an, wenn man einfach das Land betrachtete, in dem jemand lebt, könne man erraten, was der Roboter über ihn denken würde. Man hätte vielleicht gedacht: „Oh, wenn ich aus Frankreich komme, wird der Roboter wie ein Franzose denken.“
Aber die Forscher gruben tiefer. Sie fragten: Passt der Roboter zum Land oder passt er zum Typ Mensch, der dort lebt? Um dies herauszufinden, nutzten sie einen cleveren statistischen Trick (genannt „Inverse Propensity Weighting“), um vorzutäuschen, dass jedes Land exakt die gleiche Mischung aus reichen und armen, gebildeten und weniger gebildeten Menschen hat. Wenn das Land das Einzige wäre, was zählte, sollten die Unterschiede zwischen den Ländern nach diesem Trick verschwunden sein.
Das taten sie aber nicht. Selbst als die Forscher die Länder auf dem Papier identisch machten, behandelten die Roboter Menschen aus verschiedenen Ländern weiterhin unterschiedlich. Das bedeutet, dass wo Sie leben, genauso wichtig ist wie wer Sie sind. Der Robot schaut nicht nur auf Ihr Einkommen oder Ihren Beruf; er schaut auch auf Ihren Reisepass. Das Land, in dem Sie leben, und Ihr persönlicher Hintergrund arbeiten zusammen wie ein Doppel-Schloss-System, um zu bestimmen, wie gut der Roboter Sie versteht.
Das „WEIRD“-Problem
Die Studie bestätigt ein Muster, das Wissenschaftler als „WEIRD“ bezeichnen, was für Westlich (Western), Gebildet (Educated), Industrialisiert (Industrialized), Reich (Rich) und Demokratisch (Democratic) steht. Die Roboter scheinen von und für Menschen gebaut zu sein, die dieser Beschreibung entsprechen. Selbst innerhalb Europas waren die Roboter am genauesten für Menschen, die dem „WEIRD“-Modell entsprachen.
Die Forscher testeten auch zwei verschiedene Arten von Fragen. Ein Satz handelte von allgemeinen, alltäglichen Meinungen (wie „Vertrauen Sie Ihrer Regierung?“). Der andere Satz handelte von tiefen, abstrakten menschlichen Werten (wie „Ist es wichtig, bescheiden zu sein?“). Sie fanden heraus, dass bei den allgemeinen Fragen das Land, in dem man lebte, einen großen Teil des Unterschieds in der Antwort des Roboters erklärte. Aber bei den tiefen, abstrakten Fragen spielte das Land eine geringere Rolle und der persönliche Hintergrund (wie die Bildung) spielte eine größere Rolle. Dies deutet darauf hin, dass die Art und Weise, wie wir die Fragen stellen, beeinflusst, was der Roboter lernt.
Was das für Sie bedeutet
Die wichtigste Erkenntnis ist nicht, dass die Roboter „kaputt“ oder schlecht sind. Es ist, dass sie Spiegel sind. Sie reflektieren die Welt, auf der sie trainiert wurden. Wenn diese Welt hauptsächlich aus Stimmen aus wohlhabenden, westlichen, gebildeten Hintergründen besteht, dann wird der Roboter auch so klingen.
Die Forscher fanden heraus, dass, wenn Sie ein Student mit einem Master-Abschluss sind, der in einer deutschen Großstadt lebt, der Roboter Sie wahrscheinlich perfekt versteht. Aber wenn Sie ein Fabrikarbeiter in einem ländlichen Dorf in einem anderen Teil Europas sind, könnte der Roboter danebenliegen. Das ist nicht nur ein kleiner Fehler; es bedeutet, dass wir, während wir uns immer mehr auf KI für Ratschläge verlassen, unbeabsichtigt die Werte derjenigen verstärken könnten, die ohnehin schon die Mächtigsten sind, während wir alle anderen zurücklassen.
Das Paper sagt nicht, dass wir die Nutzung von KI stoppen sollten. Stattdessen legt es nahe, dass wir viel vorsichtiger damit sein müssen, wie wir diese Werkzeuge bauen und testen. Wir können nicht einfach sagen: „Der Roboter ist auf Europa abgestimmt.“ Wir müssen fragen: „Abgestimmt auf welche Europäer?“ Denn wie diese Studie zeigt, sind Menschen nicht nur ihre Länder, und Roboter sollten sie nicht so behandnehmen, als wären sie es.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.