Carefully Considering Culture: Analyzing LLM Alignment in Single- and Multi-Cultural Settings using Cultural Consensus Theory
Diese Arbeit wendet die Cultural Consensus Theory auf den World Values Survey an, um aufzuzeigen, dass Large Language Models kulturelle Strukturen oft falsch darstellen, indem sie entweder daran scheitern, einen kohärenten Gruppenkonsens zu erfassen, oder diesen übermäßig regularisieren, und bietet damit einen neuen diagnostischen Rahmen, um zwischen echter menschlicher Diversität und algorithmischer Homogenisierung zu unterscheiden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als eine riesige, laute Bibliothek vor, in der gerade ein neuer Typ von Bibliothekar eingetroffen ist: ein superintelligenter Roboter, der jedes jemals geschriebene Buch gelesen hat und jede Frage beantworten kann, die Sie ihm stellen. Dieser Roboter ist ein großes Sprachmodell (Large Language Model, LLM). Aber der knifflige Teil ist: Die Bibliothek besteht nicht nur aus einem einzigen Raum; sie ist ein massives Gebäude mit tausenden verschiedenen Nachbarschaften, jede mit ihren eigenen einzigartigen Bräuchen, Witzen und Arten, die Welt zu sehen. Wir nennen diese Nachbarschaften „Kulturen“.
Lange Zeit haben Wissenschaftler versucht, diesen Roboter-Bibliothekaren beizubringen, in jedem Nachbarschaftsteil höflich und präzise zu sein. Das haben sie meistens dadurch gemacht, dass sie den Roboter fragten: „Was denken die Menschen in Land X?“ und dann die Antworten gemittelt haben. Es ist so, als würde man hundert Menschen nach ihrer Lieblingseisgeschmacksrichtung fragen, die Stimmen zählen und dem Roboter sagen: „Die Gruppe mag Vanille.“ Aber was, wenn die Gruppe sich gar nicht einig ist? Was, wenn die eine Hälfte Vanille liebt und die andere Hälfte sie hasst, aber der Durchschnitt trotzdem „Vanilla“ sagt? Genau da beginnt der eigentliche Ärger. Um dies zu beheben, leihen sich Forscher ein Werkzeug aus der Anthropologie namens „Cultural Consensus Theory“ (Theorie des kulturellen Konsenses). Betrachten Sie dies als ein spezielles Vergrößerungsglas, das nicht einfach nur Stimmen zählt; es prüft, wie sehr die Menschen in einer Gruppe tatsächlich untereinander übereinstimmen und wie sehr sie voneinander abweichen. Es hilft uns zu sehen, ob eine Gruppe in ihrem Denken wirklich geeint ist oder nur eine chaotische Sammlung verschiedener Meinungen.
Stellen Sie sich nun vor, Sie haben einen Roboter-Bibliothekar, der dazu bestimmt ist, diese Nachbarschaften zu verstehen. Ein Team von Forschern der University of Notre Dame beschloss, diesen Roboter mithilfe einer riesigen, realen Umfrage namens „World Values Survey“ zu testen, die Menschen aus 10 verschiedenen Ländern zu 12 verschiedenen Themen befragt, wie etwa Glück, Korruption und Wissenschaft. Sie haben den Roboter nicht nur eine Frage gestellt; sie haben ihn gebeten, so zu tun, als wäre er eine Person aus jedem dieser Länder. Dann haben sie ihr spezielles „Zustimmungs-Vergrößerungsglas“ (Cultural Consensus Theory) verwendet, um die Antworten des Roboters mit den tatsächlichen Antworten echter Menschen zu vergleichen.
Was sie fanden, war etwas überraschend und ein wenig amüsant. Der Roboter war nicht einfach nur „falsch“ oder „richtig“; er verhielt sich je nach Thema auf drei sehr seltsame Arten.
Erstens, in einigen Bereichen, wie etwa der Frage, wie Menschen über Korruption oder Religion denken, war der Roboter sehr gut darin, die allgemeine Richtung der menschlichen Meinung zu erraten. Aber der Haken an der Sache war: Der Robot war sich seiner Sache zu sicher. Er verhielt sich so, als ob alle Menschen in einem Land exakt dasselbe dächten, mit null Uneinigkeit. Die Forscher nennen dies „Konsens-Inflation“ (Consensus Inflation). Es ist, als würde der Roboter in einen Raum voller Leute schauen, die über Pizza-Beläge streiten, und sagen: „Oh, alle sind sich eindeutig einig, dass Salami drauf muss!“ während in Wirklichkeit die Hälfte des Raumes gerade nach Ananas schreit. Der Roboter glättete all die chaotischen, realen menschlichen Unterschiede zu einer perfekten, künstlichen Übereinstimmung.
Zweitens, in anderen Bereichen, wie etwa Glück und Wohlbefinden, scheiterte der Roboter völlig daran, überhaupt eine Übereinstimmung zu finden. Es war, als würde der Roboter zufällige Antworten rufen, die zu niemandem im Raum passten. Die Menschen hatten ein klares Muster in dem, was sie glaubten, aber der Roboter konnte dieses Muster nicht finden, was zu einer „Konsenslücke“ (Consensous Gap) führte. Es war, als würde der Roboter versuchen, zu einem Lied zu tanzen, das er nicht hören kann.
Drittens, und vielleicht am interessantesten, gab es die „Heterogenitätslücke“ (Heterogeneity Gap). Bei Themen wie Wissenschaft und Technologie war der Roboter tatsächlich sehr stark mit sich selbst einig. Er hatte eine sehr enge, einheitliche Meinung. Aber diese Meinung entsprach überhaupt nicht den Menschen! Die Menschen waren überall verstreut – einige liebten die Wissenschaft und andere fürchteten sie –, aber der Roboter sagte selbstbewusst: „Wir denken alle dasselbe!“, und lag dabei gleichzeitig falsch darüber, was das eigentlich war.
Die Forscher bemerkten auch, dass sich der Roboter unterschiedlich verhielt, je nachdem, ob er vorgab, aus einem Land mit einer Hauptkultur oder aus einem Land mit vielen gemischten Kulturen zu stamchen. In den Ländern mit gemischten Kulturen wurde der Roboter manchmal ein wenig besser darin, das Chaos menschlicher Uneinigkeit nachzuahmen, aber er hatte immer noch Schwierigkeiten, die Details richtig zu treffen.
Was bedeutet das alles? Es deutet darauf hin, dass diese superintelligenten Roboter zwar immer besser darin werden, wie Menschen zu sprechen, aber immer noch schrecklich darin sind, die Unordnung der menschlichen Kultur zu verstehen. Sie neigen dazu, entweder eine falsche, perfekte Übereinstimmung zu erfinden, wo keine existiert, oder sie verlieren sich, wenn Menschen tatsächlich uneins sind. Der Roboter muss lernen, das Chaos zu schätzen, nicht nur die Ordnung.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.