Fairness in LLM-Generated Surveys
Diese Studie zeigt auf, dass Large Language Models bei Umfrage-Simulationen signifikante geografische und soziodemografische Verzerrungen aufweisen, wobei sie aufgrund von Einschränkungen in den Trainingsdatensätzen bei US-Daten besser abschneiden, während sie sowohl in den USA als auch in Chile deutliche Ungerechtigkeitsdisparitäten über politische, rassische und kulturelle Variablen hinweg zeigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr klugen, hochgebildeten Roboter, der fast alles im Internet gelesen hat. Sie bitten diesen Roboten, eine Person zu spielen und Umfragefragen zu beantworten, wie zum Beispiel: „Wen werden Sie wählen?“ oder „Unterstützen Sie Abtreibung?“
Die Forscher in dieser Arbeit wollten sehen, ob dieser Roboter tatsächlich gut darin ist, sich als verschiedene Arten von Menschen aus verschiedenen Orten auszugeben. Sie behandelten den Roboter wie einen „digitalen Umfrageteilnehmer“, um zu sehen, ob er echte menschliche Umfragen ersetzen kann.
Hier ist die Geschichte dessen, was sie herausgefunden haben, einfach erklärt:
1. Der „amerikanische“ Roboter
Stellen Sie sich das Gehirn des Roboters wie eine Bibliothek vor. Das Problem ist: Diese Bibliothek ist hauptsächlich mit Büchern gefüllt, die in den Vereinigten Staaten geschrieben wurden. Aus diesem Grund ist der Roboter ein Superstar darin, zu erraten, wie Amerikaner denken, aber er ist ein schlechter Schüler, wenn es um Chilenen geht.
- Der Test: Sie fragten den Roboter, das Wahlergebnis und die Meinung zu Abtreibung sowohl in den USA als auch in Chile vorherzusagen.
- Das Ergebnis: Der Roboter lag bei den US-Antworten meistens richtig. Wenn er versuchte, chilenische Antworten zu erraten, machte er mehr Fehler. Es ist wie ein Koch, der fantastische amerikanische Burger zubereiten kann, aber ständig Fehler macht, wenn er versucht, traditionelle chilenische Empanadas herzustellen, weil er die lokalen Zutaten noch nie probiert hat.
2. Der „Gruppe“ vs. „Individuum“-Trick
Die Forscher bemerkten etwas Interessantes darüber, wie der Roboter Fehler machte.
- Die Menge: Wenn man die Antworten des Roboters als ganze Gruppe betrachtet, ist er eigentlich ziemlich gut darin, das „große Ganze“ zu erraten. Er kann Ihnen sagen: „Etwa 40 % der Menschen werden Kandidat A wählen.“ Es ist wie ein Wetterprognostiker, der gut darin ist, das allgemeine Klima einer Saison vorherzusagen.
- Die Person: Wenn Sie den Roboter jedoch fragen, was eine ganz bestimmte Person tun wird, liegt er oft falsch. Er hat Schwierigkeiten, die einzigartigen Eigenheiten eines Individuums zu verstehen. Er ist gut für die Menge, aber schlecht für das Individuum. Er ist gut für die Menge, aber schlecht für das Individuum.
3. Wer bringt den Roboter um den Finger? (Der Bias)
Der Roboter ist nicht nur schlecht in Chile; er ist schlecht bei bestimmten Arten von Menschen innerhalb Chiles. Die Forscher fanden heraus, dass der Roboter einen „blinden Fleck“ für bestimmte Gruppen hat:
- In Chile: Der Roboter hatte die größten Schwierigkeiten mit Frauen, älteren Menschen, religiösen Menschen und Menschen mit weniger Bildung. Es war, als hätte der Roboter einen Filter, der es ihm schwerer machte, diese Stimmen klar zu „hören“.
- In den USA: Der Roboter war hinsichtlich Geschlecht und Alter fairer, hatte aber dennoch Probleme mit einkommensschwachen Menschen. Interessanterweise war der Roboter in den USA tatsächlich besser darin, die Meinungen von Menschen mit starken politischen Ansichten (sehr links oder sehr rechts) zu erraten als die von Menschen mit „Mitte-der-Straße“-Ansichten.
4. Das „Mix-und-Match“-Problem
Die Forscher untersuchten, was passiert, wenn diese Gruppen sich überschneiden. Das nennt man „Intersektionalität“.
- Der schlimmste Fall in Chile: Der Roboter war am wenigsten genau, wenn er versuchte, die Meinungen von älteren, religiösen Frauen mit weniger Bildung zu erraten. Es war, als wäre der Roboter völlig verloren bei dem Versuch, diese spezifische Kombination von Merkmalen zu verstehen.
- Der US-Twist: In den USA war der Roboter tatsächlich besser darin, die Meinungen von linken Frauen zu erraten, aber er hatte mehr Schwierigkeiten mit nicht-weißen Frauen.
5. Half „Nachstudieren“? (Fine-Tuning)
Die Forscher versuchten, die schlechten Noten des Roboters in Chile zu verbessern, indem sie ihm zusätzliche Hausaufgaben gaben (genannt „Fine-Tuning“). Sie fütterten ihn mit mehr Daten, die speziell über chilenische Menschen sind.
- Das Ergebnis: Es half ein wenig, aber nicht genug, um die Lücke zu schließen. Der Roboter bevorzugte immer noch die US-amerikanische Denkweise. Es ist, als würde man einem Schüler, der nur Englisch spricht, ein paar spanische Karteikarten geben; er mag vielleicht ein paar Wörter lernen, aber er wird trotzdem nicht wie ein Muttersprachler klingen.
Die wichtigste Erkenntnis
Die Arbeit kommt zu dem Schluss, dass diese KI-Roboter zwar mächtige Werkzeuge sind, um allgemeine Trends zu verstehen, aber noch nicht aussagekräftig oder genau genug sind, um echte menschliche Umfragen zu ersetzen, insbesondere in Ländern oder für Gruppen, die in ihren Trainingsdaten unterrepräsentiert sind.
Wenn wir diese Roboter nutzen, um Entscheidungen über die Gesellschaft zu treffen, riskieren wir, die Stimmen von Frauen, älteren Menschen, Armen und Menschen aus nicht-amerikanischen Kulturen zu ignorieren. Um dies zu beheben, müssen wir die Roboter mehr über die ganze Welt lehren, nicht nur über die USA.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.