Emulate or Estimate? The Divergent Strengths of Base and Post-Trained Language Models for Opinion Simulation
Diese Arbeit löst widersprüchliche Befunde zur Verwendung von Large Language Models zur Simulation von Meinungen auf, indem sie zwischen „Emulation“ (Generierung einzelner Antworten) und „Estimation“ (Vorhersage von Verteilungen) unterscheidet und zeigt, dass Basismodelle in Ersterem exzellieren, während post-trainierte Modelle in Letzterem überlegen sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, die Stimmung einer riesigen Menschenmenge zu verstehen, ohne jeden Einzelnen persönlich zu fragen. Vielleicht fragen Sie ein paar Leute, was sie denken, oder Sie bitten einen Experten, die allgemeine Atmosphäre zu erraten. Dies ist die Art von Rätsel, vor dem Wissenschaftler stehen, wenn sie versuchen, künstliche Intelligenz (KI) einzusetzen, um menschliche Meinungen zu simulieren. In der Welt der Informatik, speziell in einem Bereich namens „Natural Language Processing“ (natürliche Sprachverarbeitung), bauen Forscher gigantische KI-Modelle, die fast alles gelesen haben, was im Internet geschrieben steht. Diese Modelle sind unglaublich gut darin, vorherzusagen, welches Wort als Nächstes kommt, was sie so erscheinen lässt, als könnten sie perfekte Stellvertreter für echte Menschen sein. Aber hier liegt der knifflige Teil: Nur weil eine KI eine überzeugende Geschichte schreiben kann, bedeutet das nicht, dass sie auch präzise vorhersagen kann, wie eine ganze Gruppe wählen, über die Wirtschaft fühlen oder eine Umfrage beantworten wird. Wissenschaftler streiten derzeit darüber, ob diese KI-„Menschen“ tatsächlich gut darin sind, die menschliche Vielfalt nachzuahmen, oder ob sie nur so tun, als wären sie etwas, das sie eigentlich nicht sind.
Dieses Paper tritt in diesen Streit ein, um ein Rätsel zu lösen: Warum sagen einige Studien, dass KI großartig darin ist, menschliche Meinungen zu simulieren, während andere sagen, dass sie kläglich scheitert? Die Autoren, Forscher der Queen's University und der University of Toronto, legen nahe, dass die Verwirrung daher rührt, dass zwei sehr unterschiedliche Aufgaben verwechselt werden. Sie nennen die erste Aufgabe Emulation. Das ist so, als würde man einen Schauspieler engagieren, um einen spezifischen Charakter zu spielen. Die KI generiert eine einzelne Antwort, als wäre sie eine echte Person, und wenn man genug „Schauspieler“ fragt, summieren sich ihre Antworten natürlich auf und zeigen die Form der Meinung der Menge. Die zweite Aufgabe ist Estimation (Schätzung). Das ist so, als würde man einen Statistiker bitten, auf eine Menge zu schauen und einfach zu sagen: „Ich denke, 60 % von ihnen werden sich für Option A entscheiden.“ Die Forscher testeten diese Idee, indem sie zwei Arten von KI gegeneinander antreten ließen: „Base“-Modelle (die rohen, ungeschliffenen Versionen) und „Post-trained“-Modelle (Versionen, die darauf feinjustiert wurden, hilfreiche Assistenten zu sein).
Die Ergebnisse ihrer Experimente, die mit echten Umfragedaten des Pew Research Center durchgeführt wurden, offenbaren eine klare Aufteilung der Talente. Wenn die Aufgabe Emulation war – also das Generieren einzelner Textantworten, um zu sehen, wie die Menge aussieht, wenn man sie alle zusammenzählt – waren die Base-Modelle die Gewinner. Sie erzeugten Antworten, die viel mehr wie echte menschliche Daten aussahnen, und schafften es besser, die Unterschiede zwischen Gruppen (wie Demokraten gegenüber Republikanern oder Reich gegenüber Arm) deutlich beizubehalten. Tatsächlich litten die „Post-trained“-Modelle oft unter dem, was die Autoren „Persona Collapse“ nennen, wobei sie alle anfingen, gleich zu klingen – wie ein Chor aus Klonen, der die chaotische Vielfalt echter Menschen verliert.
Doch die Geschichte dreht sich, wenn die Aufgabe Estimation ist. Wenn die Forscher die KI einfach fragten: „Prognostiziere den Prozentsatz der Menschen, die diese Antwort wählen werden“, glänzten die Post-trained-Modelle. Sie waren wesentlich besser darin, die korrekten Zahlen direkt zu liefern. Die rohen Base-Modelle waren darin zwar ganz okay, aber die polierten, hilfreichen Assistenten waren signifikant genauer darin, die Verteilung vorherzusagen, ohne einen einzigen Satz aus falschem Text generieren zu müssen.
Die Autoren vermuten, dass dies geschieht, weil der „Post-training“-Prozess die KI dazu lehrt, ein hilfreicher Assistent zu sein. Wenn man einen Assistenten bittet, die Meinung einer Menge zu erraten, nutzt er sein Wissen, um eine kluge, direkte Antwort zu geben. Aber wenn man denselben Assistenten bittet, wie eine bestimmte Person zu agieren, bleibt er in seiner Rolle als „hilfreicher Assistent“ stecken, was dazu führt, dass er zu einheitlich klingt und die einzigartigen Eigenheiten verschiedener Demografien verliert. Die rohen Base-Modelle hingegen wurden nicht gezwungen, in diese einzelne „Assistenten“-Box zu passen, sodass sie aus einem breiteren, chaotischeren Pool menschlicher Stimmen schöpfen können, wenn sie gebeten werden, Text zu generieren.
Das Paper kommt daher zu dem Schluss, dass es nicht die eine „beste“ KI zur Simulation von Menschen gibt. Wenn Sie Text generieren müssen, der sich wie eine diverse Gruppe von Menschen anfühlt (wie für ein Videospiel oder eine sozialwissenschaftliche Simulation), sollten Sie die rohen Base-Modelle verwenden. Aber wenn Sie nur eine schnelle, genaue Vorhersage benötigen, was eine Gruppe denken wird, sollten Sie die polierten Post-trained-Modelle bitten, dies zu schätzen. Die Verwirrung in diesem Feld lag nicht darin, dass eine Art von KI defekt war; es lag daran, dass Forscher das falsche Werkzeug für die jeweilige Aufgabe verwendeten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.