What Helps Language Models Predict Human Beliefs: Demographics or Prior Stances?
Diese Studie untersucht, wie große Sprachmodelle menschliche Überzeugungen unter Verwendung demografischer Daten und früherer Standpunkte vorhersagen, wobei sie feststellt, dass die Kombination beider Informationstypen zwar die besten Ergebnisse liefert, ihr relativer Vorhersagewert jedoch über verschiedene Überzeugungsbereiche hinweg signifikant variiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen zu erraten, was ein Fremder über ein bestimmtes Thema denkt, wie zum Beispiel, ob er an Geister glaubt oder ob er Katzen gegenüber Hunden den Vorzug gibt. Sie haben zwei Hauptwege, um diesen Tipp abzugeben:
- Der Hinweis „Wer sie sind“: Sie schauen sich deren Hintergrund an. Sind sie jung oder alt? Männlich oder weiblich? Leben sie in einer Stadt oder auf einem Bauernhof? Was ist ihre Religion oder politische Partei?
- Der Hinweis „Was sie früher gesagt haben“: Sie schauen sich eine Liste von anderen Dingen an, denen sie bereits zugestimmt oder widersprochen haben. Wenn jemand zum Beispiel zuvor gesagt hat: „Ich hasse scharfes Essen“, könnten Sie raten, dass er auch ein neues scharfes Gericht nicht mögen wird.
Dieses Paper stellt eine einfache Frage: Welcher dieser beiden Hinweise hilft einem Computer (speziell einem Large Language Model, oder LLM) besser dabei, menschliche Überzeugungen zu erraten?
Das Experiment: Ein digitaler Debattierclub
Die Forscher nutzten ein riesiges Archiv einer Online-Debattenseite namens Debate.org. Denken Sie an eine massive Bibliothek voller Argumente, in der Millionen von Menschen bei tausenden von Themen mit „Ja“ oder „Nein“ abgestimmt haben – von ernsten Themen wie „Ist der Klimawandel real?“ bis hin zu lustigen Fragen wie „Ist Batman besser als Superman?“.
Sie nahmen 9 verschiedene KI-Modelle (die „Rater“) und gaben ihnen eine Herausforderung: Sage voraus, wie ein spezifischer Nutzer zu einem neuen Thema abstimmen würde.
Um zu sehen, was am besten funktionierte, ließen sie das Experiment für jeden Nutzer viermal durchlaufen:
- Die blinde Schätzung: Die KI wusste nichts über den Nutzer. Sie rät einfach basierend auf dem, was der Durchschnittsmensch denkt.
- Der Hintergrund-Check: Die KI kannte das Alter, das Geschlecht, die Politik und die Religion des Nutzers, aber nichts darüber, was dieser zuvor geglaubt hatte.
- Der Historien-Check: Die KI kannte eine Liste von Dingen, zu denen der Nutzer bereits abgestimmt hatte, aber nichts über seinen Hintergrund.
- Das Komplettpaket: Die KI kannte sowohl den Hintergrund als auch die Historie.
Die Ergebnisse: Es kommt auf das Thema an
Die Studie ergab, dass es keinen einzelnen „besten“ Weg gibt, um zu raten. Es hängt ganz davon ab, was man gerade erraten möchte.
1. Die „Identitäts“-Themen (Politik, Religion, Gesellschaft)
- Analogie: Stellen Sie sich vor, Sie versuchen zu erraten, ob jemand eine bestimmte politische Partei unterstützt.
- Was funktionierte: Zu wissen, wer sie sind (Demografie), war hier unglaublich kraftvoll. Wenn man weiß, dass es sich um einen 25-jährigen Liberalen handelt, der in einer Stadt lebt, kann die KI eine sehr gute Vorhersage über seine politischen Ansichten treffen, selbst ohne seine vergangenen Stimmen zu kennen.
- Warum: Diese Überzeugungen sind eng mit sozialen Gruppen und Identitäten verknüpft. Die KI lernte, dass Menschen mit ähnlichem Hintergrund dazu neigen, ähnlich zu denken.
2. Die „Persönlicher Geschmack“-Themen (Sport, Unterhaltung, Autos, Reisen)
- Analogie: Stellen Sie sich vor, Sie versuchen zu erraten, ob jemand den Film The Avengers oder das Team The Lakers mag.
- Was funktionierte: Zu wissen, was sie vorher gesagt haben (vorherige Überzeugungen), war der Gewinner. Zu wissen, dass jemand ein „25-jähriger Mann“ ist, half nicht viel. Aber wenn die KI wusste, dass er zuvor bei „Ich liebe Superheldenfilme“ mit „Ja“ gestimmt hatte, konnte sie leicht erraten, dass er auch bei einem neuen Superheldenfilm mit „Ja“ stimmen würde.
- Warum: Diese Vorlieben sind idiosynkratisch (einzigartig für das Individuum). Sie werden durch persönliche Erfahrungen und spezifische Interessen geformt, nicht nur durch Alter oder Geschlecht.
3. Das „Komplettpaket“ (Beide Hinweise)
- In den meisten Fällen lieferte die Gabe an die KI von beiden Informationen – dem Hintergrund und der Historie – die besten Ergebnisse. Es ist, als hätte man ein vollständiges Dossier über eine Person.
- Jedoch machte das Hinzufügen des zweiten Hinweises die KI manchmal sogar schlechter im Erraten. Zum Beispiel: Wenn die KI bereits gut darin war, eine Sportpräferenz basierend auf vergangenen Stimmen zu erraten, machte das Hinzufügen des Alters des Nutzers sie manchmal verwirrt und senkte die Genauigkeit.
Das große Fazit
Das Paper kommt zu dem Schluss, dass KI-Modelle immer besser darin werden, die Verbindung menschlicher Überzeugungen zu verstehen, aber sie sind nicht perfekt.
- Sie sind gut im „Gruppendenken“: Sie können politische Überzeugungen, die an die soziale Identität gebunden sind, leicht vorhersagen, weil sie Millionen von Menschen mit ähnlichem Hintergrund gesehen haben, die Ähnliches gesagt haben.
- Sie sind besser im „Persönlichen Muster“: Sie sind überraschend gut darin, die Punkte zwischen dem, was eine Person zuvor gesagt hat, und dem, was sie als Nächstes sagen könnte, zu verbinden – insbesondere bei Hobbys und Unterhaltung.
- Die Grenze: Selbst mit allen Informationen ist die KI kein Gedankenleser. Sie macht immer noch Fehler, weil menschliche Überzeugungen nicht immer logisch sind und Menschen nicht immer konsistent handeln.
Kurz gesagt: Wenn Sie möchten, dass eine KI Ihre politischen Ansichten errät, sagen Sie ihr, wer Sie sind. Wenn Sie möchten, dass sie Ihren Lieblingsfilm errät, zeigen Sie ihr, was Ihnen bisher gefallen hat. Und wenn Sie ihr beides geben, leistet sie meistens ihre beste Arbeit – es sei denn, die zusätzliche Information führt nur zur Verwirrung.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.