Not-quite-human tastes: the stylized omnivorousness of LLM survey surrogates
Diese Studie zeigt, dass große Sprachmodelle zwar eine enorme Anzahl von Umfrageteilnehmern generieren können, ihre daraus resultierenden „Silizium-Stellvertreter“ jedoch hochgradig stilisierte und verzerrte Repräsentationen menschlicher kultureller Vorlieben erzeugen, die das Belieben systematisch überschätzen, komplexe relationale Strukturen nicht erfassen und nicht mit zentralen sozialen Dimensionen wie Alter, Klasse, Geschlecht und Herkunft übereinstimmen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie möchten verstehen, was Menschen wirklich an Musik mögen. Sie könnten 10.000 echte Menschen fragen, oder Sie könnten ein superintelligentes Computerprogramm fragen, das so tut, als wären es 10.000 Menschen. Diese Arbeit stellt die Frage: Wenn Sie den Computer fragen, sagt er dann die Wahrheit?
Die Forscher nahmen eine echte Umfrage über den Musikgeschmack (die SPPA) und baten drei verschiedene KI-Modelle (von OpenAI, Anthropic und DeepSeek), für jede einzelne Person in dieser Umfrage „fiktive“ Antworten zu generieren. Sie verglichen dann die Antworten der KI mit den Antworten der echten Menschen, um zu sehen, wie nah die Imitation am Original war.
Hier ist das, was sie herausfanden, einfach erklärt:
1. Die KI ist ein „Hyper-Enthusiast“ (Der positive Bias)
Stellen Sie sich eine Person vor, die, wenn sie gefragt wird, ob sie eine bestimmte Art von Musik mag, zu fast allem „Ja!“ sagt. Das ist die KI.
- Das Ergebnis: Die KI-Befragten gaben viel häufiger an, Musikgenres zu mögen, als es echte Menschen tun. Während echte Menschen im Durchschnitt 24 % der Genres mochten, sagten die KI-Modelle, dass sie etwa 46 % mochten.
- Die Metapher: Echte Menschen sind wählerische Esser; sie mögen vielleicht Pizza, hassen aber Brokkoli. Die KI ist ein „Super-Esser“, der behauptet, alles auf der Speisekarte zu lieben, einschließlich der seltsamen, obskuren Gerichte, die die meisten Menschen eigentlich nicht mögen. Die Forscher nennen dies „Hyper-Omnivorität“ (Hyper-Omnivorousness).
- Der Twist: Man könnte denken, die KI sei schlecht darin, „Minderheiten-Gruppen“ zu verstehen, da sie hauptsächlich mit Daten von wohlhabenden, gebildeten, weißen Menschen trainiert wurde (der „WEIRD“-Bias). Aber die Studie fand das Gegenteil heraus: Die KI war sogar schlechter darin, wohlhabende, gebildete, weiße Menschen zu simulieren, als es andere Gruppen zu tun. Sie liebte einfach alles, ungeachtet dessen, wen sie gerade vorgab zu sein.
2. Die KI versteht den „Vibe“ nicht (Das Relationalitäts-Problem)
Der menschliche Geschmack besteht nicht nur aus einer Liste von „Ja“ und „Nein“. Er ist ein Geflecht von Verbindungen. Wenn Sie zum Beispiel Jazz lieben, ist es wahrscheinlich, dass Sie auch Blues lieben. Wenn Sie Country lieben, mögen Sie vielleicht auch Bluegrass. Diese Verbindungen schaffen einen „Vibe“ oder eine Struktur.
- Das Ergebnis: Die KI versagte dabei, diese Verbindungen zu verstehen. Sie wusste nicht, dass bestimmte Genres „zusammengehören“.
- Die Metapher: Stellen Sie sich den Musikgeschmack eines menschlichen Musikliebhabers wie ein gut organisiertes Bücherregal vor, in dem Genres logisch gruppiert sind. Der Geschmack der KI ist wie ein Stapel Bücher, die auf den Boden geworfen wurden. Sie mag zwar die gleiche Anzahl an Büchern wie der Mensch haben, aber die Art und Weise, wie sie angeordnet sind, ergibt keinen Sinn.
- Das Resultat: Die KI löste die Verbindungen zwischen Genres auf, die normalerweise zusammengehören (wie Blues und Classic Rock), und erfand fiktive Verbindungen zwischen Genres, die niemals zusammenfinden (wie Hip-Hop und Bluegrass). Es sah oberflächlich wie der Geschmack eines Musikliebhabers aus, aber die interne Logik war völlig durcheinander.
3. Die KI versteht die „soziale Landkarte“ falsch
In der realen Welt hängt das, was man an Musik mag, oft davon ab, wer man ist (Alter, Einkommen, Geschlecht, Herkunft).
- Alter: Die KI denkt, dass fast alle Musik für junge Leute ist. Sie ließ Genres wie „Classic Rock“ (die ältere Menschen meist lieben) so wirken, als seien sie für Teenager gedacht.
- Klasse (Geld): Die KI erfand eine strikte „Reich-gegen-Arm“-Spaltung, die es heute eigentlich nicht mehr gibt. Sie entschied, dass „High-Brow“-Musik (wie Klassik und Oper) strikt für die Reichen ist und „Low-Brow“-Musik für die Armen, wobei sie ignorierte, dass Menschen heute diese Geschmäcker viel freier mischen.
- Geschlecht: Die KI verwandelte subtile Unterschiede in laute Stereotypen. Wenn Frauen tatsächlich etwas lieber Broadway-Musicals hören, ließ die KI dies wie ein massives, definierendes Merkmal erscheinen. Sie löschte zudem reale Trends aus, wie etwa die Tatsache, dass Frauen Country-Musik tatsächlich sehr gerne hören.
- Herkunft/Rasse: Dies war das größte Versagen. Die KI erfand falsche ethnische Assoziationen. Sie entschied, dass einige Genres „für Weiße“ und andere „für Schwarze“ seien, auf eine Weise, die entweder übertrieben oder völlig erfunden war. Zum Beispiel ließ sie Hip-Hop kulturell stärker rassistisch aufgeladen erscheinen, als er in der Realität ist, und sie erfand sogar eine ethnische Verbindung für elektronische Musik, wo zuvor keine existierte.
Das Fazit
Das Paper kommt zu dem Schluss, dass die KI zwar die Oberfläche menschlicher Meinungen imitieren kann (sie kann sagen „Ich mag Musik“), aber sie scheitert daran, die Tiefe und Struktur des menschlichen Geschmacks zu erfassen.
Betrachten Sie die KI als einen Karikaturisten. Wenn Sie einen Karikaturisten bitten, eine Person zu zeichnen, bekommt er vielleicht Nase und Augen richtig hin, aber er wird die Merkmale so stark übertreiben, dass die Zeichnung lustig und verzerrt aussieht. Sie sieht zwar aus wie ein Mensch, ist aber nicht getreu.
Wenn Forscher diese KI-„Surrogate“ nutzen, um Kultur zu untersuchen, erhalten sie ein verzerrtes Bild der Welt: eine Welt, in der alle alles lieben, in der Musikgenres nicht logisch zusammenhängen und in der soziale Gruppen durch übersteigerte, falsche Stereotypen definiert werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.