Distribution-First Population Simulation: Collapse, Calibration, and Recall in Non-WEIRD LLM Persona Modeling

Stellen Sie sich vor, Sie versuchen vorherzusagen, wie eine ganze Stadt von Menschen auf eine neue Regel reagieren wird, wie etwa auf eine Änderung der Busfahrpreise. In der Vergangenheit hätten Wissenschaftler echte Menschen nach ihrer Meinung gefragt. Aber heute, mit dem Aufstieg von superintelligenten Computerprogrammen, den Large Language Models (LLMs), versuchen Forscher etwas Verrückteres: Sie bitten den Computer, gleichzeitig Tausende von verschiedenen Menschen zu simulieren. Sie geben dem Computer eine „Persona“ (eine fiktive Identität mit Beruf, Alter und Persönlichkeit) und fragen: „Was würdest du tun?“ Wenn Sie dies für 1.000 Fake-Personen tun, erhalten Sie eine „synthetische Population“. Die Hoffnung ist, dass diese digitale Menge genau wie eine echte Menge agiert und uns hilft, die Gesellschaft zu verstehen, ohne auch nur ein einziges menschliches Interview führen zu müssen. Aber hier liegt die große Frage: Wenn man einen Computer bittet, eine vielfältige Gruppe von Menschen zu simulieren, erschafft er dann tatsächlich eine vielfältige Gruppe, oder verwandelt er sich nur in ein riesiges, langweiliges Echozimmer, in dem alle exakt das Gleiche denken?

Dieses Paper taucht genau in dieses Geheimnis ein. Die Forscher, die mit Daten aus der Türkei arbeiteten, um sicherzustellen, dass sie nicht nur amerikanische Gewohnheiten kopieren, testeten zwei verschiedene Wege, um eine Menge zu simulieren. Sie wollten sehen, ob die Methode der „unabhängigen Agenten“ (bei der jeder Fake-Mensch allein denkt) tatsächlich funktioniert oder ob sie scheitert. Sie untersuchten auch einen besseren Weg, um das Problem zu lösen. Was sie fanden, war ein kleiner Schock: Die populäre Methode, tausende unabhängiger KI-Agenten laufen zu lassen, ist fundamental kaputt. Anstatt einer vielfältigen Menge drängen sich die KI-Agenten alle auf eine einzige „Standardantwort“ zu, wie eine Herde Schafe, die dem ersten über die Klippe folgt. Die Autoren bieten jedoch eine clevere, günstigere Lösung an: Anstatt den Computer zu bitten, eine Person zu sein, bitten Sie ihn, ein Statistiker zu sein, der das Verhalten der gesamten Menge auf einmal beschreibt. Dies funktioniert viel besser, hat aber seine eigenen Eigenheiten.

Der große Kollaps der KI-Menge

Die Forscher richteten einen Test mit echten Umfragedaten von 2.414 tatsächlichen Personen aus der Türkei ein. Sie erstellten digitale Zwillinge für jeden dieser Menschen. Dann versuchten sie zwei verschiedene Routen, um zu sehen, wie diese digitalen Menschen auf Fragen antworten würden.

Route B: Die unabhängigen Agenten (Der kaputte Weg)
Bei dieser Methode behandelt der Computer jeden einzelnen digitalen Menschen als separaten Charakter. Er fragt Charakter 1: „Was denkst du?“, dann Charakter 2: „Was denkst du?“, und so weiter, tausende Male. Die Idee ist, dass bei genügend unterschiedlichen Charakteren ihre Antworten natürlich variieren werden, um der Realität zu entsprechen.
Doch die Ergebnisse waren eine Katastrophe. Anstatt einer Streuung von Meinungen kollabierten die KI-Agenten alle auf eine einzige „Standardantwort“. Stellen Sie sich vor, Sie fragen einen Raum mit 1.000 Menschen, was sie zum Abendessen wollen, und anstatt eine Mischung aus Pizza, Tacos und Salat zu erhalten, entscheiden sich plötzlich 85 % von ihnen alle für exakt dasselbe langweilige Sandwich, weil der Computer denkt, dass dies die „sicherste“ oder „korrekteste“ Antwort ist.
Die Zahlen waren drastisch:

• Der „Kollaps“ war massiv. In den Realdaten waren die Antworten weit gestreut (Entropie von 1,46). In der KI-Simulation klumpten die Antworten so eng zusammen, dass der Diversitätswert auf 0,77 sank.
• Die Konzentration der Menschen, die die populärste Option wählten, sprang von 36 % in der realen Welt auf 69 % in der KI-Welt.
• Dies geschah in vier verschiedenen Szenarien und fünf verschiedenen Computer-„Seeds“ (zufälligen Startpunkten), was bedeutet, dass es kein Zufall war. Es geschah, weil die KI-Agenten zu eifrig darauf waren, die „richtige“ Antwort zu finden, und dabei die chaotische Realität ignorierten, dass echte Menschen unterschiedliche Geschmäcker und Budgets haben.

Route A: Verbalisierte Stichproben (Der bessere Weg)
Die Forscher probierten einen anderen Trick namens „Verbalized Sampling“ (VS) aus. Anstatt den Computer zu bitten, eine Person zu sein, baten sie die KI, wie ein Umfrageleiter zu agieren. Sie sagten: „Wähle nicht eine Antwort für eine Person. Sag mir stattdessen die Wahrscheinlichkeitsverteilung der gesamten Menge. Welcher Prozentsatz der Menschen wird Option A wählen? Option B? Option C?“
Diese Methode wirkte Wunder. Sie löste das Problem der „Unterdispersion“ (wo die KI zu langweilig ist). Die KI begann, eine realistische Streuung von Antworten zu liefern, die der echten menschlichen Daten viel mehr ähnelte.

• Der „Fidelity“-Score (wie nah die KI an der Realität ist) stieg über drei verschiedene Arten von KI-Modellen hinweg um 6 bis 10 Punkte.
• Es gab jedoch einen Haken. Beim Versuch, das „Zu-langweilig-Problem“ zu beheben, schwang die KI zu weit in die andere Richtung aus und wurde „zu chaotisch“. Sie verteilte die Antworten so stark, dass die Varianz höher war als im echten Leben (Überdispersion). Es ist wie ein DJ, der, um zu vermeiden, zweimal dasselbe Lied zu spielen, am Ende ein Lied spielt, das noch nie jemand gehört hat.

Wenn Umfrageantworten keine realen Handlungen werden

Die Forscher stellten dann eine schwierigere Frage: Wenn wir die Umfrageantworten korrigieren, bedeutet das, dass die KI in der realen Welt gute Entscheidungen trifft? Sie brachten ihre „kalibrierten“ KI-Personen in eine Aufgabe, bei der sie einen Flug von Istanbul nach Berlin buchen mussten. Sie wollten sehen, ob die KI basierend auf ihrem fiktiven Einkommen einen günstigen Flug oder einen komfortablen Flug wählen würde.

Das Ergebnis war eine Mischung aus Erfolg und Misserfolg.

• Das Gute: Die KI hörte auf das Einkommen. Personen mit niedrigem Einkommen wählten meistens die günstigste Option (100 %), während Personen mit hohem Einkommen in 32 % der Fälle die komfortable Option wählten. Die Persönlichkeitsmerkmale „sickerten“ in die Entscheidung ein.
• Das Schlechte: Die KI wurde immer noch von einem „Günstig-Standard“-Bias dominiert. In etwa 80 % der Fälle wählte die KI, unabhängig vom Einkommen, einfach das billigste Angebot. Die Umfragedaten konnten die natürliche Sparsamkeit der KI nicht vollständig überstimmen.
• Die Falle: Die Forscher entdeckten auch einen tückischen Fehler in ihrer Messung. Ursprünglich dachten sie, die KI sei „blind“ gegenüber dem Kontext (wie der Flugdauer), weil sie auf Langstreckenflügen keine zusätzlichen Mahlzeiten kaufte. Doch sie stellten fest, dass sie eine Falle gestellt hatten: Die Langstreckenflüge waren auch unglaublich teuer. Die KI war nicht blind; sie war einfach klug und sparte Geld! Sobald sie den Test korrigierten, zeigte die KI, dass sie den Kontext perfekt verstehen konnte.

Gedächtnis vs. Denken: Das „Recall“-Problem

Eine große Sorge in der KI-Forschung ist: „Denkt die KI wirklich oder erinnert sie sich nur an die Antworten aus ihren Trainingsdaten?“ Die Forscher testeten dies mit einem „Memorization Attack“. Sie baten die KI, Wahlergebnisse basierend auf Werten vorherzusagen.

• Die Methode der KI mit „Verbalized Sampling“ sagte das nationale Wahlergebnis fast perfekt voraus (mit einem Wert von -0,051 übereinstimmend mit dem realen Ergebnis).
• Bei genauerem Hinsehen stellten sie jedoch fest, dass die KI nicht die Zukunft simulierte, sondern die Vergangenheit erinnerte. Das Wahlergebnis war ein bekannter Fakt aus der Vergangenheit. Die KI hatte die Antwort einfach „abgerufen“ (recalled), statt sie durch logisches Denken abzuleiten.
• Als sie versuchten, vorherzusagen, wie spezifische Gruppen wählen würden, versagte die KI. Sie konnte nicht zwischen zwei verschiedenen politischen Parteien unterscheiden, da sie im „Wertebereich“ der KI die Unterstützer beider Parteien exakt gleich aussehen ließ. Dies deutet darauf hin, dass die KI zwar gut im großen Ganzen ist, aber Schwierigkeiten mit den Details einzelner Menschen hat.

Die Lösung: Sei ein Statistiker, kein Schauspieler

Was ist also die Lehre daraus? Das Paper argumentiert, dass der Versuch, eine Population zu simulieren, indem man tausende unabhängiger KI-Agenten laufen lässt, das falsche Werkzeug ist. Es ist zu teuer (es verbraucht viel Rechenleistung) und es kollabiert immer in eine langweilige, einzelne Antwort.

Stattdessen schlagen die Autoren einen „Distribution-First“-Ansatz vor:

1. Frage einmal: Nutze die „Verbalized Sampling“-Methode, um die KI in einem einzigen Aufruf nach der Verteilung der gesamten Menge zu fragen. Dies ist günstig und schnell.
2. Weise konsistent zu: Weise dann den einzelnen Charakteren basierend auf dieser Verteilung und ihrem persönlichen Profil spezifische Antworten zu.
3. Nutze einen Router: Wenn du wirklich brauchst, dass die KI über einen spezifischen Moment intensiv nachdenkt, nute einen „budgetbewussten Router“, um zu entscheiden, wann du die teure KI aufrufst und wann du einfach eine einfache Regel verwendest. Die Forscher fanden einen Weg, die Ehrlichkeit dieses Routers zu messen, und erhielten einen Wert von 0,805 (was gut ist, aber nicht perfekt).

Kurz gesagt: Wenn du eine Menge simulieren willst, bitte die KI nicht, 1.000 verschiedene Menschen zu sein. Bitte sie, ein kluger Statistiker zu sein, der weiß, wie sich eine Menge verhält, und lass dieses Wissen deine Simulation leiten. Das ist günstiger, genauer und vermeidet die Falle, dass in der digitalen Menge alle exakt das Gleiche denken.