Mind the Gaps: Mixture-of-Minds for Human Simulation
Dieses Paper stellt Anacreon vor, ein Mixture-of-Minds-Simulationsmodell, das auf einem Gemma 4 12B-Basismodell aufbaut und Autorenschafts-Embeddings, demografische Augmentierung sowie spezialisierte Adapter verwendet, um individuelle menschliche Reaktionen originalgetreu zu simulieren, wobei es eine State-of-the-Art-Genauigkeit (0,775) bei der Vorhersage von Bevölkerungsumfragen erreicht und gleichzeitig gängige Biases sowie Prompt-Brittleness mildert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, die Zukunft einer Menge vorherzusagen. Seit Jahrhunderten sind Wissenschaftler groß darin, zu erraten, was die meisten Menschen tun werden. Wenn Sie eine Million Menschen fragen, ob sie Pizza mögen, können Sie mit hoher Zuversicht vorhersagen, dass etwa 80 % mit „Ja“ antworten werden. So funktionieren Versicherungsgesellschaften; sie müssen nicht Ihren spezifischen Geschmack beim Essen kennen, sie müssen nur das durchschnittliche Risiko von einer Million Autofahrern kennen. Aber was, wenn Sie wissen wollen, was eine ganz bestimmte Person über eine brandneue Frage denken wird? Das ist viel schwieriger. Es ist, als würde man versuchen zu erraten, was der beste Freund sagt, noch bevor er den Mund aufgemacht hat.
In den letzten Jahren haben wir superintelligente Computergehirne namens Large Language Models (LLMs) gebaut, die wie Menschen kommunizieren können. Die Menschen hofften, dass diese Modelle als „digitale Zwillinge“ fungieren könnten, um zu simulieren, wie Individuen denken. Es gibt jedoch einen Haken. Diese Modelle sind darauf trainiert, hilfreich und zustimmend zu sein, weshalb sie oft wie eine langweilige, durchschnittliche Person agieren, die einfach zu allem „Ja“ sagt. Sie verlieren die chaotischen, einzigartigen und manchmal widersprüchlichen Teile, die echte Menschen zu echten Menschen machen. Dieses Paper befasst sich mit diesem Problem: Wie bauen wir einen Simulator, der nicht nur wie ein generischer Roboter agiert, sondern tatsächlich die seltsamen, wunderbaren und spezifischen Arten einfängt, wie echte Individuen denken und fühlen?
Das Problem: Die Falle des „Durchschnittsmenschen“
Schon seit langem versuchen Wissenschaftler, das menschliche Verhalten vorherzusagen. Manchmal betrachten sie die gesamte Menge (das Aggregat), und manchmal versuchen sie zu erraten, was eine einzelne Person tun wird (das Individuum). Das Paper weist darauf hin, dass wir gut in der Menge sind, aber schlecht beim Individuum.
Stellen Sie sich ein Large Language Model wie einen sehr höflichen, sehr belesenen Bibliothekar vor. Wenn Sie diesen Bibliothekar fragen: „Was denken die Leute über diese neue Richtlinie?“, wird er Ihnen eine perfekte Zusammenfassung der Mehrheitsmeinung geben. Aber wenn Sie ihn fragen: „Was wird Sarah darüber denken?“, könnte der Bibliothekar einfach raten, wie „Sarah“ auf ihn wirkt, oder er gibt einfach die populärste Antwort, weil er darauf trainiert wurde, nett zu sein. Er glättet alle Unterschiede. Er verwandelt eine vielfältige Menge einzigartiger Menschen in eine einzige, langweilige „Durchschnittsperson“. Das ist schlecht, denn das echte Leben ist nicht durchschnittlich; es ist voller Ausreißer, Minderheiten und Menschen, die der Menge widersprechen.
Die Lösung: Anacreon und die „Mischung der Geister“
Hier kommt Anacreon, ein neues System, das entwickelt wurde, um dies zu beheben. Anstatt zu versuchen, ein einziges riesiges Gehirn zu bauen, um jeden zu simulieren, entschied sich der Autor, eine „Mischung der Geister“ (Mixture of Minds) zu erschaffen.
Stellen Sie sich vor, Sie führen eine massive Simulation einer Stadt durch. Anstatt einen einzigen Schauspieler zu engagieren, der alle Rollen in der Stadt spielt, engagieren Sie für jede unterscheidbare Gruppe von Menschen einen anderen Schauspieler.
- Das Clustering: Zuerst betrachtet das System tausende echte Menschen und deren öffentliche Texte (wie Social-Media-Posts oder Rezensionen). Es nutzt einen speziellen mathematischen Trick, um ähnliche Menschen zusammenzugruppieren. Es ist, als würde man eine riesige Kiste LEGO-Steine sortieren – nicht nach Farbe, sondern danach, wie sie zusammenpassen.
- Die Spezialisten: Sob's die Gruppen sortiert hat, trainiert das System ein winziges, spezialisiertes „Expertenmodell“ für jede Gruppe. Ein Experte lernt, wie „junge, technikaffine Kaufleute“ denken. Ein anderer lernt, wie „ältere, ländliche Geschäftsinhaber“ denken.
- Die emotionale Kette: Hier liegt der clevere Teil. Bevor das Modell eine Antwort gibt, springt es nicht einfach zum Schluss. Es schreibt zuerst eine kurze „Kette der Emotionen“ (Chain-of-Emotion). Es simuliert die Gefühle und Gedanken, die zu der Antwort führen. Es ist, als würde man das Modell bitten zu sagen: „Zuerst fühle ich mich etwas besorgt über die Kosten, dann erinnere ich mich daran, dass mein Budget knapp ist, also fühle ich mich jetzt zögerlich...“, bevor es schließlich sagt: „Ich stimme nicht zu.“ Dies hilft dem Modell, menschlicher zu klingen und weniger wie ein Roboter, der nur rät.
Wie sie es getestet haben
Das Team testete Anacreon an einer spezifischen Gruppe: kleinen Geschäftsinhabern, die Kreditkartenzahlungen entgegennehmen. Sie haben das Modell nicht nur raten lassen; sie gaben ihm eine umfangreiche Umfrage mit echten Fragen und verglichen die Antworten des Modells mit dem, was echte Menschen tatsächlich sagten.
Sie fanden heraus, dass Anacreon viel besser darin war, individuelle Antworten vorherzusagen, als bisherige Modelle.
- Die Punktzahl: Sie verwendeten einen spezifischen Score namens „Ordinal Alignment“, um zu messen, wie nah die Antwort des Modells an der echten menschlichen Antwort lag. Ein Score von 1,0 ist perfekt. Anacreon erreichte 0,775. Dies ist der höchste jemals aufgezeichnete Wert für diese Art von Test und schlägt die bisherigen besten Versuche.
- Die Korrektur des Bias: Alte Modelle haben oft einen „sycophantischen“ Bias, was bedeutet, dass sie einfach zustimmen, um nett zu sein. Anacreon reduzierte dies, indem die Fragen während des Trainings umgedreht wurden (indem dieselbe Frage sowohl auf positive als auch auf negative Weise gestellt wurde), sodass das Modell lernte, selbst zu denken, anstatt nur „Ja“ zu sagen.
- Die Schwächen: Das Paper räumt ein, dass es nicht perfekt ist. Das Modell hat immer noch einen kleinen „positiven Bias“ (es neigt immer noch leicht dazu, zuzustimmen). Außerdem funktionierte, obwohl das Durchschnittsmodell gut war, einige der spezifischen Gruppen (Cluster) nicht so gut wie andere. Wichtig ist jedoch, dass die schlechten Gruppen nicht ein bestimmter Typ von Mensch waren (wie nur alte Menschen oder nur Männer); das Scheitern war zufällig, was darauf hindeutet, dass das Problem bei der Datenqualität und nicht bei den Menschen selbst lag.
Warum das wichtig ist
Das Paper argumentiert, dass wir, wenn wir eine Bevölkerung verstehen wollen, nicht nur auf den Durchschnitt schauen sollten. Wir müssen das Individuum verstehen. Wenn man wissen will, wie eine Menge auf ein neues Gesetz reagieren wird, kann man nicht einfach „den Durchschnittsmenschen“ simulieren. Man muss den wütenden Menschen, den vorsichtigen Menschen und den begeisterten Menschen simulieren und dann sehen, wie diese alle zusammenwirken.
Anacreon zeigt, dass wir, indem wir ein großes Problem in viele kleine, spezialisierte Probleme zerlegen, der Simulation des echten menschlichen Denkens viel näher kommen können. Es löst nicht alles – das Modell ist immer noch nicht in jeder Situation so zuverlässig wie ein echter Mensch – aber es verschiebt die Messlatte erheblich. Es beweist, dass wir durch die Verankerung der KI in echten, chaotischen menschlichen Daten und durch die Gabe einer „Mischung der Geister“ beginnen können, individuelles Verhalten mit einem Genauigkeitsgrad vorherzusagen, der zuvor als unmöglich galt.
Der Autor ist vorsichtig dabei zu betonen, dass dies ein Schritt nach vorne ist, kein Zielstrich. Er legt nahe, dass wir, während wir besser darin werden, Individuen zu simulieren, immer noch herausfinden müssen, wie wir all diese individuellen Simulationen kombinieren, um ein perfektes Bild der gesamten Menge zu erhalten. Aber für den Moment haben sie gezeigt, dass der „Durchschnittsmensch“ nicht der einzige Weg ist, die Menschheit zu modellieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.