💬 NLP

Building Social World Models with Large Language Models

Dieses Paper stellt das Social World Model (SWM) vor, ein Framework, das Large Language Models nutzt, um die Evolution sozialer Überzeugungen als Reaktion auf Ereignisse ohne explizite Annotationen vorherzusagen, wobei es eine State-of-the-Art-Leistung auf einem neuen Benchmark demonstriert, der aus realen Vorhersagemärkten wie Kalshi und Polymarket abgeleitet wurde.

Ursprüngliche Autoren: Haofei Yu, Yining Zhao, Guanyu Lin, Jiaxuan You

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haofei Yu, Yining Zhao, Guanyu Lin, Jiaxuan You

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen vorherzusagen, wie eine Menschenmenge auf eine Eilmeldung reagieren wird. Werden sie begeistert, verängstigt oder gleichgültig sein? Normalerweise ist dies unglaublich schwer zu erraten, da menschliche Überzeugungen chaotisch, emotional und aus Gründen sind, die nicht immer offensichtlich sind.

Dieses Paper stellt ein neues Werkzeug namens Social World Model (SWM) vor. Betrachten Sie es als ein „Kristallorn für die öffentliche Meinung“, das durch Künstliche Intelligenz (speziell Large Language Models, oder LLMs) angetrieben wird.

Hier erklärt das Paper dies unter Verwendung einfacher Analogien:

1. Das Problem: Die „Black Box“ der öffentlichen Meinung

Die Autoren sagen, dass das Verfolgen dessen, was die Gesellschaft denkt, so ist, als würde man versuchen, das Wetter ohne Thermometer vorherzusagen.

Die Datenlücke: Normalerweise haben wir keine klaren Zahlen dafür, was die Menschen glauben. Umfragen sind langsam, und soziale Medien sind voller Rauschen (Bots, Trolle und Echokammern).
Das Mysterium: Selbst wenn wir eine Änderung der Überzeugung sehen (z. B. „Die Leute glauben plötzlich, dass eine neue Krypto-Coin steigen wird“), wissen wir oft nicht, welche spezifische Nachricht diesen Wandel verursacht hat. War es eine Rede eines Politikers? Eine wissenschaftliche Entdeckung? Oder nur ein Gerücht?
Die Herausforderung: Traditionelle Computermodelle sind gut in Mathematik (wie die Vorhersage von Aktienkursen basierend auf vergangenen Zahlen), aber schlecht darin, die Geschichte hinter den Zahlen zu verstehen. Sie können Nachrichten nicht „lesen“ und verstehen, wie eine bestimmte Schlagzeile den Geist eines Menschen verändert.

2. Die Lösung: Das „Social World Model“

Die Autoren haben ein System entwickelt, das die öffentliche Überzeugung wie ein physisches Objekt behandelt, das man drücken und ziehen kann.

Der „Zustand“ (Die Überzeugung): Stellen Sie sich ein Thermometer vor, das misst, wie stark die Menschen an etwas glauben (z. B. „Wird Trump die Wahl gewinnen?“). Die Zahl auf dem Thermometer ist der „Zustand“.
Das „Ereignis“ (Der Stoß): Eine Nachricht ist wie eine Hand, die dieses Thermometer drückt.
Das Ziel: Das Modell versucht, die Regel zu erlernen: Wenn wir diese aktuelle Überzeugung haben (Zustand A) und dieses spezifische Nachrichtenevent eintritt (Ereignis), was wird die Überzeugung morgen sein (Zustand B)?

3. Wie sie die KI trainiert haben (Der „Hindsight“-Trick)

Dies ist der cleverste Teil des Papers. Normalerweise benötigt man, um einen Computer zu lehren, einen Lehrer, der sagt: „Diese Nachricht hat diese Änderung der Überzeugung verursacht.“ Aber die Autoren hatten keinen menschlichen Lehrer für jedes einzelne Ereignis.

Stattdessen verwendeten sie eine „Hindsight“-Strategie (Rückblick-Strategie):

Das Setup: Sie nutzten Daten von Prognosemärkten (wie Polymarket und Kalshi). Dies sind Orte, an denen Menschen echtes Geld auf Ergebnisse setzen. Der Preis einer Wette ist ein perfektes, Echtzeit-Maß für das, was die Menge glaubt.
Der Lehrer (Der „Posterior“): Sie verwendeten eine superintelligente KI (ein eingefrorenes LLM), die in die Vergangenheit blickt, nachdem das Ereignis stattgefunden hat. Diese KI agiert wie ein Detektiv, der einen Tatort untersucht. Sie sieht die Änderung der Überzeugung und fragt: „Welche Nachricht von gestern erklärt diesen Wandel am besten?“
Der Schüler (Das „World Model“): Das Hauptmodell (der „Schüler“) versucht, die Zukunft vorherzusagen. Es wird darauf trainiert, zu erraten, was die „Detektiv-KI“ gesagt hätte.
- Analogie: Stellen Sie sich einen Schüler vor, der eine Prüfung ablegt. Er kennt die Antworten noch nicht. Aber nach der Prüfung sagt ihm ein genialer Tutor: „Du hast diese Frage richtig beantwortet, weil du dich an diesen spezifischen Fakt erinnert hast.“ Der Schüler lernt dann, diesen Fakt mit der Antwort zu verknüpfen, damit er es beim nächsten Mal selbst erraten kann.

4. Was sie herausfanden

Das Team testete ihr Modell gegen andere Methoden unter Verwendung von tausenden realen Wettmärkten.

Die Experten schlagen: Ihr Modell (SWM) war besser darin, die Richtung von Änderungen der Überzeugung (auf oder ab) vorherzusagen, als Standard-Zeitreihenmodelle (die nur in die Vergangenheit schauen) und sogar besser als einige der fortschrittlichsten KI-Modelle, die heute verfügbar sind (wie GPT-5.5).
Das „Warum“ zählt: Das Modell funktioniert am besten, wenn es eine Nachricht klar mit einem Wandel der Überzeugung verknüpfen kann.
- Erfolg: Wenn ein klares Ereignis stattfand (wie die Bekanntgabe eines Friedensabkommens), sagte das Modell korrekt voraus, dass sich die Überzeugung nach oben bewegen würde.
- Misserfolg: Wenn sich der Markt aus komplexen, verborgenen Gründen bewegte (wie durch algorithmischen Handel oder vage Gerüchte), hatte das Modell Schwierigkeiten, weil es keinen klaren „Ursprung“ in den Nachrichten finden konnte.

5. Zwei Betriebsmodi

Das Paper beschreibt zwei Wege, dieses Werkzeug zu nutzen:

Prognose (Der Wettermann): Das Modell betrachtet alle Nachrichten von heute, errät, welche davon am wichtigsten ist, und sagt voraus, was die Menge morgen glauben wird.
Simulation (Die „Was wäre wenn“-Maschine): Man kann das Modell fragen: „Was würde mit der öffentlichen Meinung passieren, wenn diese spezifische Fake-News-Geschichte wahr wäre?“ Das Modell simuliert die Reaktion, ohne dass die Nachricht tatsächlich existieren muss.

Zusammenfassung

Das Paper behauptet, dass durch die Kombination von Echtgeld-Wettdaten (einem sehr ehrlichen Maß für Überzeugung) mit KI, die Nachrichten lesen und verstehen kann, ein System geschaffen wurde, das vorhersagen kann, wie sich der Geist der Gesellschaft verändert. Es rät nicht nur Zahlen, sondern lernt die „Regeln“, wie spezifische Geschichten den Ausschlag der öffentlichen Meinung bewegen.

Wichtiger Hinweis: Das Paper stellt ausdrücklich klar, dass dies ein Werkzeug zum Verstehen und Vorhersagen kollektiver Überzeugungen ist. Es warnt davor, dass es zwar für politische Entscheidungsträger nützlich sein kann, um Reaktionen zu antizipieren, aber auch missbraucht werden könnte, um Meinungen zu manipulieren, falls es bösartig eingesetzt wird. Die Autoren behaupten nicht, dass es die Zukunft mit 100 % Sicherheit vorhersagen kann, noch dass es alle sozialwissenschaftlichen Probleme löst.

Technisches Resümee: Aufbau von Sozialen Weltmodellen mit Large Language Models

1. Problemstellung

Das Paper befasst sich mit der grundlegenden Herausforderung, die Evolution von sozialen Überzeugungen als Reaktion auf reale Ereignisse (z. B. politische Veränderungen, wissenschaftliche Durchbrüche oder politische Wahlen) zu modellieren und vorherzusagen. Obwohl Large Language Models (LLMs) über Commonsense-Wissen und soziale Intelligenz verfügen, stößt ihre Anwendung in diesem Bereich auf drei spezifische Hürden:

Quantifizierbarkeit und Datenknappheit: Soziale Überzeugungen sind semantisch und lassen sich nur schwer als strukturierte, hochpräzise Zeitreihendaten erfassen. Traditionelle Quellen wie Umfragen oder soziale Medien leiden unter Rauschen, Bias und mangelnder Repräsentativität.
Semantische Komplexität: Soziale Übergänge werden durch nuancierte Psychologie und kulturellen Kontext vorangetrieben, statt durch explizite, kodifizierte Gesetze. Traditionelle statistische oder symbolische Modelle scheitern oft daran, diese impliziten Übergangsregeln zu erfassen.
Mangel an expliziter Attribution: Selbst wenn Verschiebungen in den Überzeugungen beobachtet werden, ist die kausale Verbindung zwischen einem spezifischen Ereignis und der Verschiebung oft verschleiert. Ohativ expliziter „Ereignis-zu-Verschiebung“-Labels haben Modelle Schwierigkeiten, die zugrunde liegenden Mechanismen der sozialen Dynamik zu erlernen.

Die zentrale Forschungsfrage lautet: Können LLMs die Dynamik sozialer Überzeugungen als Reaktion auf Ereignisse modellieren?

2. Methodik: Das Soziale Weltmodell (SWM)

Die Autoren schlagen das Social World Model (SWM) vor, ein generatives Framework, das kollektive Überzeugung als semantischen Zustand ( $s_t$ ) und soziale Ereignisse als exogene Aktionen ( $e_t$ ) behandelt. Das Modell lernt eine Zustandsübergangsfunktion $P_\theta(s_{t+1} | s_t, e_t)$ .

2.1 Datengrundlage: SWM-Bench

Um das Problem der Datenknappheit zu lösen, führen die Autoren SWM-Bench ein, einen Benchmark, der aus realen Vorhersagemärkten (Kalshi und Polymarket) abgeleitet wurde.

Begründung: Preise in Vorhersagemärkten dienen als hochpräzises, aggregiertes Signal der öffentlichen Meinung, das Rauschen herausfiltert und rationale Entscheidungsfindung basierend auf finanziellen Einsätzen widerspiegelt.
Format: Eine soziale Überzeugung wird als binäre Proposition $q$ mit einer marktimplizierten Wahrscheinlichkeit $v_t \in [0, 1]$ definiert. Der Zustand $s_t$ ist ein Zeitfenster der jüngsten Preise, und der Ereignisraum $E_t$ besteht aus Kandidaten-Nachrichtenartikeln.

2.2 Architektur und Trainingsparadigma

Das SWM-Framework nutzt LLMs als Backbone für drei Kernmodule und verwendet ein posterior-gesteuertes Trainingsparadigma, um das Problem der Attributions-Labeling ohne menschliche Annotationen zu lösen.

Latente Ereignisattribution: Das wahre Ereignis, das eine Verschiebung der Überzeugung antreibt, wird als latente Variable $Z_t$ behandelt. Das Modell approximiert Übergänge, indem es auf ein einzelnes hypothetisches Ereignis konditioniert.
Prior-Attributor ( $P_\eta$ ): Ein vorausschauendes Modell, das Kandidaten-Ereignisse basierend auf dem vor dem Eintreten der Verschiebung verfügbaren Kontext bewertet.
Posterior-Attributor ( $Q_\phi$ ): Ein eingefrorenes, rückblickendes LLM, das das realisierte Ergebnis ( $s_{t+1}$ ) beobachtet und bestimmt, welches Kandidaten-Ereignis die Verschiebung am besten erklärt. Dies fungiert als „Lehrer“, der Pseudo-Labels bereitstellt.
Soziales Weltmodell ( $P_\theta$ ): Die Übergangsmaschine, die lernt, $s_{t+1}$ unter der Bedingung von $s_t$ und einem spezifisch attribuierten Ereignis vorherzusagen.

Trainingsziel:
Das Training minimiert eine Verlustfunktion, die aus zwei Termen besteht:

World Model Loss ( $L_{wm}$ ): Trainiert $P_\theta$ , den Übergang $s_{t+1}$ unter der Bedingung des durch den Posterior $Q_\phi$ attribuierten Ereignisses vorherzusagen.
Attributor Loss ( $L_{attr}$ ): Destilliert die Rückschau-Attribution von $Q_\phi$ mittels KL-Divergenz in den Prior-Attributor $P_\eta$ .

Dieser Ansatz ermöglicht es dem Modell, kausale Mechanismen durch inverse Inferenz zu lernen: Der Posterior identifiziert die Ursache, und der Prior lernt, diese Ursache vorherzusagen, ohne Zugriff auf die Zukunft zu haben.

2.3 Inferenzmodi

Die entkoppelte Architektur unterstützt zwei unterschiedliche Modi:

Prognose (Forecasting): Marginalisiert über die Unsicherheit des Prior-Attributors, um zukünftige Markttrajektorien vorherzusagen ( $\hat{s}_{t+1} = \sum P_\eta \cdot E[P_\theta]$ ).
Simulation: Konditioniert direkt auf einem spezifischen (realen oder hypothetischen) Ereignis, um die „Was-wäre-wenn“-Verschiebung der Überzeugung zu schätzen, wobei der Attributor umgangen wird.

3. Zentrale Beiträge

SWM-Bench: Der erste Evaluierungs-Benchmark, der aus realen Vorhersagemärkten kuratiert wurde und soziale Überzeugungen in ein quantifizierbares Zeitreihenformat transformiert, das Politik, Finanzen und Kryptowährungen abdeckt.
Social World Model Framework: Eine neuartige Architektur, die LLMs nutzt, um semantisch getriebene, implizite Übergangsregeln der sozialen Dynamik zu erfassen und damit über die traditionelle Zeitreihenprognose hinauszugehen.
Posterior-überwachtes Training: Ein Trainingsparadigma, das das Problem der Attributions-Labeling löst, indem es soziales Reasoning (Attribution) von der Dynamikmodellierung entkoppelt, was das Lernen ohne explizite menschliche Annotationen ermöglicht.

4. Experimentelle Ergebnisse

Experimente wurden auf SWM-Bench (Kalshi- und Polymarket-Datensätze) durchgeführt, wobei SWM mit Zeitreihenmodellen (z. B. Autoformer, iTransformer) und LLM-basierten Baselines (Prompting und Fine-tuning) verglichen wurde.

Performance: SWM erreicht State-of-the-Art-Ergebnisse auf dem Kalshi-Datensatz und übertrifft starke Baselines einschließlich GPT-5.5 sowie verschiedene Zeitreihenmodelle. Auf dem Polymarket-Datensatz zeigt es eine kompetitive Performance, insbesondere bei der Richtungsgenauigkeit.
Richtungsgenauigkeit: Auf dem attribuierten Teilset (wo ein klarer Nachrichten-Treiber existiert) erreicht SWM (Prior) die höchste Richtungsgenauigkeit (0,685 auf Polymarket, 0,845 auf Kalshi).
Ablationsstudien:
- Modellgröße: Größere LLM-Backbones (0,6B bis 8B) verbessern die Performance konsistent, was darauf hindeutet, dass Kapazität entscheidend ist, um textuelle Ereignisse in numerische Dynamiken zu übersetzen.
- Attribution: Der primäre Flaschenhals ist die Fähigkeit des Prior-Attributors, den korrekten kausalen Schock zu isolieren. Wenn ein Oracle-Posterior für die Inferenz verwendet wird, verbessert sich die Performance signifikant, was darauf hindeutet, dass das Übergangsmodell ( $P_\theta$ ) sehr genau ist, sobald das Ereignis identifiziert wurde.
- Ereignis-Sparsity: Kausale Signale sind oft in einem einzelnen Ereignis konzentriert; die Auswahl mittels Posterior-gesteuerter Auswahl mit einem Ereignis ( $m=1$ ) erreicht die Leistung des vollständigen Sets.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass SWM einen neuen Prozess zur Modellierung und Vorhersage der Evolution des kollektiven Konsenses bietet. Durch die Verankerung sozialer Dynamiken in Vorhersagemärkten und die Nutzung der Reasoning-Fähigkeiten von LLMs bietet das Framework ein skalierbares Toolkit für die quantitative digitale Soziologie.

Die Autoren positionieren diese Arbeit als einen Schritt hin zu parametrischen sozialen Weltmodellen. Sie betonen, dass das Modell zwar exzellent darin ist, durch klare externe Ereignisse getriebene Verschiebungen der Überzeugung zu erfassen (wie bei Kalshi ersichtlich), aber vor Herausforderungen in Märkten mit hohem endogenem oder algorithmischem Rauschen steht (wie bei Polymarket ersichtlich). Die Arbeit beansprucht nicht, alle sozialen Prognoseprobleme zu lösen, sondern etabliert ein grundlegendes Framework für das Verständnis, wie spezifische Ereignisse Verschiebungen in der öffentlichen Meinung vorantreiben, und bietet interpretierbare Einblicke in die Mechanismen der sozialen Überzeugungsdynamik.

Ethischer Hinweis: Die Autoren räumen ein, dass solche Modelle Risiken bergen können, wenn sie missbräuchlich eingesetzt werden (z. B. für gezielte Desinformation), und plädieren für einen transparenten, defensiven Einsatz, um unnatürliche Verschiebungen im kollektiven Glauben zu erkennen, statt sie zu manipulieren.