Résumé technique : Construire des modèles de mondes sociaux avec les grands modèles de langage

1. Énoncé du problème

Le document traite du défi fondamental consistant à modéliser et à prédire la manière dont les croyances sociales évoluent en réponse à des événements du monde réel (par exemple, des changements de politiques, des percées scientifiques ou des élections politiques). Bien que les grands modèles de langage (LLM) possèdent une intelligence sociale et un sens commun, leur application à ce domaine se heurte à trois obstacles spécifiques :

• Quantifiabilité et rareté des données : Les croyances sociales sont sémantiques et difficiles à capturer sous forme de données de séries temporelles structurées et de haute fidélité. Les sources traditionnelles comme les sondages ou les réseaux sociaux souffrent de bruit, de biais et d'un manque de représentativité.
• Complexité sémantique : Les transitions sociales sont dictées par une psychologie et un contexte culturel nuancés plutôt que par des lois explicites et codifiées. Les modèles statistiques ou symboliques traditionnels échouent souvent à capturer ces règles de transition implicites.
• Absence d'attribution explicite : Même lorsque des changements de croyance sont observés, le lien causal entre un événement spécifique et le changement est souvent obscurci. Sans étiquettes explicites « événement-vers-changement », les modèles peinent à apprendre les mécanismes sous-jacents de la dynamique sociale.

La question de recherche centrale est la suivante : Les LLM peuvent-ils modéliser la dynamique des croyances sociales en réponse à des événements ?

2. Méthodologie : Le Modèle de Monde Social (SWM)

Les auteurs proposent le Modèle de Monde Social (SWM), un cadre génératif qui traite la croyance collective comme un état sémantique ($s_t$) et les événements sociaux comme des actions exogènes ($e_t$). Le modèle apprend une fonction de transition d'état $P_\theta(s_{t+1} | s_t, e_t)$.

2.1 Fondement des données : SWM-Bench

Pour résoudre le problème de la rareté des données, les auteurs introduisent SWM-Bench, un benchmark dérivé de marchés de prédiction réels (Kalshi et Polymarket).

• Raisonnement : Les prix des marchés de prédiction servent de signal agrégé de haute fidélité de l'opinion publique, filtrant le bruit et reflétant une prise de décision rationnelle basée sur des enjeux financiers.
• Format : Une croyance sociale est définie comme une proposition binaire $q$ avec une probabilité impliquée par le marché $v_t \in [0, 1]$. L'état $s_t$ est une fenêtre de trajectoire des prix récents, et l'espace des événements $E_t$ est constitué d'articles d'actualité candidats.

2.2 Architecture et paradigme d'entraînement

Le cadre SWM utilise les LLM comme colonne vertébrale pour trois modules principaux, employant un paradigme d'entraînement guidé par le postérieur pour résoudre le problème d'étiquetage de l'attribution sans annotations humaines.

1. Attribution d'événement latent : Le véritable événement pilotant un changement de croyance est traité comme une variable latente $Z_t$. Le modèle approxime les transitions en se conditionnant sur un événement hypothétique unique.
2. Attributeur Prior ($P_\eta$) : Un modèle prospectif qui évalue les événements candidats en fonction du contexte disponible avant que le changement ne se produise.
3. Attributeur Posterior ($Q_\phi$) : Un LLM figé, observant avec le recul de l'expérience, qui observe le résultat réalisé ($s_{t+1}$) et détermine quel événement candidat explique le mieux le changement. Il agit comme un « enseignant » fournissant des pseudo-étiquettes.
4. Modèle de Monde Social ($P_\theta$) : Le moteur de transition qui apprend à prédire $s_{t+1}$ étant donné $s_t$ et un événement attribué spécifique.

Objectif d'entraînement :
L'entraînement minimise une fonction de perte composée de deux termes :

• Perte du Modèle de Monde ($L_{wm}$) : Entraîne $P_\theta$ pour prédire la transition $s_{t+1}$ conditionnée par l'événement attribué par le postérieur $Q_\phi$.
• Perte d'Attribution ($L_{attr}$) : Distille l'attribution a posteriori de $Q_\phi$ dans l'attributeur prior $P_\eta$ en utilisant la divergence KL.

Cette approche permet au modèle d'apprendre les mécanismes causaux en effectuant une inférence inverse : le postérieur identifie la cause, et le prior apprend à prédire cette cause sans avoir accès au futur.

2.3 Modes d'inférence

L'architecture découplée supporte deux modes distincts :

• Prévision (Forecasting) : Marginalise l'incertitude de l'attributeur prior pour prédire les trajectoires futures du marché ($\hat{s}_{t+1} = \sum P_\eta \cdot E[P_\theta]$).
• Simulation : Se conditionne directement sur un événement spécifique (réel ou hypothétique) pour estimer le changement de croyance « et si » (what-if), contournant ainsi l'attributeur.

3. Principales contributions

1. SWM-Bench : Le premier benchmark d'évaluation constitué à partir de marchés de prédiction réels, transformant les croyances sociales en un format de séries temporelles quantifiable couvrant la politique, la finance et la cryptomonnaie.
2. Cadre de Modèle de Monde Social : Une architecture novatrice exploitant les LLM pour capturer les règles de transition sémantiques et implicites de la dynamique sociale, allant au-delà des prévisions de séries temporelles traditionnelles.
3. Entraînement supervisé par le postérieur : Un paradigme d'entraînement qui résout le problème d'étiquetage de l'attribution en découplant le raisonnement social (attribution) de la modélisation de la dynamique, permettant un apprentissage sans annotations humaines explicites.

4. Résultats expérimentaux

Des expériences ont été menées sur SWM-Bench (jeux de données Kalshi et Polymarket) comparant SWM à des modèles de séries temporelles (ex: Autoformer, iTransformer) et à des lignes de base basées sur les LLM (prompting et fine-tuning).

• Performance : SWM atteint des résultats de pointe (SOTA) sur le jeu de données Kalshi, surpassant des modèles de référence solides, y compris GPT-5.5 et divers modèles de séries temporelles. Sur le jeu de données Polymarket, il démontre des performances compétitives, particulièrement en précision directionnelle.
• Précision directionnelle : Sur le sous-ensemble attribué (où un moteur d'actualité clair existe), SWM (prior) atteint la précision directionnelle la plus élevée (0,685 sur Polymarket, 0,845 sur Kalshi).
• Études d'ablation :
  • Taille du modèle : Les backbones LLM plus larges (de 0,6B à 8B) améliorent systématiquement les performances, suggérant que la capacité est cruciale pour traduire les événements textuels en dynamiques numériques.
  • Attribution : Le principal goulot d'étranglement est la capacité de l'attributeur prior à isoler le choc causal correct. Lorsqu'un oracle postérieur est utilisé pour l'inférence, les performances s'améliorent considérablement, indiquant que le modèle de transition ($P_\theta$) est hautement précis une fois l'événement identifié.
  • Rareté des événements : Les signaux causaux sont souvent concentrés dans un seul événement ; la sélection guidée par le postérieur avec un seul événement ($m=1$) correspond aux performances de l'ensemble complet.

5. Signification et affirmations

L'article affirme que le SWM fournit un nouveau pipeline pour modéliser et prédire l'évolution du consensus collectif. En ancrant la dynamique sociale dans les marchés de prédiction et en exploitant les capacités de raisonnement des LLM, le cadre offre un outil évolutif pour la sociologie numérique quantitative.

Les auteurs positionnent ce travail comme une étape vers des modèles de mondes sociaux paramétriques. Ils soulignent que, bien que le modèle excelle à capturer les changements de croyance pilotés par des événements externes clairs (comme vu sur Kalshi), il fait face à des défis dans les marchés présentant un bruit endogène ou algorithmique élevé (comme vu sur Polymarket). Le travail ne prétend pas résoudre tous les problèmes de prévision sociale, mais établit un cadre fondamental pour comprendre comment des événements spécifiques pilotent les changements d'opinion publique, offrant des perspectives interprétables sur les mécanismes de la dynamique des croyances sociales.

Note éthique : Les auteurs reconnaissent que de tels modèles comportent des risques s'ils sont utilisés de manière malveillante (par exemple, pour la désinformation ciblée) et préconisent un déploiement défensif et transparent pour détecter les changements anormaux dans la croyance collective plutôt que pour les manipuler.