💬 NLP

SocietyBench: Forecasting Counterfactual Social-World Evolution

Cet article introduit SocietyBench, un nouveau benchmark qui évalue la capacité des grands modèles de langage à prévoir l'évolution contrefactuelle du monde social en anonymisant des chronologies d'événements réels en tâches de prédiction structurées, révélant que même les modèles de pointe éprouvent des difficultés tant pour le calibrage de probabilité que pour la précision temporelle à travers divers événements.

Auteurs originaux : Zhenran Wang, Zhonghan Bian, Jinsong Li, Zhangyang Qi

Publié 2026-08-05

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zhenran Wang, Zhonghan Bian, Jinsong Li, Zhangyang Qi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot super intelligent comment comprendre le monde. Pendant longtemps, les scientifiques ont testé ces robots en leur confiant des corvées : « Répare ce code cassé », « Navigue sur ce site web » ou « Résous ce problème de mathématiques ». C'est comme un examen de conduite où le robot doit simplement rester dans sa voie et atteindre la destination. Mais il y a une immense partie de l'expérience humaine que ces tests négligent : le drame désordonné et imprévisible de la vie réelle. Comment un robot gère-t-il un scandale soudain, une rumeur politique changeante ou un krach boursier ? Peut-il regarder les nouvelles d'aujourd'hui et deviner ce que diront les gros titres demain ? C'est le domaine de la prévision sociale. Il ne s'agit pas de suivre une carte ; il s'agit de prédire la météo du comportement humain, là où le vent change de direction en fonction des commérages, de la colère et de la surprise.

Entrez dans SocietyBench, un nouvel « examen final » conçu pour voir si l'intelligence artificielle peut réellement prédire l'avenir des événements sociaux réels, plutôt que de simplement réciter des faits qu'elle a mémorisés de ses données d'entraînement. Les chercheurs derrière cette étude ont réalisé que si vous posez une question à une IA sur un événement célèbre qui s'est déjà produit, elle pourrait simplement « s'appuyer sur des données mémorisées » en se souvenant de la réponse issue de sa vaste bibliothèque de textes passés. Pour empêcher cela, ils ont utilisé une astuce ingénieuse : ils ont pris de véritables articles de presse, ont remplacé tous les noms (comme transformer « Elon Musk » en « Personne X » et « Tesla » en « Entreprise Y ») et ont modifié les dates. Cela transforme une histoire réelle en un monde « contrefactuel » — un univers parallèle qui ressemble et ressemble exactement au monde réel, mais où l'IA n'a jamais vu le scénario auparavant. L'IA doit utiliser son cerveau pour comprendre comment l'histoire se déroule, et non sa mémoire.

Les résultats de cette expérience ont été un certain rappel à la réalité pour le monde de l'IA. Les chercheurs ont testé six des modèles d'IA les plus avancés disponibles aujourd'hui sur cinq types différents d'événements, allant des krachs des marchés financiers aux conflits géopolitiques. Même le modèle le plus intelligent, qui a obtenu le score le plus élevé, n'a réussi à obtenir que 75,0 sur 100 points. Cela peut sembler bon, mais n'oubliez pas que l'« ancrage trivial » (le score que vous obtiendriez si vous deviez simplement deviner au hasard ou dire « 50 % de chances » à tout) est de 50. Ainsi, la meilleure IA n'est qu'à mi-chemin entre une supposition aléatoire et une prédiction parfaite.

Voici le plus frappant : les modèles d'IA sont terribles pour être cohérents. Certains modèles sont bons pour deviner la probabilité de quelque chose (comme dire « il y a 70 % de chances qu'il pleuve ») mais sont terribles pour deviner quand cela arrivera. D'autres sont l'inverse. C'est comme un prévisionneur météo qui a toujours raison sur le fait qu'il va pleuvoir, mais se trompe toujours sur le fait qu'il pleuvra mardi ou vendredi. L'étude a révélé que sur un seul événement, l'écart entre le meilleur et le pire modèle pouvait être aussi grand que 21,4 points. Cela proule que vous ne pouvez pas simplement tester une IA sur une seule histoire et considérer que c'est fait ; vous devez la tester sur de nombreuses histoires différentes pour obtenir une image réelle.

La découverte la plus surprenante concernait peut-être les « Agents IA ». Il s'agit de configurations sophistiquées où plusieurs bots d'IA discutent entre eux, débattent ou planifient ensemble, dans l'espoir d'obtenir une réponse plus intelligente. Les chercheurs ont testé trois manières différentes de faire fonctionner ces équipes, mais aucune d'entre elles n'a amélioré les résultats. En fait, l'équipe de bots a souvent moins bien performé que le bot d'IA solitaire sur lequel elle était construite. Il s'avère que pour prédire le chaos social, ajouter plus de voix dans la pièce ne rendait pas la conversation plus intelligente ; cela la rendait simplement plus bruyante.

En fin de compte, SocietyBench nous montre que si nos modèles d'IA deviennent très bons pour suivre des instructions et corriger des bugs, ils luttent encore pour comprendre la dynamique complexe et tourbillonnante de la société humaine. Ils ne peuvent pas simplement mémoriser le futur ; ils doivent réellement raisonner à travers lui. Et pour l'instant, même les meilleurs d'entre eux sont encore loin d'être de véritables devins.

Résumé Technique : SocietyBench

Problématique

Les benchmarks actuels pour les Grands Modèles de Langage (LLM) et les agents se concentrent principalement sur la réalisation de tâches (ex. : correction de bugs, navigation dans des interfaces graphiques, exécution de code). Bien que ces mesures aient atteint une certaine maturité, elles ne parviennent pas à quantifier une capacité sociale complémentaire : la capacité d'un modèle à comprendre et à prévoir la dynamique des événements sociaux du monde réel.

Les benchmarks de prévision existants souffrent de trois limitations critiques :

Types de questions étroits : Ils reposent souvent sur des questions binaires oui/non (ex. : marchés de prédiction boursière), manquant ainsi la nuance des arcs sociaux complexes.
Contamination des données : L'évaluation d'événements réels sous leur forme originale permet aux modèles d'obtenir des scores élevés via la mémorisation des données d'entraînement plutôt que par un raisonnement authentique. À l'inverse, les benchmarks de prévision "en direct" ne peuvent être pleinement évalués qu'une fois que le futur s'est déroulé, ce qui empêche un benchmarking immédiat.
Négligence de l'opinion publique : Les événements sociaux sont régis par une double couche : des faits concrets et l'évolution des sentiments ou des récits publics, ce que la plupart des benchmarks ignorent.

De plus, les simulations sociales pilotées par LLM (ex. : villes virtuelles) testent la fidélité (le modèle peut-il simire une société ?) plutôt que la précision de la prévision (le modèle peut-il prédire l'issue d'un événement réel ?).

Méthodologie : SocietyBench

SocietyBench est un benchmark de bout en bout conçu pour évaluer la prévision contrefactuelle du monde social. Il transforme des événements sociaux réels et achevés en chronologies contrefactuelles anonymisées qui préservent les structures causales et temporelles tout en supprimant les étiquettes de surface susceptibles de déclencher le rappel de la mémoire.

1. Construction et anonymisation des données

Le benchmark couvre cinq événements hétérogènes dans divers domaines : controverse publique, géopolitique, politique technologique, marchés financiers et politique commerciale.

Pipeline : Un pipeline automatisé agrège les actualités du Web et les publications sur les réseaux sociaux provenant de cinq plateformes pour créer une chronologie indexée par date, séparant les événements factuels d'une couche d'opinion publique.
Anonymisation en trois phases : Pour empêcher la mémorisation issue du pré-entraînement, chaque chronologie subit :
- Substitution d'entités : Toutes les entités nommées sont remplacées à l'aide d'une table de correspondance par recherche de correspondance la plus longue (longest-match lookup table).
- Décalage de date : Chaque date est décalée par un décalage constant ( $\delta$ ) propre à l'événement (jusqu'à 180 jours), détruisant les positions calendaires absolues tout en préservant les intervalles entre les dates.
- Audit contradictoire : Un panel de LLM adverses tente de réidentifier l'événement original et la période temporelle. Si la confiance est élevée, l'événement est rejeté ou l'anonymisation est relancée.
Monde contrefactuel : Le résultat est un "monde social contrefactuel" structurellement identique à la réalité, mais dépouillé de ses étiquettes de surface, forçant les modèles à s'appuyer sur le raisonnement prospectif plutôt que sur le rappel.

2. Protocole d'évaluation

Pour chaque événement, la chronologie est divisée à plusieurs dates de coupure ( $d_P$ ). Le modèle agit comme un prévoyant ne voyant que le contexte ( $C_P$ ) avant la coupure et doit prédire le futur ( $G_P$ ).

Points de prédiction : Chaque événement génère 25 points de prédiction, soit un total de 125 points pour les cinq événements.
Types de questions :
- Questions de calibration : Questions binaires demandant si un événement $E$ se produit dans une fenêtre temporelle spécifique. Le modèle produit une probabilité $\hat{p}$ .
- Questions temporelles : Le modèle prédit la date calendaire spécifique d'un événement futur.
Axes de notation (échelle 0–100) :
- Calibration de la probabilité : Basée sur l'erreur absolue moyenne pondérée (wMAE) des probabilités prédites par rapport à la vérité terrain. Un prédicteur uniforme à 50 % obtient exactement 50.
- Précision temporelle : Basée sur le nombre de jours entre la date prédite et la vérité terrain, normalisé par le segment temporel de l'événement (0–30, 31–60, 61–90 jours). Un prédicteur de point médian obtient environ 50.

Contributions clés

Benchmark SocietyBench : Un benchmark reproductible de bout en bout comprenant cinq domaines hétérogènes, des chronologies à sources doubles (actualités + réseaux sociaux) et un pipeline de construction entièrement automatisé.
Protocole novateur : Une conception associant l'anonymisation côté entrée (remplacement des entités/dates) à une notation sur deux axes côté sortie (calibration et précision temporelle).
Évaluation exhaustive : Évaluation de 6 LLM de pointe, 3 frameworks d'agents et 2 bases de référence non-LLM sur 125 points de prédiction, en éditions chinoise et anglaise.

Résultats expérimentaux

L'étude a évalué six LLM de pointe (GPT-5.5, Gemini-3.5-Flash, Claude-Opus-4.8, DeepSeek-V4-Pro, Kimi-K2.5, Doubao-Seed-2.0-Pro) et trois frameworks d'agents (LangGraph, AutoGen, MiroFish) construits sur la base de Doubao.

Principales conclusions

Plafond de performance : Le modèle le plus fort, GPT-5.5, a obtenu un score global de 75,0/100, nettement supérieur à l'ancre triviale de 50, mais indiquant une marge de progression substantielle.
Dissociation des axes : Les deux axes de notation sont orthogonaux. Un modèle peut être performant en calibration mais faible en précision temporelle (ex. : Gemini-3.5-Flash : 73,9 Cal / 67,3 Temps) ou inversement (ex. : Claude-Opus-4.8 : 62,5 Cal / 70,0 Temps).
Variance des événements : Les écarts de performance varient drastiquement selon l'événement. Sur l'événement "Tarifs de Trump", l'écart temporel entre le meilleur modèle (GPT-5.5) et le moins bon (Kimi-K2.5) a atteint 21,4 points. Cela suggère que les évaluations sur un seul événement sont peu fiables.
Échec des agents : Trois frameworks d'agents construits sur la base de Doubao n'ont pas réussi à améliorer le modèle de base. En fait, l'orchestration (ex. : AutoGen) a légèrement dégradé la performance, particulièrement sur l'axe de la calibration.
Comparaison avec les bases de référence : Deux heuristiques sans modèle (fréquence et momentum) ont obtenu des scores compris entre 53,8 et 54,2, restant derrière tous les LLM, mais confirmant que les LLM possèdent un signal prédictif au-delà des simples heuristiques.

Insights d'ablation

Difficulté des questions : Les questions à "fenêtre croissante" (Type A) ont été le principal moteur de difficulté ; leur suppression a gonflé les scores de +7,2 points.
Biais : Les modèles ont montré un fort biais vers le déni des événements faux (score d'environ 76) par rapport à la confirmation des événements vrais (~60).
Gradient de coupure : Les modèles performent généralement mieux sur les coupures tardives (voyant plus d'historique), validant la capacité du benchmark à mesurer la prévision basée sur le contexte.

Signification et affirmations

L'article soutient que SocietyBench fournit le premier classement quantitatif rigoureux pour la prévision d'événements sociaux qui évite la contamination des données.

Nécessité du contrefactuel : En anonymisant les événements, le benchmark garantit que les scores élevés reflètent un raisonnement authentique sur les dynamiques sociales plutôt que le rappel de mémoires issues du pré-entraînement.
Exigence multi-événements : La grande variance de performance entre les différents événements (jusqu'à 21,4 points sur un seul axe) sert d'argument principal pour évaluer les modèles à travers plusieurs événements hétérogènes plutôt que de se fier à une seule étude de cas.
Limites des systèmes actuels : Les résultats indiquent que les LLM de pointe actuels sont loin de maîtriser la prévision sociale, le meilleur des modèles ne récupérant qu'environ la moitié de la "marge de progression" au-dessus d'une base aléatoire. L'échec de l'orchestration des agents à améliorer la performance de base suggère que les techniques d'échafaudage actuelles n'améliorent pas encore le raisonnement social complexe.

Les auteurs publient toutes les chronologies anonymisées, les banques de questions, la vérité terrain et le code de notation pour faciliter les recherches futures dans ce domaine.