Technische Samenvatting: SocietyBench

Probleemstelling

Huidige benchmarks voor Large Language Models (LLM's) en agents richten zich voornamelijk op taakvoltooiing (bijv. het oplossen van bugs, navigeren door GUI's, het uitvoeren van code). Hoewel deze metrieken volwassen zijn geworden, falen ze in het kwantificeren van een complementaire sociale capaciteit: hoe goed een model de dynamiek van echte sociale gebeurtenissen begrijpt en voorspelt.

Bestaande forecasting-benchmarks lijden onder drie kritieke beperkingen:

1. Beperkte Vraagtypen: Ze vertrouwen vaak op binaire ja/nee-vragen (bijv. marktpredictie-markten), waardoor de nuance van complexe sociale bogen wordt gemist.
2. Datacontaminatie: Het evalueren van echte gebeurtenissen in hun oorspronkelijke vorm staat toe dat modellen hoog scoren via memorisatie van pre-training data in plaats van echt redeneren. Daartegenover staat dat "live" forecasting-benchmarks niet volledig geëvalueerd kunnen worden totdat de toekomst zich ontvouwt, wat onmiddellijke benchmarking verhindert.
3. Verwaarlozing van Publieke Opinie: Sociale gebeurtenissen worden gedreven door een dubbele laag van feitelijke gebeurtenissen en verschuivende publieke sentimenten/narratieven, iets wat de meeste benchmarks negeren.

Bovendien testen LLM-gestuurde sociale simulaties (bijv. virtuele stadjes) de getrouwheid (kan het model een samenleving simuleren?) in plaats van de voorspellingsnauwkeurigheid (kan het model de uitkomst van een echte gebeurtenis voorspellen?).

Methodologie: SocietyBench

SocietyBench is een end-to-end benchmark die is ontworpen om contrafactische sociaal-wereld forecasting te evalueren. Het transformeert echte, voltooide sociale gebeurtenissen naar geanonimiseerde, contrafactische tijdlijnen die causale en temporele structuren behouden terwijl oppervlakkige labels die kunnen leiden tot geheugenherroeping worden verwijderd.

1. Dataconstructie & Anonimisering

De benchmark behandelt vijf heterogene gebeurtenissen over verschillende domeinen: publieke controverses, geopolitiek, technologiebeleid, financiële markten en handelsbeleid.

• Pipeline: Een geautomatiseerde pipeline aggregeert webnieuws en social media posts van vijf platforms tot een datum-geïndexeerde tijdlijn, waarbij feitelijke gebeurtenissen worden gescheiden van een publieke opinie-laag.
• Driefasige Anonimisering: Om pre-training memorisatie te voorkomen, ondergaat elke tijdlijn:
  • Entiteitsvervanging: Alle benoemde entiteiten worden vervangen met behulp van een 'longest-match' lookup tabel.
  • Datumverschuiving: Elke datum wordt verschoven met een constante offset ($\delta$) die uniek is voor de gebeurtenis (tot 180 dagen), waardoor absolute kalenderposities worden vernietigd terwijl de intervallen tussen data behouden blijven.
  • Adversarial Audit: Een panel van adversariële LLM's probeert de oorspronkelijke gebeurtenis en tijdsperiode te identificeren. Als de zekerheid hoog is, wordt de gebeurtenis afgewezen of wordt de anonimisering opnieuw uitgevoerd.
• Contrafactische Wereld: Het resultaat is een "contrafactische sociale wereld" die structureel identiek is aan de werkelijkheid, maar ontdaan is van oppervlakkige labels, waardoor modellen worden gedwongen te vertrouwen op voorwaartse redenering in plaats van herinnering.

2. Evaluatieprotocol

Voor elke gebeurtenis wordt de tijdlijn gesplitst bij meerdere afkapdata ($d_P$). Het model fungeert als een voorspeller die alleen de context ($C_P$) ziet vóór de afkapdatum en moet de toekomst ($G_P$) voorspellen.

• Voorspellingspunten: Elke gebeurtenis levert 25 voorspellingspunten op, wat in totaal 125 punten betekent over vijf gebeurtenissen.
• Vraagtypen:
  • Kalibratievragen: Binaire vragen over de vraag of gebeurtenis $E$ plaatsvindt binnen een specifieke tijdsperiode. Het model geeft een waarschijnlijkheid $\hat{p}$ output.
  • Temporele Vragen: Het model voorspelt de specifieke kalenderdatum van een toekomstige gebeurtenis.
• Scoringassen (0–100 schaal):
  • Waarschijnlijkheidskalibratie: Gebaseerd op de gewogen Mean Absolute Error (wMAE) van voorspelde waarschijnlijkheden tegen de grondwaarheid. Een uniforme 50% voorspeller scoort exact 50.
  • Temporele Nauwkeurigheid: Gebaseerd op het aantal dagen tussen de voorspelde datum en de grondwaarheid, genormaliseerd door de tijd-bucket van de gebeurtenis (0–30, 31–60, 61–90 dagen). Een middenweg-gokker scoort ongeveer 50.

Belangrijkste Bijdragen

1. SocietyBench Benchmark: Een reproduceerbare, end-to-end benchmark met vijf heterogene domeinen, dual-source tijdlijnen (nieuws + social media) en een volledig geautomatiseerde constructiepipeline.
2. Nieuw Protocol: Een ontwerp dat input-zijde anonimisering (entiteit/datum vervanging) koppelt aan output-zijde dual-axis scoring (kalibratie en temporele nauwkeurigheid).
3. Uitgebreide Evaluatie: Evaluatie van 6 frontier LLM's, 3 agent frameworks en 2 niet-LLM baselines over 125 voorspellingspunten in zowel Chinese als Engelse edities.

Experimentele Resultaten

De studie evalueerde zes frontier LLM's (GPT-5.5, Gemini-3.5-Flash, Claude-Opus-4.8, DeepSeek-V4-Pro, Kimi-K2.5, Doubao-Seed-2.0-Pro) en drie agent frameworks (LangGraph, AutoGen, MiroFish) gebouwd op de Doubao basis.

Belangrijkste Bevindingen

• Prestatieplafond: Het sterkste model, GPT-5.5, behaalde een algemene score van 75.0/100, wat aanzienlijk boven de triviale ankerwaarde van 50 ligt, maar wijst op substantiële ruimte voor verbetering.
• As-dissociatie: De twee scoringassen zijn orthogonaal. Een model kan sterk zijn in kalibratie maar zwak in temporele nauwkeurigheid (bijv. Gemini-3.5-Flash: 73.9 Cal / 67.3 Time) of andersom (bijv. Claude-Opus-4.8: 62.5 Cal / 70.0 Time).
• Gebeurtenisvariantie: Prestatiekloven variëren drastisch per gebeurtenis. Bij de "Trump Tariff" gebeurtenis bereikte de temporele kloof tussen het beste model (GPT-5.5) en het slechtste model (Kimi-K2.5) 21.4 punten. Dit suggereert dat evaluaties op basis van een enkele gebeurtenis onbetrouwbaar zijn.
• Agent Falen: Drie agent frameworks gebouwd op de Doubao basis slaagden er niet in om de basismodellen te verbeteren. Sterker nog, orchestratie (bijv. AutoGen) verslechterde de prestaties licht, met name op de kalibratie-as.
• Baseline Vergelijking: Twee model-vrije heuristieken (frequentie en momentum baselines) scoorden tussen 53.8 en 54.2, wat achterblijft bij alle LLM's, maar bevestigt dat LLM's een voorspellend signaal bezitten dat verder gaat dan eenvoudige heuristieken.

Ablatie-inzichten

• Vraaggerogenheid: "Growing window" vragen (Type A) waren de primaire drijfveer van moeilijkheid; het verwijderen ervan verhoogde de scores met +7.2 punten.
• Bias: Modellen vertoonden een sterke bias naar het ontkennen van valse gebeurtenissen (score 76) vergeleken met het bevestigen van ware gebeurtenissen (60).
• Afkapgradiënt: Modellen presteerden over het algemeen beter bij latere afkapdata (meer geschiedenis zien), wat het vermogen van de benchmark valideert om context-gebaseerde forecasting te meten.

Betekenis en Claims

Het artikel stelt dat SocietyBench de eerste rigoureuze, kwantitatieve leaderboard biedt voor sociale gebeurtenis forecasting die datacontaminatie vermijdt.

• Noodzaak van Contrafactische Benadering: Door gebeurtenissen te anonimiseren, zorgt de benchmark ervoor dat hoge scores reflectie zijn van echt redeneren over sociale dynamiek in plaats van het ophalen van pre-training herinneringen.
• Vereiste van Multi-Gebeurtenis Evaluatie: De grote variantie in prestaties over verschillende gebeurtenissen (tot 21.4 punten op een enkele as) dient als het primaire argument om modellen over meerdere heterogene gebeurtenissen te evalueren in plaats van te vertrouven op een enkele casestudy.
• Beperkingen van Huidige Systemen: De resultaten geven aan dat huidige frontier LLM's en agent frameworks nog lang niet in staat zijn sociale forecasting te beheersen, waarbij de beste modellen slechts ongeveer de helft van de "headroom" boven een willekeurige baseline herstellen. Het falen van agent orchestratie om de basisprestaties te verbeteren suggereert dat huidige scaffolding technieken de complexe sociale redenering nog niet versterken.

De auteurs stellen alle geanonimiseerde tijdlijnen, vraagbanken, grondwaarheid en scoring code beschikbaar om toekomstig onderzoek in dit domein te faciliteren.