Technische Samenvatting: De Wijsheid van LLM-menigten

Probleemstelling

Het fenomeen van de "wijsheid van de menigte" stelt dat het aggregeren van oordelen van een diverse groep vaak leidt tot een hogere nauwkeurigheid dan het beste individuele lid. Hoewel dit uitgebreid is gevalideerd met menselijke voorspellers, blijft het een open vraag of Large Language Models (LLM's) een vergelijkbare collectieve intelligentie vertonen. Vorig werk (bijv. Schoenegger et al., 2024) suggereerde dat LLM-menigten menselijke panels konden evenaren, maar vertrouwde op eenvoudige aggregatie (mediaan) en onderzocht niet systematisch de mechanismen van aggregatievoordelen of de impact van datacontaminatie.

Een cruciale uitdaging bij het evalueren van LLM's op opgeloste vragen uit voorspellingsmarkten is training cutoff contaminatie. Als de trainingsdata van een model de uitkomsten bevat van vragen die zijn opgelost vóór de datum van de training cutoff, kan het model het antwoord "memoriseren" in plaats van redeneren, wat de prestaties kunstmatig opdrijft en vergelijkingen tussen modellen met verschillende trainingsdata vertekent. Deze studie beoogt te bepalen of LLM-menigten wijsheid-van-de-menigte-effecten vertonen, de optimale aggregatiestrategieën te identificeren en de impact van contaminatie op modelrangschikking en capaciteitsverschillen rigoureus te beoordelen.

Methodologie

Data en Modellen

• Dataset: De studie maakte gebruik van 254 binaire (JA/NEE) voorspellingsmarktvragen van Manifold Markets.
  • Hoofdset: 208 items die werden opgelost tussen juni 2024 en maart 2026.
  • Schone Subgroep (Clean Subset): 94 items die werden opgelost na 1 september 2025, wat overlap met de training cutoff van enig model uitsluit.
• Modellen: Kansinschattingen werden opgevraagd van 15 LLM's, bestaande uit:
  • Frontier Cloud Modellen: 10 modellen (bijv. Claude 4.6 serie, GPT-5 serie, Gemini Flash/Pro).
  • Lokale Modellen: 5 kleinere, open-weight modellen (bijv. Mistral 7B, LLaMA 3.1 8B, Phi-4 14B).
• Elicitatie: Modellen werden geprompt om een kansinschatting (0–1) voor elke bewering te geven op basis uitsluitend van hun trainingskennis, zonder internetzoekopdrachten.

Aggregatiemethoden

De studie evalueerde vier klassieke aggregatiemethoden en twee geleerde aggregatoren:

1. Klassieke Methoden: Rekenkundig gemiddelde, geometrisch gemiddelde, harmonisch gemiddelde en log-odds gemiddelde (logit gemiddelde).
2. Geleerde Aggregatoren:
   • Logistische Regressie: Een lineair model dat niet-uniforme gewichten leert voor de 15 modelinputs.
   • Multilayer Perceptron (MLP): Een neuraal netwerk met twee verborgen lagen (64 en 32 eenheden) dat getraind is om de 15-dimensionale inputvector naar een enkele waarschijnlijkheid te mappen.

• Evaluatieprotocol: Geleerde aggregatoren werden getraind op de 160 niet-schone items en geëvalueerd op de 94-items schone subset (temporele transfer) om ervoor te zorgen dat ze werden getest op onbekende data. Klassieke methoden werden direct op de schone subset geëvalueerd.

Analysetechnieken

• Metrieken: De primaire metriek was de Brier score (lager is beter); secundaire metrieken omvatten classificatienauwkeurigheid en AUC.
• Symbolische Regressie: Toegepast op de getrainde MLP om een interpreteerbare wiskundige formule te extraheren die de aggregatiestrategie benadert, waarbij gezocht werd naar de Pareto-frontier van nauwkeurigheid versus complexiteit.
• Contaminatieanalyse: Vergeleek de prestaties van modellen op "binnen-de-cutoff" versus "buiten-de-cutoff" items en analyseerde de stabiliteit van de rangschikking tussen de volledige dataset en de schone subset.
• Menselijke Baseline: Vergeleek de LLM-prestaties met de Manifold marktwaarschijnlijkheid, gebruikmakend van zowel de uiteindelijke marktprijs als een "cutoff-gematchte" prijs (marktprijs op het moment van de training cutoff van elk model) om informatievoordelen te controleren.

Belangrijkste Resultaten

1. Aggreatieprestaties

• Geleerd vs. Klassiek: Beide geleerde aggregatoren (Logistische Regressie en MLP) presteerden significant beter dan alle individuele modellen en klassieke aggregatiemethoden op de schone subset.
  • Logistische Regressie behaalde de laagste Brier score (0.241), wat de rekenkundige gemiddelde (0.313) met ~23% overtrof.
  • MLP behaalde een iets hogere Brier score (0.264) maar een betere rangorde-discriminatie (AUC 0.657 vs. 0.633).
• Lineariteit van Voordeel: De bijna gelijkwaardigheid van de Logistische Regressie en de MLP suggereert dat het aggregatievoordeel primair voortkomt uit het leren van een lineaire combinatie van diverse modeloutputs, in plaats van complexe niet-lineaire interacties.
• Bevindingen Symbolische Regressie: De eenvoudigste nuttige formule die uit de MLP werd teruggewonnen, was een contrastief signaal tussen twee specifieke modellen: $\sigma(p_{\text{Gemini Pro}} - p_{\text{Claude Haiku}})$. Deze formule, gebruikmakend van slechts twee modellen, repliceerde bijna de prestaties van de volledige 15-modellen MLP, wat aangeeft dat het voordeel voortkomt uit een klein aantal complementaire foutpatronen.

2. Contaminatie-effecten

• Prestatie-inflatie: Modellen vertoonden een aanzienlijk hogere nauwkeurigheid op items die werden opgelost vóór hun training cutoff vergeleken met items die daarna werden opgelost. De nauwkeurigheidsverschillen varieerden van +0.05 tot +0.26.
• Rangschikkingsinstabiliteit: Contaminatie vertekende de modelrangschikking aanzienlijk. De Spearman rangcorrelatie tussen de volledige dataset en de schone subset was slechts $\rho = 0.532$. Opvallende verschuivingen waren onder meer LLaMA 3.1 8B die steeg van rang 14 naar 6, en GPT-5.4 Mini die daalde van 6 naar 13.
• Ineenstorting Cloud-Local Gat: Het schijnbare prestatieverschil tussen frontier cloud-modellen en kleinere lokale modellen stortte in van 35.8% (op de volledige dataset) naar 8.9% (op de schone subset). Dit suggereert dat een groot deel van de waargenomen superioriteit van frontier-modellen in voorspellingsopdrachten te wijten was aan kennis van uitkomsten in plaats van superieur redeneervermogen.

3. Vergelijking met Menselijke Menigten

• LLM vs. Markt: Zelfs wanneer gecontroleerd werd voor het informatievoordeel van de markt (met behulp van cutoff-gematchte marktprijzen), presteerde de menselijke menigte (Manifold markt) de individuele LLM's met een factor 1.5x tot 2.6x beter in Brier score.
• Mechanisme: Het menselijke voordeel weerspiegelt het vermogen van actieve handelaren om verspreide kennis dynamisch te aggregeren en schattingen in realtime bij te werken, een capaciteit die LLM's (die redeneren vanuit bevroren snapshots) niet kunnen repliceren.
• Reconciliatie met Vorig Werk: De studie merkt op dat hoewel LLM-menigten tekortschieten ten opzichte van dynamische voorspellingsmarkten, ze wel de prestaties van statische menselijke panels kunnen evenaren (zoals gevonden door Schoenegger et al., 2024), wat benadrukt dat het gat structureel is (dynamische vs. statische aggregatie) in plaats van een fundamenteel falen van LLM's ten opzichte van menselijke cognitie.

Betekenis en Claims

Het artikel claimt drie primaire bijdragen:

1. Validatie van LLM-Menigswijsheid: Het levert bewijs dat LLM-menigten wijsheid-van-de-menigte-effecten vertonen, waarbij geleerde aggregatie significant beter presteert dan het beste individuele model.
2. Identificatie van het Mechanisme: Het demonstreert dat het aggregatievoordeel in LLM's, vergelijkbaar met menselijke menigten, berust op foutpatroon-diversiteit in plaats van eenvoudige prestatiegewichten. De auteurs tonen aan dat eenvoudige lineaire combinaties van diverse modellen voldoende zijn om het grootste deel van dit voordeel te vangen.
3. Contaminatie als Kritieke Confound: De studie stelt vast dat training cutoff contaminatie een hardnekkig probleem is dat de prestaties van frontier-modellen kunstmatig opdrijft en capaciteitsbeoordelingen vertekent. Het betoogt dat "schone" evaluatie (gebruikmakend van vragen die worden opgelost na de training cutoffs van alle modellen) essentieel is voor een betrouwbare beoordeling, wat onthult dat het gat tussen lokale en frontier-modellen veel kleiner is dan voorheen gedacht.

De auteurs concluderen dat hoewel LLM-menigten collectieve intelligentie kunnen vertonen, hun nauwkeurigheid structureel beperkt wordt door hun statische aard in vergelijking met dynamische menselijke markten, en dat een rigoureuze, contaminatievrije evaluatie noodzakelijk is om hun werkelijke redeneervermogen te begrijpen.