Technische Samenvatting: Diversiteit is de Kracht van de AI-menigte

Probleemstelling

Huidige hoogpresterende AI-voorspellingssystemen bereiken een nauwkeurigheid die die van bekwame menselijke "superforecasters" benadert bij toernooi-achtige vragen over toekomstige wereldgebeurtenissen. Deze systemen vertrouwen doorgaans op een standaardrecept: het inkapselen van een standaard Large Language Model (LLM) in een voor voorspellingen specifieke pipeline (bestaande uit retrieval, gestructureerde prompting en multi-sample aggregatie).

Echter, beoefenaars worden geconfronteerd met een beperkt optimalisatieprobleem dat zelden in de literatuur wordt behandeld: gegeven een vast budget aan voorspellingen per vraag, welke specifieke modellen moeten worden gesampled en gecombineerd om de ensemble-nauwkeurigheid te maximaliseren? Een natuurlijke maar onjuiste aanname is dat het trekken van alle samples uit het enkelvoudig sterkste model de beste resultaten oplevert. Dit artikel onderzoekt of deze aanname standhoudt en tracht te bepalen wat de optimale allocatie is van een vast samplebudget over een pool van diverse frontier LLM's.

Methodologie

De studie evalueert de ensembleprestaties op de Metaculus AI Benchmark Q2 2025, gebruikmakend van een testset van 113 binaire gebeurtenisvragen die werden opgelost tussen mei en juli 2025.

Modellen en Pipeline

De auteurs evalueerden vijf voorspellers, elk ingekapseld in een identieke twee-fasen scaffolding-pipeline (retrieval van vraagspecifieke bewijslast gevolgd door gestructureerde waarschijnlijkheidsafgifte):

1. Vier off-the-shelf frontier LLM's: Gemini 3 Pro, GPT-5, Grok 4 en Kimi K2.5.
2. Eén fine-tuned model: FT-gpt-oss-120b (getraind via reinforcement learning op een disjuncte set van voorspellingsvragen).

Elk model genereerde $R_m = 3$ onafhankelijke samples per vraag. De ensemble-voorspelling is een gewogen gemiddelde van de per-model gemiddelden, gevolgd door een clipping-operatie om waarschijnlijkheden weg van 0 en 1 te begrenzen.

Evaluatiemetrieken

• Nauwkeurigheid: Gemeten met de Metaculus baseline score (een geschaalde log score), waarbij 0 staat voor een uniforme 50% voorspelling en 100 voor perfect vooruitziend vermogen.
• Diversiteit: Gekwantificeerd met de symmetrische Jensen–Shannon (JS) divergentie tussen de Bernoulli-voorspellingsverdelingen van paren modellen.
• Ensemble-optimalisatie: De auteurs voerden een brute-force enumeratie uit van alle geldige integer sample-allocaties voor een totaal budget van $B=5$ (met een limiet van 3 samples per model), waarbij het optimale team $a^*_5$ werd geïdentificeerd dat de gemiddelde baseline score maximaliseert.
• Vervangbaarheid: Gedefinieerd als het scoreverschil ($\Delta_m$) tussen het optimale team en het best mogelijke team dat een specifiek model $m$ uitsluit.

Belangrijkste Resultaten

1. Correlatie beperkt de waarde van redundante sampling

De studie vond dat individuele nauwkeurigheid alleen onvoldoende is voor het maximaliseren van de ensembleprestaties. De sterkste off-the-shelf frontier LLM's (bijv. GPT-5, Kimi K2.5) produceren zeer gecorreleerde voorspellingen. Bijgevolg levert het toevoegen van meerdere samples van hetzelfde hoogpresterende model afnemende meeropbrengsten op vergeleken met het toevoegen van samples van een minder gecorreleerd model.

2. Optimale Allocatie vereist Diversiteit

Onder een vast budget van $B=5$, concentreert het optimale ensemble de samples nooit volledig op één enkel model. In plaats daarvan splitst de optimale allocatie ($a^*_5$) het budget over vier verschillende modellen:

• FT-gpt-oss-120b: 2 samples
• Gemini 3 Pro: 1 sample
• GPT-5: 1 sample
• Grok 4: 1 sample
• Kimi K2.5: 0 samples

3. Het "minst vervangbare" model is niet het meest nauwkeurige

Een cruciale bevinding betreft de bijdrage van Grok 4.

• In solo-prestaties rangschikte Grok 4 derde van de vijf modellen.
• Echter, in het optimale ensemble was Grok 4 het minst vervangbare lid, met een bijdrage aan de scoregap ($\Delta_{Grok}$) van ongeveer 1,7 baseline punten (BP) indien het verwijderd zou worden.
• In tegenstelling hiertoe droegen de top twee solo-presteerders (GPT-5 en Gemini 3 Pro) minder dan 0,1 BP elk bij aan de marginale winst van het ensemble, wat aangeeft dat ze grotendeels uitwisselbaar zijn binnen het optimale team.

De disproportionele waarde van Grok 4 komt voort uit de lage correlatie met de andere frontier-modellen, niet uit de solo-nauwkeurigheid. Op vergelijkbare wijze kreeg het fine-tuned model (FT-gpt-oss-120b) de hoogste weging in continue-gewicht sweeps en was het de tweede minst vervangbare, gedreven door een afwijkend foutprofiel.

Betekenis en Claims

Het artikel claimt dat de kracht van een "AI-menigte" in voorspellingen niet voortkomt uit het willekeurig samplen van meer voorspellingen van het enkelvoudig beste model. In plaats daarvan komt het voort uit het combineren van voorspellingen van modellen met complementaire fouten.

• Theoretische Afstemming: Deze resultaten valideren empirisch de klassieke ensembletheorie (Krogh & Vedelsby, 1994; Wood et al., 2023), die stelt dat de ensemblefout uiteenvalt in een nauwkeurigheidsterm en een diversiteitsterm. In deze context, waar solo-nauwkeurigheden geclusterd zijn, wordt de diversiteitsterm de primaire differentiator.
• Praktische Implicatie: Voor beoefenaars die voorspellingssystemen bouwen, is de optimale strategie om expliciet te optimaliseren voor zowel modelkwaliteit als diversiteit, in plaats van simpelweg samples van het hoogst gerangschikte model op te stapelen.
• Implicatie voor Ontwikkelaars: Modellen die niet top gerangschikt zijn in solo-nauwkeurigheid, kunnen nog steeds de hoogste marginale waarde aan een ensemble bieden als zij beschikken over een specifieke pre-training of fine-tuning die hun fouten de-correleert van de mainstream frontier-modellen.

De auteurs concluderen dat toekomstige voorspellingssystemen zo ontworpen moeten worden dat ze expliciet zoeken naar en wegen van modellen die complementaire foutstructuren bieden, in plaats van enkel te vertrouwen op geaggregeerde prestatiecijfers van individuele modellen.