Technische Samenvatting: De Vingerafdruk van de Orakel: Gecorreleerde Voorspellingsfouten van AI en de Grenzen van Bias-Transmissie

Probleemstelling

De "wijsheid van de menigte" is gebaseerd op de statistische onafhankelijkheid van individuele fouten; wanneer voorspellers op idiosyncratische manieren fouten maken, heffen hun fouten elkaar op bij aggregatie. De wijdverbreide adoptie van Large Language Models (LLM's) voor besluitvormingsondersteuning introduceert echter een risico op een epistemische monocultuur. Als menselijke voorspellers een klein aantal AI-modellen raadplegen die systematische, gecorreleerde faalmodi delen, stort de diversiteit van de "menigte" in. Het artikel onderzoekt drie noodzakelijke voorwaarden opdat deze monocultuur schade kan veroorzaken:

1. LLM's moeten systematische voorspellingsbiases vertonen.
2. Deze biases moeten sterk gecorreleerd zijn tussen verschillende modellen (zelfs die van verschillende organisaties).
3. Menselijke besluitvormers moeten deze biases absorberen en doorgeven in hun eigen voorspellingen.

Methodologie

Het onderzoek maakt gebruik van data van Metaculus, een online voorspellingsplatform met opgeloste binaire vragen en verifieerbare grondwaarheid. Het onderzoek is verdeeld in drie studies:

• Studie 1 (LLM Bias-kaart): De auteurs hebben drie grote LLM's (GPT-4o van OpenAI, Claude Sonnet van Anthropic en Gemini 1.5 Pro van Google) bevraagd op 568 opgeloste binaire vragen. Ze berekenden getekende fouten ($e = p - o$) en maten paarsgewijze foutcorrelaties tussen de modellen. Om potentiële lekkage in trainingsdata (waarbij modellen de antwoorden uit hun trainingsdata zouden kunnen kennen) aan te pakken, pasten ze een heuristiek voor lekdetectie toe en analyseerden ze een "schone" subset van 414 vragen.
• Studie 2 (Temporele verschuiving): Met behulp van een ontwerp binnen-vragen volgden de auteurs verschuivingen in de voorspellingen van de gemeenschap over de lancering van ChatGPT (november 2022) heen. Ze analyseerden 179 vragen die open waren voor en na deze datum. Ze regresseerden de verschuiving in de voorspelling van de gemeenschap ($\Delta$) tegen de "resolutie-trek" (beweging naar de grondwaarheid) en de "LLM-trek" (de richting waarin de LLM de voorspelling zou trekken). Dit controleerde voor rationele updates om specifieke invloed van LLM's te isoleren.
• Studie 3 (Bias-vingerafdruk): De auteurs categoriseerden vragen in vijf thematische groepen (Technologie, Geopolitiek, Economie, Gezondheid, Wetenschap/Omilieu). Ze vergeleken de biaspatronen op categorie-niveau van LLM's met de biases van de menselijke gemeenschap in de periodes voor en na ChatGPT. Ze berekenden de correlatie tussen de "vingerafdruk" van de LLM (vector van biases over categorieën) en de biasvector van de mens voor elke periode om te bepalen of menselijke biases convergeerden naar het AI-patroon.

Belangrijkste Resultaten

1. Hoge Inter-model Foutcorrelatie (Voorwaarde 1 & 2)

De primaire bevinding is dat verschillende LLM's fungeren als een enkel orakel met ruis in plaats van als onafhankelijke bronnen.

• Correlatie: De gemiddelde paarsgewijze foutcorrelatie tussen GPT-4o, Claude en Gemini was $r = 0,77$ ($p < 0,001$) op de volledige dataset en $r = 0,78$ op de schone subset.
• Implicatie: Deze correlatie is 3–5 keer hoger dan typische correlaties onder menselijke voorspellers ($r \approx 0,1–0,3$). De auteurs berekenen dat een ensemble van drie dergelijke modellen effectief equivalent is aan slechts 1,3 onafhankelijke voorspellers, wat verwaarloosbare diversiteitswinst biedt ten opzichte van het raadplegen van één enkel model.
• Biasrichting: Alle drie de modellen vertoonden een positieve directionele bias (het overschatten van "Ja"-uitkomsten) en oververtrouwen in de kansen in het middenbereik.

2. Gebrek aan Detecteerbare Transmissie naar Elitaire Voorspellers (Voorwaarde 3)

Studie 2 vond geen statistisch significant bewijs dat LLM-biases zich hebben voortgeplant in de voorspellingen van de Metaculus-gemeenschap buiten rationele updates om.

• Regressieanalyse: Hoewel de ruwe correlatie tussen verschuivingen in de gemeenschap en de richting van de LM-trek positief was ($r = 0,20, p = 0,007$), werd dit volledig verklaard door de gemeenschap die zich naar de grondwaarheid bewoog (Resolutie-trek, $\beta_1 = 0,061, p < 0,001$).
• Invloed van LLM: De coëfficiënt voor LLM-specifieke invloed ($\beta_2$) was niet significant ($\beta = 0,023, p = 0,36$).
• Voorbehoud: De auteurs merken een lage statistische power (23%) op voor het detecteren van kleine effecten en erkennen dat Metaculus-voorspellers een elite, sterk gekalibreerde populatie zijn, wat een "best-case scenario" voor onafhankelijkheid vertegenwoordigt.

3. Inversie van de Vingerafdruk-hypothese (Voorwaarde 3)

In tegenstelling tot de hypothese dat AI nieuwe biases op mensen zou afdrukken, vond Studie 3 dat menselijke biases al overeenkwamen met LLM-biases voordat ChatGPT wijdverspreid beschikbaar was.

• Voor ChatGPT: De correlatie tussen de LLM-biasvingerafdruk en menselijke bias was sterk ($r = 0,87$).
• Na ChatGPT: De correlatie verzwakte tot $r = -0,28$.
• Interpretatie: LLM's introduceerden geen nieuwe biases; ze erfden bestaande menselijke cognitieve biases uit hun trainingsdata. De verzwakking van de correlatie na ChatGPT kan wijzen op een "bewustzijnseffect", waarbij expertvoorspellers (met name in Technologie) AI-oververtrouwen herkenden en corrigeerden.

Betekenis en Beweringen

Het artikel concludeert dat een epistemische monocultuur "gebouwd is maar nog niet geactiveerd".

• De Infrastructuur van Falen: De meest robuuste bevinding is dat het AI-ecosysteem diversiteit mist op modelniveau. Het raadplegen van meerdere grote LLM's biedt bijna geen extra onafhankelijkheid ten opzichte van het raadplegen van één, aangezien ze dezelfde faalmodi delen.
• Bias-spiegels, geen Bronnen: De auteurs betogen dat LLM's fungeren als bias-spiegels. Ze reflecteren en verstevigen de biases die al aanwezig zijn in het menselijke informatie-ecosysteem (media, publieke discours) in plaats van vreemde fouten in te brengen.
• Het Risico van Versterking: Het gevaar ligt niet in het introduceren van nieuwe fouten door AI, maar in het bieden van autoritaire bevestiging van bestaande menselijke biases. Wanneer een menselijke voorspeller een LLM raadpleegt die zijn of haar bias deelt, gaat het "corrigerende mechanisme" van het tegenkomen van een afwijkend perspectief verloren. Dit creëert een "bias-lock" die structureel analoog is aan, maar krachtiger dan, echo-kamers op sociale media, vanwege de waargenomen objectiviteit van AI.
• Huidige Staat: Op elitaire platforms zoals Metaculus blijven menselijke voorspellers nauwkeuriger en onafhankelijker dan de AI-modellen. Naarmate AI-tools echter geïntegreerd raken in workflows voor minder expert populaties, neemt het risico op grootschalige gecorreleerde falen toe.

Het artikel benadrukt dat hoewel de transmissie van bias naar elitaire voorspellers nog niet detecteerbaar is, de precondities voor systeemrisico op hun plaats zijn: de modellen delen dezelfde biases en ze worden steeds vaker behandeld als autoritaire bronnen.