Wisdom Of The (AI) Crowd: Investigating Artificial Swarm Intelligence In Large Language Models

Technische Samenvatting: De Wijsheid van de (AI) Menigte: Onderzoek naar Kunstmatige Zwermintelligentie in Large Language Models

Probleemstelling
Menselijke zwermintelligentie (de "wijsheid van de menigte") laat zien dat collectieve oordelen vaak beter presteren dan individuele schattingen, maar dit fenomeen wordt geconfronteerd met aanzienlijke schaalbaarheidsbeperkingen wat betreft kosten, coördinatie, tijd en de vatbaarheid voor sociale vooroordelen. Hoewel discriminatieve AI-systemen al lang gebruikmaken van ensemble learning (bijv. bagging, boosting) om de nauwkeurigheid te verbeteren, bestaat er een kritiek gat in het begrip van de vraag of generatieve AI, specifiek Large Language Models (LLM's), effecten van zwermintelligentie kunnen benaderen. De huidige literatuur mist een systematische investigatie naar de vraag of het aggregeren van outputs van LLM's — of dat nu door herhaalde bemonstering van een enkel model is of door het combineren van heterogene modellen — de fouten in schattingen bij onzekere taken kan verminderen op een wijze die vergelijkbaar is met menselijke collectieven.

Methodologie
De auteurs voerden een gecontroleerd experiment uit met 960 handmatig uitgevoerd prompts over drie propriëtaire LLM's: GPT-5, Gemini 2.5 Pro en Claude Sonnet 4.5. De studie maakte gebruik van een binnen-onderwerp ontwerp (within-subject design) met acht schattings-taken die in evenwicht waren tussen onzekerheid en verifieerbare grondwaarheid:

• Taakcompositie: Vijf Fermi-problemen (die vereisen dat er gerationaliseerd wordt op grootteorde voor hoeveelheden zoals wereldwijd inkomen of de kosten voor de reconstructie van metro's) en drie economische schattingsproblemen (gebaseerd op geanonimiseerde historische financiële gegevens, zoals aandelenkoersen en abonneeaantallen).
• Aggregatiemodi:
  • Intra-model (A1–A3): Elk model werd 30 keer onafhankelijk geprompt per taak om de interne stochastische variantie te vangen.
  • Inter-model (B1): Een heterogeen zwerm die een combinatie vormt van 10 runs van elk van de drie modellen (totaal 30 runs) om de cross-model diversiteit te beoordelen.
• Metrieken: De studie mat de gemiddelde absolute fout (MAE) en de gemiddelde absolute procentuele fout (MAPE) voor zowel individuele als geaggregeerde (mediaan/gemiddelde) schattingen. Daarnaast analyseerden de auteurs de kalibratie van zelfgerapporteerde 90% betrouwbaarheidsintervallen en berekenden zij de Spearman-rangcorrelatie tussen relatieve intervalbreedtes en relatieve schattingsfouten om metacognitief bewustzijn te beoordelen.

Belangrijkste Bijdragen

1. Conceptualisering van LLM-zwermen: Het artikel introduceert "LLM Swarms" als een nieuw construct, waarbij principes van zwermintelligentie uit menselijke collectieven worden toegepast op kunstmatige systemen. Het definieert deze als ensembles gegenereerd door het herhaaldelijk bemonsteren van enkelvoudige modellen of het combineren van meerdere modellen met variërende architectuur en schaal.
2. Proof-of-Concept Methodologie: De auteurs vestigen een rigoureus experimenteel kader voor het evalueren van LLM-zwermen op onzekere schattings-taken. Deze aanpak vermijdt triviale gegevensretrieval (door gebruik te maken van Fermi-problemen en geanonimiseerde economische data) terwijl een verifieerbare grondwaarheid behouden blijft.
3. Empirisch Bewijs van Aggregatievoordelen: De studie levert het eerste systematische empirische bewijs dat het aggregeren van LLM-outputs de schattingsfouten vermindert. Het demonstreert dat zowel intra-model bemonstering als inter-model heterogeniteit significante verbeteringen opleveren in de kwaliteit van besluitvorming.

Resultaten

• Foutreductie: Aggregatie verminderde fouten consistent over alle modellen en taken. De reducties in MAPE varieerden van verwaarloosbare verbeteringen tot significante winsten van wel 37,41 procentpunten (geobserveerd in Taak F2 met de heterogene B1-modus).
• Taakafhankelijkheid: De effectiviteit van aggregatie was sterk afhankelijk van de karakteristieken van de taak. Economische prognosetaken (Eco1–Eco3), die beschikten over historische statistische ankers, vertoonden meer consistente en substantiële verbeteringen dan de Fermi-problemen (F1–F5), die abstract redeneren zonder referentiepunten vereisten.
• Modelvariantie: Claude Sonnet 4.5 vertoonde een lage interne variantie (hoge consistentie), wat de voordelen van intra-model aggregatie beperkte in vergelijking met GPT-5 en Gemini 2.5 Pro, die een grotere stochastische diversiteit vertoonden.
• Betrouwbaarheidsintervallen: Hoewel individuele modellen vaak faalden om de verwachte 90% kalibratiegraad te bereiken, slaagde de heterogene aggregatie (B1) erin de grondwaarheid binnen het geaggregeerde betrouwbaarheidsinterval te vatten voor alle acht de taken.
• Metacognitief Bewustzijn: Er werd een positieve correlatie (Spearman's $\rho$ = 0,242–0,568, alle $p < 0,001$) waargenomen tussen de breedte van de zelfgerapporteerde betrouwbaarheidsintervallen en de schattingsfouten. Dit suggereert dat LLM's beschikken over een vorm van metacognitief bewustzijn, waarbij ze bredere intervallen toekennen aan meer onzekere schattingen, waarbij GPT-5 de sterkste correlatie vertoonde ($\rho = 0,568$).

Significantie en Claims
Het artikel claimt een nieuw onderzoeksveld te hebben gevestigd op het snijvlak van collectieve intelligentie en generatieve AI. Het stelt dat LLM-zwermen een schaalbaar, goedkoop en snel alternatief bieden voor menselijke menigtes voor besluitvormingsondersteuning, met name in tijdgevoelige contexten. De auteurs argumenteren dat hoewel LLM's de menselijke zwermdynamiek mogelijk niet perfect repliceren vanwege gedeelde trainingsbiases en "echokamer"-effecten in single-model sampling, heterogene aggregatie de fouten van individuele modellen effectief kan mitigeren.

De studie kadert haar bevindingen bescheiden als initiële bewijsvoering in plaats van een definitieve oplossing. Het benadrukt dat de "wijsheid van de AI-menigte" niet universeel is, maar afhankelijk is van de taakstructuur (bijv. de aanwezigheid van statistische ankers) en modeldiversiteit. De auteurs concluderen dat het begrijpen van deze aggregatiestrategieën cruciaal is voor organisaties die genAI inzetten, en suggereren dat kunstmatige zwermen "tweede-orde zwermintelligentie" kunnen bieden — aggregatiesystemen die op zichzelf producten zijn van collectieve menselijke kennis. Zij waarschuwen echter dat beperkingen met betrekking tot hallucinaties, black-box redeneren en het gebrek aan ware cognitieve diversiteit (vergeleken met mensen) nog steeds significante uitdagingen vormen voor toepassingen met een hoog belang.