💻 computer science

Collective Intelligence with Foundation Models

Dit artikel stelt een multi-agent framework voor dat gebruikmaakt van foundation models, waarbij een heterogeen ensemble van gespecialiseerde agenten, in plaats van redundante homogene agenten, de redeneernauwkeurigheid, foutdetectie en de betrouwbaarheid van oplossingen aanzienlijk verbetert door middel van collaboratief conceptontwerp, kritiek en consensussynthese.

Oorspronkelijke auteurs: J. de Curtò, I. de Zarzà

Gepubliceerd 2026-07-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: J. de Curtò, I. de Zarzà

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert de moeilijkste raadsels ter wereld op te lossen, van calculus tot scheikunde. Je zou één superintelligente robot alleen kunnen vragen dit te doen, of je zou een heel team van robots kunnen samenbrengen om het samen uit te vogelen. Dit artikel gaat over het testen welke aanpak eigenlijk het beste werkt.

De onderzoekers zetten een "robotteam"-experiment op om te zien of het slimmer maken van AI-modellen door ze met elkaar te laten praten, echt werkt. Ze gooiden niet zomaar willekeurige bots bij elkaar, maar bouwden een specifieke lopende band met vier verschillende rollen:

De Oplossers: Drie verschillende robots die elk proberen het probleem op eigen wijze op te lossen en zo hun eigen concepten maken.
De Criticus: Een vierde robot wiens enige taak het is om die concepten te lezen, fouten te vinden en verbeteringen voor te stellen.
De Aggregator: Een vijfde robot die alle gecorrigeerde concepten neemt, ze samenvoegt en het definitieve, overeengekomen antwoord schrijft.
De Scorekeeper: Een systeem dat niet alleen controleert of het uiteindelijke antwoord juist is, maar ook of elke afzonderlijke stap in het denkproces correct was.

Ze testten dit team op een enorme bibliotheek van problemen die acht verschillende gebieden beslaan, zoals natuurkunde, biologie, economie en wiskunde, variërend van makkelijk tot zeer moeilijk.

Hier is de grote verrassing die ze ontdekten: Het gaat niet om een groot team; het gaat om een divers team.

Toen de onderzoekers het team probeerden met hetzelfde soort robot (het gebruik van exact hetzelfde model voor de oplosser, de criticus en de aggregator), waren de resultaten een beetje vreemd. Het team kreeg het uiteindelijke antwoord vaker goed dan een enkele robot die alleen werkt, maar de manier waarop ze daar kwamen was eigenlijk slechter. Het was alsof een groep identieke tweelingen met elkaar ruzie maakte; ze zouden per ongeluk elkaars fouten kunnen compenseren en op het juiste antwoord uitkomen, maar hun redenering zat vol gaten. Sterker nog, wanneer ze hetzelfde model voor iedereen gebruikten, daalde de kwaliteit van de stapsgewijze redenering zelfs naar een score van ongeveer 0,27 of 0,28, wat lager was dan een enkele robot die solo werkte (die scoorde 0,50).

Echter, toen ze verschillende soorten robots vervingen — door drie verschillende modellen te gebruiken voor de oplossers en twee andere gespecialiseerde modellen voor de criticus en de aggregator — gebeurde de magie. Dit "heterogene" team kreeg niet alleen de juiste antwoorden goed, maar ze kregen ook de redenering goed. Hun stapsgewijze nauwkeurigheid sprong naar 0,64. Dat is een verbetering van 2,3 keer ten opzichte van het team van identieke robots!

Het artikel suggereert dat dit gebeurt omdat verschillende AI-modellen verschillende "blinde vlekken" hebben. Als je hetzelfde model voor alles gebruikt, missen ze allemaal dezelfde fouten. Maar wanneer je ze mengt, wordt de zwakte van de ene robot de kracht van een andere. De gespecialiseerde criticus kan fouten opsporen die de oplossers nooit zouden zien omdat ze anders zijn getraind.

De onderzoekers testten ook een paar andere ideeën om te zien wat er echt toe deed:

Alleen al een teamstructuur hebben: Zelfs als iedereen dezelfde robot is, helpt het hebben van een criticus en een aggregator een beetje, wat de score verhoogt van 0,52 (één robot alleen) naar 0,60.
Meer van dezelfde robot hebben: Als je simpelweg drie kopieën van exact dezelfde robot als oplossers gebruikt in plaats van één, helpt dat bijna niet, wat de score slechts een klein zetje geeft naar 0,61.
De echte winnaar: De enorme sprong naar 0,63 (en de enorme stijging in redeneerkwaliteit) vond alleen plaats wanneer ze verschillende modellen voor verschillende taken gebruikten.

De onderzoekers maten deze resultaten over duizenden problemen en ontdekten dat deze "gemengde team"-aanpak consistent goed werkte, of de problemen nu makkelijk, gemiddeld of moeilijk waren. Sterker nog, het team presteerde verrassend goed op de moeilijkste problemen, wat suggereert dat complexe uitdagingen het diverse team juist meer werk bieden om aan te werken.

De belangrijkste les is dus dat voor AI om echt betrouwbaar en uitlegbaar te zijn, je niet alleen de slimste robot die je hebt niet zomaar kunt klonen en in elke stoel kunt zetten. Je hebt een commissie van verschillende soorten experts nodig die elkaars denken kunnen uitdagen. Zoals de auteurs opmerken, helpt deze aanpak om een AI te creëren die niet alleen door geluk het juiste antwoord geeft, maar je ook precies kan laten zien hoe het tot die conclusie is gekomen, stap voor stap.

Technische Samenvatting: Collectieve Intelligentie met Fundamentele Modellen

Probleemstelling

Hoewel fundamentele modellen (bijv. GPT-4, Llama, Claude) opmerkelijke capaciteiten hebben getoond in natuurlijke taalbegrip en redeneren, lijden individuele modellen aan inherente beperkingen. Deze omvatten hallucinaties, redeneerfouten, vooroordelen en inconsistente prestaties over verschillende domeinen heen. Bovendien wordt zelfverfijning door een enkel model vaak beperkt door de eigen blinde vlekken en architecturale vooroordelen van dat model. Het artikel adresseert de uitdaging om veiligere, globaal betrouwbaardere AI-systemen te creëren die in staat zijn tot transparante, controleerbare en hoog-betrouwbare besluitvorming, met name in wetenschappelijke en industriële contexten waar verklaarbaarheid cruciaal is.

Methodologie

De auteurs stellen een modulair multi-agent redeneerframework voor, ontworpen om collectieve intelligentie te benutten uit heterogene fundamentele modellen. De architectuur bestaat uit vier primaire componenten en stadia:

Solver Agents (Oplossings-agents): Drie verschillende hoogwaardige modellen (Meta-Llama-3.3-70B-Instruct, NousResearch Hermes-4-405B, en Qwen3-235B-A22B-Instruct-2507) genereren onafhankelijk van elkaar oplossingskandidaten. Elke solver produceert meerdere concepten ( $N=3$ ), selecteert de beste op basis van een voorlopige zelfevaluatie, en geeft een oplossingskandidaat uit.
Critic Agent (Kritische agent): Een toegewezen agent (DeepSeek-R1-0528), geselecteerd vanwege de sterke analytische capaciteiten en een andere trainingsmethodologie, voert een gestructureerde foutanalyse uit. Het identificeert logische gebreken, computationele fouten en ongeldige aannames, en stelt specifieke verfijningen voor op de beste poging van de solver.
Aggregator Agent (Aggregatie-agent): Een synthetiserende agent (GPT-OSS-120B) integreert de herziene oplossingen van alle solvers. Het identificeert gebieden van overeenstemming, analyseert discrepanties, evalueert betrouwbaarheidsniveaus en produceert een verenigde consensusoplossing, waarbij onzekerheid expliciet wordt erkend waar menigheden voortbestaan.
Scoring Module (Score-module): Een uitgebreid evaluatiesysteem beoordeelt de prestaties met behulp van:
- Semantische Gelijkenis: Cosinusgelijkenis in de embedding-ruimte.
- Numerieke Correctheid: Overlappingsratio van geëxtraheerde numerieke waarden.
- Stapsgewijze Nauwkeurigheid: Decompositie van outputs in redeneerstappen om de correctheid van de tussenliggende logica te evalueren, niet alleen het uiteindelijke antwoord.

Experimenteel Ontwerp

Het framework werd geëvalueerd op een uitgebreide benchmark die acht wetenschappelijke disciplines beslaat (calculus, natuurkunde, chemie, biologie, economie, optimalisatie, statistiek en wiskunde) over drie moeilijkheidsgraden (gemakkelijk, gemiddeld, moeilijk). De studie maakte gebruik van een rigoureus ablatie-ontwerp om de bijdragen van architectuur versus modeldiversiteit te isoleren via vier configuraties:

Individuele Baseline: Een enkel solver-model zonder multi-agent componenten.
Geval 0 (Homogeen Framework): Alle agents (solver, critic, aggregator) gebruiken dezelfde modelarchitectuur.
Geval 1 (Redundante Homogene Solvers): Meerdere instanties van hetzelfde model als solvers, met een homogene critic en aggregator.
Geval N (Heterogeen Framework): Distincte modellen voor elke rol (diverse solvers, gespecialiseerde critic en aggregator).

Belangrijkste Resultaten

De evaluatie leverde enkele cruciale bevindingen op met betrekking tot de drijfveren van prestaties:

Frameworkstructuur vs. Modeldiversiteit: De multi-agent frameworkstructuur zelf (Geval 0) zorgde voor een bescheiden verbetering ten opzichte van de individuele baseline (0.60 vs. 0.52). Redundante bemonstering van hetzelfde model (Geval 1) bood verwaarloosbare extra winst (0.61).
De Kritieke Rol van Heterogeniteit: Het Heterogene Framework (Geval N) behaalde de hoogste algemene score (0.63). De meest significante bevinding lag echter in de stapsgewijze redeneerkwaliteit.
- Homogene systemen (Geval 0 & 1) verslechterden de stapsgewijze nauwkeurigheid feitelijk (0.27–0.28) vergeleken met de individuele baseline (0.50). De auteurs suggereren dat wanneer de critic en de aggregator dezelfde architectuur delen als de solver, zij gedeelde vooroordelen versterken en er niet in slagen systematische redeneerfouten te detecteren, waardoor ze vaak correcte antwoorden bereiken door middel van foutencancelling in plaats van solide logica.
- Heterogene systemen (Geval N) behaalden een stapsgewijze nauwkeurigheid van 0.64, wat een 2,3× verbetering betekent ten opzichte van homogene configuraties en een 1,3× verbetering ten opzichte van de individuele baseline.
Domeinprestaties: Het framework toonde consistente verbeteringen over alle wetenschappelijke categorieën, met de meest significante winsten in Chemie (+0.12) en Calculus. De prestaties bleven robuust, zelfs bij "Moeilijke" problemen, wat suggereert dat het framework effectief schaalt met complexiteit.

Betekenis en Claims

Het artikel claimt dat modelheterogeniteit de kritieke factor is die substantiële prestatiewinsten in multi-agent redeneersystemen aandrijft, in plaats van de frameworkstructuur of redundante bemonstering alleen.

Redeneertransparantie: De studie demonstreert dat heterogene agents complementaire foutdetectie en redeneerverfijningscapaciteiten bieden. In tegenstelling tot homogene systemen die mogelijk correcte eindantwoorden produceren via gebrekkige redeneerpaden, zorgt heterogene samenwerking voor zowel correcte uitkomsten als solide tussenliggende redeneerprocessen.
Controleerbaarheid en Verklaarbaarheid: De dramatische verbetering in stapsgewijze nauwkeurigheid geeft aan dat heterogene multi-agent coördinatie essentieel is voor het creëren van AI-systemen die transparant en controleerbaar zijn, een vereiste voor besluitvorming met hoge inzet in wetenschappelijke en industriële domeinen.
Architecturaal Principe: De auteurs concluderen dat het simpelweg repliceren van een enkel krachtig model over meerdere rollen onvoldoende is en potentieel contraproductief voor de redeneerkwaliteit. Echte verbeteringen vereisen zorgvuldig geselecteerde, diverse modellen die verschillende inductieve biases en redeneerpatronen naar het collectieve intelligentieproces brengen.

Dit werk positioneert dit framework als een stap naar "Global Applied AI", waarbij een pad wordt geboden naar veiligere, meer betrouwbare systemen door de sterke punten van diverse modellen te benutten om de beperkingen van individuele modellen te mitigeren.