💰 quantitative finance

Coordination as an Architectural Layer for LLM-Based Multi-Agent Systems

Dit artikel stelt voor om coördinatie te behandelen als een aparte, configureerbare architectuurlaag voor op LLM's gebaseerde multi-agent systemen en valideert deze aanpak door middel van een empirische studie met voorspellingsmarkten, waaruit blijkt dat specifieke coördinatieconfiguraties onderscheidbare faalsignaturen en afwegingen tussen kosten en kwaliteit opleveren, zelfs wanneer geaggregeerde prestatie-indicatoren vergelijkbaar lijken.

Oorspronkelijke auteurs: Maksym Nechepurenko, Pavel Shuvalov

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maksym Nechepurenko, Pavel Shuvalov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Waarom AI-teams falen

Stel je voor dat je een team van vijf zeer slimme AI-assistenten huurt om een moeilijk raadsel op te lossen. Je zou kunnen verwachten dat ze samen beter werken dan een enkele assistent. Het artikel wijst er echter op dat deze AI-teams in de echte wereld 41% tot 87% van de tijd falen.

De verrassende ontdekking is dat ze niet falen omdat de individuele AI-'hersenen' niet slim genoeg zijn. Ze falen omdat de samenwerking verbroken is. Ze ruziën, raken in de war over wie de leiding heeft, of ze herhalen elkaars fouten.

De Oplossing: Behandel 'Samenwerking' als een Bouwtekening

De auteurs stellen een nieuwe manier voor om naar AI-teams te kijken. Zij suggereren dat we de coördinatie (hoe het team met elkaar praat en werkt) als een apart laagje moeten behandelen, zoals een bouwtekening voor een gebouw, onderscheiden van de bakstenen (de AI-modellen) en de leidingen (de data waar ze toegang toe hebben).

De Analogie:
Stel je voor dat je een huis bouwt.

De Agent: De metselaar (het AI-model).
De Informatie: De stapel bakstenen en hout (de data/hulpmiddelen).
Het Coördinatie-laagje: De bouwtekening van de architect.

Het artikel stelt dat de meeste mensen proberen het huis te repareren door betere bakstenen te kopen (betere AI-modellen) of meer hout (meer data). Maar het echte probleem ligt vaak in de bouwtekening. Als de tekening zegt "iedereen bouwt tegelijkertijd een muur zonder te praten", zal het huis instorten. Als de tekening zegt "één persoon ontwerpt, drie bouwen, één controleert", staat het huis misschien wel.

Het Experiment: Een Gecontroleerde Keukentest

Om dit te bewijzen, hebben de onderzoekers een zeer strenge experiment opgezet. Ze wilden zien of het veranderen van alleen de 'bouwtekening' de resultaten zou veranderen, zonder iets anders te wijzigen.

De Regels van het Spel:

Zelfde Chef: Ze gebruikten voor elk team exact hetzelfde AI-model (Claude Opus).
Zelfde Ingrediënten: Elk team had toegang tot exact dezelfde hulpmiddelen en data (specifiek, financiële voorspellingsmarkten over toekomstige gebeurtenissen).
Geen Internet: Om het eerlijk te houden, schakelden ze de 'webzoek'-tool uit zodat geen enkel team kon valsspelen door het antwoord op te zoeken.
De Variabele: Het enige wat veranderde, was de teamstructuur.

Ze testten vijf verschillende teamstructuren:

Het Solo Ensemble: Drie chefs werken alleen, waarna hun antwoorden worden gemiddeld.
De Debatclub: Chefs praten met elkaar, redetwisten en herzien hun antwoorden over meerdere rondes.
De Baas & Specialisten: Een 'Manager'-AI breekt de taak op en wijst delen toe aan drie 'Specialist'-AI's.
De Assemblagelijn: Eén AI doet onderzoek, geeft het door aan een tweede voor analyse, die het weer doorgeeft aan een derde voor de uiteindelijke gok.
De Consensuscirkel: Chefs blijven praten tot ze het allemaal eens zijn over één getal.

De Resultaten: Wie Won?

De onderzoekers gebruikten een speciaal scoresysteem (de Murphy-decompositie) om te kijken hoe de teams faalden, niet alleen of ze faalden. Dit is vergelijkbaar met controleren of een team faalde omdat ze slecht waren in wiskunde, of omdat ze te zelfverzekerd waren.

Belangrijkste Bevindingen:

De 'Baas' en 'Debat'-teams werden gedomineerd: De 'Manager'-stijl en de 'Debat'-stijl waren eigenlijk de slechtste presteerders. Ze waren duurder (gebruikten meer rekenkracht) en minder nauwkeurig dan de eenvoudige teams.
De 'Assemblagelijn' was het meest nauwkeurig: Maar het was ook het duurst.
Het 'Solo Ensemble' bood de beste waarde: Drie chefs die alleen werkten en hun antwoorden middelden, gaven de beste balans tussen lage kosten en hoge nauwkeurigheid.
De 'Consensuscirkel' was een valstrik: Toen de chefs gedwongen werden om het eens te worden totdat ze een consensus bereikten, kwamen ze vaak uit op het verkeerde antwoord. Ze onderdrukten unieke ideeën om te passen, wat leidde tot 'groepdenken'.

De 'Groepdenken'-Analogie:
Stel je een groep mensen voor die het gewicht van een koe raden.

Solo Ensemble: Iedereen schrijft een gok op een briefje, en je neemt het gemiddelde. (Goed).
Consensuscirkel: Iedereen roept zijn gok, en ze blijven redetwisten totdat ze het allemaal eens zijn over één getal. Het resultaat? Ze komen meestal uit op een getal dat 'veilig' of 'gemiddeld' voelt, waardoor ze vaak het werkelijke gewicht missen omdat niemand de buitenbeentje wil zijn.

Wat Dit Betekent voor de Toekomst

Het artikel concludeert dat we geen slimmere AI-modellen hoeven te bedenken om deze problemen op te lossen. In plaats daarvan moeten we betere team-bouwtekeningen ontwerpen.

Voeg niet zomaar meer praten toe: Het laten praten van agents met elkaar (zoals in een debat) maakt ze niet altijd slimmer; soms maakt het ze verward of overdreven voorzichtig.
Eenvoud wint: Soms is het beste 'team' gewoon een groep onafhankelijke werknemers waarvan de antwoorden worden gemiddeld.
Bouwtekeningen zijn belangrijk: Als je een betrouwbaar AI-systeem wilt bouwen, moet je zorgvuldig ontwerpen hoe de agents met elkaar interageren, niet alleen wat ze moeten doen.

Wat Dit Artikel NIET Zegt

Het is belangrijk op te merken wat dit artikel niet beweert:

Het zegt niet dat één specifieke teamstructuur perfect is voor elke taak.
Het claimt niet dat deze resultaten ook werken met andere AI-modellen (zoals GPT of Gemini); ze hebben slechts één specifiek model getest.
Het zegt niet dat deze AI-teams momenteel menselijke experts verslaan in het voorspellen van de toekomst (in feite versloegen ze in deze specifieke test de marktdoorschnitt meestal niet).

Kortom: Het artikel is een handleiding voor het bouwen van betere AI-teams door hun 'samenwerkingsregels' te behandelen als een apart, testbaar ontwerpkeuze, in plaats van er gewoon op te hopen dat meer praten leidt tot betere antwoorden.

Technische Samenvatting: Coördinatie als Architecturale Laag voor LLM-gebaseerde Multi-Agent Systemen

Probleemstelling

Multi-agent Large Language Model (LLM)-systemen vertonen hoge faalpercentages in productie (41%–87%), waarbij het merendeel van de fouten wordt toegeschreven aan coördinatiegebreken (specificatie-ambiguïteit, misalignement tussen agenten, verificatiegaten) en niet aan beperkingen van het basismodel. Huidige reacties op dit probleem zijn ontoereikend:

Empirische Taxonomieën (bijv. MAST) catalogiseren faalmodi maar slagen er niet in om specifieke architecturale configuraties te koppelen aan voorspelbare faalsignaturen.
Declaratieve Orchestration Frameworks (bijv. AWS Strands, Microsoft Foundry) scheiden workflowspecificatie van implementatie voor productiviteit in engineering, maar behandelen de specificatie niet als een substraat voor architecturale redenering of foutvoorspelling.
Methodologische Verwarring bestaat in bestaande empirische studies, waarbij prestatiewinst vaak verward wordt met verhoogde informatie-toegang (grotere contextvensters, meer tool-aanroepen) in plaats van verbeterde coördinatie.

Het kernprobleem is het ontbreken van een principiële mapping van coördinatieconfiguratie naar voorspelbare faalsignaturen, verergerd door het onvermogen om architecturale effecten te isoleren van informatie-toegangseffecten in huidige evaluaties.

Methodologie: Informatie-gestuurde Empirische Studie

De auteurs stellen voor om coördinatie te behandelen als een configureerbare architecturale laag, scheidbaar van agentlogica en informatie-toegang. Om dit te valideren, ontwikkelden ze een informatie-gestuurde experimentele opzet gebaseerd op de kritiek van Ao et al. (2026).

Kernprincipes

Informatie Vastleggen: Alle configuraties delen identieke:
- Onderliggende LLM (claude-opus-4-6).
- Tool-stack (markmetadata, prijsgeschiedenis; webzoekfunctie uitgeschakeld).
- Prompt-sjablonen (alleen rol-specifieke instructies variëren).
- Output-doppen per aanroep.
- Vraagset (100 Polymarket binair-markten die zijn opgelost na de trainingscutoff van het model).
Endogene Rekenkracht: Totale rekenkracht (tokens) per vraag is niet constant gehouden. Het wordt behandeld als een output van de architectuur (bijv. consumeert een sequentiële pijplijn van nature meer tokens dan een parallelle ensemble). Dit maakt een kosten-kwaliteit Pareto-analyse mogelijk.
Evaluatiemetrics:
- Murphy Decompositie: De Brier-score wordt ontbonden in Betrouwbaarheid (REL) (kalibratiefout) en Resolutie (RES) (discriminatiekracht). Dit stelt verschillende coördinatieconfiguraties in staat om onderscheidende signatures achter te laten, zelfs als de geaggregeerde Brier-scores vergelijkbaar zijn.
- Alpha-score: Excess Brier-score boven de marktconsensus-baseline.

Experimentele Opzet

Testomgeving: 100 Polymarket binair-markten (gestratificeerd per categorie en deciel van de basisprijs) opgelost na augustus 2025.
Configuraties: Vijf referentie-coördinatie-architecturen werden getest:
1. Onafhankelijk Ensemble: Parallelle agenten, gemiddelde aggregatie.
2. Peer-Critique Debate: Agenten observeren en herzien over rondes heen.
3. Orchestrator-Specialist: Planner deelt taken op; specialisten voeren uit; planner integreert.
4. Sequentiële Pijplijn: Vaste volgorde (Onderzoek $\to$ Analyse $\to$ Voorspelling).
5. Consensus Alignering: Iteratieve convergentie totdat onenigheid onder een drempelwaarde valt.
Artifacts: De studie bracht drie repositories uit: een experimentele harness, een dataset van 17,1 miljoen redeneertokens, en productie-agentcode voor Foresight Arena.

Belangrijkste Resultaten

1. Geaggregeerde Prestaties

Geen Positieve Alpha: Geen enkele configuratie behaalde een positieve Alpha-score ten opzichte van de marktconsensus-baseline. De marktconsensus (Brier 0,152) kwam overeen met de beste configuratie (sequential_pipeline, Brier 0,153) en presteerde beter dan de rest.
Kosten-Kwaliteit Pareto-Frontier:
- Gedomineerd: orchestrator_specialist en peer_critique_debate werden gedomineerd door independent_ensemble (lagere kosten, betere of gelijke nauwkeurigheid).
- Frontier: independent_ensemble ( $0,10/market) en `sequential_pipeline` ($ 0,36/market) vormden de frontier. sequential_pipeline bood de laagste Brier, maar tegen aanzienlijk hogere kosten.

2. Murphy Decompositie Signatures

De studie testte vooraf gespecificeerde voorspellingen met betrekking tot REL en RES:

Bevestigd:
- Onafhankelijk Ensemble: Toonde matige REL en hoge RES (Voorspelling 1).
- Consensus Alignering: Toonde zeer lage RES (diversiteitsinstorting) en hoge REL ten opzichte van het convergentiepunt (Voorspelling 5).
Gedeeltelijk Bevestigd:
- Peer-Critique Debate: Toonde verminderde RES (diversiteitsinstorting) maar slechts een matige REL-verbetering, niet de lage REL die was voorspeld (Voorspelling 2).
- Sequentiële Pijplijn: Toonde het best-case scenario (lage REL, hoge RES) omdat de initiële "onderzoek"-fase bekwaam presteerde, waardoor de voorspelde cascade-fout werd vermeden (Voorspelling 4).
Weersproken:
- Orchestrator-Specialist: Voorspeld om lage REL te hebben; in plaats daarvan vertoonde het de hoogste REL (slechtste kalibratie) van alle configuraties, wat suggereert dat de orchestrator miscalibratie introduceerde in plaats van het te corrigeren (Voorspelling 3).

3. Statistische Kracht en Scheiding

Steekproefgrootte: Met $n=100$ bereikten paarwijze verschillen in Brier-scores geen Bonferroni-gecorrigeerde significantie ( $p < 0,005$ ).
Bootstrap-analyse: Exploratieve bootstrap-intervallen suggereerden dat consensus_alignment significant verschilt (slechter) van de andere vier configuraties, terwijl contrasten tussen de andere paren bij deze steekproefgrootte dubbelzinnig blijven.
Vereiste Steekproefgrootte: Krachtaanalyse geeft aan dat het oplossen van het contrast consensus_alignment versus anderen $n \approx 500$ vereist, terwijl het oplossen van alle paren $n \approx 2.500$ vereist.

4. Casestudies van Faalmodi

Kwalitatieve analyse van specifieke markten bevestigde architecturale faalmodi:

Peer-Critique: Instorting van minderheidsmeningen (aligneringsdruk onderdrukte correcte dissent).
Consensus Alignering: Middenpunt-ankering (convergentie naar een waarde ver verwijderd van het resultaat).
Sequentiële Pijplijn: Valse zelfverzekerde cascade (downstream-fases elaboreren op upstream-fouten zonder verificatie).

Betekenis en Claims

Het artikel positioneert zichzelf als een methodologie-validerende eerste instantiatie van het "coördinatie-als-architecturale-laag"-framework, in plaats van een claim van universele architecturale wetten.

Architecturale Redenering: De studie demonstreert dat het scheiden van coördinatie van agentlogica falsifieerbare voorspellingen mogelijk maakt over faalsignatures (REL/RES-trade-offs) die onzichtbaar zijn voor geaggregeerde Brier-scores alleen.
Methodologische Strenge: Door informatie-toegang vast te leggen en alleen de architectuur te variëren, isoleert de studie coördinatie-effecten, waarmee de "informatie-architectuur verwarring" uit eerdere literatuur wordt aangepakt.
Praktische Implicaties: De resultaten suggereren dat voor de geteste taakfamilie (voorspellen met vaste informatie), populaire patronen zoals "orchestrator-specialist" en "peer-critique debate" gedomineerd kunnen worden door eenvoudigere "onafhankelijk ensemble"-benaderingen op een kosten-aangepaste basis.
Beperkingen: De auteurs merken expliciet op dat de negatieve Alpha-resultaten een oordeel zijn over het informatieregime (webzoekfunctie uitgeschakeld, gebeurtenissen na de cutoff) en niet over de coördinatie-architecturen zelf. De studie claimt nog geen cross-model of cross-domein generaliseerbaarheid.

Het werk dient als fundament voor toekomstig onderzoek om deze architecturale signatures te testen onder rijkere informatieregimes (bijv. met ingeschakelde webzoekfunctie) en over verschillende modellen, met gebruikmaking van de uitgebrachte open-source harness en datasets.