🤖 AI

Diverse Evidence, Better Forecasts: Multi-Agent Deliberation Under Information Asymmetry

Dit artikel introduceert InfoDelphi, een multi-agent voorspellingsframework dat gebruikmaakt van ontworpen informatieasymmetrie door bewijsvoering te partitioneren in gedeelde publieke en disjuncte private deelverzamelingen om de foutcorrelatie tussen agenten te verminderen, waardoor het bestaande baselines op real-world voorspellingsopdrachten aanzienlijk overtreft.

Oorspronkelijke auteurs: Yuante Li, Yicheng Tao, Kate Zhang, Taozhi Wang, Gefei Gu, Yaxin Zhou

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuante Li, Yicheng Tao, Kate Zhang, Taozhi Wang, Gefei Gu, Yaxin Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de uitkomst van een complexe gebeurtenis probeert te raden, zoals: "Zal een specifieke crypto-munt 1,8 miljard dollar aan verkopen halen?" Je vraagt een panel van drie experts om hun mening.

In de oude manier van doen (de "Standaard Debat"), geef je alle drie de experts exact dezelfde stapel nieuwsartikelen om te lezen. Ze gaan zitten, bespreken het en geven jou een definitief antwoord.

Dit faalt vaak volgens het paper. Waarom? Omdat als iedereen hetzelfde verhaal leest, ze allemaal hetzelfde idee krijgen. Als dat verhaal misleidend of incompleet is, worden ze allemaal samen misleid. Ze debatteren dan niet echt; ze gedragen zich als kuddedieren die hetzelfde foutieve antwoord versterken.

De auteurs, Yuante Li en collega's, stellen een nieuwe methode voor genaamd InfoDelphi. Hun geheime ingrediënt is Ontworpen Informatie-asymmetrie.

Zo werkt het, met een eenvoudige analogie:

De "Geheime Ingrediënt" Analogie

Stel je voor dat je een taart bakt en je hebt drie chefs.

De Oude Manier: Je geeft alle drie de chefs exact hetzelfde receptenboek. Ze lezen allemaal dezelfde instructies. Als er een typefout in het boek staat, maken alle drie de chefs dezelfde fout.
De InfoDelphi Manier: Je geeft hen een gezamenlijk kookboek (het "Publieke" deel) zodat ze met elkaar kunnen praten, maar je geeft elke chef ook een andere geheime notitie (het "Private" deel) met unieke tips of feiten die de anderen niet hebben.
- Chef A krijgt een notitie over de oventemperatuur.
- Chef B krijgt een notitie over het merk bloem.
- Chef C krijgt een notitie over de hoogte van de locatie.

Wanneer ze nu praten, herhalen ze niet alleen wat ze gelezen hebben. Ze delen hun unieke geheimen. Chef A leert over de bloem van Chef B. Chef B leert over de oven van Chef A. Nu hebben ze aan het einde een veel betere taart dan wanneer ze alleen hetzelfde boek hadden gelezen.

De Drie Stappen van InfoDelphi

Het Splitsen van het Bewijs (De Opzet):
In plaats van iedereen de hele lading zoekresultaten van het internet op te dumpen, splitst het systeem de informatie op.
- Publieke Pool: Een kleine, gedeelde set van de belangrijkste feiten die iedereen ziet. Dit is hun "gemeenschappelijke taal" zodat ze elkaar begrijpen.
- Private Pools: De rest van de feiten wordt in stukjes gehakt en aan verschillende agenten gegeven. Elke agent heeft een uniek puzzelstukje dat niemand anders heeft.
De Deliberatie (Het Gesprek):
De agenten roepen niet alleen een getal (zoals "70% kans!"). Ze delen hun redenering (hun "rationale").
- Waarom dit belangrijk is: Als Agent A zegt: "Ik denk 90% omdat ik een rapport zag over X," en Agent B zegt: "Ik denk 10% omdat ik een rapport zag over Y," dan kunnen ze die rapporten nu uitwisselen. Agent A realiseert zich: "Oh, ik heb dat rapport over Y niet gezien!" en past zijn mening aan.
- Het paper bewijst dat als ze alleen getallen delen, ze niets nieuws kunnen leren. Ze moeten het verhaal achter het getal delen.
De Definitieve Stemming (De Aggregatie):
Wanneer ze klaar zijn met praten, combineren ze hun antwoorden. Maar ze nemen niet simpelweg een gemiddelde. Ze wegen de antwoorden op basis van vertrouwen.
- Als een agent zegt: "Ik ben voor 99% zeker," en hun redenering wordt ondersteund door sterke private bewijslast, dan telt hun stem zwaarder.
- Als een agent twijfelt rond de 50%, telt hun stem minder mee.

De Resultaten: Werkt het echt?

Het team heeft dit getest op POLYGYM, een nieuwe testset van 375 echte voorspellingsvragen (zoals te vinden op wedwebsites).

Het Probleem met de Oude Manier: Wanneer agenten dezelfde informatie hadden, waren hun fouten sterk gecorreleerd. Als er één fout zat, zaten ze er allemaal naast.
De InfoDelphi Winst: Door hen verschillende private informatie te geven, verminderde het systeem de kans dat iedereen dezelfde fout maakte.
- Nauwkeurigheid: Ze hadden 4–8% vaker het juiste antwoord dan de beste eerdere methoden.
- Precisie: Hun waarschijnlijkheidsinschattingen waren veel nauwkeuriger (gemeten via de "Brier score", die met 12–18% daalde).

Een Praktijkvoorbeeld uit het Paper

Het paper geeft een goed voorbeeld over een crypto-verkoop:

De Vraag: Heeft een bedrijf meer dan 1,8 miljard dollar opgehaald?
De Valstrik: De meeste nieuwsartikelen zeiden: "Wauw, deze verkoop was enorm en overtekend!" Dit liet iedereen denken dat het antwoord JA was.
Het Geheim: Eén agent had een privédocument dat het exacte bedrag liet zien: 1,39 miljard dollar.
De Oplossing: In het oude systeem zouden ze allemaal "JA" hebben gezegd omdat ze allemaal de "enorme" koppen hadden gelezen. In InfoDelphi deelde de agent met het 1,39 miljard dollar-document zijn redenering. De andere agenten zagen dit specifieke getal, realiseerden zich dat de "enorme" koppen overdreven waren, en corrigeerden hun antwoord naar NEE.

De Kernboodschap

Het paper stelt dat voor een groep AI-agenten om beter te kunnen denken dan een enkele agent, ze verschillende informatie moeten hebben. Als ze allemaal hetzelfde boek lezen, zullen ze alleen maar met elkaar eens zijn, in plaats van slimmer te worden. Door hen bewust verschillende "geheime notities" te geven en hen te dwingen hun redenering te delen, kan de groep elkaars fouten corrigeren en een veel betere voorspelling doen.

Technische Samenvatting: Diverse Bewijslast, Betere Voorspellingen: Multi-Agent Deliberatie onder Informatieasymmetrie

Probleemstelling

Multi-agent systemen die gebruikmaken van Large Language Models (LLM's) worden steeds vaker ingezet voor het voorspellen van toekomstige gebeurtenissen, uitgaande van de veronderstelling dat deliberatie tussen meerdere agenten het redeneren en de kalibratie verbetert. De auteurs identificeren echter een kritiek gebrek in dit ontwerp: wanneer agenten identieke bewijslast ontvangen, vervalt deliberatie in "herding" (kuddegedrag) in plaats van werkelijke geloofswijziging. In dergelijke homogene omgevingen bereiken agenten onafhankelijk van elkaar dezelfde conclusies, waarbij iteratieve uitwisseling enkel gedeelde priors versterkt. Recent theoretisch werk suggereert dat multi-agent debat onder identieke inputs zich gedraagt als een martingale, waarbij de verwachte nauwkeurigheid niet verbetert over opeenvolgende ronden, en empirische studies tonen aan dat fouten van LLM's sterk gecorreleerd zijn (vaak >60%) tussen verschillende aanbieders. Gevolgelijk bieden multi-agent systemen met homogene input weinig voordeel ten opzichte van single-agent baselines.

Methodologie: InfoDelphi en Ontworpen Informatieasymmetrie

Om de correlatie van fouten in homogene settings aan te pakken, stellen de auteurs ontworpen informatieasymmetrie voor, waarbij informatieasymmetrie niet als een beperking maar als een ontwerpprincipe wordt ingezet om dit te exploiteren. Zij implementeren dit principe in InfoDelphi, een multi-agent forecasting framework.

1. Theoretische Fundering

De auteurs formaliseren het voordeel van informatieasymmetrie met behulp van de bias-variantie-covariantie decompositie van de ensemble mean squared error (MSE).

Gecorreleerde Fouten: Wanneer agenten identieke bewijslast ( $E$ ) ontvangen, worden hun voorspellingsfouten gedreven door dezelfde bronnen, wat leidt tot een hoge inter-agent foutcorrelatie ( $Cov(\epsilon_i, \epsilon_j) \approx Var(\epsilon)$ ). Dit zorgt ervoor dat de diversiteitsterm in de ensemble MSE instort, waardoor de voordelen van aggregatie teniet worden gedaan.
Decorrelatie via Partitionering: De auteurs stellen voor om de bewijslast $E$ $E$ te partitioneren in een gedeelde publieke subset ( $E_{pub}$ $E_{p u b}$ ) en disjuncte private subsets ( $E_{priv}$ $E_{p r i v}$ ).
- Laat $\rho$ de ratio van publieke bewijslast zijn.
- Theoretische analyse (Proposition 3.1) demonstreert dat de inter-agent foutcorrelatie monotoon afneemt naarmate $\rho$ afneemt van 1 (volledig publiek) naar 0 (volledig privaat).
- Specifiek, met een publieke ratio van $\rho=0.5$ en gelijke variantiecomponenten, daalt de inter-agent correlatie naar 0.5 (de helft van de baseline van 1.0).
Rationale Delen: Om ervoor te zorgen dat agenten kunnen profiteren van elkaars private signalen, vereist het framework de uitwisseling van rationales (redeneerpaden) in plaats van enkel numerieke waarschijnlijkheidsschattingen. De auteurs argumenteren via de Data Processing Inequality dat het uitwisselen van enkel getallen een Markov-keten vormt waarbij informatie over de grondwaarheid alleen maar kan afnemen. Het delen van rationales doorbreekt deze keten, waardoor private bewijslast over de grenzen van agenten heen kan propageren.

2. Het InfoDelphi Framework

InfoDelphi werkt in drie stadia:

Evidence Routing: De bewijslast wordt gepartitioneerd met behulp van BM25 relevantie-ranking.
- De hoogst scorende documenten (meest relevant voor de query) vormen de gedeelde publieke pool ( $E_{pub}$ ), die een gemeenschappelijke basis biedt voor communicatie.
- De resterende documenten worden via een round-robin methode toegewezen aan agenten op basis van relevantiescores, waardoor disjuncte private subsets ( $E_{priv}$ ) ontstaan. Dit zorgt ervoor dat elke agent unieke perifere bewijslast bezit terwijl de kerncontext gedeeld wordt.
Iteratieve Deliberatie: Agenten nemen deel aan meerdere ronden van forecasting. In elke ronde conditioneert een agent op zijn private visie ( $E_{pub} \cup E_{priv}$ ) en een geschiedenisoverzicht van de eerdere voorspellingen van andere agenten, welke gestructureerde rationales bevat.
Confidence-Weighted Aggregation: Finale voorspellingen worden geaggregeerd in de logit-ruimte. De aggregatiegewichten ( $w_j$ ) worden bepaald door de extremiteit van de voorspelling van de agent ( $|logit(p_j)|$ ). Dit mechanisme versterkt de voorspellingen van agenten die over sterkere private bewijslast beschikken, aangezien zij de neiging hebben om extremere (zelfverzekerdere) voorspellingen te doen.

Belangrijkste Bijdragen

Ontworpen Informatieasymmetrie: Het artikel stelt voor om informatieasymmetrie als een eersteklas ontwerpprincipe voor multi-agent redeneren te behanden, waarbij theoretisch wordt bewezen dat het partitioneren van publieke/private bewijslast de inter-agent foutcorrelatie vermindert.
InfoDelphi Framework: De auteurs introduceren een concreet framework dat dit principe implementeert via relevantie-bewuste evidence routing, rationale-gebaseerde iteratieve deliberatie en confidence-weighted aggregatie.
POLYGYM Benchmark: Om informatiebenutting te isoleren van de kwaliteit van retrieval, construeren de auteurs POLYGYM, een gecontroleerde benchmark van 375 binaire forecasting vragen afgeleid van real-world prediction markets (Polymarket). Cruciaal is dat alle methoden opereren over dezelfde vaste, vooraf opgehaalde bewijslast, waardoor variabiliteit vanuit zoekstrategieën wordt geëlimineerd.

Experimentele Resultaten

Experimenten werden uitgevoerd op POLYGYM met $J=3$ agenten en $R=2$ deliberatierondes.

Prestaties: InfoDelphi behaalde een Brier score van 0.178 en een nauwkeurigheid van 77.9%. Dit presteert beter dan de sterkste single-agent baselines (bijv. Chain-of-Thought, Superforecaster) en multi-agent baselines (bijv. Standard Debate, MoA) met 12–18% in Brier score en 4–8 procentpunten in nauwkeurigheid.
Noodzaak van Diversiteit: Ablatie-studies bevestigden dat het verwijderen van informatieasymmetrie (instellen van $\rho=1.0$ , d.w.z. volledig publiek) de meeste winsten uit deliberatie elimineert, waardoor de prestaties dalen naar niveaus die vergelijkbaar zijn met standaard debat.
Belang van Rationale Delen: Het verwijderen van rationale-deling (het uitwisselen van enkel getallen) verslechterde de prestaties aanzienlijk (Brier score steeg naar 0.211), wat de theoretische claim valideert dat de uitwisseling van getallen in een gesloten systeem de collectieve nauwkeurigheid niet kan verbeteren.
Generalisatie: Het framework vertoonde consistente verbeteringen over verschillende model backends, inclusief GPT-5.4-mini, DeepSeek-V3.2 en Llama-4-Scout, waarbij de winsten schalen met de capaciteit van het model.
Mechanisme Validatie: Analyse toonde aan dat confidence-weighted aggregatie werkt omdat agenten met sterkere private bewijslast extremere voorspellingen produceren. Bovendien behield informatieasymmetrie de inter-agent diversiteit (slechts 73% variantiereductie) vergeleken met homogene settings (90–92% variantiereductie), wat voorkomt dat het systeem instort in een consensus echo-kamer.

Betekenis en Claims

Het artikel claimt dat diversiteit van input de cruciale facilitator is voor effectieve multi-agent redenering. De auteurs betogen dat de standaardpraktijk om identieke contextvensters aan alle agenten te verstrekken, de waarde van multi-agent interactie fundamenteel beperkt. Door ontworpen informatieasymmetrie te introduceren, transformeert InfoDelphi redundante deliberatie in productieve geloofswijziging.

De auteurs positioneren probabilistische forecasting als een veeleisende test van dit principe, die synthese van ruisende, tegenstrijdige bewijslast vereist. Zij suggereren dat de robuuste verbeteringen waargenomen in deze setting wijzen op een brede toepasbaarheid op andere multi-agent systemen waar agenten redeneren over gedeelde bewijslast, zoals collaboratieve vraagbeantwoording en wetenschappelijke hypothese-evaluatie.

Het artikel blijft bescheiden over de beperkingen en erkent dat het theoretische bewijs steunt op geïdealiseerde aannames (lineaire foutdecompositie, onafhankelijkheid van private ruis) en dat de huidige implementatie standaard off-the-shelf methoden gebruikt voor routing en aggregatie, wat ruimte laat voor meer geavanceerde alternatieven. Daarnaast merken de auteurs op dat de bovengrens van het framework nog steeds wordt beperkt door de kwaliteit van de initiële bewijs-retrieval.