🤖 AI

Design and Evaluation of Multi-Agent AI Oracle Systems for Prediction Market Resolution

Dit artikel evalueert multi-agent AI-orakelsystemen voor de afwikkeling van voorspellingsmarkten en stelt vast dat, hoewel vertrouwen-gewogen onafhankelijke aggregatie de prestaties van single-LLM baselines licht overtreft, deliberatieve consensus de prestaties verslechtert door foutpropagatie, wat uiteindelijk motiveert tot een hybride routeringsstrategie die een nauwkeurigheid van 97,87% bereikt door alleen unanieme, hoog-betrouwbare gevallen automatisch af te wikkelen en geschillen te escaleren naar menselijke beoordeling.

Oorspronkelijke auteurs: Tarun Kota

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tarun Kota

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een voorspellingsmarkt voor als een enorme, hooggeplaatste weddenschap. Mensen wedden geld op of bepaalde dingen zullen gebeuren — zoals "Zal Kandidaat X de verkiezingen winnen?" of "Zal de prijs van Bitcoin de $100k bereiken?" De markt werkt uitstekend bij het verzamelen van de wijsheid van iedereen, maar hij loopt tegen een muur aan bij de finishlijn: Wie bepaalt de winnaar?

Dit is het "Oracle-probleem". Je hebt een vertrouwde scheidsrechter nodig (een Oracle) die naar de echte wereld kijkt, de feiten controleert en het resultaat verklaart, zodat de weddenschappen kunnen worden afgewikkeld.

Momenteel hebben we twee slechte opties:

De Robot: Snel en goedkoop, maar raakt vaak in de war door ingewikkelde vragen of verzint dingen (hallucinaties).
De Mens: Zeer accuraat, maar traag en duur. Als je duizenden weddenschappen moet afwikkelen, is het onmogelijk om voor elke individuele weddenschap een mens in te huren.

Dit paper vraagt: Kunnen we het beste van beide werelden krijgen door een team van AI-"scheidsrechters" te gebruiken in plaats van slechts één?

Het Experiment: Drie AI-rechters

De onderzoekers zetten een rechtszaakscenario op met 1.189 echte vragen uit voorspellingsmarkten. Ze gebruikten drie verschillende AI-modellen (denk aan drie verschillende rechters met verschillende achtergronden) om als de Oracles te fungeren. Ze testten twee manieren waarop deze rechters samen konden werken:

1. De "Onafhankelijke Jury" (Onafhankelijke Aggregatie)

Elke rechter bekijkt de bewijslast alleen, schrijft zijn oordeel op en vervolgens stemmen ze allemaal. De meerderheid wint.

Het Resultaat: Dit werkte goed. Door hun stemmen te combineren, behaalde het team een nauwkeurigheid van 83,4%. Dit was iets beter dan zelfs de slimste enkele rechter die alleen werkt.
De Analogie: Het is alsof je drie vrienden apart vraagt om het antwoord op een raadsel te raden. Als twee "Blauw" zeggen en één "Rood", ga je voor "Blauw". Het is een veilige weddenschap.

2. De "Debatclub" (Deliberatieve Consensus)

De rechters stemmen niet alleen; ze debatteren. Ze zien elkaars redenering, debatteren over de feiten en veranderen van mening als ze worden overtuigd.

Het Resultaat: Dit was een ramp. De nauwkeurigheid daalde naar 76%, wat slechter was dan elke van de rechters die alleen zou werken.
De Analogie: Stel je voor dat een stille, slimme student weet dat het antwoord "Blauw" is. Maar dan argumenteert een luide, zelfverzekerde (maar onjuiste) student: "Nee, het is absoluut Rood!" De slimme student, die beleefd wil blijven of wordt beïnvloed door de luide stem, verandert zijn antwoord in "Rood". De groep zit er naast omdat ze luisterden naar de meest overtuigende stem, niet naar de juiste stem. Het paper noemt dit "Persuasive Error Propagation" (Verspreiding van overtuigingsfouten).

Waarom werkte het team niet beter?

Je zou kunnen denken: "Als drie rechters slimmer zijn dan één, waarom halen ze dan geen 90%+ nauwkeurigheid?"

Het probleem is dat de rechters vaak dezelfde fouten maken.

De "Gedeelde Blinde Vlek": Als de bewijslast een cruciaal feit mist (zoals een nieuwsartikel dat nog niet is gepubliceerd), zullen alle drie de rechters naar dezelfde lege bewijslast kijken en vol vertrouwen hetzelfde onjuiste antwoord geven.
De Metafoor: Het is als drie mensen die naar een kaart kijken waarvan een stuk ontbreekt. Ze zijn het allemaal eens over de route, maar ze lopen allemaal een klif af omdat de kaart incompleet was. Omdat ze allemaal op dezelfde ontbrekende informatie vertrouwden, hielp het stemmen niet.

De Oplossing: Een "Slim Escalatie"-systeem

Omdat het AI-team niet elk probleem kan oplossen, stelden de onderzoekers een slim routeringssysteem voor voor een hybride AI-menselijk team:

De "Gemakkelijke" Casussen: Als alle drie de AI-rechters het met elkaar eens zijn en ze zijn zeer zelfverzekerd, handelt het systeem de weddenschap automatisch af.
- Resultaat: Dit dekt ongeveer 47% van alle vragen met een nauwkeurigheid van 97,87%. Dit is bijna perfect.
De "Moeilijke" Casussen: Als de rechters van mening verschillen (2 tegen 1) of onzeker lijken, markeert het systeem de vraag en stuurt deze door naar een mens voor het laatste besluit.
- Resultaat: Dit zorgt ervoor dat de lastige, ambigue vragen de menselijke aanpak krijgen die ze nodig hebben, terwijl de gemakkelijke zaken direct door AI worden afgehandeld.

De Kernboodschap

Laat AI-rechters niet debatteren: Het laten debatteren van AI-modellen maakt ze vaak slechter omdat ze elkaar tot de verkeerde antwoorden praten.
Laat ze onafhankelijk stemmen: Een eenvoudige meerderheidsstem van onafhankelijke AI-modellen is iets beter dan een enkele AI.
Weet wanneer je moet stoppen: Het beste systeem is niet "AI versus Mens". Het is "AI handelt het makkelijke werk af, en mensen handelen de zaken af waar de AI in de war is."

Dit paper bewijst dat een team van onafhankelijke AI-rechters een goed begin is voor het afwikkelen van weddenschappen, maar dat ze een menselijke supervisor nodig hebben om in te grijpen zodra het AI-team het oneens is.

Technische Samenvatting: Ontwerp en Evaluatie van Multi-Agent AI Oracle Systemen voor de Resolutie van Voorspellingsmarkten

1. Probleemstelling

Voorspellingsmarkten aggregeren collectieve intelligentie om onzekere gebeurtenissen te voorspellen, maar hun nut is afhankelijk van de betrouwbaarheid van de oracle—het mechanisme dat contracten afwikkelt op basis van de werkelijke uitkomsten in de echte wereld. Huidige oracle-ontwerpen kampen met een fundamentele afruil: volledig geautomatiseerde systemen (bijv. Chainlink) zijn snel en schaalbaar, maar hebben moeite met subjectieve of ambigue uitkomsten, terwijl menselijke arbitrage-systemen (bijv. UMA, Kalshi) een hoge nauwkeurigheid bieden, maar aanzienlijke latentie en kosten met zich meebrengen.

Recent werk heeft aangetoond dat single Large Language Model (LLM) oracles als een tussenliggende laag kunnen dienen, waarbij ze een hoge nauwkeurigheid bereiken op gestructureerde data, maar ook last hebben van faalmodi zoals hallucinaties, fouten in temporeel redeneren en sycophantie (vleierij) zonder zelfcorrigerende mechanismen. Dit artikel adresseert de kloof in multi-agent oracle-architecturen, door te onderzoeken of ensembles van LLM's de resolutie-nauwkeurigheid kunnen verbeteren ten opzichte van single-model baselines en onder welke voorwaarden dergelijke verbeteringen optreden. Specifiek wordt onderzocht of multi-agent systemen individuele model-fouten kunnen mitigeren of dat ze nieuwe faalmodi introduceren, zoals persuasieve foutpropagatie.

2. Methodologie

2.1 Dataset en Evidence Layer

De studie evalueert systemen op KalshiBench v2, een dataset van 1.189 opgeloste voorspellingsmarktvragen van Kalshi met geverifieerde uitkomsten uit de echte wereld. Om contaminatie van trainingsdata te voorkomen, is de dataset gefilterd om alleen markten te bevatten die na 1 mei 2025 zijn gesloten (na de trainings-cutoffs van de gebruikte modellen).

Evidence Retrieval: Alle agenten delen een gemeenschappelijke evidence layer via Exa, een embeddings-gebaseerde zoekmachine. Queries worden gefilterd op publicatiedatum om te garanderen dat het bewijs de informatie reflecteert die beschikbaar was op het moment van resolutie. Dit ontwerp isoleert de redeneerkracht van de kwaliteit van de retrieval.
Categorieën: De dataset beslaat 16 categorieën, waaronder Politiek (26,16%), Sport (22,62%) en Entertainment (19,34%).

2.2 Agent Configuratie

Drie diverse LLM's werden ingezet als oracle-agenten:

GPT-5 Nano (OpenAI)
DeepSeek-V3 (DeepSeek)
Llama-3.3-70B-Instruct-Turbo (Meta)

2.3 Geëvalueerde Architecturen

Twee multi-agent architecturen werden vergeleken met single-LLM baselines:

Architectuur A (Onafhankelijke Aggregatie): Agenten lossen vragen onafhankelijk en parallel op. Uitkomsten worden bepaald door meerderheidsstemming of vertrouwensgewogen stemmen. Dit weerspiegelt gedecentraliseerde oracle-netwerken zoals Chainlink.
Architectuur B (Deliberatieve Consensus): Agenten nemen deel aan een gestructureerd debat van twee rondes. In Ronde 1 beantwoorden agenten de vragen onafhankelijk. In Ronde 2 beoordelen zij geanonimiseerde redeneringen van peers en kunnen zij hun antwoorden herzien. Einduitkomsten worden bepaald door een gelaagde meerderheidsstemming.

2.4 Evaluatiemetrieken

Resolutie-nauwkeurigheid: Binaire correctheid tegenover de grondwaarheid (ground truth).
Foutcorrelatie: Pearson-correlatie van foutvectoren en conditionele foutkansen ( $P(B \text{ foutief} | A \text{ foutief})$ ).
Escalatie-analyse: Een coverage-nauwkeurigheid tradeoff-curve geconstrueerd met behulp van inter-agent overeenstemming (unaniem versus verdeeld) en gemiddelde vertrouwensscores om routing-drempels voor menselijke arbitrage te bepalen.

3. Belangrijkste Bijdragen

Empirische Vergelijking van Multi-Agent Architecturen: Dit werk biedt de eerste systematische evaluatie van onafhankelijke aggregatie versus deliberatieve consensus voor de resolutie van voorspellingsmarkten, een domein met directe financiële gevolgen.
Taxonomie van Faalmechanismen: Het artikel identificeert en karakteriseert vijf verschillende faalmechanismen:
- Retrieval Failure: Ontbrekende cruciale bewijslast in de upstream fase.
- Temporal Reasoning Error: Misinterpretatie van tijdgebonden bewijslast.
- Hallucinatie: Fabriceren van claims of interpretaties van criteria.
- Shared Bias: Gecorreleerde misinterpretatie van aanwezige bewijslast door alle modellen.
- Persuasive Error Propagation: Een unieke fout in deliberatieve systemen waarbij zelfverzekerd onjuiste modellen correcte modellen tijdens het debat doen omdraaien.
Geprincipeerd Escalatie-framework: De studie stelt routing-criteria voor hybride AI-mens systemen voor, waarbij beslisregels worden gedefinieerd op basis van inter-agent onenigheid en vertrouwensniveaus om de tradeoff tussen automatisatiesnelheid en menselijke arbitragekosten te optimaliseren.

4. Resultaten

4.1 Nauwkeurigheid Prestaties

Onafhankelijke Aggregatie (Architectuur A): Behaalde de hoogste nauwkeurigheid van 83,43% met vertrouensgewogen stemmen. Dit vertegenwoordigt een verbetering van +1,01 procentpunt ten opzichte van de beste single-model baseline (DeepSeek op 82,42%).
Deliberatieve Consensus (Architectuur B): Tegen de verwachtingen van de multi-agent debatliteratuur in, verslechterde de deliberatie de prestaties tot ongeveer 76,11%. Dit resultaat lag onder elke single-model baseline. De beste deliberatieve resultaat (DeepSeek) bleef meer dan 4 procentpunt achter bij de slechtste individuele baseline (Llama).
McNemar's Test: Architectuur A presteerde significant beter dan Architectuur B ( $p < 10^{-10}$ ); het loste 117 vragen correct op die B miste, terwijl B slechts 37 vragen corrigeerde die A miste.

4.2 Foutcorrelatie en Theoretische Limieten

Gecorreleerde Fouten: Foutcorrelaties tussen modellen waren matig tot hoog ( $r = 0,529–0,689$ ). DeepSeek en Llama vertoonden de hoogste correlatie ( $r = 0,689$ ).
Condorcet Ceiling: Door deze correlaties lag de geobserveerde meerderheidsstem-nauwkeurigheid (82,93%) ver onder de theoretische Condorcet-plafond (~91%) die men zou verwachten als fouten onafhankelijk zouden zijn. Dit geeft aan dat wanneer één model faalt, anderen vaak op dezelfde vraag falen om dezelfde onderliggende reden (bijv. ambigue bewijslast).

4.3 Categorie-analyse

High-Performance Domeinen: Goed gedocumenteerde categorieën zoals Sport (92,9%) en Financiën (93,3%) vertoonden een hoge nauwkeurigheid, waarbij ze de grenzen van de huidige single-LLM capaciteiten benaderen.
Low-Performance Domeinen: Ambigue categorieën zoals Crypto (66,1%) en Bedrijven (58,0%) weerstaanden verbetering in alle architecturen, wat wijst op fundamentele moeilijkheid in plaats van architecturale zwakte.
Impact van Deliberatie: Deliberatie hielp soms in informatie-intensieve categorieën zoals "Bedrijven", maar verminderde de nauwkeurigheid over het algemeen in andere categorieën door persuasieve foutpropagatie.

4.4 Escalatie Framework

Unanimiteit als Signaal: Inter-agent overeenstemming is de sterkste voorspeller van nauwkeurigheid. Unanieme beslissingen behaalden 88,34% nauwkeurigheid, terwijl verdeelde (2-1) stemmingen daalden naar 57,82%.
Hoge-Vertrouwen Unanimiteit: Het filteren voor unanieme, hoge-vertrouwen vragen (gemiddeld vertrouwen > 0,91) leverde 97,87% nauwkeurigheid op voor 47,4% van de dataset.
Routing Strategie: Het paper stelt een hybride systeem voor waarbij unanieme, hoge-vertrouwen vragen automatisch worden opgelost, terwijl verdeelde of lage-vertrouwen vragen worden geëscaleerd naar menselijke arbitrage.

5. Betekenis en Claims

Het paper claimt dat hoewel multi-agent systemen bescheiden maar statistisch significante winsten bieden ten opzichte van single-model baselines via onafhankelijke aggregatie, deliberatieve consensus contraproductief is voor de resolutie van voorspellingsmarkten. De degradatie in deliberatieve systemen wordt toegeschreven aan persuasieve foutpropagatie en LLM sycophantie, waarbij zelfverzekerd onjuiste redeneringen in een debatsetting leiden tot het herzien van antwoorden door correcte modellen.

De studie concludeert dat de voordelen van multi-agent LLM-systemen fundamenteel worden beperkt door gecorreleerde redeneerfouten. In domeinen die interpretatie van ambigue real-world bewijslast vereisen in plaats van verifieerbare logische afleiding, riskeren debat-gebaseerde architecturen onjuiste argumenten te versterken. Daarom pleit het paper voor onafhankelijke aggregatie met vertrouensgewogen stemmen als de superieure architectuur voor automatische resolutie, gekoppeld aan een geprincipeerd escalatie-framework dat onzekere gevallen naar menselijke arbitrage stuurt. Deze aanpak stelt hybride oracle-systemen in staat om een bijna perfecte nauwkeurigheid te bereiken op een aanzienlijk deel van de vragen (47%) terwijl kosten en latentie worden beheerd.