🤖 AI

MoCA-Agent: A Market-of-Claims Code Agent for Financial and Numerical Reasoning

MoCA-Agent is een market-of-claims code-agent die financieel en numeriek redeneren verbetert door vragen te deconstrueren in atomaire claims voor specialistische verificatie, uitvoerbare code te synthetiseren uit door de markt ondersteunde bewijslast, en strikte verificatie toe te passen om state-of-the-art prestaties te behalen over diverse financiële benchmarks.

Oorspronkelijke auteurs: Abdelrahman Abdallah, AbdelRahim A. Elmadany, Sameh Al Natour, Hasan Cavusoglu, Adam Jatowt, Muhammad Abdul-Mageed

Gepubliceerd 2026-06-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Abdelrahman Abdallah, AbdelRahim A. Elmadany, Sameh Al Natour, Hasan Cavusoglu, Adam Jatowt, Muhammad Abdul-Mageed

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer lastig wiskundig probleem probeert op te lossen op basis van een slordige spreadsheet. Als je een standaard AI om dit vraagt, kan deze een lang, zelfverzekerd klinkend verhaal schrijven dat leidt tot het verkeerde getal. Het is als een student die een perfect essay schrijft, maar in de laatste stap per ongeluk door nul deelt — het essay ziet er geweldig uit, maar het antwoord is fout.

Het paper introduceert MoCA-Agent, een nieuw soort AI die specifiek is ontworpen om deze "stille fouten" in financiële en numerieke taken te stoppen. In plaats van de AI gewoon zijn weg te laten praten naar een antwoord, behandelt MoCA-Agent het probleem als een aandelenmarkt voor feiten.

Hier is hoe het werkt, met behulp van eenvoudige analogieën:

1. De "Claim Catalog" (Het opdelen)

In plaats van de AI te vragen "het probleem op te lossen", breekt MoCA-Agent de vraag eerst af in piepkleine, atomaire stukjes die claims worden genoemd.

Analogie: Stel je voor dat je een huis bouwt. In plaats van te zeggen "Bouw een huis", maak je een lijst van elke baksteen, balk en spijker die nodig is.
In het paper: Als de vraag is "Wat was de winst?", maakt het systeem claims zoals: "Omzet is $100", "Kosten zijn $20", "Winst betekent Omzet minus Kosten", en "Het teken moet positief zijn".

2. De "Market of Traders" (Het debat)

Dit is de kerninnovatie. Het systeem vraagt niet simpelweg één AI om na te denken. Het huurt vier verschillende "gespecialiseerde handelaren" in om te wedden op de vraag of elke kleine claim waar of onwaar is.

De Handelaren:
- De Extractor: Controleert of de cijfers overeenkomen met het originele document.
- De Formule Expert: Controleert of de wiskundige logica klopt.
- De Accountant: Controleert of de eenheden (dollars, percentages) en tekens (positief/negatief) correct zijn.
- De Scepticus: Probeert actief fouten te vinden en claims die wankel lijken te "verkopen" (afwijzen).
De Markt: Elke handelaar plaatst een "koop-" of "verkooporder" op elke claim. Als de Accountant en de Scepticus beide een claim "verkopen" (zeggen dat deze fout is), daalt de marktprijs voor die claim en wordt deze afgewezen. Als iedereen het eens is, stijgt de prijs en wordt de claim geaccepteerd.
Waarom dit belangrijk is: In normale AI-debatten, als drie AI's het eens zijn over een fout antwoord, klinken ze allemaal zelfverzekerd. Hier kan zelfs als de "Formule Expert" zelfverzekerd is, de "Scepticus" de boel kortsluiten als de cijfers niet kloppen.

3. De "Synthesizer" (Het programma bouwen)

Zodra de markt is uitgeklaren (beslist welke claims worden geaccepteerd), schrijft een "Synthesizer"-agent een Python computerprogramma.

De Regel: De Synthesizer is strikt verboden om enige claim te gebruiken die de markt heeft afgewezen. Hij mag alleen bouwen met de "goedgekeurde bakstenen".
Analogie: Het is als een bouwvoorman die alleen de blauwdrukken mag gebruiken die de veiligheidsinspectie hebben doorstaan. Als een blauwdruk is afgewezen, mag hij deze niet gebruiken, zelfs niet als hij dat heel graag wil.

4. De "Verifier" (De veiligheidsinspecteur)

Voordat het definitieve antwoord wordt gegeven, voert een "Code-Aware Verifier" het programma uit.

De Check: Het controleert niet alleen of de code zonder fouten draait; het controleert of de code overeenkomt met de logica van de markt. Heeft het programma per ongeluk een teken omgedraaid? Heeft het met 100 vermenigvuldigd terwijl het had moeten delen?
De Reparatie: Als de Verifier een stille fout vindt (zoals een foutief teken), stuurt hij het programma terug voor één ronde van reparatie, waarbij specifiek de fout wordt aangewezen zodat de Synthesizer deze kan herstellen.

5. De "Conflict Arbiter" (De beslisser)

Soms is de markt in de war, of is het programma zwak. In deze gevallen vergelijkt een "Commissie" het antwoord van de markt met een standaard, niet-markt-gebaseerd AI-antwoord. Als ze van mening verschillen, creëert een speciale "Arbiter" een derde, hybride antwoord dat de beste delen van beide combineert.

De Resultaten: Waarom het werkt

De auteurs hebben dit systeem getest op 10 verschillende moeilijke benchmarks met betrekking tot financiële rapporten, complexe tabellen en grafieken.

De Uitkomst: MoCA-Agent versloeg consequent andere top-tier AI-modellen (inclusief zeer grote modellen zoals GPT-4o en gespecialiseerde financiële modellen).
Het Geheime Recept: Het werd niet alleen beter omdat het een groter brein gebruikte; het werd beter omdat het de AI ervan weerhield om "hallucinerende", zelfverzekerde maar foutieve getallen te produceren. Door de AI te dwingen om het eens te worden over elk klein feitje voordat de wiskunde wordt uitgevoerd, werden fouten aanzienlijk verminderd.

Beperkingen (De kleine lettertjes)

Het paper is eerlijk over wat dit systeem nog niet kan:

Het is Duur: Het kost veel meer computer-"gedachten" (API-calls) om dit marktsysteem te draaien dan een simpele AI-chat, waardoor het ongeveer 5 keer duurder is om uit te voeren.
Het Heeft Engels Nodig: Het systeem is momenteel afgestemd op Engelse financiële taal. Het kan moeite hebben met andere talen of niet-financiële velden zoals biologie.
Eén-stap Visie: Als de input een grafiek-afbeelding is, gebruikt het systeem één tool om de afbeelding te lezen. Als die tool een label verkeerd leest, krijgen de "handelaren" geen kans om er opnieuw op te wedden; de fout glipt erdoorheen.

Samenvattend: MoCA-Agent is als een accountantskantoor dat niemand op zijn woord gelooft totdat elk getal is ondertekend. Het vervangt "vrij vorm praten" door een gestructureerde, op bewijs gebaseerde markt om ervoor te zorgen dat de uiteindelijke wiskunde daadwerkelijk correct is.

Technische Samenvatting: MoCA-Agent

Probleemstelling

Systemen voor het beantwoorden van financiële en tabel-gebaseerde vragen (QA) worden geconfronteerd met een kritieke uitdaging: de vereiste dat antwoorden gebaseerd zijn op exacte feiten, formules, eenheden, tekens en schalen. In tegen tegenover de open eind-chat-taken heeft financiële redenering vrijwel geen tolerantie voor "vloeiend maar foutieve" afleidingen. Een enkele verkeerd gelezen cel, een verwisselde formule of een fout van 100 procent kan het uiteindelijke numerieke resultaat stilzwijgend corrumperen, terwijl de omliggende tekst plausibel blijft.

De auteurs identificeren drie terugkerende foutmodi in bestaande financiële code-agenten:

Stilzwijgende Misberekening: Bij Program-of-Thought (PoT) benaderingen committeren agenten zich aan een programma zodra dit is uitgebracht. Zelfs syntactisch correcte programma's kunnen de verkeerde cellen delen of incorrecte eenheden toepassen, en downstream-controles observeren vaak alleen de uiteindelijke output in plaats van de onderliggende aannames.
Ondoorzichtige Aggregatie: In multi-agent debat-systemen aggregeren agenten volledige antwoorden of kritieken. Als meerdere agenten vloeiend hetzelfde onjuiste getal afleiden, wordt de consensus met een hoge mate van vertrouwen onjuist. Deze systemen behandelen agent-outputs als opake stemmen in plaats van collecties getypeerde claims die onafhankelijk uitgedaagd kunnen worden.
Onvoldoende Structurele Verificatie: Bestaande self-refine en code-repair frameworks vertrouwen op executiefouten of vrije vorm kritiek. Ze hebben moeite met het detecteren van programma's die succesvol worden uitgevoerd maar onjuiste feiten, tekens of schalen gebruiken (bijv. het omdraaien van een netto-na-belasting teken of het schalen van een ratio met 100).

Methodologie: MoCA-Agent

Het artikel introduceert MoCA-Agent (Market-of-Claims Code Agent), een framework dat vrije vorm multi-agent debat vervangt door een gestructureerd, claim-niveau verificatieprotocol. Het systeem deelt vragen op in getypeerde atomaire claims, aggregeert bewijs via een gesimuleerde markt en synthetiseert alleen uitvoerbare code op basis van door de markt ondersteund bewijs.

Kernpipeline

Claim Catalog Builder: Het systeem deelt de input-tuple (Vraag $q$ , Tabel $T$ , Context $C$ ) op in een catalogus van $M$ atomaire, verhandelbare claims ( $K$ ). Elke claim wordt getypeerd als een feit, formule, eenheid, teken, richting (bijv. toename/afname), of overig. De catalogus is beperkt tot 10 claims om de verwerkbaarheid te waarborgen.
Specialist Trader Market: Vier verschillende trader-agenten ( $R$ $R$ ) evalueren elke claim onafhankelijk:
- EXTRACTOR: Grondt feitelijke cellen tegen de tabel.
- FORMULA: Valideert dat voorgestelde formules de gevraagde operatie respecteren.
- ACCOUNTANT: Controleert eenheden en boekhoudkundige conventies (bijv. omzet versus kosten).
- SKEPTIC: Verkoopt (betwijfelt) actief claims met onvoldoende bewijs.
  Traders plaatsen gewogen "buy" (ondersteuning) of "sell" (twijfel) orders met specifieke prijzen en nominale omvang.
Market Clearing: Het systeem aggregeert orders om een clearingprijs ( $\pi_m$ $π_{m}$ ) en een betrouwbaarheidsscore ( $\gamma_m$ $γ_{m}$ ) voor elke claim te berekenen. Claims krijgen een status: geaccepteerd, afgewezen, of onzeker.
- Geaccepteerd: $\pi_m \geq 0,62$
- Afgewezen: $\pi_m \leq 0,38$
- Onzeker: Anders
Synthese: Een synthesizer schrijft een uitvoerbaar Python-programma ( $P$ ) dat strikt gebruikmaakt van niet-afgewezen claims. Afgewezen claims worden gefilterd voordat de codegeneratie plaatsvindt.
Code-Aware Verificatie & Reparatie:
- Een Code-Aware Verifier voert het programma uit in een sandbox en past operatie-bewuste structurele controles toe (bijv. het verifiëren van tekenomdraaiingen, procentuele schaling en formuleconsistentie).
- Als het programma faalt voor structurele controles, wordt een Market-Aware Repair ronde getriggerd, waarbij de synthesizer specifieke structurele foutenlijsten krijgt (bijv. "missing_formula_or_unit_claim") in plaats van generieke feedback.
Conflictresolutie: Als de markt-gegronde kandidaat structureel zwak is, vergelijkt een Hybrid Selector Committee deze met een baseline-kandidaat (een single-agent writer zonder de claim-markt). Als er onenigheid blijft bestaan, genereert een Conflict Arbiter een derde programma dat put uit de goedgekeurde delen van beide kandidaten.

Multimodale Extensie

Voor grafische redenering vult het systeem de tabel-slot in met een VLM-transcriptie (vision-language model) van de grafiek. De rest van de pipeline (traders, synthesizer, verifier) blijft identiek aan de tekstuele configuratie.

Belangrijkste Bijdragen

Failure-Mode Analyse en Systeemontwerp: De auteurs identificeren formeel stilzwijgende misberekening, opake aggregatie en onvoldoende structurele verificatie als primaire foutmodi in financiële agenten. Ze stellen MoCA-Agent voor om aannames expliciet te maken als getypeerde atomaire claims.
Market-of-Claims Protocol: Een nieuw protocol waarbij specialistische rollen gewogen orders plaatsen op getypeerde claims. Dit creëert een expliciet auditspoor van aannames en stelt het systeem in staat om overmoedige formules te "shorten" zonder het hele programma af te wijzen.
Code-Aware Verificatie en Conflictherstel: De verifier wordt verhoogd tot een kerncomponent voor routing die zich richt op specifieke patronen van stille fouten (tekens, schalen, eenheden). Het systeem bevat een hybride selector en conflict-arbiter om onopgeloste onenigheid tussen markt-gegronde en baseline-kandidaten af te handelen.
Benchmark Resultaten: Uitgebreide evaluatie over 10 publieke benchmarks demonstreert de effectiviteit van het aggregeren van bewijs op het niveau van atomaire claims.

Experimentele Resultaten

MoCA-Agent werd geëvalueerd met een vaste Qwen3.6-27B backbone over vier categorieën:

Financiële Numerieke Redenering:
- FinQA: 78,3% (vs. 74,2% voor Fino1-14B).
- FinanceMath: 76,0% (vs. 67,0% voor GPT-4o PoT).
- DocMath-Complong: 50,7% (vs. 42,3% voor DeepSeek-V3).
Algemene Tabel-Redenering:
- MultiHiertt: 71,2% (vs. 56,8% voor Fortune RL).
- TabMWP: 96,0%.
- WTQ: 81,4%.
Domeinkennis QA:
- ESGenius: 86,9% (presteert beter dan de sterkste RAG-baseline van 83,8% en zero-shot baselines).
Multimodale Grafische Redenering:
- FinChart-Bench: 85,6% gemiddelde over True/False, Multiple Choice en Open QA. Het behaalde 74,65% op Open QA, wat significant beter is dan Claude Sonnet 4 (63,59%).

Ablatie-studies: Het verwijderen van de Trader Market, Code Repair, Baseline Proposer of Conflict Arbiter resulteerde in prestatiedalingen van gemiddeld 2,8% tot 5,1%, wat de complementaire aard van deze componenten bevestigt. De winst werd toegeschreven aan de agent-architectuur in plaats van het backbone-model, aangezien de resultaten standhielden bij verschillende modelgroottes (9B tot 31B).

Betekenis en Claims

Het artikel claimt dat het aggregeren van bewijs op het niveau van atomaire claims, in plaats van volledige antwoorden, de robuustheid in hoogwaardige numerieke redenering verbetert. Door aannames expliciet te maken en specialistische rollen toe te staan om specifieke feiten, formules en eenheden onafhankelijk te ondersteunen of uit te dagen, mitigeert MoCA-Agent het risico op de voortplanting van stille fouten door de pipeline.

De auteurs benadrukken dat deze aanpak bijzonder effectief is in omgevingen die multi-cel extractie en formulecompositie vereisen. Ze merken op dat hoewel het systeem de traceerbaarheid verbetert en de foutenratio verlaagt, het risico op onjuiste antwoorden niet elimineert. Daarom positioneren zij MoCA-Agent als een besluitvormingsondersteunend artefact dat beoordeeld moet worden door gekwalificeerde mensen voordat het wordt gebruikt in hoogwaardige financiële, juridische of regelgevende contexten.

Erkenning van Beperkingen

Het artikel vermeldt expliciet vier beperkingen:

Kosten: De pipeline vereist 6–10 LLM-aanroepen per query, wat ongeveer 5x de kosten is van een single-pass PoT-agent.
Out-of-Distribution Lay-outs: Het systeem gaat ervan uit dat vragen kunnen worden opgedeeld in $\leq 10$ claims; het presteert minder goed op benchmarks die gedomineerd worden door kolomkop-normalisatie (bijv. HiTab) waar gespecialiseerde modellen uitblinken.
Enkele Multimodale Stap: Fouten in de initiële VLM-transcriptie van grafieken worden niet opnieuw geëvalueerd door het trader-panel.
Domeinspecifiteit: De rol-biases en verifier-controles zijn gekalibreerd voor Engelse financiële/boekhoudkundige conventies en zijn nog niet gevalideerd voor wetenschappelijke, biomedische of niet-Engelse contexten.