🤖 AI

MoCA-Agent: A Market-of-Claims Code Agent for Financial and Numerical Reasoning

MoCA-Agent ist ein Market-of-Claims-Code-Agent, der das finanzielle und numerische Denken durch die Zerlegung von Fragen in atomare Behauptungen zur spezialisierten Verifizierung, die Synthese von ausführbarem Code aus marktgestützten Belegen und die Anwendung strenger Verifizierung verbessert, um eine State-of-the-Art-Leistung über diverse Finanzbenchmarks hinweg zu erreichen.

Ursprüngliche Autoren: Abdelrahman Abdallah, AbdelRahim A. Elmadany, Sameh Al Natour, Hasan Cavusoglu, Adam Jatowt, Muhammad Abdul-Mageed

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Abdelrahman Abdallah, AbdelRahim A. Elmadany, Sameh Al Natour, Hasan Cavusoglu, Adam Jatowt, Muhammad Abdul-Mageed

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein sehr kniffliges mathematisches Problem zu lösen, das auf einer unordentlichen Tabellenkalkulation basiert. Wenn Sie eine Standard-KI darum bitten, schreibt sie vielleicht eine lange, selbstbewusst klingende Geschichte, die jedoch zu der falschen Zahl führt. Es ist wie ein Schüler, der einen perfekten Aufsatz schreibt, aber im letzten Schritt versehentlich durch Null teilt – der Aufsatz sieht großartig aus, aber die Antwort ist falsch.

Das Paper stellt MoCA-Agent vor, eine neue Art von KI, die speziell darauf ausgelegt ist, diese „stillen Fehler“ bei Finanz- und Zahlenaufgaben zu verhindern. Anstatt die KI einfach nur den Weg zur Antwort „erchatten“ zu lassen, behandelt MoCA-Agent das Problem wie einen Aktienmarkt für Fakten.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das „Claim-Katalog“ (Das Zerlegen)

Anstatt die KI zu fragen, „löse das Problem“, zerlegt MoCA-Agent die Frage zuerst in winzige, atomare Teile, die sogenannte Claims (Behauptungen).

Analogie: Stellen Sie sich vor, Sie bauen ein Haus. Anstatt zu sagen „Baue ein Haus“, listen Sie jeden einzelnen Ziegel, Balken und Nagel auf, der benötigt wird.
Im Paper: Wenn die Frage lautet: „Was war der Gewinn?“, listet das System Claims auf wie: „Der Umsatz beträgt 100 $“, „Die Ausgaben betragen 20 $“, „Gewinn bedeutet Umsatz minus Ausgaben“ und „Das Vorzeichen sollte positiv sein“.

2. Der „Markt der Händler“ (Die Debatte)

Dies ist die Kerninnovation. Das System fragt nicht einfach nur eine KI, um nachzudenken. Es stellt vier verschiedene „Spezialisten-Händler“ ein, die darauf wetten, ob jeder winzige Claim wahr oder falsch ist.

Die Händler:
- Der Extraktor: Prüft, ob die Zahlen mit dem Originaldokument übereinstimmen.
- Der Formel-Experte: Prüft, ob die mathematische Logik Sinn ergibt.
- Der Buchhalter: Prüft, ob die Einheiten (Dollar, Prozentsätze) und Vorzeichen (positiv/negativ) korrekt sind.
- Der Skeptiker: Versucht aktiv, Fehler zu finden und „verkauft“ (lehnt ab) Claims, die unsicher aussehen.
Der Markt: Jeder Händler platziert eine „Kauf“- oder „Verkaufs“-Order für jeden Claim. Wenn der Buchhalter und der Skeptiker beide „verkaufen“ (also sagen, dass etwas falsch ist), sinkt der Marktpreis für diesen Claim und er wird abgelehnt. Wenn alle zustimmen, steigt der Preis und der Claim wird akzeptiert.
Warum das wichtig ist: In normalen KI-Debatten klingen drei KIs, die sich auf eine falsche Antwort einigen, alle sehr selbstbewusst. Hier kann der „Skeptiker“ den gesamten Prozess kurzschließen, selbst wenn der „Formel-Experte“ überzeugt ist, falls die Zahlen nicht aufgehen.

3. Der „Synthesizer“ (Das Programm erstellen)

Sobald der Markt bereinigt ist (entschieden hat, welche Claims akzeptiert werden), schreibt ein „Synthesizer“-Agent ein Python-Computerprogramm.

Die Regel: Dem Synthesizer ist es streng untersagt, jeden Claim zu verwenden, den der Markt abgelehnt hat. Er darf nur mit den „zugelassenen Ziegeln“ bauen.
Analogie: Es ist wie ein Bauleiter, der nur nach den Bauplänen arbeiten darf, die die Sicherheitsprüfung bestanden haben. Wenn ein Bauplan abgelehnt wurde, darf er ihn nicht verwenden, auch wenn er ihn unbedingt nutzen möchte.

4. Der „Verifier“ (Der Sicherheitsinspektor)

Bevor die endgültige Antwort gegeben wird, führt ein „Code-bewusster Verifier“ das Programm aus.

Die Prüfung: Er prüft nicht nur, ob der Code ohne Absturz läuft; er prüft, ob der Code auch der Logik des Marktes entspricht. Hat das Programm versehentlich ein Vorzeichen vertauscht? Hat es mit 100 multipliziert, wo es eigentlich hätte dividieren sollen?
Die Reparatur: Wenn der Verifier einen stillen Fehler findet (wie ein falsches Vorzeichen), schickt er das Programm für eine Runde der Reparatur zurück, wobei er den Fehler spezifisch benennt, damit der Synthesizer ihn korrigieren kann.

5. Der „Conflict Arbiter“ (Der Schiedsrichter)

Manchmal ist der Markt verwirrt oder das Programm ist schwach. In diesen Fällen vergleicht ein „Komitee“ die Antwort des Marktes mit einer Standard-Antwort einer Nicht-Markt-KI. Wenn sie sich uneinig sind, erstellt ein spezieller „Arbiter“ (Schiedsrichter) eine dritte, hybride Antwort, die die besten Teile beider kombiniert.

Die Ergebnisse: Warum es funktioniert

Die Autoren haben dieses System an 10 verschiedenen schwierigen Benchmarks getestet, die Finanzberichte, komplexe Tabellen und Diagramme umfassen.

Das Ergebnis: MoCA-Agent schlägt konsequent andere Top-KI-Modelle (einschließlich sehr großer Modelle wie GPT-4o und spezialisierter Finanzmodelle).
Das Geheimrezept: Es wurde nicht einfach besser, weil es ein größeres Gehirn nutzte; es wurde besser, weil es die KI davon abhielt, „halluzinierte“, aber selbstbewusst falsche Zahlen zu liefern. Indem es die KI zwang, sich erst auf jeden einzelnen winzigen Fakt zu einigen, bevor die Mathematik durchgeführt wird, wurden die Fehler signifikant reduziert.

Einschränkungen (Das Kleingedruckte)

Das Paper ist ehrlich darüber, was dieses System noch nicht kann:

Es ist teuer: Es erfordert viel mehr Computer-„Gedanken“ (API-Aufrufe), um dieses Marktsystem zu betreiben, als ein einfacher KI-Chat, was es etwa fünfmal teurer in der Ausführung macht.
Es benötigt Englisch: Das System ist derzeit auf die englische Finanzsprache abgestimmt. Es könnte Schwierigkeiten mit anderen Sprachen oder nicht-finanziellen Bereichen wie der Biologie haben.
Ein-Schritt-Vision: Wenn die Eingabe ein Diagramm (Bild) ist, nutzt das System ein Werkzeug, um das Bild zu lesen. Wenn dieses Werkzeug eine Beschriftung falsch liest, erhalten die „Händler“ keine Chance, erneut darauf zu wetten; der Fehler schlüpft hindurch.

Zusammenfassend lässt sich sagen: MoCA-Agent ist wie eine Wirtschaftsprüfungsgesellschaft, die niemandem auf sein Wort vertraut, bis jede einzelne Zahl bestätigt wurde. Es ersetzt das „freie Chatten“ durch einen strukturierten, evidenzbasierten Markt, um sicherzustellen, dass die Mathematik am Ende tatsächlich korrekt ist.

Technisches Resümee: MoCA-Agent

Problemstellung

Systeme zur Beantwortung von Fragen zu Finanzdaten und Tabellen (QA) stehen vor einer kritischen Herausforderung: Die Anforderung, dass Antworten auf exakten Fakten, Formeln, Einheiten, Vorzeichen und Skalen basieren müssen. Im Gegensatz zu offenen Chat-Aufgaben gibt es bei der finanziellen Argumentation praktisch keine Toleranz für „flüssig-aber-falsche“ Ableitungen. Ein einz送er falsch gelesener Zellwert, eine vertauschte Formel oder ein Fehler um den Faktor 100 kann das Endergebnis numerisch im Stillen korrumpieren, während der umgebende Text plausibel bleibt.

Die Autoren identifizieren drei wiederkehrende Fehlermodi bestehender Finanz-Code-Agenten:

Stille Fehlberechnung (Silent Miscomputation): Bei Program-of-Thought (PoT)-Ansätzen legen sich Agenten nach der Emission auf ein Programm fest. Selbst syntaktisch korrekte Programme können die falschen Zellen dividieren oder falsche Einheiten anwenden, und nachgeschaltete Prüfungen beobachten oft nur das Endergebnis statt der zugrunde liegenden Annahmen.
Opake Aggregation: In Multi-Agent-Debatten-Systemen aggregieren Agenten ganze Antworten oder Kritiken. Wenn mehrere Agenten flüssig dieselbe falsche Zahl ableiten, wird auch der Konsens mit hoher Konfidenz falsch sein. Diese Systeme behandeln Agenten-Outputs als opake Stimmen statt als Sammlungen typisierter Behauptungen, die unabhängig voneinander angefochten werden können.
Unzureichende strukturelle Verifizierung: Bestehende Self-Refine- und Code-Repair-Frameworks verlassen sich auf Ausführungsfehler oder freiformige Kritik. Es fällt ihnen schwer, Programme zu erkennen, die zwar erfolgreich ausgeführt werden, aber falsche Fakten, Vorzeichen oder Skalen verwenden (z. B. das Vertauschen eines Netto-nach-Steuern-Vorzeichens oder die Skalierung eines Verhältnisses um den Faktor 100).

Methodik: MoCA-Agent

Das Paper stellt MoCA-Agent (Market-of-Claims Code Agent) vor, ein Framework, das die freiformige Multi-Agenten-Debatte durch ein strukturiertes Protokoll zur Verifizierung auf Claim-Ebene ersetzt. Das System zerlegt Fragen in typisierte atomare Claims, aggregiert Evidenz über einen simulierten Markt und synthetisiert ausführbaren Code nur aus marktgestützter Evidenz.

Kern-Pipeline

Claim Catalog Builder: Das System zerlegt das Eingabe-Tupel (Frage $q$ , Tabelle $T$ , Kontext $C$ ) in einen Katalog aus $M$ atomaren, handelbaren Claims ( $K$ ). Jeder Claim wird als Fakt, Formel, Einheit, Vorzeichen, Richtung (z. B. Zunahme/Abnahme) oder Sonstiges typisiert. Der Katalog ist auf 10 Claims begrenzt, um die Handhabbarkeit zu gewährleisten.
Spezialisten-Trader-Markt: Vier verschiedene Trader-Agenten ( $R$ $R$ ) bewerten jeden Claim unabhängig:
- EXTRACTOR: Verankert faktische Zellen gegen die Tabelle.
- FORMULA: Validiert, ob vorgeschlagene Formeln die angeforderte Operation befolgen.
- ACCOUNTANT: Überprüft Einheiten und Buchhaltungskonventionen (z. B. Umsatz vs. Aufwand).
- SKEPTIC: Verkauft aktiv (bezweifelt) unterdokumentierte Claims.
  Trader platzieren gewichtete „Buy“- (Unterstützung) oder „Sell“- (Zweifel) Aufträge mit spezifischen Preisen und Notionalgrößen.
Marktbereinigung (Market Clearing): Das System aggregiert die Aufträge, um einen Bereinigungspreis ( $\pi_m$ $π_{m}$ ) und einen Konfidenzwert ( $\gamma_m$ $γ_{m}$ ) für jeden Claim zu berechnen. Claims werden einem Status zugewiesen: akzeptiert, abgelehnt oder unsicher.
- Akzeptiert: $\pi_m \geq 0,62$
- Abgelehnt: $\pi_m \leq 0,38$
- Unsicher: Andernfalls
Synthese: Ein Synthesizer schreibt ein ausführbares Python-Programm ( $P$ ), das strikt nur nicht-abgelehnte Claims verwendet. Abgelehnte Claims werden vor der Codegenerierung herausgefiltert.
Code-bewusste Verifizierung & Reparatur:
- Ein Code-Aware Verifier führt das Programm in einer Sandbox aus und wendet operationsbewusste strukturelle Prüfungen an (z. B. Überprüfung von Vorzeichenwechseln, prozentualer Skalierung und Formelkonsistenz).
- Falls das Programm strukturelle Prüfungen nicht besteht, wird eine Markt-bewusste Reparaturrunde ausgelöst, die dem Synthesizer spezifische Listen struktureller Fehler liefert (z. B. „missing_formula_or_unit_claim“) anstatt generischer Rückmeldungen.
Konfliktlösung: Wenn der marktgestützte Kandidat strukturell schwach ist, vergleicht ein Hybrid Selector Committee diesen mit einem Baseline-Kandidaten (einem Single-Agent-Writer ohne Claim-Markt). Wenn Disagreements bestehen bleiben, generiert ein Conflict Arbiter ein drittes Programm, das auf den genehmigten Teilen beider Kandidaten basiert.

Multimodale Erweiterung

Für die Chart-Argumentation füllt das System den Tabellen-Slot mit einer VLM-Transkription (Vision-Language Model) des Charts. Der Rest der Pipeline (Trader, Synthesizer, Verifier) bleibt identisch mit der textbasierten Konfiguration.

Zentrale Beiträge

Fehlermodusanalyse und Systemdesign: Die Autoren identifizieren stille Fehlberechnung, opake Aggregation und unzureichende strukturelle Verifizierung formal als primäre Fehlermodi für Finanz-Agenten. Sie schlagen MoCA-Agent vor, um Annahmen durch typisierte atomare Claims explizit zu machen.
Market-of-Claims-Protokoll: Ein neuartiges Protokoll, bei dem spezialisierte Rollen gewichtete Aufträge auf typisierte Claims platzieren. Dies schafft eine explizite Audit-Spur von Annahmen und ermöglicht es dem System, übermäßig selbstbewusste Formeln zu „shorten“, ohne das gesamte Programm abzulehnen.
Code-bewusste Verifizierung und Konfliktrecovery: Der Verifier wird zu einer Kernkomponente erhoben, die gezielt auf spezifische Muster stiller Fehler (Vorzeichen, Skalen, Einheiten) abzielt. Das System enthält einen Hybrid-Selector und einen Conflict Arbiter, um ungelöste Disagreements zwischen marktgestützten und Baseline-Kandidaten zu handhaben.
Benchmark-Ergebnisse: Umfangreiche Evaluierungen über 10 öffentliche Benchmarks demonstrieren die Effektivität der Aggregation von Evidenz auf der Ebene atomarer Claims.

Experimentelle Ergebnisse

MoCA-Agent wurde mit einem festen Qwen3.6-27B Backbone in vier Kategorien evaluiert:

Finanzielle numerische Argumentation:
- FinQA: 78,3 % (vs. 74,2 % für Fino1-14B).
- FinanceMath: 76,0 % (vs. 67,0 % für GPT-4o PoT).
- DocMath-Complong: 50,7 % (vs. 42,3 % für DeepSeek-V3).
Allgemeine tabellarische Argumentation:
- MultiHiertt: 71,2 % (vs. 56,8 % für Fortune RL).
- TabMWP: 96,0 %.
- WTQ: 81,4 %.
Domänenwissen QA:
- ESGenius: 86,9 % (übertrifft die stärkste RAG-Baseline von 83,8 % und Zero-Shot-Baselines).
Multimodale Chart-Argumentation:
- FinChart-Bench: 85,6 % im Durchschnitt über True/False, Multiple Choice und Open QA. Es erreichte 74,65 % bei Open QA und übertraf damit signifikant Claude Sonnet 4 (63,59 %).

Ablationsstudien: Das Entfernen des Trader-Marktes, der Code-Reparatur, des Baseline-Proposers oder des Conflict Arbiters führte zu durchschnittlichen Leistungsabfällen von 2,8 % bis 5,1 %, was die komplementäre Natur dieser Komponenten bestätigt. Die Gewinne wurden auf die Agenten-Architektur und nicht auf das Backbone-Modell zurückgeführt, da die Ergebnisse über verschiedene Modellgrößen (9B bis 31B) hinweg stabil blieben.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Aggregation von Evidenz auf der Ebene atomarer Claims statt auf der Ebene ganzer Antworten die Robustheit in hochsensiblen numerischen Argumentationsprozessen verbessert. Durch die Explizitmachung von Annahmen und die Ermöglichung spezialisierter Rollen, spezifische Fakten, Formeln und Einheiten unabhängig zu unterstützen oder anzufechten, mildert MoCA-Agent das Risiko der Ausbreitung stiller Fehler durch die Pipeline.

Die Autoren betonen, dass dieser Ansatz besonders effektiv in Umgebungen ist, die die Extraktion mehrerer Zellen und die Komposition von Formeln erfordern. Sie merken an, dass das System zwar die Rückverfolgbarkeit verbessert und die Fehlerraten senkt, das Risiko falscher Antworten jedoch nicht eliminiert. Folglich positionieren sie MoCA-Agent als ein Entscheidungsunterstützungs-Artefakt, das vor der Verwendung in hochsensiblen Finanz-, Rechts- oder Regulierungskontexten von qualifizierten Menschen überprüft werden sollte.

Anerkannte Limitationen

Das Paper weist explizit auf vier Limitationen hin:

Kosten: Die Pipeline erfordert 6–10 LLM-Aufrufe pro Abfrage, was etwa das 5-fache der Kosten eines Single-Pass PoT-Agenten entspricht.
Out-of-Distribution Layouts: Das System setzt voraus, dass Fragen in $\leq 10$ Claims zerlegt werden können; es schneidet schlechter ab bei Benchmarks, die von Spaltenüberschriften-Normalisierung dominiert werden (z. B. HiTab), wo spezialisierte Modelle besser abschneiden.
Einzelschritt-Multimodalität: Fehler in der initialen VLM-Transkription von Charts werden nicht durch das Trader-Panel neu bewertet.
Domänenspezifität: Die Rollen-Biases und Verifier-Checks sind auf englische Finanz-/Buchhaltungskonventionen kalibriert und wurden nicht für wissenschaftliche, biomedizinische oder nicht-englische Kontexte validiert.