Sintesi Tecnica: MoCA-Agent

Definizione del Problema

I sistemi di risposta a domande (QA) finanziarie e tabulari affrontano una sfida critica: la necessità che le risposte siano fondate su fatti, formule, unità, segni e scale esatti. A differenza dei compiti di chat aperti, il ragionamento finanziario ha una tolleranza virtualmente nulla per derivazioni "fluenti ma errate". Un singolo errore nella lettura di una cella, un cambio di formula o un errore di scala di un fattore 100 può corrompere silenziosamente un risultato numerico finale mentre la prosa circostante rimane plausibile.

Gli autori identificano tre modalità di fallimento ricorrenti negli agenti di codice finanziari esistenti:

1. Miscomputazione Silenziosa: Negli approcci Program-of-Thought (PoT), gli agenti si impegnano in un programma una volta emesso. Anche programmi sintatticamente validi possono dividere le celle sbagliate o applicare unità errate, e i controlli successivi osservano spesso solo l'output finale piuttosto che i presupposti sottostanti.
2. Aggregazione Opaca: Nei sistemi di dibattito multi-agente, gli agenti aggregano risposte intere o critiche. Se più agenti derivano fluidamente lo stesso numero errato, il consenso sarà errato con un'alta confidenza. Questi sistemi trattano gli output degli agenti come voti opachi piuttosto che come collezioni di affermazioni tipizzate che possono essere indipendentemente contestate.
3. Verifica Strutturale Insufficiente: Gli attuali framework di auto-raffinamento e riparazione del codice si affidano a fallimenti di esecuzione o critiche in forma libera. Faticano a rilevare programmi che vengono eseguiti con successo ma utilizzano fatti, segni o scale errati (ad esempio, invertendo il segno di un valore netto di tasse o scalando un rapporto di 100).

Metodologia: MoCA-Agent

Il documento introduce MoCA-Agent (Market-of-Claims Code Agent), un framework che sostituisce il dibattito multi-agente a forma libera con un protocollo di verifica strutturato a livello di singola affermazione (claim). Il sistema decompone le domande in affermazioni atomiche tipizzate, aggrega le evidenze tramite un mercato simulato e sintetizza codice eseguibile solo a partire dalle evidenze supportate dal mercato.

Pipeline Core

1. Claim Catalog Builder: Il sistema decompone la tupla di input (Domanda $q$, Tabella $T$, Contesto $C$) in un catalogo di $M$ affermazioni atomiche scambiabili ($K$). Ogni affermazione è tipizzata come fatto (fact), formula, unità (unit), segno (sign), direzione (es. aumento/diminuzione) o altro. Il catalogo è limitato a 10 affermazioni per garantire la trattabilità.
2. Specialist Trader Market: Quattro distinti agenti trader ($R$) valutano indipendentemente ogni affermazione:
   • EXTRACTOR: Fondamenta le celle fattuali rispetto alla tabella.
   • FORMULA: Valida che le formule proposte rispettino l'operazione richiesta.
   • ACCOUNTANT: Verifica unità e convenzioni contabili (es. ricavi vs spese).
   • SKEPTIC: Vende attivamente (dubita) le affermazioni con scarse evidenze.
     I trader piazzano ordini di "acquisto" (supporto) o "vendita" (dubbio) pesati con prezzi e dimensioni notevoli specifiche.
3. Market Clearing: Il sistema aggrega gli ordini per calcolare un prezzo di clearing ($\pi_m$) e un punteggio di confidenza ($\gamma_m$) per ogni affermazione. Le affermazioni ricevono uno stato: accettata, rifiutata o incerta.
   • Accettata: $\pi_m \geq 0.62$
   • Rifiutata: $\pi_m \leq 0.38$
   • Incertezza: Altrimenti
4. Sintesi: Un sintetizzatore scrive un programma Python eseguibile ($P$) utilizzando rigorosamente le affermazioni non rifiutate. Le affermazioni rifiutate vengono filtrate prima della generazione del codice.
5. Verifica e Riparazione Consapevoli del Codice:
   • Un Verificatore Consapevole del Codice (Code-Aware Verifier) esegca il programma in un sandbox e applica controlli strutturali consapevoli delle operazioni (es. verificare inversioni di segno, scalatura percentuale e coerenza della formula).
   • Se il programma fallisce i controlli strutturali, viene attivato un round di Riparazione Consapevole del Mercato (Market-Aware Repair), fornendo al sintetizzatore liste di errori strutturali specifiche (es. "missing_formula_or_unit_claim") invece di feedback generici.
6. Risoluzione dei Conflitti: Se il candidato basato sul mercato è strutturalmente debole, un Comitato di Selezione Ibrido (Hybrid Selector Committee) confronta il candidato con un candidato baseline (un singolo agente scrittore senza il mercato delle affermazioni). Se i disaccordi persistono, un Arbitro di Conflitto (Conflict Arbiter) genera un terzo programma attingendo alle parti approvate di entrambi i candidati.

Estensione Multimodale

Per il ragionamento su grafici, il sistema riempie lo slot della tabella con una trascrizione del grafico effettuata da un modello visione-linguaggio (VLM). Il resto della pipeline (trader, sintetizzatore, verificatore) rimane identico alla configurazione solo testuale.

Contributi Chiave

1. Analisi dei Modelli di Fallimento e Design del Sistema: Gli autori identificano formalmente la miscomputazione silenziosa, l'aggregazione opaca e la verifica strutturale insufficiente come i principali modelli di fallimento negli agenti finanziari. Propongono MoCA-Agent per rendere espliciti i presupposti come affermazioni atomiche tipizzate.
2. Protocollo Market-of-Claims: Un protocollo innovativo in cui ruoli specialistici piazzano ordini pesati su affermazioni tipizzate. Ciò crea una traccia di audit esplicita degli assunti e permette al sistema di "vendere allo scoperto" (short) formule eccessivamente sicure senza rifiutare l'intero programma.
3. Verifica e Recupero dei Conflitti Consapevoli del Codice: Il verificatore è elevato a componente di routing centrale che mira a specifici pattern di errore silenzioso (segni, scale, unità). Il sistema include un selettore ibrido e un arbitro di conflitto per gestire disaccordi irrisolti tra i candidati basati sul mercato e quelli baseline.
4. Risultati dei Benchmark: Una valutazione estesa su 10 benchmark pubblici dimostra l'efficacia dell'aggregazione delle evidenze a livello di singola affermazione atomica.

Risultati Sperimentali

MoCA-Agent è stato valutato utilizzando un backbone fisso Qwen3.6-27B attraverso quattro categorie:

• Ragionamento Numerico Finanziario:
  • FinQA: 78.3% (vs 74.2% per Fino1-14B).
  • FinanceMath: 76.0% (vs 67.0% per GPT-4o PoT).
  • DocMath-Complong: 50.7% (vs 42.3% per DeepSeek-V3).
• Ragionamento Tabulare Generale:
  • MultiHiertt: 71.2% (vs 56.8% per Fortune RL).
  • TabMWP: 96.0%.
  • WTQ: 81.4%.
• QA di Conoscenza di Dominio:
  • ESGenius: 86.9% (superando il più forte baseline RAG di 83.8% e i baseline zero-shot).
• Ragionamento su Grafici Multimodali:
  • FinChart-Bench: 85.6% media tra True/False, Scelta Multipla e Open QA. Ha raggiunto il 74.65% su Open QA, superando significativamente Claude Sonnet 4 (63.59%).

Studi di Ablazione: La rimozione del Trader Market, del Code Repair, del Baseline Proposer o del Conflict Arbiter ha causato cali di performance tra il 2.8% e il 5.1% in media, confermando la natura complementare di questi componenti. I guadagni sono stati mostrati come attribuibili all'architettura dell'agente piuttosto che al modello backbone, poiché i risultati sono rimasti costanti attraverso diverse dimensioni di modello (da 9B a 31B).

Significato e Rivendicazioni

Il documento sostiene che aggregare le evidenze al livello delle affermazioni atomiche, piuttosto che delle risposte intere, migliora la robustezza nel ragionamento numerico ad alto rischio. Rendendo espliciti i presupposti e permettendo ai ruoli specialistici di supportare o contestare indipendentemente specifici fatti, formule e unità, MoCA-Agent mitiga il rischio di propagazione di errori silenziosi attraverso la pipeline.

Gli autori sottolineano che questo approccio è particolarmente efficace in contesti che richiedono l'estrazione di più celle e la composizione di formule. Notano che, sebbene il sistema migliori la tracciabilità e riduca i tassi di errore, non elimina il rischio di risposte errate. Di conseguenza, posizionano MoCA-Agent come un artefatto di supporto alle decisioni che dovrebbe essere revisionato da esseri umani qualificati prima dell'uso in contesti finanziari, legali o regolamentari ad alto rischio.

Limitazioni Riconosciute

Il documento nota esplicitamente quattro limitazioni:

1. Costo: La pipeline richiede da 6 a 10 chiamate LLM per query, circa 5 volte il costo di un agente PoT a passaggio singolo.
2. Layout Out-of-Distribution: Il sistema assume che le domande possano essere scomposte in $\leq 10$ affermazioni; ottiene prestazioni inferiori su benchmark dominati dalla normalizzazione degli header di colonna (es. HiTab) dove gli specialisti fine-tuned eccellono.
3. Singolo Step Multimodale: Gli errori nella trascrizione iniziale del grafico da parte del VLM non sono rivalutati dal panel dei trader.
4. Specificità di Dominio: I bias dei ruoli e i controlli del verificatore sono calibrati per le convenzioni finanziarie/contabili inglesi e non sono stati validati per contesti scientifici, biomedici o non inglesi.