Resumo Técnico: MoCA-Agent

Declaração do Problema

Sistemas de resposta a perguntas (QA) financeiras e tabulares enfrentam um desafio crítico: a exigência de que as respostas sejam fundamentadas em fatos, fórmulas, unidades, sinais e escalas exatos. Diferente de tarefas de chat de código aberto, o raciocínio financeiro possui virtualmente zero tolerância para derivações "fluentes, mas erradas". Um único erro de leitura de célula, uma fórmula trocada ou um erro de escala de 100% pode corromper silenciosamente um resultado numérico final, enquanto a prosa circundante permanece plausível.

Os autores identificam três modos de falha recorrentes em agentes de código financeiro existentes:

1. Erro de Computação Silencioso: Em abordagens de Program-of-Thought (PoT), os agentes se comprometem com um programa uma vez emitido. Mesmo programas sintaticamente válidos podem dividir as células erradas ou aplicar unidades incorretas, e as verificações subsequentes frequentemente observam apenas o resultado final, em vez das premissas subjacentes.
2. Agregação Opaca: Em sistemas de debate multiagente, os agentes agregam respostas inteiras ou críticas. Se múltiplos agentes derivarem fluentemente o mesmo número incorreto, o consenso será errado com alta confiança. Esses sistemas tratam as saídas dos agentes como votos opacos em vez de coleções de alegações tipadas que podem ser independentemente contestadas.
3. Verificação Estrutural Insuficiente: Estruturas existentes de autorreflexão (self-refine) e reparo de código dependem de falhas de execução ou críticas de formato livre. Elas têm dificuldade em detectar programas que executam com sucesso, mas utilizam fatos, sinais ou escalas errados (por exemplo, inverter o sinal de líquido de impostos ou escalar uma razão por 100).

Metodologia: MoCA-Agent

O artigo apresenta o MoCA-Agent (Market-of-Claims Code Agent), um framework que substitui o debate multiagente de formato livre por um protocolo de verificação estruturado ao nível de alegações (claims). O sistema decompõe perguntas em alegações atômicas tipadas, agrega evidências via um mercado simulado e sintetiza código executável apenas a partir de evidências suportadas pelo mercado.

Pipeline Principal

1. Construtor de Catálogo de Alegações: O sistema decompõe a tupla de entrada (Pergunta $q$, Tabela $T$, Contexto $C$) em um catálogo de $M$ alegações atômicas e negociáveis ($K$). Cada alegação é tipada como um fato, fórmula, unidade, sinal, direção (ex: aumento/diminuição) ou outro. O catálogo é limitado a 10 alegações para garantir a tratabilidade.
2. Mercado de Especialistas Negociadores: Quatro agentes negociadores distintos ($R$) avaliam cada alegação de forma independente:
   • EXTRACTOR (Extrator): Fundamenta células factuais contra a tabela.
   • FORMULA (Fórmula): Valida se as fórmulas propostas obedecem à operação solicitada.
   • ACCOUNTANT (Contador): Cruza unidades e convenções contábeis (ex: receita vs. despesa).
   • SKEPTIC (Cético): Ativamente vende (duvida) de alegações com pouca evidência.
     Os negociadores colocam ordens de "compra" (suporte) ou "venda" (dúvida) ponderadas com preços e tamanhos nominais específicos.
3. Liquidação de Mercado: O sistema agrega as ordens para calcular um preço de liquidação ($\pi_m$) e um escore de confiança ($\gamma_m$) para cada alegação. As alegações recebem um status: aceito, rejeitado ou incerto.
   • Aceito: $\pi_m \geq 0,62$
   • Rejeitado: $\pi_m \leq 0,38$
   • Incerto: Caso contrário.
4. Síntese: Um sintetizador escreve um programa Python executável ($P$) utilizando estritamente as alegações não rejeitadas. Alegações rejeitadas são filtradas antes da geração do código.
5. Verificação e Reparo Conscientes de Código:
   • Um Verificador Consciente de Código executa o programa em um sandbox e aplica verificações estruturais orientadas à operação (ex: verificar inversões de sinal, escala de porcentagem e consistência de fórmula).
   • Se o programa falhar nas verificações estruturais, uma rodada de Reparo Consciente do Mercado é acionada, fornecendo ao sintetizador listas específicas de erros estruturais (ex: "missing_formula_or_unit_claim" — alegação de fórmula ou unidade ausente) em vez de feedback genérico.
6. Resolução de Conflitos: Se o candidato fundamentado pelo mercado for estruturalmente fraco, um Comitê de Seleção Híbrida compara-o com um candidato de linha de base (um escritor de agente único sem o mercado de alegações). Se os desacordos persistirem, um Árbitro de Conflito gera um terceiro programa baseando-se em partes aprovadas de ambos os candidatos.

Extensão Multimodal

Para o raciocínio de gráficos, o sistema preenche a lacuna da tabela com uma transcrição de modelo de linguagem visual (VLM) do gráfico. O restante do pipeline (negociadores, sintetizador, verificador) permanece idêntico à configuração apenas de texto.

Principais Contribuições

1. Análise de Modos de Falha e Design de Sistema: Os autores identificam formalmente o erro de computação silencioso, a agregação opaca e a verificação estrutural insuficiente como os principais modos de falha em agentes financeiros. Eles propõem o MoCA-Agent para tornar as premissas explícitas como alegações atômicas tipadas.
2. Protocolo de Mercado de Alegações: Um protocolo inovador onde papéis especialistas colocam ordens ponderadas em alegações tipadas. Isso cria uma trilha de auditoria explícita de premissas e permite que o sistema faça o "short" (venda a descoberto) de fórmulas excessivamente confiantes sem rejeitar o programa inteiro.
3. Verificação Consciente de Código e Recuperação de Conflitos: O verificador é elevado a um componente central de roteamento que visa padrões específicos de erros silenciosos (sinais, escalas, unidades). O sistema inclui um seletor híbrido e um árbitro de conflito para lidar com desacordos não resolvidos entre os candidatos do mercado e a linha de base.
4. Resultados de Benchmark: Avaliação extensa em 10 benchmarks públicos demonstra a eficácia da agregação de evidências ao nível de alegação atômica.

Resultados Experimentais

O MoCA-Agent foi avaliado usando um backbone fixo Qwen3.6-27B em quatro categorias:

• Raciocínio Numérico Financeiro:
  • FinQA: 78,3% (vs. 74,2% para Fino1-14B).
  • FinanceMath: 76,0% (vs. 67,0% para GPT-4o PoT).
  • DocMath-Complong: 50,7% (vs. 42,3% para DeepSeek-V3).
• Raciocínio Tabular Geral:
  • MultiHiertt: 71,2% (vs. 56,8% para Fortune RL).
  • TabMWP: 96,0%.
  • WTQ: 81,4%.
• QA de Conhecimento de Domínio:
  • ESGenius: 86,9% (superando a linha de base RAG mais forte de 83,8% e baselines zero-shot).
• Raciocínio de Gráficos Multimodais:
  • FinChart-Bench: Média de 85,6% entre Verdadeiro/Falso, Múltipla Escolha e Open QA. Alcançou 74,65% em Open QA, superando significativamente o Claude Sonnet 4 (63,59%).

Estudos de Ablação: A remoção do Mercado de Negociadores, do Reparo de Código, do Propositor de Linha de Base ou do Árbitro de Conflito resultou em quedas de desempenho de 2,8% a 5,1% em média, confirmando a natureza complementar desses componentes. Os ganhos foram atribuídos à arquitetura do agente e não ao modelo backbone, pois os resultados se mantiveram em diferentes tamanhos de modelos (9B a 31B).

Significância e Alegações

O artigo afirma que agregar evidências ao nível de alegações atômicas, em vez de respostas completas, melhora a robustez no raciocínio numérico de alto risco. Ao tornar as premissas explícitas e permitir que papéis especialistas apoiem ou contestem independentemente fatos, fórmulas e unidades específicos, o MoCA-Agent mitiga o risco de erros silenciosos que se propagam pelo pipeline.

Os autores enfatizam que esta abordagem é particularmente eficaz em configurações que exigem extração de múltiplas células e composição de fórmulas. Eles observam que, embora o sistema melhore a rastreabilidade e reduza as taxas de erro, ele não elimina o risco de respostas incorretas. Consequentemente, posicionam o MoCA-Agent como um artefato de suporte à decisão que deve ser revisado por humanos qualificados antes de uso em contextos financeiros, legais ou regulatórios de alto risco.

Limitações Reconhecidas

O artigo nota explicitamente quatro limitações:

1. Custo: O pipeline requer de 6 a 10 chamadas de LLM por consulta, aproximadamente 5x o custo de um agente PoT de passagem única.
2. Layouts Fora da Distribuição (OOD): O sistema assume que as perguntas podem ser decompostas em $\leq 10$ alegações; ele tem desempenho inferior em benchmarks dominados por normalização de cabeçalho de coluna (ex: HiTab), onde especialistas ajustados (fine-tuned) se destacam.
3. Etapa Multimodal Única: Erros na transcrição inicial de gráficos pelo VLM não são reavaliados pelo painel de negociadores.
4. Especificidade de Domínio: Os vieses de papéis e as verificações do verificador são calibrados para convenções financeiras/contábeis em inglês e não foram validados para contextos científicos, biomédicos ou não ingleses.