Resumen Técnico: MoCA-Agent

Declaración del Problema

Los sistemas de respuesta a preguntas (QA) financieras y tabulares enfrentan un desafío crítico: el requisito de que las respuestas estén fundamentadas en hechos, fórmulas, unidades, signos y escalas exactos. A diferencia de las tareas de chat de respuesta abierta, el razonamiento financiero tiene virtualmente cero tolerancia para derivaciones "fluentes pero erróneas". Un solo error en la lectura de una celda, una fórmula intercambiada o un error de escala de factor 100 puede corromper silenciosamente un resultado numérico final mientras que la prosa circundante permanece plausible.

Los autores identifican tres modos de falla recurrentes en los agentes de código financieros existentes:

1. Malcomputación Silenciosa: En los enfoques de Program-of-Thought (PoT), los agentes se comprometen con un programa una vez emitido. Incluso los programas sintácticamente válidos pueden dividir las celdas incorrectas o aplicar unidades erróneas, y las verificaciones posteriores a menudo solo observan el resultado final en lugar de los supuestos subyacentes.
2. Agregación Opaca: En los sistemas de debate multi-agente, los agentes agregan respuestas completas o críticas. Si múltiples agentes derivan fluidamente el mismo número incorrecto, el consenso será erróneo con alta confianza. Estos sistemas tratan las salidas de los agentes como votos opacos en lugar de colecciones de afirmaciones tipificadas que pueden ser desafiadas independientemente.
3. Verificación Estructural Insuficiente: Los marcos existentes de auto-refinamiento y reparación de código dependen de fallos de ejecución o críticas de forma libre. Tienen dificultades para detectar programas que se ejecutan con éxito pero utilizan hechos, signos o escalas incorrectos (por ejemplo, invertir el signo de neto de impuestos o escalar un ratio por 100).

Metodología: MoCA-Agent

El artículo presenta MoCA-Agent (Market-of-Claims Code Agent), un marco que reemplaza el debate multi-agente de forma libre con un protocolo de verificación estructurado a nivel de afirmación. El sistema descompone las preguntas en afirmaciones atómicas tipificadas, agrega evidencia a través de un mercado simulado y sintetiza código ejecutable solo a partir de la evidencia respaldada por el mercado.

Pipeline Principal

1. Constructor de Catálogo de Afirmaciones: El sistema descompone la tupla de entrada (Pregunta $q$, Tabla $T$, Contexto $C$) en un catálogo de $M$ afirmaciones atómicas e intercambiables ($K$). Cada afirmación se tipifica como un hecho, fórmula, unidad, signo, dirección (ej. aumento/disminución) u otro. El catálogo se limita a 10 afirmaciones para asegurar la tratabilidad.
2. Mercado de Traders Especialistas: Cuatro agentes de trading distintos ($R$) evalúan cada afirmación de forma independiente:
   • EXTRACTOR: Fundamenta las celdas fácticas contra la tabla.
   • FORMULA: Valida que las fórmulas propuestas obedezcan la operación solicitada.
   • ACCOUNTANT: Verifica unidades y convenciones contables (ej. ingresos vs. gastos).
   • SKEPTIC: Activamente vende (duda de) las afirmaciones con poca evidencia.
     Los traders colocan órdenes de "compra" (respaldo) o "venta" (duda) ponderadas con precios y tamaños nocionales específicos.
3. Liquidación del Mercado: El sistema agrega las órdenes para calcular un precio de liquidación ($\pi_m$) y un puntaje de confianza ($\gamma_m$) para cada afirmación. Las afirmaciones reciben un estado: aceptada, rechazada o incierta.
   • Aceptada: $\pi_m \geq 0.62$
   • Rechazada: $\pi_m \leq 0.38$
   • Incierta: De lo contrario.
4. Síntesis: Un sintetizador escribe un programa Python ejecutable ($P$) utilizando estrictamente las afirmaciones no rechazadas. Las afirmaciones rechazadas se filtran antes de la generación de código.
5. Verificación y Reparación Consciente del Código:
   • Un Verificador Consciente del Código ejecuta el programa en un sandbox y aplica verificaciones estructurales conscientes de la operación (ej. verificar cambios de signo, escalado de porcentaje y consistencia de fórmulas).
   • Si el programa falla las verificaciones estructurales, se activa una ronda de Reparación Consciente del Mercado, proporcionando al sintetizador listas de errores estructurales específicos (ej. "missing_formula_or_unit_claim") en lugar de retroalimentación genérica.
6. Resolución de Conflictos: Si el candidato fundamentado por el mercado es estructuralmente débil, un Comité Selector Híbrido compara este contra un candidato base (un escritor de un solo agente sin el mercado de afirmaciones). Si los desacuerdos persisten, un Árbitro de Conflicto genera un tercer programa basándose en las partes aprobadas de ambos candidatos.

Extensión Multimodal

Para el razonamiento de gráficos, el sistema llena el espacio de la tabla con una transcripción de modelo de lenguaje-visión (VLM) del gráfico. El resto del pipeline (traders, sintetizador, verificador) permanece idéntico a la configuración de solo texto.

Principales Contribuciones

1. Análisis de Modos de Falla y Diseño del Sistema: Los autores identifican formalmente la malcomputación silenciosa, la agregación opaca y la verificación estructural insuficiente como los principales modos de falla en los agentes financieros. Proponen MoCA-Agent para hacer explícitos los supuestos como afirmaciones atómicas tipificadas.
2. Protocolo de Mercado de Afirmaciones: Un protocolo novedoso donde roles especialistas colocan órdenes ponderadas sobre afirmaciones tipificadas. Esto crea una pista de auditoría explícita de los supuestos y permite al sistema "vender en corto" fórmulas con exceso de confianza sin rechazar el programa completo.
3. Verificación Consciente del Código y Recuperación de Conflictos: El verificador se eleva a un componente central de enrutamiento que apunta a patrones específicos de errores silenciosos (signos, escalas, unidades). El sistema incluye un selector híbrido y un árbitro de conflicto para manejar desacuerdos no resueltos entre los candidatos fundamentados por el mercado y los basales.
4. Resultados de Benchmarks: Una evaluación extensa a través de 10 benchmarks públicos demuestra la eficacia de agregar evidencia al nivel de la afirmación atómica.

Resultados Experimentales

MoCA-Agent fue evaluado utilizando un backbone fijo Qwen3.6-27B a través de cuatro categorías:

• Razonamiento Numérico Financiero:
  • FinQA: 78.3% (vs. 74.2% para Fino1-14B).
  • FinanceMath: 76.0% (vs. 67.0% para GPT-4o PoT).
  • DocMath-Complong: 50.7% (vs. 42.3% para DeepSeek-V3).
• Razonamiento Tabular General:
  • MultiHiertt: 71.2% (vs. 56.8% para Fortune RL).
  • TabMWP: 96.0%.
  • WTQ: 81.4%.
• QA de Conocimiento de Dominio:
  • ESGenius: 86.9% (superando la base RAG más fuerte de 83.8% y las bases de zero-shot).
• Razonamiento de Gráficos Multimodal:
  • FinChart-Bench: 85.6% de promedio en True/False, Selección Múltiple y Open QA. Logró 74.65% en Open QA, superando significativamente a Claude Sonnet 4 (63.59%).

Estudios de Ablación: Eliminar el Mercado de Traders, la Reparación de Código, el Proponente Base o el Árbitro de Conflicto resultó en caídas de rendimiento de entre 2.8% y 5.1% en promedio, confirmando la naturaleza complementaria de estos componentes. Se demostró que las ganancias son atribuibles a la arquitectura del agente y no al modelo backbone, ya que los resultados se mantuvieron a través de diferentes tamaños de modelos (9B a 31B).

Significancia y Reivindicaciones

El artículo afirma que agregar evidencia al nivel de afirmaciones atómicas, en lugar de respuestas completas, mejora la robustez en el razonamiento numérico de alto riesgo. Al hacer los supuestos explícitos y permitir que los roles especialistas apoyen o desafíen independientemente hechos, fórmulas y unidades específicas, MoCA-Agent mitiga el riesgo de que los errores silenciosos se propaguen a través del pipeline.

Los autores enfatizan que este enfoque es particularmente efectivo en entornos que requieren extracción de múltiples celdas y composición de fórmulas. Observan que, si bien el sistema mejora la trazabilidad y reduce las tasas de error, no elimina el riesgo de respuestas incorrectas. Por consiguiente, posicionan a MoCA-Agent como un artefacto de soporte de decisiones que debe ser revisado por humanos calificados antes de su uso en contextos financieros, legales o regulatorios de alto nivel.

Limitaciones Reconocidas

El artículo nota explícitamente cuatro limitaciones:

1. Costo: El pipeline requiere de 6 a 10 llamadas a LLM por consulta, aproximadamente 5 veces el costo de un agente PoT de un solo paso.
2. Layouts Fuera de Distribución: El sistema asume que las preguntas pueden descomponerse en $\leq 10$ afirmaciones; rinde por debajo en benchmarks dominados por la normalización de encabezados de columna (ej. HiTab) donde los especialistas ajustados (fine-tuned) sobresalen.
3. Paso Multimodal Único: Los errores en la transcripción inicial de VLM de los gráficos no son reevaluados por el panel de traders.
4. Especificidad de Dominio: Los sesgos de rol y las verificaciones del verificador están calibrados para convenciones financieras/contables en inglés y no han sido validados para contextos científicos, biomédicos o no ingleses.