Resumen Técnico: FinBalance: Un Benchmark de Reconciliación Contable Multidocumento

Definición del Problema

Los benchmarks actuales de Procesamiento de Lenguaje Natural (NLP) financiero evalúan predominantemente los modelos sobre artefactos preprocesados, como tablas extraídas de informes o estados financieros precomputados. Normalmente, se les pide a los modelos que respondan preguntas o realicen análisis sobre estos resultados ya estructurados. Sin embargo, los flujos de trabajo contables del mundo real comienzan antes: requieren la reconciliación de documentos fuente brutos (facturas, extractos bancarios, contratos, avisos de pago) en asientos contables, la agregación de esos asientos en un balance general y la detección de contradicciones dentro del conjunto de documentos.

Los benchmarks existentes no logran probar este flujo de trabajo de "fuente a estado financiero". No requieren que los modelos:

1. Extraigan asientos contables equilibrados citando documentos de soporte específicos.
2. Agreguen los asientos en un balance general final que respete la ecuación contable.
3. Identifiquen y clasifiquen inconsistencias entre los documentos fuente en lugar de resolverlas silenciosamente.

Metodología: El Benchmark FinBalance

Los autores presentan FinBalance, un benchmark sintético pero de autoría humana diseñado para simular el flujo completo de la reconciliación contable.

Construcción del Benchmark

• Arquitectura del Generador: Un generador determinista compone registros basados en especificaciones de autoría humana. Estas especificaciones definen escenarios de negocio, esquemas de documentos, políticas contables, tratamientos de impuestos/tipo de cambio (FX) y plantillas de inconsistencia.
• Composición de Datos: El generador muestrea de estas especificaciones para crear paquetes de documentos que contienen:
  • Documentos de Registro (Posting Documents): Facturas, cuentas por pagar, extractos, comprobantes.
  • Documentos de Soporte (Support Documents): Contratos, hojas de tarifas, certificados.
  • Documentos de Ajuste (Adjustment Documents): Devengos de cierre de periodo, arrastres de saldos (rollforwards).
  • Distractores (Distractors): Documentos visualmente plausibles pero neutrales (duplicados, avisos de anulación).
  • Balance de Comprobación Inicial (Opening Trial Balance): El estado inicial del libro mayor.
• Verdad de Campo (Ground Truth): Debido a que el generador utiliza un libro mayor de partida doble fijo, la verdad de campo es computable, auditable y reproducible. No ocurre ningún etiquetado manual después de la generación.
• Alcance: El benchmark cubre ocho industrias (p. ej., retail, salud, SaaS), tres tipos de periodo (mes, trimestre, año) y cinco niveles de dificultad. Incluye banderas de conceptos para áreas contables complejas como el reconocimiento de ingresos ASC 606, arrendamientos, impuestos diferidos y fiscalidad multijurisdiccional.
• Manejo de Inconsistencias: Un subconjunto específico de registros (32% de la división principal) contiene "inconsistencias forzadas" (p. ej., desajustes en el total de la factura, certificados de exención inválidos). Para estos, la salida correcta del modelo es una bandera de inconsistencia y un código, no un balance general reconciliado.

Métricas de Evaluación

El artículo introduce dos métricas complementarias para distinguir entre la generación de asientos y la auticonsistencia:

1. $BS_{exact}$: Mide si el balance general final autodeclarado por el modelo coincide exactamente con la verdad de campo.
2. $BS_{recon}$: Analiza los asientos contables generados por el modelo, los reproduce a través del libro mayor determinista contra el saldo inicial, y verifica si el balance general implícito coincide con la verdad de campo.
   • La diferencia ($BS_{recon} - BS_{exact}$) se define como la brecha de agregación (aggregation gap), lo que indica si un modelo puede generar asientos correctos pero falla al agregarlos de manera consistente.
3. Coincidencia de Asientos (Entry Matching): Requiere una coincidencia estricta de cuentas de débito/crédito, montos y referencias de documentos ordenadas ($doc\_refs$).
4. Coincidencia de Código de Inconsistencia: Para los registros de inconsistencia forzada, la tasa de identificación correcta del código de contradicción específico.

Configuración Experimental

• Modelos: Se evaluaron seis modelos de lenguaje extensos (LLMs) contemporáneos: Gemini 3 Flash, GPT-5, Claude Haiku 4.5, Grok-4.3, DeepSeek Chat y Qwen 3 235B.
• Estudios de Ablación: Los autores probaron varias intervenciones, incluyendo:
  • Presión de Citación (Citation Pressure): Prompts explícitos para citar documentos.
  • Visibilidad: Eliminar listas de cuentas o documentos de soporte.
  • Estrés de Contexto: Añadir distractores o retrasar la evidencia relevante.
  • Retroalimentación del Libro Mayor (Ledger Feedback): Proporcionar al modelo la diferencia entre su balance reportado y el implícito por sus propios asientos, permitiendo una vuelta de revisión.
  • Best-of-3: Muestrear múltiples candidatos y seleccionar el mejor.
• Validación: Profesionales de finanzas de importantes bancos de inversión y un contador certificado revisaron un subconjset de registros para validar el diseño del benchmark, la calibración de dificultad y la corrección de las etiquetas.

Resultados Clave

1. Bajo Rendimiento General

En la división de evaluación de 710 registros, el modelo con mejor desempeño (GPT-5) logró solo un 46% de precisión exacta en el balance general final ($BS_{exact}$). La precisión estricta de extremo a extremo basada en documentos fue significativamente menor.

2. La Brecha de Agregación

Un hallazgo crítico es la divergencia entre la calidad de los asientos y la consistencia del estado financiero final:

• Cuatro de los seis modelos exhibieron una brecha de entre 26 y 41 puntos porcentuales entre $BS_{recon}$ (asientos reproducidos) y $BS_{exact}$ (autodeclarado).
• Por ejemplo, DeepSeek Chat logró un $BS_{recon}$ del 47.3% pero solo un 6.7% de $BS_{exact}$.
• Esto indica que los modelos a menudo generan asientos contables numéricamente plausibles, pero fallan al vincularlos con la evidencia o al agregarlos en un estado financiero consistente. GPT-5 fue un caso atípico, mostrando una alta auticonsistencia (46.5% $BS_{exact}$ frente a 46.3% $BS_{recon}$).

3. El Vínculo de Documentos como el Principal Modo de Fallo

• Desambiguación de Recuperación: En asientos con cuentas y montos correctos, el 52% citó los documentos de soporte incorrectos.
• Ineficacia de los Prompts: El uso de prompts de "presión de citación" redujo esta tasa de error en solo 1.4 puntos porcentuales.
• Dependencia de la Evidencia: Cuando se les dio a los modelos un oráculo de "solo evidencia" (ocultando distractores), la tasa de error disminuyó en 26.4 puntos porcentuales, lo que sugiere que el fallo radica en la selección de la evidencia correcta, no en el seguimiento de las instrucciones de citación.

4. Impacto de la Retroalimentación del Libro Mayor

• Reparación de Balances Generales: Proporcionar retroalimentación del libro mayor (diferencias entre el balance reportado e implícito) mejoró el $BS_{exact}$ en 30–33 puntos porcentuales para los modelos con una brecha de agregación.
• Compromiso (Trade-off): Esta mejora tuvo un costo. La retroalimentación del libro mayor degradó la detección de códigos de inconsistencia en 13–52 puntos porcentuales en los modelos más pequeños. El mecanismo de retroalimentación sesga al modelo hacia la reconciliación de documentos contradictorios en lugar de señalarlos como errores.

5. Dificultad y Contexto

• Escalamiento de Dificultad: La precisión cayó drásticamente del 88% en el Nivel de Dificultad 1 al 0% en el Nivel 5.
• Contexto vs. Lógica: Aunque añadir distractores (estrés de contexto) redujo la precisión, el principal motor del fallo fue la complejidad de las dependencias contables y la elección de documentos, no simplemente la longitud del contexto.

Significado y Reivindicaciones

Los autores posicionan a FinBalance no como un problema resuelto, sino como un banco de pruebas de diagnóstico y un requisito controlado para el despliegue en el mundo real.

• Necesidad del Benchmark: El artículo argumenta que si un modelo no puede reconciliar paquetes de documentos limpios y totalmente especificados con una verdad de campo exacta, es poco probable que sea confiable en entornos contables reales donde los diseños, los errores de OCR y la evidencia faltante son más desordenados.
• Sintético pero de Autoría Humana: Aunque los datos son sintéticos, la lógica contable, las políticas y los escenarios son de autoría humana, lo que asegura que el benchmark pruebe el razonamiento de dominio genuino en lugar de patrones inventados por el modelo.
• Valor Diagnóstico: El benchmark revela modos de fallo específicos (brechas de agregación, desambiguación de recuperación) que son invisibles en los benchmarks de QA estándar.
• Utilidad Futura: Al liberar el generador (en lugar de solo un conjunto de datos estático), los autores permiten la creación de muestras frescas y estratificadas para evitar la contaminación de datos y permitir la expansión del espacio de escenarios (nuevas industrias, políticas, contradicciones) sin necesidad de un nuevo etiquetado manual.

El artículo concluye que los LLM actuales luchan con el flujo completo de la documentación. Aunque pueden identificar asientos plausibles, fallan al vincularlos consistentemente con la evidencia y al agregarlos en un estado financiero correcto, lo que resalta una brecha significativa entre las capacidades actuales y los requisitos de los flujos de trabajo contables profesionales.