FinRule-Bench: A Benchmark for Joint Reasoning over Financial Tables and Principles

El artículo presenta FinRule-Bench, un nuevo benchmark diseñado para evaluar la capacidad de los modelos de lenguaje grandes para auditar estados financieros reales y diagnosticar violaciones de principios contables mediante tareas de verificación, identificación y diagnóstico conjunto de reglas.

Lo esencial

Imagina que las empresas son como cocinas gigantes y sus estados financieros (como el Balance General o el Estado de Resultados) son los menús que le muestran a los clientes (inversores y reguladores) qué ingredientes tienen y cómo los mezclaron.

Para que un menú sea válido, debe seguir reglas estrictas: "Si pones 2 huevos y 1 taza de harina, el pastel debe pesar exactamente X gramos". Si el menú dice que pesa Y, hay un error.

Hasta ahora, las Inteligencias Artificiales (IA) eran excelentes para leer esos menús y responder preguntas como "¿Cuánto cuesta el pastel?". Pero nadie había probado si podían auditar el menú: es decir, si podían revisar si las reglas de cocina se estaban cumpliendo y, si había un error, decir exactamente dónde estaba y qué regla se rompió.

Aquí es donde entra FinRule-Bench, el nuevo "examen de cocina" creado por los autores de este artículo.

¿Qué es FinRule-Bench?

Es un banco de pruebas (un examen) diseñado para ver si las IAs modernas pueden actuar como auditores financieros expertos. No se trata de que la IA invente respuestas, sino de que verifique si la información es legal y correcta según las reglas contables.

El examen tiene tres niveles de dificultad, como un videojuego:

1. Nivel 1: El Inspector de una sola regla (Verificación).

   • La analogía: Le das a la IA una regla simple: "El total de activos debe ser igual a la suma de deudas más patrimonio". Le muestras un menú y le preguntas: "¿Cumple esta regla?".
   • Resultado: Las IAs son muy buenas aquí. Casi siempre dicen "Sí" o "No" correctamente.

2. Nivel 2: El Detective de reglas (Identificación).

   • La analogía: Ahora le das una lista de 10 reglas posibles. Le muestras un menú que tiene un error, pero no le dices cuál. La IA debe decir: "¡Eh! El error está en la regla número 4, no en la 7".
   • Resultado: Aquí las IAs empiezan a confundirse. A veces adivinan la regla correcta, pero a veces se equivocan entre varias opciones similares.

3. Nivel 3: El Cirujano de errores (Diagnóstico Conjunto).

   • La analogía: Este es el nivel más difícil. Le das un menú que tiene varios errores a la vez en diferentes páginas. La IA debe encontrar todos los errores, decir exactamente en qué línea están y qué regla se rompió en cada caso.
   • Resultado: ¡Aquí es donde las IAs tropiezan! Aunque detectan que "algo está mal", a menudo no logran encontrar todos los errores o los ponen en el lugar equivocado. Es como si un médico dijera: "Tienes fiebre", pero no supiera si es por una infección en el pulmón o en el estómago.

El Truco: La "Máquina del Tiempo" (Razonamiento Causal)

Los autores probaron una técnica especial llamada razonamiento contrafactual. Imagina que le preguntas a la IA:

• "¿Por qué este menú es incorrecto?"
• "¿Qué pasaría si cambiáramos este número por otro? ¿El menú sería correcto?"

Es como darle a la IA una máquina del tiempo para probar escenarios hipotéticos ("¿Qué pasa si el pastel pesara 1 gramo más?").

• Hallazgo interesante: Esta técnica ayudó mucho a las IAs más pequeñas y rápidas a mejorar. Pero a las IAs más "inteligentes" y complejas, a veces les confundió, como si les dieras demasiadas instrucciones extra cuando ya sabían lo que hacían.

¿Por qué es importante esto?

Imagina que un banco usa una IA para aprobar préstamos. Si la IA solo sabe leer números pero no sabe verificar si las reglas contables se cumplen, podría aprobar un préstamo basado en un menú falso.

Este estudio nos dice que:

1. Las IAs son buenas calculadoras, pero malas auditoras.
2. Pueden detectar un error obvio, pero fallan cuando tienen que revisar todo el documento buscando múltiples errores ocultos.
3. Necesitamos entrenarlas mejor para que no solo "adivinen" la respuesta, sino que entiendan la lógica detrás de las reglas financieras.

En resumen

FinRule-Bench es como un gimnasio de entrenamiento para IAs donde se les enseña a no solo leer los libros de contabilidad, sino a revisarlos con lupa. El mensaje principal es: "Las IAs son geniales, pero aún no son auditores de confianza. Necesitan más práctica para encontrar todos los errores en un documento complejo sin equivocarse".

Los autores han liberado este examen y las herramientas para que otros científicos puedan seguir entrenando a las IAs hasta que sean verdaderos expertos en auditoría financiera.

Resumen técnico

Resumen Técnico: FinRule-Bench

1. El Problema

Aunque los Modelos de Lenguaje Grande (LLMs) se utilizan cada vez más para el análisis financiero, su capacidad para auditar estados financieros estructurados bajo principios contables explícitos sigue siendo poco explorada.

• Limitaciones actuales: Los benchmarks existentes (como FinQA o TAT-QA) se centran principalmente en la respuesta a preguntas, el razonamiento numérico o la detección de anomalías en datos sintéticamente corruptos.
• La brecha: Estos enfoques no evalúan si un modelo puede verificar exhaustivamente el cumplimiento de reglas, identificar la regla específica violada o localizar la fuente exacta de la no conformidad en una tabla financiera correcta. En la auditoría real, los datos suelen ser correctos por construcción; el error reside en el razonamiento para aplicar las reglas, no en el ruido de los datos.
• Necesidad: Se requiere un marco que evalúe la "completitud diagnóstica": la capacidad de un modelo para aplicar un sistema formal de reglas interdependientes y atribuir cada violación a registros específicos.

2. Metodología

Los autores presentan FinRule-Bench, un benchmark diseñado para evaluar el razonamiento basado en reglas sobre estados financieros reales.

• Construcción del Dataset:

  • Fuente de datos: Se extraen de formularios 10-K reales (2024) de empresas, asegurando datos de "verdad fundamental" (ground-truth) sin corrupción sintética inicial.
  • Tipos de estados: Se cubren cuatro tipos canónicos: Balance General (BS), Estado de Flujos de Efectivo (CF), Estado de Resultados (SI) y Estado de Cambios en el Patrimonio (SE).
  • Inyección de Errores Controlada: En lugar de datos corruptos aleatorios, se inyectan violaciones deterministas y mínimas en las reglas contables específicas. Esto permite evaluar la fidelidad del razonamiento sin depender de artefactos de extracción.
  • Validadores Deterministas: Cada regla contable tiene una función validadora programática (código) que genera la etiqueta de verdad fundamental, eliminando la ambigüedad humana.

• Tareas de Auditoría (Niveles de Complejidad):

  1. Verificación de Reglas (Rule Verification): Dado un estado y una sola regla, el modelo debe predecir si hay cumplimiento (Binario: Verdadero/Falso).
  2. Identificación de Reglas (Rule Identification): Dado un estado y un conjunto de reglas, el modelo debe identificar cuál es la única regla violada. Requiere discriminación entre principios competidores.
  3. Diagnóstico Conjunto de Reglas (Joint Rule Diagnosis): Dado un estado y un conjunto de reglas, el modelo debe detectar si existen violaciones y, de ser así, localizar y listar todas las reglas violadas a nivel de registro. Esta es la tarea más compleja, simulando escenarios de auditoría real con múltiples errores simultáneos.

• Protocolo de Razonamiento Causal-Contrafactual:

  • Se introduce un protocolo de prompting (instrucción) que no solo pide la respuesta, sino que incluye ejemplos (few-shot) que explican la causa de la violación y la modificación contrafactual mínima necesaria para corregirla.
  • El objetivo es probar si el modelo entiende la estructura causal de las reglas y no solo memoriza patrones superficiales.

3. Contribuciones Clave

1. FinRule-Bench: El primer benchmark que evalúa el razonamiento basado en reglas sobre estados financieros reales y correctos, enfocándose en la auditoría y el cumplimiento normativo en lugar de la simple extracción de datos.
2. Suite de Tareas Progresiva: Formaliza tres tareas que escalan desde la verificación simple hasta el diagnóstico multi-violación, revelando limitaciones específicas de los modelos.
3. Protocolo de Evaluación Causal: Introduce el uso de razonamiento causal y contrafactual como herramienta de diagnóstico para revelar inconsistencias entre la decisión del modelo y su justificación, más allá de la precisión final.
4. Análisis de Fallos Sistemáticos: Proporciona una taxonomía de errores (falsos negativos, falsos positivos, cobertura parcial, mala localización) que no se capturan en benchmarks tradicionales.

4. Resultados Experimentales

Se evaluaron cuatro modelos líderes (GPT-4o, Gemini 2.5 Pro, Gemini 2.0 Flash, LLaMA 3.3) bajo configuraciones zero-shot, few-shot y few-shot con razonamiento causal.

• Rendimiento General:

  • Verificación: Los modelos tienen un rendimiento relativamente alto en la verificación de una sola regla (ej. $Activos = Pasivos + Patrimonio$).
  • Deterioro en Complejidad: El rendimiento cae drásticamente en la identificación de reglas (discriminar cuál de varias es la violada) y se desploma en el diagnóstico conjunto.
  • Diagnóstico Conjunto: Aunque la detección inicial de que "algo está mal" (Step 1) es moderadamente alta, la capacidad de localizar todas las violaciones y asignarlas al registro correcto (Step 2) es muy baja (Exact Match < 35% incluso para los mejores modelos).

• Tipos de Errores Dominantes:

  • Cobertura Incompleta: Los modelos detectan algunas violaciones pero se pierden otras en el mismo documento.
  • Mala Localización: Identifican la regla correcta pero la asignan a la fila o registro incorrecto.
  • Complejidad de Reglas: Las reglas condicionales y las que requieren múltiples registros (multi-record) son las más difíciles. Las reglas aritméticas simples son las más fáciles.

• Impacto del Razonamiento Causal-Contrafactual:

  • Mejora significativamente el rendimiento en modelos más ligeros (como LLaMA 3.3 y Gemini Flash) al proporcionar una estructura causal clara.
  • En modelos de razonamiento avanzado (como GPT-4o), los beneficios son inconsistentes y a veces negativos en tareas de discriminación, sugiriendo que el scaffolding (andamiaje) explícito puede interferir con el razonamiento interno ya sofisticado de estos modelos.

• Eficiencia: El razonamiento estructurado (causal) aumenta el consumo de tokens significativamente sin garantizar mejoras lineales en precisión para todas las tareas, destacando la necesidad de estrategias de prompting conscientes de la tarea.

5. Significado e Impacto

• Más allá de la Precisión: FinRule-Bench demuestra que una alta precisión en tareas financieras tradicionales no implica idoneidad para la auditoría. La auditoría requiere exhaustividad y atribución precisa, áreas donde los LLMs actuales fallan sistemáticamente.
• Diagnóstico de Fallos: El benchmark revela que los fallos no son aleatorios, sino que dependen de la complejidad semántica de las reglas (condicionalidad, dependencias cruzadas).
• Herramienta para la Investigación: Proporciona un entorno reproducible y riguroso para estudiar cómo los modelos fallan en dominios de alto riesgo, motivando el desarrollo de arquitecturas híbridas (neuro-simbólicas) o métodos de razonamiento más robustos para la verificación de cumplimiento normativo.
• Transparencia: El código, los validadores y los datos se liberan públicamente, permitiendo la reproducción exacta de los resultados y la comparación futura de modelos.

En conclusión, FinRule-Bench establece un nuevo estándar para evaluar la fiabilidad de los LLMs en contextos financieros críticos, demostrando que, aunque son buenos calculadores, aún carecen de la capacidad de razonamiento exhaustivo y localización precisa necesaria para la auditoría automatizada confiable.