FinAuditing: A Financial Taxonomy-Structured Multi-Document Benchmark for Evaluating LLMs

Resumen Técnico: FINAUDITING

1. Planteamiento del Problema

La auditoría financiera moderna va más allá del procesamiento de texto simple; requiere la detección de inconsistencias semánticas, estructurales y numéricas a través de documentos de divulgación masivos y complejos.

• Contexto: Los informes financieros se presentan en formato XBRL (Extensible Business Reporting Language), un lenguaje XML estructurado gobernado por principios contables (como US-GAAP). Estos documentos son heterogéneos, jerárquicos y altamente interdependientes.
• Desafío: Identificar inconsistencias "ocultas" (ej. una suma de $100M en un resumen frente a $95M en los detalles de sub-documentos) es un problema de verificación de información no trivial. La escala y la complejidad estructural hacen que la verificación manual sea casi imposible.
• Limitaciones de los LLMs actuales: Aunque los Modelos de Lenguaje Grandes (LLMs) han mostrado progreso en tareas financieras aisladas, su capacidad para realizar auditoría de nivel profesional sigue siendo incierta. Los benchmarks existentes sufren de tres limitaciones fundamentales:
  1. Aislamiento contextual: Operan en fragmentos de texto aislados, ignorando las dependencias entre múltiples documentos.
  2. Evaluación superficial: Se centran en corrección semántica o numérica local, sin evaluar el razonamiento estructural multi-paso sobre jerarquías de informes.
  3. Subutilización de taxonomías: No evalúan si los modelos pueden recuperar y razonar bajo las restricciones definidas por las taxonomías oficiales (GAAP).

2. Metodología

Los autores presentan FINAUDITING, un benchmark alineado con taxonomías y consciente de la estructura, construido a partir de presentaciones reales de XBRL conformes con US-GAAP.

• Construcción de Datos:

  • Fuente: Se utilizaron 4,545 mensajes de error oficiales del Comité de Calidad de Datos (DQC) de 2020 a 2024, filtrando los 9 tipos de errores más frecuentes (que cubren el 60.33% de los casos).
  • Procesamiento: Se recuperaron 218 presentaciones XBRL completas de la base de datos SEC EDGAR. Se realizó una segmentación a nivel de declaración (statement-level) para manejar la longitud del contexto, preservando las dependencias XML entre documentos de instancia, esquemas y linkbases (cálculo, presentación, definición, etiquetas).
  • Digitalización de Taxonomía: La taxonomía US-GAAP se digitalizó en fragmentos ("chunks") centrados en conceptos, separando atributos intrínsecos (núcleo) de enlaces semánticos y estructurales (relaciones).
  • Annotación: Se utilizaron mensajes DQC como señales de verdad absoluta (ground truth). Un modelo LLM (GPT-4o-mini) actuó como parser de alta eficiencia para convertir estos mensajes en anotaciones estructuradas, validadas posteriormente por humanos.

• Tareas Definidas: El benchmark define tres tareas complementarias que evalúan diferentes capacidades de razonamiento:

  1. FinSM (Financial Semantic Matching): Identificar etiquetas de conceptos financieros en los archivos que no se alinean semánticamente con la taxonomía estandarizada. Se evalúa como un problema de recuperación de información (Hit Rate, Recall, F1).
  2. FinRE (Financial Relationship Extraction): Detectar errores en las relaciones jerárquicas y composicionales entre elementos financieros (ej. inversión de relaciones padre-hijo, miembros inapropiados en ejes). Se clasifica en tres tipos de errores: Reversal, Inappropriateness y CombinationErr.
  3. FinMR (Financial Mathematical Reasoning): Verificar la corrección numérica basándose en la lógica contable y las relaciones de cálculo definidas en el XBRL. El modelo debe extraer valores reportados y calcular los valores verdaderos para detectar discrepancias.

3. Contribuciones Clave

1. Recurso Financiero Basado en Taxonomía: El primer benchmark construido a partir de presentaciones XBRL reales que integra explícitamente estructuras multi-documento y taxonomías oficiales de GAAP para la evaluación.
2. Diseño de Tareas Consciente de la Estructura: Propone tres sub-tareas (FinSM, FinRE, FinMR) que capturan los desafíos de razonamiento semántico, relacional y numérico inherentes a la información financiera estructurada.
3. Evaluación Sistemática: Proporciona una evaluación inicial de 13 LLMs de última generación (SOTA), destacando que el benchmark es agnóstico al modelo y diseñado para evaluar arquitecturas complejas (como RAG o sistemas multi-agente).

4. Resultados y Análisis Empírico

Se evaluaron 13 modelos (incluyendo GPT-4o, DeepSeek-V3, Llama, Qwen, Gemma y modelos financieros especializados como Fin-o1 y Fin-R1) en configuración zero-shot.

• Desempeño General: Los resultados revelan brechas sustanciales en todas las tareas. Incluso los modelos más avanzados tienen dificultades significativas.

  • FinSM: El rendimiento de recuperación es uniformemente bajo (Hit Rate@20 < 13% para la mayoría). El tamaño del modelo o el pre-entrenamiento financiero no garantizan éxito; el problema radica en la incapacidad de razonar bajo restricciones estrictas de taxonomía.
  • FinRE: Es significativamente más desafiante que la clasificación de relaciones estándar. GPT-4o mostró el mejor rendimiento, pero la mayoría de los modelos de código abierto fallaron, especialmente en el tipo de error CombinationErr (combinaciones inválidas de ejes y miembros), donde muchos modelos alcanzaron un F1 cercano a cero.
  • FinMR: La precisión general es muy baja (el mejor modelo, Fin-o1-14B, alcanzó solo ~13.86%). El análisis de errores mostró que el Error de Cálculo (CER) domina (70-83% de los fallos), indicando que los modelos fallan al ejecutar relaciones aritméticas multi-paso definidas por la taxonomía, aunque a veces puedan extraer los valores correctos. Además, muchos modelos fallaron en generar la estructura de salida JSON requerida (Error Estructural).

• Hallazgos Clave:

  • La escala de parámetros no se traduce en mejoras consistentes para tareas de auditoría estructurada.
  • Los modelos especializados en finanzas no superaron necesariamente a los modelos generales.
  • Los LLMs actuales tienden a depender de similitud semántica superficial en lugar de razonar sobre la validez contextual y la granularidad definida por la taxonomía.

5. Significado e Impacto

• Necesidad de Benchmarks Realistas: El estudio demuestra que los benchmarks financieros actuales son insuficientes para evaluar la capacidad de auditoría profesional. Se necesitan entornos que simulen la complejidad estructural y las dependencias cruzadas de los documentos reales.
• Limitaciones Actuales de la IA: Existe una brecha crítica entre la comprensión de texto y la capacidad de razonamiento estructurado y normativo requerida en la auditoría financiera.
• Recurso Abierto: Los autores han liberado el conjunto de datos, el código de evaluación y los prompts, estableciendo un nuevo estándar para la investigación en inteligencia financiera confiable. El benchmark ya sirve como la prueba oficial para un concurso público de evaluación en curso.
• Aplicabilidad Práctica: El diseño de FINAUDITING permite su integración en flujos de trabajo de auditoría existentes, donde los modelos pueden actuar como asistentes para la desambiguación de taxonomías, categorización de errores y verificación numérica selectiva, reduciendo la carga humana en la revisión de documentos masivos.

En conclusión, FINAUDITING establece que, aunque los LLMs son prometedores, aún carecen de la "conciencia estructural" y el razonamiento basado en reglas necesarias para la auditoría financiera automatizada de alto nivel, marcando un llamado a desarrollar modelos con un anclaje estructural más fuerte.