Resumen Técnico: AUDITFLOW

Declaración del Problema

La verificación de auditoría financiera estructurada presenta un desafío significativo para los agentes de Modelos de Lenguaje de Gran Escala (LLM). A diferencia de las tareas basadas en texto estándar, la corrección en la auditoría financiera depende de la evidencia estructurada más que del lenguaje natural por sí solo. Un agente debe vincular los hechos reportados con conceptos taxonómicos específicos, atravesar relaciones complejas de cálculo o dimensionales, recomputar valores esperados y aplicar reglas de auditoría.

Los enfoques actuales suelen fallar porque dependen de que el LLM realice la interpretación final, el cálculo aritmético o la aplicación de reglas. Los benchmarks como FinAuditing muestran que incluso los modelos más fuertes evaluados logran solo un 13.86% de precisión en tareas de consistencia numérica. La dificultad central radica en que la corrección no se almacena en una sola oración, sino que emerge de la interacción entre los hechos reportados y las restricciones estructurales que los gobiernan. Los marcos de trabajo existentes, ya sean de agentes múltiples o aumentados por herramientas, a menudo dejan la carga de la verificación dentro del modelo de lenguaje, el cual tiene dificultades con la aritmética determinista y la adherencia estricta a las reglas.

Metodología: AUDITFLOW

Los autores proponen AUDITFLOW, un marco de trabajo multi-agente basado en grafos diseñado para separar la búsqueda adaptativa (gestionada por agentes LLM) de la verificación determinista (gestionada por un entorno simbólico).

1. Entorno Simbólico de Doble Grafo

AUDITFLOW construye un entorno simbólico ($E$) compuesto por dos grafos interconectados:

• Grafo Regulatorio Estático ($G^y_T$): Codifica la taxonomía US-GAAP. Los nodos representan conceptos con metadatos (etiquetas, definiciones, tipos de datos), y las aristas codifican relaciones de presentación, cálculo y dimensionales.
• Grafo de Presentación Dinámico ($G_F$): Codifica la presentación XBRL específica. Los nodos representan hechos reportados, contextos, periodos y unidades.
• Aristas de Puente (Bridge Edges): Vinculan los hechos reportados en el grafo de la presentación con sus conceptos taxonómicos rectores en el grafo estático, permitiendo al sistema navegar desde un número específico hacia sus restricciones regulatorias y viceversa.

2. Interfaz de Acción-Observación Tipada

Los agentes interactúan con este entorno a través de herramientas tipadas y deterministas en lugar de operaciones de grafo de forma libre. Las herramientas se categorizan en:

• Recuperación (Retrieval): Obtención de metadatos de conceptos, hechos y contextos.
• Trayectoria (Traversal): Navegación por árboles de cálculo y estructuras dimensionales.
• Forense (Forensic): Comparación de hechos entre periodos, dimensiones y magnitudes.
• Verificadores Deterministas (Deterministic Checkers): Ejecución de verificaciones terminales específicas de reglas (por ejemplo, consistencia de signo, consistencia del árbol de cálculo, agregación dimensional). Estos verificadores devuelven observaciones estructuradas (veredictos, valores esperados, hechos de apoyo) que el LLM no puede invalidar.

3. Protocolo de Auditoría de Tres Agentes

El marco emplea un flujo de trabajo especializado de multi-agentes:

• Auditor de Cumplimiento ($A_1$): Adopta un enfoque de "especificación primero". Comienza desde los metadatos de la taxonomía y las reglas, y luego verifica los hechos reportados contra las restricciones. Utiliza herramientas de taxonomía estática.
• Auditor Forense ($A_2$): Adopta un enfoque de "evidencia primero". Comienza desde los hechos reportados, realiza comparaciones de periodos y desgloses dimensionales, y luego confirma los resultados utilizando los mismos controles deterministas. Utiliza tanto herramientas estáticas como dinámicas.
• Auditor Senior ($A_s$): Revisa los informes de $A_1$ y $A_2$. Si coinciden, el sistema procede. Si no coinciden, el Auditor Senior identifica la fuente del conflicto (por ejemplo, falta de hechos, periodo incorrecto) y proporciona retroalimentación dirigida, enviando a los juniors de regreso para una mayor investigación. El Auditor Senior gestiona la interacción pero no reemplaza las herramientas deterministas.

4. Agregación de Evidencia

El veredicto final no es un simple voto, sino el resultado de un razonamiento de evidencia (teoría de Dempster-Shafer). Cada informe de los auditores junior se mapea a una función de masa sobre las hipótesis {Violación, Consistente, Ignorancia}. Estas masas se fusionan para producir un veredicto final, un valor esperado, un rastro de evidencia y un índice de confiabilidad ($\tau$), que mide la cantidad de evidencia no resuelta.

Principales Contribuciones

1. Definición de Verificación Basada en Grafos: El artículo define una nueva formulación de tarea donde la respuesta depende de los hechos de la presentación, las restricciones de la taxonomía, las verificaciones numéricas y la evidencia inspeccionable, en lugar de la generación de texto por sí sola.
2. Marco AUDITFLOW: Un sistema de multi-agentes de doble grafo que conecta el conocimiento de la taxonomía US-GAAP con la evidencia específica de la presentación, exponiendo ambos mediante herramientas deterministas tipadas.
3. Separación de Búsqueda-Computación: Los autores demuestran que separar el rol del LLM (guiar la búsqueda) del rol del entorno (ejecutar verificaciones deterministas) es crucial para una verificación de auditoría fiable.

Resultados Experimentales

El marco fue evaluado en un subconjunto de 67 instancias de la tarea FinAuditing FinMR, cubriendo tres familias de reglas del Comité de Calidad de Datos (DQC).

• Desempeño: Bajo GPT-5.5, AUDITFLOW alcanzó un 82.09% de precisión de auditoría conjunta, superando al baseline más fuerte (Agente Único) por 14.93 puntos porcentuales. También superó a los métodos basados en recuperación (GraphRAG, TreeRAG) y a los benchmarks existentes (FinAuditing, Herculean) en todos los backbones probados (GPT-4o, Claude Sonnet 4.6, Qwen-397B).
• Robustez: El sistema mantuvo una alta precisión (80.60%) a través de diferentes modelos de backbone fuertes, indicando que la efectividad del marco no está ligada a un único modelo propietario.
• Estudios de Ablación:
  • Verificaciones Deterministas: Eliminar los controles deterministas del entorno simbólico causó que la precisión cayera drásticamente del 82.09% al 17.91%, demostando que el LLM no puede reemplazar de manera fiable el paso de verificación.
  • Puerta de Herramienta Obligatoria (Required-Tool Gate): Eliminar la puerta que obliga a los agentes a completar verificaciones específicas antes de finalizar aumentó los outputs inválidos del 1.49% al 17.91%.
  • Agregación de Evidencia: Eliminar el paso de fusión redujo la precisión al 77.61%.

Significado y Reivindicaciones

El artículo argumenta que los agentes de auditoría fiables deben construirse alrededor de entornos estructurados ejecutables en lugar de razonamiento basado únicamente en texto. La principal contribución es la demostración de que, si bien los LLM son efectivos navegando espacios de información complejos (búsqueda), no son fiables realizando los pasos finales de verificación que sostienen la carga de trabajo (computación).

Los autores afirman que AUDITFLOW aborda con éxito la "brecha de verificación" en la IA financiera mediante:

1. Delegar la aritmética y la aplicación de reglas a herramientas deterministas.
2. Utilizar protocolos multi-agente para explorar la evidencia desde perspectivas complementarias.
3. Proporcionar rastros de evidencia inspeccionables e índices de confiabilidad, haciendo que el proceso de auditoría sea transparente y auditable.

El artículo concluye que este patrón de diseño —separar la búsqueda de la computación en un entorno simbólico— es esencial para dominios de alto riesgo donde la corrección depende de restricciones estructuradas en lugar de la plausibilidad semántica.