Financial Audit Assistance using Misinformation Detection and Explanation

Resumen Técnico: Asistencia de Auditoría Financiera mediante la Detección y Explicación de Desinformación

Planteamiento del Problema
La auditoría financiera es una disciplina compleja y con un alto requerimiento de conocimientos, cuyo objetivo es asegurar la integridad, exactitud y equidad de los Estados Financieros (EF) publicados, incluyendo el Balance General (BG), el Estado de Resultados (ER) y el Estado de Flujos de Efectivo (EFE). Sin embargo, las empresas suelen tener incentivos para ocultar, omitir o falsificar información para representar erróneamente su salud financiera (por ejemplo, para reducir obligaciones fiscales o aumentar la confianza de los inversores). La auditoría tradicional depende en gran medida de la recopilación manual de evidencia y de una profunda experiencia en el dominio, lo que hace que el proceso sea lento y subjetivo. Además, rara vez se dispone de etiquetas de verdad fundamental (ground-truth) que indiquen si un EF específico contiene desinformación, lo que dificulta la aplicación de enfoques estándar de aprendizaje supervisado. El artículo aborda la necesidad de un sistema asistido por IA que pueda detectar automáticamente instancias de desinformación en los EF y generar explicaciones comprensibles para los humanos sobre las anomalías detectadas para asistir a los auditores.

Metodología
El enfoque propuesto integra técnicas no supervisadas con Procesamiento de Lenguaje Natural (PLN) para crear un sistema de asistencia de auditoría escalable. La metodología se estructura en tres fases primarias:

1. Preparación de Datos y Etiquetado de Plata (Silver Labeling):

   • Conjunto de Datos: El sistema utiliza un gran corpus de EF semiestructurados de 2,292 empresas indias que cotizan en bolsa durante cinco años (2010–2014), sumando un total de 11,460 registros. Cada registro incluye 42 variables financieras (extraídas del BG, ER y EFE) y 22 ratios financieros.
   • Generación de Etiquetas de Plata: Dado que no se dispone de etiquetas de verdad fundamental para la desinformación, los autores generan "etiquetas de plata" analizando los informes de auditoría asociados. Emplean dos modelos —un codificador-decodificador basado en T5 y un Modelo de Lenguaje Grande (LLM) MISTRAL-7B-Instruct— para clasificar las oraciones en los informes de auditoría como "Observaciones Adversas" (que indican una posible falta de conformidad o fraude) o "NA".
   • Lógica de Etiquetado: A una tupla de empresa-año se le asigna una etiqueta de "MISINFO" (desinformación) si su informe de auditoría contiene al menos dos oraciones clasificadas como observaciones adversas tanto por el modelo T5 como por el modelo MISTRAL. Este proceso resultó en un conjunto de datos donde aproximadamente el 19.8% de los registros fueron etiquetados como contenedores de desinformación.

2. Detección de Desinformación (Técnicas No Supervisadas):

   • Detección de Anomalías (AD): Los autores aplican 17 algoritmos de detección de anomalías no supervisados (incluyendo COF, LOF, iForest y distancia de Mahalanobis) implementados en el paquete PyOD. Un método de ensamble selecciona las 20 empresas superiores señaladas por el mayor número de algoritmos.
   • Regresión por Pasos: El sistema construye modelos de regresión (OLS, Lasso, Ridge, SVR, Random Forest) para predecir variables financieras "susceptibles" (por ejemplo, pasivos) basándose en otras variables correlacionadas. Las empresas con los errores de predicción al cuadrado más altos son señaladas como sospechosas. Los modelos de Regresión de Vectores de Soporte (SVR) demostraron la mayor precisión en esta categoría.

3. Generación de Explicaciones:

   • Objetivo: Identificar las variables financieras específicas responsables de que una empresa sea señalada como anómala.
   • Explicaciones de Estándar de Plata: En lugar de una validación manual, los autores construyen explicaciones de "estándar de plata" mapeando las oraciones de "Observaciones Adversas" en los informes de auditoría con las variables financieras. Esto implica asignar categorías XBRL (eXtensible Business Reporting Language) a las oraciones y mapear estas categorías a las 42 variables financieras utilizadas en el conjunto de datos estructurado.
   • Algoritmos: Se evalúan tres métodos de generación de explicaciones contra el estándar de plata:
     • EMD (Explicación mediante Distancia de Mahalanobis): Identifica subconjuntos de características donde la diferencia de rango de un punto anómalo excede un umbral estadístico.
     • EiForest (Explicación mediante iForest): Utiliza características basadas en rutas de los árboles de Isolation Forest para identificar las variables que contribuyen al aislamiento.
     • EMI (Explicación mediante Aislamiento Máximo): Formula el problema como una tarea de Programación Lineal Entera (ILP) para encontrar una conjunción de condiciones que aísle máximamente el punto anómalo del resto del conjunto de datos.
   • Sugerencias de Auditoría: El sistema mapea las variables explicativas identificadas de vuelta a oraciones de observaciones adversas específicas de informes de auditoría pasados, transformándolas en sugerencias de auditoría accionables (por ejemplo, "Verifique si se han realizado las provisiones para impuestos pendientes").

Contribuciones Clave
El artículo reclama varias contribuciones novedosas sobre investigaciones previas (específicamente Shinde et al., 2022; Vaishampayan et al., 2022; y Pawar et al., 2023):

1. Escala y Alcance: El conjunto de datos es significamente más grande (11,460 registros durante 5 años frente a datos de un solo año en trabajos previos) e integra múltiples tipos de EF (BG, ER, EFE) en lugar de solo Balances Generales.
2. Variables Expandidas: La inclusión de variables financieras adicionales de los estados de resultados e informes de flujo de efectivo mejora la efectividad de la detección.
3. Etiquetado de Plata Automatizado: La propuesta de dos estrategias (usando LLMs y clasificadores T5) para generar automáticamente etiquetas de plata para todo el conjunto de datos, reemplazando la necesidad de subconjuntos pequeños etiquetados manualmente.
4. Modelo de Clasificación Mejorado: El uso de un modelo codificador-decodificador T5 para la clasificación de oraciones en informes de auditoría, que proporciona tanto etiquetas de clasificación como explicaciones, superando al modelo Attn-BERT utilizado anteriormente.
5. Generación de Explicaciones Automatizada: La introducción de un método no supervisado para generar automáticamente explicaciones de estándar de plata utilizando el mapeo XBRL, eliminando el esfuerzo manual requerido en estudios previos.
6. Automatización de Extremo a Extremo: La integración de estos componentes crea un sistema que elimina el trabajo manual del proceso de generación de asistencia, con el objetivo de lograr eficiencia, escalabilidad y objetividad.

Resultos

• Desempeño de Detección: En la detección de anomalías, el algoritmo Connectivity-Based Outlier Factor (COF) logró la mayor Precisión@20 (0.60) para el año 2014, mientras que el Local Outlier Factor (LOF) mostró la mayor precisión promedio a través de los cinco años (0.56). Entre los modelos de regresión, los modelos basados en SVR lograron la mayor precisión promedio @20 (hasta 0.83 para modelos específicos).
• Desempeño de Explicación: El algoritmo EiForest demostró la mayor precisión promedio (0.25), recuperación (0.27) y puntuación F1 (0.24) cuando se comparó con la verdad fundamental de las explicaciones de estándar de plata. El algoritmo EMI logró una precisión promedio de 0.21. Los autores señalan que, aunque estas métricas son modestas, representan una mejora sobre estudios previos al considerar el aumento en la complejidad y el número de variables (42 frente a 18 en trabajos previos).
• Comparación de Modelos: El clasificador T5 logró un F1-score de 0.80 para la clasificación de observaciones adversas, superando al modelo Attn-BERT (F1=0.72).

Significancia y Reivindicaciones
El artículo posiciona este trabajo como un paso fundacional hacia un sistema de Asistencia de Auditoría asistido por IA. La significancia principal radica en la capacidad de extraer conocimientos de un enorme corpus histórico de EF e informes de auditoría para proporcionar asistencia objetiva y basada en datos. Los autores afirman que, al automatizar la detección de la posible desinformación y la generación de explicaciones (vía mapeo XBRL), el sistema puede reducir el tiempo, el costo y la subjetividad involucrados en la auditoría. Su objetivo es ayudar a los auditores a centrar sus esfuerzos en áreas específicas de alto riesgo identificadas por el sistema. Los autores declaran explícitamente que el sistema está diseñado para asistir a los auditores humanos, no para reemplazarlos, ofreciendo sugerencias enfocadas para la posterior exploración y validación de los procesos de negocio. El trabajo sirve como una integración y extensión de su investigación previa, demostrando eficacia en un conjunto de datos significativamente más grande y diverso.