💻 computer science

Machine learning reduces audit detection risk in 3.3 million public sector general ledger transactions

Este estudio demuestra que un novedoso marco de aprendizaje automático de cuatro capas, validado frente a 3,3 millones de transacciones reales del sector público e informes de auditoría oficiales, supera significativamente al Muestreo de Unidades Monetarias tradicional al reducir el riesgo de detección de auditoría de más del 38% al 2,01%, al tiempo que reduce el tiempo de procesamiento en un 98,7%.

Autores originales: Tsetsegjargal Ulambayar, Oyunbileg Pagjii, Oyuntsetseg Luvsandash, Gantulga Garamdorj, Chimedtsogzol Sangajav

Publicado 2026-08-13

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tsetsegjargal Ulambayar, Oyunbileg Pagjii, Oyuntsetseg Luvsandash, Gantulga Garamdorj, Chimedtsogzol Sangajav

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective tratando de encontrar una sola moneda falsa escondida en una enorme bolsa de 3,3 millones de monedas reales. En el mundo de la auditoría financiera, este es el desafío diario: encontrar errores o fraudes en enormes pilas de registros de dinero. Tradicionalmente, los auditores han utilizado un método llamado "Muestreo de Unidades Monetarias" (MUS). Piensa en esto como un cazador de tesoros que solo excava en los montones de tierra más grandes y obvios porque asume que el oro debe estar allí. Ignora los pequeños y silenciosos bolsillos de arena, asumiendo que están a salvo. Pero, ¿qué pasa si la moneda falsa se esconde en uno de esos pequeños bolsillos ignorados? Ese es el riesgo: perder lo malo por el hecho de que solo buscaste en lo grande.

Para resolver esto, los científicos están recurriendo al "Aprendizaje Automático" (Machine Learning), que es como darle al detective un asistente robot superinteligente e incansable. Este asistente puede leer cada uno de los registros en la bolsa, no solo los grandes. Busca patrones que los ojos humanos podrían pasar por alto, como un ritmo extraño en los números o una transacción que se siente "fuera de lugar". El objetivo es reducir el "riesgo de detección", que es simplemente la probabilidad de que el detective pierda el crimen. Si el robot puede detectar la moneda falsa en el pequeño bolsillo, la auditoría se vuelve mucho más segura y rápida. Este artículo plantea una gran pregunta: ¿Puede este asistente robot encontrar realmente los errores en los registros de dinero público mejor que el viejo método de "excavar en los montones grandes", y puede explicar por qué los encontró de una manera en que los auditores humanos confíen?

El Superescáner: Cómo la IA encontró la aguja en el pajar

En este estudio, un equipo de investigadores de Mongolia construyó un "superescáner" de cuatro capas para revisar los registros financieros de una empresa de servicios públicos de energía. No solo lo probaron con números inventados; lo alimentaron con un conjunto de datos masivo y real que contenía 3.329.189 transacciones de dinero individuales de tres años (2023, 2024 y 2025). Esta era una montaña de datos que sumaba MNT 16,34 billones (¡eso es mucha cantidad de Tugriks!).

La forma antigua vs. La forma nueva
Los investigadores compararon su nuevo sistema de aprendizaje automático contra el estándar antiguo, que es como el método de "excavar en los montones grandes" mencionado anteriormente. En la forma antigua, los auditores elegirían una muestra aleatoria del 20% de las cuentas para revisar. El estudio encontró que este viejo método dejaba un enorme vacío: tenía un "riesgo de detección" (la probabilidad de perder un error) de entre el 38,05% y el 52,7%. En palabras sencillas, esto significa que en casi la mitad de los casos, el viejo método podría haber pasado por alto el fraude o los errores por completo.

El nuevo sistema de aprendizaje automático, sin embargo, actuó como una red que lo atrapó todo. Procesó la totalidad de los 3,3 millones de transacciones en solo 4,5 horas. Para poner esto en perspectiva, el método antiguo habría tomado a los auditores humanos entre 310 y 357 horas para hacer el mismo trabajo. ¡Eso es una reducción de tiempo del 98,7%!

Cómo aprendió el robot (Sin un maestro)
Usualmente, enseñar a un robot a detectar el fraude requiere mostrarle primero miles de ejemplos de registros "buenos" y "malos". Pero en la vida real, los auditores no saben cuáles son los registros malos hasta después de que terminan la auditoría. Es un círculo vicioso.

Los autores resolvieron esto con un truco ingenioso llamado sistema de "auto-etiquetado". Imagina a un grupo de tres detectives diferentes (Bosque de Aislamiento, Z-score y análisis de ratio de rotación) mirando los datos de forma independiente. Si al menos dos de ellos coinciden en que un registro parece sospechoso, el sistema lo marca como "anómalo". Esto crea un conjunto de datos de entrenamiento de la nada, permitiendo que el robot principal (un modelo de Bosque Aleatorio o Random Forest) aprenda cómo detectar a los malos sin necesidad de una clave de respuestas escrita previamente.

Los resultados: Una mejora de 19 veces
Cuando probaron este sistema, los resultados fueron asombrosos. El modelo Random Forest logró una puntuación F1 de 0,966 y un AUC de 0,999, reduciendo el "riesgo de detección" a solo un 2,01%. Esta es una mejora de 19 veces respecto al método antiguo. Para demostrar que esto no fue solo suerte, realizaron una prueba estadística (prueba de McNemar) que mostró que por cada error que el método antiguo detectaba, el nuevo modelo de aprendizaje automático detectaba 107 errores que el método antiguo pasó por alto. Las matemáticas fueron tan claras que la probabilidad de que esto ocurriera por accidente fue menor a 0,001.

La sorpresa de la "Máscara de Agregación"
Uno de los descubrimientos más fascinantes del artículo es algo que los autores llaman el "efecto de máscara de agregación". Probaron una regla clásica llamada Ley de Benford, que predice cómo deberían comenzar los números (como cuántos 1, 2 o 3 deben aparecer al principio de los números en la vida real).

Cuando examinaron las 3,3 millones de transacciones individuales, los números eran extraños y rompían la Ley de Benford (una señal de posible manipulación). Pero, cuando agruparon esas mismas transacciones en resúmenes de cuenta (como sumar todas las transacciones de una cuenta bancaria), la extrañeza desapareció. ¡Los números parecían perfectamente normales!

Es como si miraras a una multitud de personas individualmente y pudieras ver a algunas con sombreros rojos y otras con azules. Pero si tomas una foto de toda la multitud desde lejos, los colores se mezclan en un gris aburrido. El estudio encontró que si los auditores solo miran la "foto en gris" (el resumen de la cuenta), se pierden los "sombreros rojos" (el fraude a nivel de transacción). Esto sugiere que para realmente atrapar el fraude, los auditores necesitan mirar las transacciones individuales, no solo los grandes resúmenes.

¿Puede el robot explicarse a sí mismo?
Una gran preocupación con la IA es que es una "caja negra": da una respuesta pero no dice por qué. Los investigadores solucionaron esto añadiendo una capa que traduce la matemática del robot al "lenguaje del auditor". En lugar de decir "La característica X tiene un peso alto", el sistema dice: "Esta cuenta fue marcada porque el saldo saltó un 847% en un año, lo cual rompe las reglas de la ISA 520".

Cuando auditores reales de la Oficina Nacional de Auditoría revisaron estas explicaciones, el 94% dijo que eran perfectas y que podían usarse en informes oficiales sin cambiar una sola palabra. Esto demuestra que el robot no solo está adivinando; está razonando de una manera que los profesionales humanos entienden.

¿Funciona con otros datos?
El equipo también probó si su robot podía manejar datos de otros sectores (como diferentes departamentos gubernamentales) sin ser reentrenado. Aunque funcionó mejor en la empresa de energía sobre la que fue entrenado, aun así funcionó significativamente mejor que el viejo método de "muestra del 20%" en otros sectores, detectando la mayoría de los errores incluso sin un entrenamiento específico en esos nuevos grupos.

La conclusión
Este artículo muestra que el aprendizaje automático no es solo una idea futurista; es una herramienta práctica que puede escanear 3,3 millones de transacciones en 4,5 horas, encontrar errores con una separación casi perfecta (AUC=0,999) y alta precisión (F1=0,966), y explicar sus hallazgos en un lenguaje sencillo. También nos advierte que mirar los grandes resúmenes no es suficiente: necesitamos hacer zoom en los detalles diminutos para atrapar el fraude que se esconde en el ruido. Los autores incluso han lanzado su sistema como software gratuito de código abierto, para que otros auditores puedan usar este "superescáner" para hacer que el mundo del dinero público sea más seguro.

Resumen Técnico: Aprendizaje Automático para la Reducción del Riesgo de Detección en Auditorías de Libros Contables del Sector Público

Planteamiento del Problema
En la auditoría del sector público, el riesgo de detección —la probabilidad de que los procedimientos de auditoría no identifiquen errores materiales— sigue siendo un desafío crítico. La práctica convencional se basa en el Muestreo de Unidades Monetarias (MUS, por sus siglas en inglés), que típicamente examina solo el 20% de las cuentas basándose en su valor monetario. Este enfoque deja sin examinar las cuentas de saldos menores, lo que resulta en riesgos de detección que oscilan entre el 38.05% y el 52.7% en el contexto estudiado. Además, las aplicaciones de aprendizaje automático (ML) existentes en auditoría se evalúan frecuentemente con conjuntos de datos sintéticos o propietarios sin validación frente a resultados de auditoría oficiales, y a menudo carecen de generalizabilidad temporal o eficiencia operativa en comparación con líneas base realistas. Una barrera significativa para el despliegue de ML es la ausencia de datos de verdad fundamental (ground truth) previamente etiquetados, ya que los hallazgos del auditor solo están disponibles tras la conclusión del encargo.

Metodología
El estudio propone un marco de trabajo de cuatro capas de ML diseñado para operar sin datos de entrenamiento previamente etiquetados, validado con 3,329,189 transacciones de libros contables generales de una empresa de servicios públicos de energía del sector público mongol durante tres años fiscales (FY2023–FY2025). El marco procesa 9,909 filas de cuentas con un flujo de débitos acumulado de 16.34 billones de MNT.

Capa 1: Preparación de Datos: Los datos del libro contable general se ingieren desde Excel, se estandarizan y se verifican para la identidad de equilibrio entre débitos y créditos (ISA 500). Las características se escalan utilizando StandardScaler, ajustado únicamente en los años de entrenamiento (FY2023–FY2024) para evitar la fuga de datos (data leakage) en el holdout temporal (FY2025).
Capa 2: Etiquetado de Conjunto No Supervisado (Unsupervised Ensemble Labeling): Para abordar la falta de verdad fundamental, el sistema genera pseudo-etiquetas mediante un mecanismo de votación de conjunto. Tres métodos no supervisados operan de forma independiente:
- Bosque de Aislamiento (Isolation Forest): Utiliza 200 estimadores con un parámetro de contaminación de 0.10.
- Análisis de Z-score: Identifica cuentas con valores absolutos de z-score > 2.0 en la rotación de débitos/créditos.
- Tamizaje de Ratio de Rotación (Turn-Ratio Screening): Identifica cuentas por encima del percentil 95 de la relación débito-crédito.
- Regla: Una cuenta se etiqueta como anómala si es señalada por el Bosque de Aislamiento O por ambos métodos de Z-score y Ratio de Rotación.
Capa 3: Clasificación Supervisada: Tres clasificadores (Bosque Aleatorio, Gradient Boosting, Árbol de Decisión) se entrenan con los datos etiquetados por el conjunto mediante Validación Cruzada Estratificada de 5 pliegues (5-fold). Los hiperparámetros se optimizan mediante búsqueda de cuadrícula (grid search).
Capa 4: IA Explicable (XAI) y Alineación con ISA: Los valores SHAP (SHapley Additive exPlanations) se mapean a una ontología específica de las NIA (ISA). Esto traduce la importancia de las características del modelo al lenguaje profesional de auditoría (por ejemplo, vinculando el "cambio en el saldo año tras año" con la NIA 520), generando documentación automatizada de papeles de trabajo.

Contribuciones Clave

Arquitectura de Auto-Etiquetado: El marco elimina la dependencia de la verdad fundamental previamente etiquetada mediante el uso de votación de conjunto no supervisada para generar datos de entrenamiento, permitiendo el despliegue en el primer ciclo de auditoría.
Validación Oficial: A diferencia de estudios previos que dependen de puntos de referencia (benchmarks), este marco se valida contra dos años de informes oficiales de la Oficina Nacional de Auditoría (NAO), logrando una alineación de verdaderos positivos del 85–90% con los errores materiales documentados.
Efecto de Enmascaramiento por Agregación: El estudio documenta un fenómeno novedoso donde las anomalías de la Ley de Benford presentes en el nivel de transacción (3.3M entradas) se suprimen estadísticamente cuando se agregan al nivel de cuenta (9,909 filas). El análisis a nivel de transacción reveló desviaciones significativas ( $\chi^2 = 15.51, p < 0.05$ ), mientras que el análisis a nivel de cuenta mostró una estrecha conformidad (MAD < 0.006).
Despliegue de Código Abierto: El sistema se lanza como "Audit AI v10.0", una aplicación web de costo cero y código abierto desplegable en entornos basados en Excel.

Resultados Experimentales

Rendimiento vs. Línea Base: Frente a una línea base simulada de MUS del 20%, el modelo de Bosque Aleatorio alcanzó una puntuación F1 de 0.966 y un AUC de 0.999.
Reducción del Riesgo de Detección: El marco de ML redujo el riesgo de detección de una línea base de 38.05–52.7% a un 2.01% (Bosque Aleatorio), una mejora de 19 veces.
Significancia Estadística: La prueba de McNemar confirmó la superioridad del Bosque Aleatorio sobre el MUS con un valor de $\chi^2$ de 1,666.63 ( $p < 0.001$ ). La razón de ventaja direccional ( $b/c$ ) fue de 107.2, indicando que el modelo de ML detectó 107 anomalías por cada una que el MUS omitió que el MUS captó.
Generalizabilidad Temporal: En un holdout temporal estricto (entrenamiento en FY2023–2024, prueba en FY2025), el Bosque Aleatorio mantuvo un F1 de 0.955 y un riesgo de detección del 8.64%.
Transferencia entre Sectores: La transferencia de cero disparos (zero-shot transfer) a otras cinco organizaciones del sector público arrojó un F1 medio de 0.741, con cuatro de los cinco sectores superando la F1 de la línea base de MUS de 0.369.
Eficiencia: El tiempo de procesamiento para el conjunto completo de datos cayó de 310–357 horas (MUS) a 4.5 horas (ML), una reducción del 98.7%.

Significancia y Reivindicaciones
El artículo afirma que este marco ofrece una solución práctica al cuello de botella de la "verdad fundamental" en el análisis de auditoría, permitiendo a los auditores analizar el 100% de las poblaciones en lugar de depender del muestreo. Al mapear las atribuciones SHAP directamente a las normas ISA, el sistema aborda la preocupación de la "caja negra", con un 94% de los auditores de la NAO considerando que las explicaciones generadas automáticamente son apropiadas para los papeles de trabajo.

El estudio destaca que las pruebas estándar de Benford a nivel de cuenta son insuficientes para los objetivos de detección de fraude bajo la NIA 240 debido al efecto de enmascaramiento por agregación, abogando por un análisis de doble nivel (transacción y cuenta). Los autores posicionan este trabajo como un paso hacia la democratización de la analítica de auditoría avanzada para entidades del sector público, particularmente en economías en desarrollo, al proporcionar una herramienta validada, de costo de licencia cero, que reduce significativamente el riesgo de detección y el tiempo operativo.

Limitaciones
Los autores señalan que la validación se basa en una única organización de caso (aunque con hallazgos confirmados de varios años), las estimaciones de tiempo de MUS dependen del testimonio de los auditores, y el marco actual está limitado a datos financieros estructurados, excluyendo evidencia narrativa o no estructurada. Se sugiere como trabajo futuro la validación longitudinal multiorganización y la integración con Modelos de Lenguaje Extensos (LLMs) para evidencia no estructurada.

El Superescáner: Cómo la IA encontró la aguja en el pajar

Más como este