AuditFraudBench: Benchmarking Audit Judgment in Detecting Fraudulent Misstatements

Resumen Técnico de AuditFraudBench: Evaluación del Juicio de Auditoría en la Detección de Declaraciones Erróneas Fraudulentas

Planteamiento del Problema
Si bien los Modelos de Lenguaje de Gran Escala (LLM) han demostrado competencia en el análisis financiero, la previsión y la detección de errores numéricos o fácticos superficiales, su capacidad para identificar declaraciones erróneas fraudulentas sigue siendo poco explorada. A diferencia de los errores simples, las declaraciones erróneas fraudulentas suelen implicar divulgaciones plausibles y aparentemente conformes que ocultan impulsores de rendimiento distorsionados, elecciones contables oportunistas o contextos de riesgo omitidos. Estas divulgaciones pueden ser internamente consistentes en sus cifras, pero están estratégicamente enmarcadas para engañar a los inversores respecto a las verdaderas fuentes de rendimiento (por ejemplo, atribuir el crecimiento a operaciones sostenibles cuando en realidad es impulsado por el desfase de ingresos o el diferimiento de gastos). Los benchmarks existentes se centran principalmente en la verificación de hechos, la consistencia numérica o el cumplimiento de reglas, fallando al evaluar la tarea más compleja de detectar narrativas estratégicamente engañosas y manipulaciones contables disfrazadas basadas en casos reales de ejecución de la ley.

Metodología
Para abordar esta brecha, los autores presentan AuditFraudBench, un benchmark basado en ejecuciones de la ley construido a partir de presentaciones corporativas auténticas y materiales regulatorios. El conjunto de datos se deriva de las Comunicaciones de Ejecución de Auditoría y Contabilidad (AAERs) de la Comisión de Bolsa y Valores de EE. UU. (SEC), presentaciones originales y reexpresadas de formularios 10-K y 10-Q, estados financieros estructurados y las Discusiones y Análisis de la Gerencia (MD&A).

El pipeline de construcción del benchmark involucra:

1. Recopilación de Datos: Rastreo de las páginas de índice de AAER de la SEC para extraer metadatos y descarga de documentos de ejecución.
2. Procesamiento y Limpieza: Extracción de texto, segmentación y control de calidad para eliminar archivos corruptos o no analizables.
3. Identificación de Casos: Uso de una combinación de características basadas en reglas y comprensión semántica (vía DeepSeek) para identificar casos sustantivos de manipulación contable.
4. Mejora Estructurada y Alineación: Extracción de campos específicos (por ejemplo, mecanismos de manipulación, periodos fiscales) y alineación de las AAER con las presentaciones originales y reexpresadas correspondientes del sistema EDGAR de la SEC para crear pares "original–reexpresado".
5. Construcción de Muestras: Integración de señales de hechos financieros estructurados (datos XBRL) y señales de evidencia narrativa (pasajes de MD&A) para formar muestras supervisadas.

El benchmark evalúa a los LLM a través de tres tareas complementarias:

• Tarea 1: Atribución de la Fuente de Beneficios: Determinar si la explicación de la gerencia para un cambio en el rendimiento es correcta o engañosa, e identificar el verdadero impulsor subyacente (por ejemplo, reconocimiento prematuro de ingresos, liberación de reservas) basándose en las cifras originales frente a las reexpresadas.
• Tarea 2: Detección de Narrativas Engañosas: Evaluar si un pasaje de divulgación crea una impresión engañosa (por ejemplo, mediante el énfasis selectivo o la omisión de contexto) incluso si el texto no es explícitamente falso de forma aislada.
• Tarea 3: Clasificación de Patrones de Fraude: Mapear el mecanismo específico de conducta indebida descrito en las acciones de ejecución a categorías predefinidas: Desfase de Ingresos, Estimación Contable, Suavización de Ganancias, Diferimiento de Gastos o Distorsión Narrativa.

Contribuciones Clave

1. Dataset AuditFraudBench: La creación del primer benchmark basado en ejecuciones de la ley diseñado específicamente para evaluar a los LLM en la detección de desinformación financiera fraudulenta en informes corporales auditados, centrándose en narrativas engañosas y manipulación contable disfrazada.
2. Diseño de Tareas: La formulación de tres tareas complementarias que requieren que los modelos razonen conjuntamente sobre cifras financieras, el enmarque de la divulgación, la evidencia de reexpresión y los mecanismos de fraude basados en la ejecución de la ley, yendo más allá de la simple verificación de hechos.
3. Evaluación Basada en Evidencia: La construcción del benchmark a partir de fuentes regulatorias auténticas (AAERs) y presentaciones, permitiendo una evaluación que refleja mejor el juicio de auditoría y el análisis de divulgación relevante para el inversor.

Resultos de la Evaluación
Los autores evaluaron una gama de LLM propietarios (serie GPT) y de código abierto (series DeepSeek, Qwen), incluyendo variantes de razonamiento y no de razonamiento.

• Tarea 1 (Atribución de la Fuente de Beneficios): La mayoría de los modelos lograron una precisión de clasificación casi perfecta (a menudo 1.000), identificando correctamente si una atribución era engañosa. Sin embargo, las métricas de explicación (ROUGE) se mantuvieron bajas (por ejemplo, GPT-5.5 logró solo 0.249 ROUGE-1), lo que indica que los modelos a menudo fallan en articular con precisión el verdadero impulsor contable a pesar de la clasificación correcta.
• Tarea 2 (Detección de Narrativas Engañosas): Esta resultó ser la tarea más difícil. Todos los modelos tuvieron un desempeño deficiente, siendo el mejor modelo (Qwen3-32b-R) el que alcanzó solo 0.245 de precisión y 0.393 de F1. Esto sugiere desafíos significativos en la detección de impresiones engañosas que no son explícitamente falsas.
• Tarea 3 (Clasificación de Patrones de Fraude): Los modelos mostraron una capacidad moderada pero limitada. GPT-5.5 logró la mayor precisión de clasificación (0.522), mientras que Qwen3-32b-R logró los mejores puntajes de explicación.
• Observaciones Generales:
  • Razonamiento vs. No Razonamiento: Los modelos ajustados para el razonamiento no superaron consistentemente a sus contrapartes de no razonamiento; en algunos casos, incluso funcionaron peor.
  • Escala del Modelo: El aumento del tamaño del modelo (por ejemplo, de Qwen3-8b a Qwen3-32b) no garantizó mejoras, particularmente para la calidad de la explicación.
  • Desempeño de la Familia: Los modelos propietarios fuertes (GPT, DeepSeek) no dominaron de manera confiable a los modelos de código abierto más pequeños (Qwen) en todas las métricas.

Significancia
El artículo postula que AuditFraudBench proporciona un banco de pruebas desafiante para la evaluación de LLM basada en evidencia y relevante para la auditoría. Los resultados indican que los modelos actuales, independientemente de su tamaño o arquitectura, luchan por razonar conjuntamente sobre la evidencia financiera, el enmarque narrativo y los mecanismos de fraude basados en la ejecución de la ley. Los autores concluyen que la detección de tal desinformación de alto riesgo, intencionalmente disfrazada, requiere capacidades de razonamiento financiero y contable especializadas que van más allá de la escala general del modelo o el ajuste de razonamiento genérico. El benchmark sirve, por tanto, como una herramienta necesaria para evaluar sistemáticamente si los LLM pueden apoyar el análisis financiero y la asistencia de auditoría en el reconocimiento de la desinformación estratégica.