💻 ciencias de la computación

Auditing the Auditor: Extraction Accuracy, Hallucination, and Abstention in Open-Weight LLMs for ESG Reporting A Longitudinal Empirical Benchmark Across 518 Corporate Disclosures (2010–2026)

Este benchmark longitudinal de cinco LLM de pesos abiertos a través de 518 informes ESG revela que, si bien los modelos resumen con fiabilidad las políticas narrativas, tienen dificultades con la extracción numérica precisa y frecuentemente alucinan datos sin un razonamiento explícito o instrucciones estrictas, lo que resalta una necesidad crítica de mejorar los mecanismos de abstención en la auditoría de sostenibilidad automatizada.

Autores originales: Redeemer Salami Okekale, Kate Markin, Derek Amuna, Felix Coker

Publicado 2026-11-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Redeemer Salami Okekale, Kate Markin, Derek Amuna, Felix Coker

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo empresarial moderno, el compromiso de una empresa con el medio ambiente, el trato a sus trabajadores y su gobernanza ética ya no son solo cuestiones de relaciones públicas. Estos factores se han convertido en datos duros, legalmente requeridos en muchos lugares, y escrutados por inversores que necesitan saber si una corporación es verdaderamente sostenible o si solo está fingiendo serlo. Este cambio ha creado un desafío masivo para los auditores. Un solo informe de sostenibilidad puede extenderse a cientos de páginas, llenas de tablas densas de números, notas al pie y definiciones cambiantes. Para dar sentido a este volumen, las instituciones financieras están recurriendo a la inteligencia artificial, específicamente a un tipo de programa informático conocido como modelo de lenguaje extenso. Estos programas están entrenados en vastas cantidades de texto y pueden leer documentos para encontrar respuestas específicas, de forma muy parecida a un bibliotecario muy rápido y muy bien leído. Sin embargo, para que estas herramientas sean dignas de confianza en auditorías oficiales, deben hacer más que simplemente resumir una historia; deben extraer números exactos sin inventar cosas, y deben saber cuándo admitir que una respuesta simplemente no existe en el documento.

Un equipo de investigadores de la Universidad de Ghana se propuso probar exactamente qué tan bien se desempeñan estos modelos de inteligencia artificial de código abierto en este entorno de alto riesgo. Reunieron una colección masiva de 518 informes de sostenibilidad corporativa reales publicados entre 2010 y 2026, cubriendo un periodo que incluye tanto informes voluntarios antiguos como los archivos más recientes y estrictamente regulados que exige la ley europea. De esta biblioteca de documentos, crearon una prueba rigurosa que consistía en 120 preguntas de auditoría específicas. Estas preguntas variaban desde pedir resúmenes de políticas simples hasta exigir cifras precisas de emisiones de gases de efecto invernadero o uso de agua. Los investigadores luego presentaron estas preguntas a cinco modelos de inteligencia artificial líderes, simulando un escenario del mundo real donde la computadora primero busca la página relevante en el documento y luego intenta leer la respuesta. Crucialmente, para garantizar la imparcialidad, utilizaron un sistema de inteligencia artificial distinto e independiente para calificar las respuestas, evitando que los modelos se dieran puntuaciones altas por su propio trabajo.

Los resultados revelaron una división clara entre qué tan bien entienden estas máquinas las palabras frente a qué tan bien manejan los números. Cuando se les pidió resumir las políticas o compromisos generales de una empresa, los modelos se desempeñaron bastante bien, capturando a menudo la esencia del texto con alta precisión. Sin embargo, cuando la tarea requería extraer un número específico de una tabla compleja —como la cantidad exacta de dióxido de carbono emitido en un año específico— su desempeño disminuyó significamente. Incluso cuando los investigadores le daban al modelo la página perfecta del informe, el mejor modelo de los que se presentaron solo podía extraer el número correcto aproximadamente el 73 por ciento de las veces. La dificultad a menudo no radicaba en encontrar la página correcta, sino en leer la tabla correctamente, como confundir la cifra total de una empresa matriz con la de una subsidiaria o leer mal las unidades de medida.

Quizás el hallazgo más crítico concernía a cómo se comportan estos modelos cuando la respuesta falta. En una auditoría real, una empresa podría no informar una métrica específica, o una búsqueda podría extraer accidentalmente una página de un año equivocado. Los investigadores probaron esto dándole a los modelos una pregunta sobre residuos peligrosos de 2024, pero proporcionándoles una página de documento que solo hablaba de reciclaje de agua de 2022. Bajo instrucciones estándar, muchos de los modelos intentaron ser útiles inventando un número o sustituyéndolo por una cifra similar de un año diferente, un comportamiento conocido como alucinación. Esto sucedió en casi la mitad de los casos para algunos modelos. Sin embargo, el estudio mostró que esta tendencia peligrosa podía corregirse en gran medida. Al darles a los modelos la instrucción estricta de decir "No puedo responder" si los datos exactos no estaban presentes, la tasa de números inventados cayó drásticamente. Además, un modelo diseñado para "pensar" a través de su razonamiento antes de responder era naturalmente mejor para detectar estas discrepancias y negarse a adivinar, incluso sin las instrucciones estrictas.

El estudio también analizó cómo la naturaleza cambiante de la información corporativa afecta a estas herramientas. Los investigadores encontraron que los informes más nuevos y obligatorios requeridos por las regulaciones europeas, que utilizan tablas estandarizadas y etiquetas consistentes, son en realidad más fáciles de leer para la inteligencia artificial que los informes voluntarios más antiguos. Una vez que la computadora encontraba la sección correcta en estos documentos modernos, su precisión mejoraba notablemente. Esto sugiere que, a medida que las regulaciones obligan a las empresas a organizar sus datos de manera más clara, estas herramientas se volverán más confiables. En última instancia, la investigación concluye que, si bien la inteligencia artificial está lista para ayudar a resumir las historias que las empresas cuentan sobre su sostenibilidad, aún no está lista para reemplazar a los auditores humanos para verificar los números duros. El enfoque más seguro implica utilizar estos modelos para redactar resúmenes y señalar problemas potenciales, pero manteniendo a un humano en el proceso para verificar las cifras finales, asegurando que los números sean reales y no solo una suposición convincente.

Resumen Técnico: Auditando al Auditor en la Información sobre ESG

Planteamiento del Problema

A medida que la información sobre la sostenibilidad corporativa transita de un marketing voluntario a una garantía estatutaria obligatoria bajo marcos como la Directiva de Informes de Sostenibilidad Corporativa (CSRD) de la UE, el volumen y la complejidad de las divulgaciones de ESG (Ambiental, Social y de Gobernanza) han creado un cuello de botella significativo para los auditores humanos. Aunque las canalizaciones de Generación Aumentada por Recuperación (RAG) utilizando Modelos de Lenguaje Extensos (LLM) ofrecen una vía para automatizar la extracción de métricas cuantitativas verificadas de informes extensos, persisten brechas críticas en su fiabilidad.

La literatura existente no aborda cuatro puntos ciegos específicos relevantes para la auditoría estatutaria:

Comparabilidad de Pesos Abiertos: Una falta de comparaciones directas de modelos modernos de pesos abiertos (que van desde 4B hasta 31B de parámetros) en tareas de ESG idénticas.
Límites de Búsqueda vs. Lectura: La incapacidad de distinguir si los errores de extracción se deben a que el motor de recuperación falló al encontrar la página correcta o a que el LLM falló al interpretar tablas complejas de múltiples columnas.
Gestión de Datos Faltantes: Los benchmarks estandarizados rara vez prueban cómo se comportan los modelos cuando la respuesta está ausente, fallando al medir el riesgo de "alucinación" (inventar números) frente a la "abstinencia fiel" (negarse a responder).
Evolución Regulatoria: La mayoría de los conjuntos de datos son anteriores a la ola de presentaciones obligatorias de CSRD/ESRS de 2025–2026, dejando sin probar el impacto de las estructuras de reporte estandarizadas en el rendimiento de la IA.

Metodología

El estudio construye un benchmark empírico longitudinal para evaluar cinco de los principales LLM de pesos abiertos: Qwen3-4B, DeepSeek-R1-7B, GPT-OSS-20B, Qwen3.5-27B y Gemma-4-31B.

Corpus y Diseño del Benchmark

Conjunto de Datos: Un corpus de 518 informes de sostenibilidad corporativa publicados entre 2010 y 2026, que comprende 279.862 pasajes de texto buscables. Esto incluye 20 informes recién lanzados de 2025–2026 de la CSRD/ESRS de grandes empresas europeas (por ejemplo, Siemens, ASML, SAP).
Preguntas de Auditoría: Un conjunto estratificado de 120 preguntas de auditoría realistas equilibradas entre cuatro tipos (KPIs Numéricos Difíciles, Comparaciones Año tras Año, Divulgaciones de Políticas, Síntesis de Pilares Cruzados) y tres eras regulatorias.
Condiciones de Evidencia: Cada modelo fue probado bajo cinco condiciones controladas:
1. Pasaje Único ( $k=1$ ): El resultado de búsqueda con mayor rango.
2. Tres Pasajes ( $k=3$ ): Los tres mejores resultados combinados.
3. Oráculo: El pasaje exacto de oro que contiene la verdad de referencia (eliminando errores de búsqueda).
4. Casi-Acierto (Estándar): Un pasaje distractor que no puede ser respondido (año/métrica incorrectos) con un prompt de "asistente útil" estándar.
5. Casi-Acierto (Estricto): El mismo distractor con una instrucción de cumplimiento explícita para abstenerse si la métrica falta.

Protocolo de Evaluación

Para eliminar el "sesgo de autocalificación" (donde una familia de modelos califica sus propios resultados), las 3.000 respuestas generadas fueron calificadas por un modelo referente independiente, Phi-4-14B de Microsoft, que no comparte linaje de entrenamiento con los modelos probados. Las métricas incluyeron Precisión de Contexto, Recall de Contexto, Fidelidad, Relevancia de la Respuesta, Corrección Fáctica (F1) y Tasa de Abstinencia Fiel.

Contribuciones Clave

Corpus Longitudinal de ESG: El ensamblaje de un conjunto de datos de 16 años (2010–2026) que incluye la primera ola de presentaciones obligatorias de CSRD, indexado para pruebas de RAG.
Benchmark de Estrés: Un benchmark de 120 preguntas diseñado específicamente con trampas de "casi-acierto" para evaluar los comportamientos de alucinación y abstención bajo presión.
Marco de Referente Independiente: Un riguroso flujo de evaluación utilizando una familia de modelos distinta (Phi-4) para asegurar una calificación imparcial de la precisión de extracción y las tasas de alucinación.
Análisis de Rendimiento Granular: Un desglose detallado del rendimiento a través de arquitecturas de modelos, regímenes de evidencia y los desafíos específicos de la extracción numérica frente a la narrativa.

Resultados Clave

1. Extracción Narrativa vs. Numérica

Los modelos superan consistentemente en los resúmenes de políticas cualitativas (F1 $\approx$ 0.729) en comparación con los KPIs numéricos duros (F1 $\approx$ 0.335). Incluso cuando se les proporciona el pasaje exacto de oro (Oráculo), el modelo con mejor desempeño (GPT-OSS-20B) alcanzó un techo de precisión fáctica de 0.731. Esto indica que los errores de lectura de tablas (desalineación de filas, confusión de unidades o falta de notas al pie) son un cuello de botella más significativo que los errores de recuperación de búsqueda.

2. El Impacto del Volumen de Evidencia

Expandir la ventana de búsqueda de un pasaje ( $k=1$ ) a tres pasajes ( $k=3$ ) mejoró la precisión fáctica para todos los modelos en un 6 a 11 puntos porcentuales, principalmente al recuperar filas de tablas y contexto faltantes. Sin embargo, la condición "Oráculo" reveló que incluso con un contexto perfecto, los modelos todavía luchan con las densas tablas de ESG de múltiples columnas.

3. Alucinación y Abstención

Prompts Estándar: Bajo prompts estándar de "asistente útil", los modelos frecuentemente alucinaron o sustituyeron números cuando se les presentaron distractores de casi-acierto (hasta un 46.7% de los casos para algunos modelos).
Salvaguardas Estrictas: Las instrucciones explícitas de abstención redujeron las tasas de alucinación a un 5.8%–7.5% en los modelos superiores.
Modelos de Razonamiento: DeepSeek-R1-7B demostró capacidades únicas; específicamente en preguntas de casi-acierto no respondibles, su traza de razonamiento interno le permitió detectar desajustes en el año o la entidad y abstenerse fielmente en un 77.5% de los casos sin requerir un prompt de salvaguarda estricta.

4. Impacto de la Era Regulatoria

Si bien el paso inicial de búsqueda es más difícil para los nuevos informes de CSRD, que son más largos, la estructura estandarizada de las tablas ESRS ayuda significamente la extracción una vez que se encuentra el pasaje correcto. Los modelos lograron una precisión de 8.5 a 11.5 puntos porcentuales mayor en los informes de CSRD de 2025–2026 en comparación con los informes voluntarios anteriores cuando se les proporcionó el pasaje Oráculo.

5. Fortalezas Específicas de los Modelos

GPT-OSS-20B: Mejor equilibrio general entre precisión de extracción y seguridad (80.0% de tasa de abstención con prompts estrictos).
DeepSeek-R1-7B: Mejor verificación integrada; su traza de razonamiento proporciona un rastro auditable para flujos de trabajo de cumplimiento.
Qwen3.5-27B: Mayor puntuación de fidelidad, pero excesivamente conservador, absteniéndose a menudo ante datos parciales.
Qwen3-4B: Capaz en hardware local pero requiere prompts estrictos para evitar la fabricación (24.2% de tasa de alucinación sin salvaguardas).

Significado y Reivindicaciones

El artículo sostiene que, si bien los LLM de pesos abiertos están listos para resumir políticas cualitativas de ESG, aún no son totalmente autónomos para extraer KPIs numéricos duros debido a las persistentes limitaciones en la lectura de tablas. Sin embargo, el estudio demuestra que la alucinación es prevenible. Al combinar modelos de pesos abiertos con salvaguardas de abstención estrictas o arquitecturas basadas en el razonamiento, las organizaciones pueden reducir la fabricación infiel a menos del 6%, estableciendo una base práctica para la auditoría de sostenibilidad asistida por IA.

Los autores enfatizan que la transición hacia la información obligatoria y estandarizada de CSRD/ESRS es un desarrollo positivo para la auditoría por IA, ya que los diseños de tablas uniformes reducen la ambigüedad. No obstante, el estudio concluye que un humano en el bucle (human-in-the-loop) sigue siendo esencial para verificar los KPIs numéricos finales, particularmente donde existen estructuras de tablas complejas o conversiones de unidades.