Assessing the Credibility of Corporate SDG Claims: An Agentic AI Framework for Sustainability Report Analysis

Resumen Técnico: Evaluación de la Credibilidad de las Declaraciones Corporativas de los ODS mediante un Marco de IA Agéntica

1. Planteamiento del Problema

El compromiso corporativo con los Objetivos de Desarrollo Sostenible (ODS) de las Naciones Unidas se ha expandido rápidamente, con un 74% de las 250 empresas más grandes del mundo haciendo referencia a los ODS en sus informes de 2024. Sin embargo, la calidad de estas divulgaciones no ha avanzado al mismo ritmo que su cantidad. Una parte significativa de las declaraciones corporativas sobre los ODS sigue siendo simbólica: referencias genéricas que carecen de objetivos medibles, métricas cuantitativas o evidencia verificable. Este fenómeno, denominado "SDG-washing" (lavado de imagen con los ODS), implica la apropiación de la autoridad normativa de los ODS para construir legitimidad sin una acción sustantiva.

Los métodos de evaluación actuales enfrentan una "paradoja de escalabilidad–rigor": el análisis de contenido manual es riguroso pero no puede escalar a las decenas de miles de informes anuales, mientras que la coincidencia de palabras clave automatizada es escalable pero no logra distinguir entre la mera presencia de referencias a los ODS y la credibilidad de las declaraciones. Las herramientas de IA existentes (por ejemplo, OSDG, ClimateBERT) clasifican la relevancia de los ODS, pero no evalúan la profundidad, la especificidad o el soporte de evidencia de las declaraciones. Además, existe una falta de evaluación automatizada de la credibilidad a nivel de declaración aplicada específicamente al contexto corporativo tailandés, donde la presentación de informes es obligatoria pero la calidad del contenido varía significamente.

2. Metodología

El estudio desarrolla y valida un Marco de IA Agéntica de cuatro fases diseñado para evaluar la credibilidad de las declaraciones de los ODS corporativos a escala. El marco utiliza una arquitectura multi-agente implementada en Python usando LangGraph, que cuenta con bucles de retroalimentación que permiten a los agentes descendentes activar el reexamen de las evaluaciones ascendentes.

La Arquitectura de Cuatro Fases:

1. Agente Planificador (Ingesta y Estructuración): Convierte los informes de sostenibilidad en PDF en unidades de texto JSON jerárquicas y estructuradas utilizando la Extracción de Documentos Agéntica (ADE) de LandingAI. Este sistema basado en visión preserva el contexto relacional y vincula las evaluaciones con ubicaciones precisas de la fuente. Distingue las unidades de declaración de sostenibilidad discretas del texto de relleno (boilerplate) y crea un "pool de fragmentos" persistente de evidencia no declarada (por ejemplo, tablas de datos, resúmenes ejecutivos).
2. Agente Mapeador (Mapeo a Nivel de Objetivo): Mapea cada declaración extraída contra los 169 objetivos específicos de los ODS (en lugar de solo los 17 objetivos de alto nivel). Emplea un proceso de prompting de dos etapas: cribado a nivel de objetivo seguido de un juicio de relevancia a nivel de objetivo. Las declaraciones se mapean con un puntaje de confianza; aquellas por debajo de un umbral de 0.5 se marcan como no mapeables.
3. Agente Calificador (Evaluación de Credibilidad Multidimensional): El componente metodológico central. Evalúa cada declaración mapeada mediante una rúbrica de credibilidad de cinco dimensiones (SMTEC), fundamentada en las teorías de legitimidad, señalización y rendición de cuentas:
   • Especificidad: Concreción de la acción/iniciativa.
   • Mensurabilidad: Presencia de métricas cuantitativas, KPIs y líneas base.
   • Temporalidad: Existencia de plazos, hitos y marcos temporales.
   • Evidencia: Tipo y fuerza de la fundamentación (por ejemplo, verificación de terceros).
   • Consistencia: Coherencia interna en todo el informe (verificada mediante recuperación de secciones transversales).
   • Calificación: Cada dimensión se califica en una escala ordinal de 0 a 3. Un puntaje compuesto (media de las cinco) clasifica las declaraciones en tres niveles: Simbólicas (<1.0), Parcialmente Sustantivas (1.0–1.99) y Sustantivas (≥2.0).
   • Mecanismo de Recuperación: El agente utiliza un pipeline de recuperación consciente de fragmentos (chunk-aware) que busca en todo el informe (incluyendo el pool de fragmentos de no-declaración) evidencia corroborante, en lugar de depender únicamente del contexto inmediato de la declaración.
4. Agente Comparador (Análisis Transversal de Informes): Agrega los resultados para identificar patrones, valores atípicos y "puntos críticos de lavado" (washing hotspots: alta frecuencia, baja credibilidad) a través de sectores y objetivos.

Protocolo de Validación:
El marco se aplicó a 30 informes de sostenibilidad de empresas que cotizan en la Bolsa de Valores de Tailandia (SET) (año de reporte 2024), cubriendo 6,325 declaraciones mapeadas. La validación incluyó:

• Referencia de Fiabilidad de Expertos: Una muestra estratificada de 63 declaraciones fue calificada por dos expertos en la materia y el marco de IA. El acuerdo se midió utilizando el alfa ordinal de Krippendorff y el kappa cuadrático ponderado de Cohen.
• Robustez de la Recuperación: Se compararon tres pipelines de recuperación (embeddings de OpenAI, Nomic-Embed de código abierto local y LLM-como-juez) para asegurar que los hallazgos no fueran artefactos de un modelo de embedding específico.
• Iteración de Prompts: El prompt de calificación se refinó a través de tres versiones basadas en la retroalimentación de expertos, tratando el prompt como un artefacto metodológico sujeto a calibración empírica.

3. Resultados Clave

• Fiabilidad: El marco alcanzó un alfa ordinal de Krippendorff de tres evaluadores de 0.744, situándose en el rango de "acuerdo sustancial". El acuerdo del marco con los expertos individuales fue estadísticamente indistinguible del acuerdo entre los dos expertos humanos, lo que indica que la IA alcanzó el techo empírico para esta tarea.
• Distribución de Credibilidad: A través del corpus de 6,325 declaraciones:
  • El 8.7% se clasificó como Simbólico.
  • El 68.6% fue Parcialmente Sustantivo.
  • El 22.8% fue Sustantivo.
• Debilidades Dimensionales: La Mensurabilidad fue la dimensión más débil (media de 0.71), lo que indica que la mayoría de las declaraciones carecen de métricas cuantitativas. La Consistencia fue la más fuerte (media de segundo 2.63), debido principalmente a que la recuperación consciente de fragmentos encontró referencias cruzadas.
• Sub-declaración vs. Sobre-declaración: Contrario a la suposición de que las firmas sobre-declaran, el estudio encontró que las empresas tienden a sub-declarar su compromiso con los ODS. Las empresas declararon menos objetivos de los que sus informes abordaron sustantivamente.
• Puntos Críticos de Lavado (SDG-Washing Hotspots): Una matriz de frecuencia-credibilidad identificó los ODS 3, 8, 9 y 16 como puntos críticos (alta frecuencia de reporte, baja credibilidad), particularmente respecto a la Mensurabilidad. Por el contrario, el ODS 13 (Acción Climática) mostró una alta frecuencia de reporte pero mantuvo una credibilidad superior a la media, desafiando la visión de que la divulgación climática es puramente "señalización barata".
• Impacto Metodológico: El uso del avanzado sistema de recuperación "consciente de fragmentos" y los prompts refinados redujo la prevalencia estimada de reportes simbólicos del 20.7% (línea base) al 8.7%, demostando que los métodos de un solo paso basados solo en declaraciones sobreestiman significativamente el compromiso simbólico.

4. Contribuciones Clave

• Metodológica: Desarrollo del primer marco automatizado capaz de evaluar la credibilidad (no solo la relevancia) de las declaraciones de los ODS a escala. El estudio operacionaliza la rúbrica SMTEC e introduce un pipeline de recuperación consciente de fragmentos que saca a la luz la evidencia de secciones transversales, tratando la ausencia de evidencia como una señal.
• Teórica: Avanza en las teorías de Legitimidad, Señalización y Rendición de Cuentas al operacionalizarlas dentro de un instrumento computacionalmente tratable. Identifica patrones específicos como la "excepción institucional del ODS-13" y la "asimetría de sub-declaración".
• Empírica: Proporciona la primera evidencia a nivel de declaración para el contexto corporativo tailandés, revelando que si bien la adopción del reporte es alta, el compromiso sustantivo sigue siendo limitado (22.8% de las declaraciones) y que las empresas a menudo sub-reportan su desempeño real.
• Práctica: Ofrece un instrumento desplegable para reguladores, inversores y organismos normativos para filtrar divulgaciones de alto riesgo y construir puntuaciones de ODS ponderadas por credibilidad.

5. Significado y Reivindicaciones

El artículo afirma resolver la paradoja de escalabilidad–rigor en el análisis de la información de sostenibilidad. Al ir más allá de la simple clasificación de palabras clave hacia una evaluación basada en agentes y rúbricas, el marco distingue entre divulgaciones sustantivas y simbólicas con una fiabilidad comparable a la de los expertos humanos.

El estudio enfatiza que la distinción entre la presencia de alineación con los ODS y la calidad de esa alineación es crítica. Argumenta que las herramientas automatizadas actuales no logran abordar esta brecha. Los hallazgos sugieren que, aunque el volumen de reporte de los ODS es alto, la profundidad del compromiso es a menudo superficial, caracterizada por la falta de objetivos medibles y evidencia cuantitativa. El marco proporciona un mecanismo escalable para exigir responsabilidad a las corporaciones por la sustancia de sus declaraciones, ofreciendo una herramienta para que las partes interesadas naveguen la brecha entre "forma versus sustancia" en la divulgación de sostenibilidad global.

Los autores mantienen la modestia respecto a la "verdad" de sus hallazgos, reconociendo que los resultados son sensibles a las elecciones del instrumento (por ejemplo, el diseño de la recuperación y la iteración de los prompts). Sin embargo, sostienen que el marco ofrece un enfoque robusto y fundamentado en la teoría para evaluar las declaraciones corporativas de los ODS que anteriormente no estaba disponible.