Evaluating the scientific rigour of climate scenario analysis: LLM-assisted evidence from New Zealand’s mandatory disclosures

Resumen Técnico: Evaluación del Rigor Científico del Análisis de Escenarios Climáticos en Nueva Zelanda

Planteamiento del Problema
La estabilidad financiera global se ve cada vez más amenazada por el cambio climático, lo que ha impulsado una ola de divulgaciones obligatorias relacionadas con el clima (p. ej., TCFD, IFRS S1/S2, EU CSRD). Nueva Zelanda (NZ) fue pionera en este cambio regulatorio, exigiendo legalmente a aproximadamente 200 grandes entidades (Entidades de Reporte Climático o CRE) la divulgación de su resiliencia climática frente a distintos escenarios a partir del 1 de enero de 2023. Sin embargo, existe una brecha crítica entre el cumplimiento regulatorio y la utilidad científica genuina. Mientras las empresas incurren en costos significativos (hasta NZ$2 millones por entidad) para producir estas divulgaciones, el rigor científico de sus análisis de escenarios subyacentes permanece sin examinar. Existe el riesgo de que estas divulgaciones sean meros ejercicios de "marcar casillas" narrativos, propensos al greenwashing, a la mala interpretación de la ciencia climática y a la "inconsistencia interna", donde se conllevan modelos y fuentes de datos dispares. Además, la auditoría manual de cientos de documentos complejos y de múltiples páginas para verificar el fundamento científico crea un cuello de botella operativo para los reguladores e inversores.

Metodología
Este estudio emplea un novedoso marco asistido por Modelos de Lenguaje de Gran Escala (LLM) para auditar el rigor científico de los dos primeros periodos de reporte obligatorio de Nueva Zelanda (FY23/24 y FY24/25).

• Muestra: Los investigadores compilaron y filtraron un conjunto de datos de 227 declaraciones climáticas de 173 entidades de reporte únicas a través de sectores financieros y no financieros.
• Marco de Evaluación: Un equipo multidisciplinario de expertos en ciencia climática, finanzas y adaptación desarrolló una matriz de 13 preguntas específicas para evaluar el análisis de escenarios. Estas preguntas apuntan a elementos clave como nombres de escenarios, objetivos de temperatura, proveedores de datos, supuestos base e la integración de modelos físicos y económicos.
• Arquitectura de LLM: El estudio utilizó un flujo de trabajo de Generación Aumentada por Recuperación (RAG) Agéntica impulsado por Claude 3.5 Sonnet de Anthropic.
  • Procesamiento de Datos: Los documentos fueron analizados mediante PyMuPDF y Tesseract OCR, y luego procesados a través de una estrategia de fragmentación jerárquica "de pequeño a grande" (fragmentos hijos de 400 tokens vinculados a fragmentos padres de 2,000 tokens) almacenados en una base de datos vectorial Qdrant.
  • Flujo de Trabajo Agéntico: A diferencia de los flujos de trabajo RAG lineales y rígidos, el sistema utilizó un agente iterativo impulsado por herramientas capaz de un razonamiento de múltiples turnos. El agente ajustó dinámicamente las consultas de búsqueda para localizar información implícita o distribuida de forma no lineal (p. ej., supuestos de modelado específicos).
  • Estructura de Salida: El agente fue constreñido por un prompt de sistema estricto para generar datos estructurados para cada una de las 13 preguntas, incluyendo la respuesta, la evidencia textual exacta (citas), los indicadores de ubicación, registros de anomalías y una métrica de confianza (Alta/Baja).
• Validación: Para asegurar la fiabilidad, el flujo de trabajo automatizado se comparó con una "verdad de terreno" anotada por humanos, derivada de una auditoría manual de 13 divulgaciones. El sistema alcanzó una tasa de precisión exacta del 91% (93% incluyendo coincidencias parciales), con fallos ocurridos principalmente en tareas interpretativas complejas en lugar de la extracción de texto explícito.

Resultos Clave
El análisis de 227 divulgaciones revela paradojas estructurales significativas en el estado actual del reporte climático:

1. Dominio de la Narrativa sobre la Cuantificación: Las divulgaciones son altamente comprehensivas en volumen (promediando ~47 páginas) pero predominantemente narrativas. Las métricas cuantitativas representan solo ~2.1% del total de caracteres. Las entidades financieras tienden a utilizar un tono más negativo y prudente en comparación con las entidades no financieras, pero ambos sectores siguen estando fuertemente basados en texto.
2. Metodologías Fragmentadas e Inconsistentes: Aunque todas las entidades se adhieren al mandato de tres escenarios (1.5°C, ≥3°C y una tercera vía), las taxonomías subyacentes están altamente fragmentadas. Las entidades frecuentemente "eligen y mezclan" escenarios de proveedores internacionales (IPCC, NGFS) y organismos locales (CCC, NIWA) sin una lógica estructural clara.
3. Falta de Rigor Científico y Baselines:
   • El 68% de las divulgaciones no establece explícitamente sus escenarios base (baselines).
   • Existe una amplia confusión entre agregadores de datos (p. ej., S&P Trucost, NGFS) y arquitecturas de modelado primario (p. ej., CMIP6, IAMs como GCAM).
   • El modelado de transmisión macroeconómica explícita (p. ej., modelos de Equilibrio General Computable) es casi totalmente inexistente.
   • Las entidades suelen confundir los escenarios base estructurales con los baselines de modelado físico localizado (p. ej., datos históricos), creando una "inconsistencia interna".
4. Desempeño y Limitaciones del LLM: El sistema RAG agéntico logró escalar el análisis pero también resaltó modos de fallo específicos. El modelo exhibió una correlación negativa entre sus puntuaciones de confianza interna y el éxito de recuperación real en áreas complejas (p. ej., identificar baselines). El sistema generó frecuentemente "aserciones de baja confianza" o razonamientos defensivos cuando los datos faltaban, en lugar de señalar limpiamente "no encontrado", demostiendo que la ingeniería de prompts por sí sola no puede eliminar las alucinaciones en datos no estructurados.

Contribuciones Clave

• Primera Auditoría Sistemática: Este estudio proporciona una de las primeras evaluaciones sistemáticas del rigor científico del análisis de escenarios climáticos corporativos bajo un régimen obligatorio.
• Marco de Auditoría Automatizado: Demuestra un marco de RAG asistido por LLM escalable capaz de auditar cientos de divulgaciones, ofreciendo una herramienta potencial para reguladores internacionales a medida que los mandatos globales se expanden.
• Diagnóstico de la "Niebla Analítica": El artículo identifica que la flexibilidad regulatoria actual, combinada con fuentes de datos heterogéneas, ha creado una "niebla analítica" donde las costosas divulgaciones no logran proporcionar datos comparables y científicamente fundamentados para la asignación de capital.
• Validación de RAG Agéntico: Ofrece evidencia empírica sobre la fiabilidad y las condiciones límite del uso de IA agéntica para el análisis de políticas, mostrando una alta precisión para datos explícitos pero desafíos significativos para interpretar la lógica científica compleja e implícita.

Significancia y Reivindicaciones
El artículo sostiene que, si bien el marco regulatorio de Nueva Zelanda logró forzar el cumplimiento legal, inadvertidamente ha incentivado un ciclo de cumplimiento "performativo". Las divulgaciones actuales, limitadas por estilos narrativos y metodologías inconsistentes, no logran entregar la transparencia de mercado y la eficiencia en la asignación de capital pretendidas por los estándares TCFD e IFRS.

Los autores argumentan que la brecha entre el cumplimiento regulatorio y la utilidad científica se ve exacerbada por el desacoplamiento de la ciencia climática física de la toma de decisiones financieras. Advierten que, sin un cambio hacia un reporte estandarizado y legible por máquinas y un acoplamiento explícito de los modelos físicos y económicos, los sistemas de auditoría automatizados simplemente escalarán la extracción de "narrativas vacías". El documento concluye que el despliegue de LLMs en la auditoría climática no es una solución mágica; más bien, expone la necesidad de una estandarización de datos más estricta en la fuente para evitar la amplificación de la incertidumbre y el riesgo de maladaptación en el sistema financiero.