Evaluating the scientific rigour of climate scenario analysis: LLM-assisted evidence from New Zealand’s mandatory disclosures

Resumo Técnico: Avaliando o Rigor Científico da Análise de Cenários Climáticos na Nova Zelândia

Declaração do Problema
A estabilidade financeira global é cada vez mais ameaçada pelas alterações climáticas, impulsionando uma onda de divulgações financeiras obrigatórias relacionadas com o clima (ex.: TCFD, IFRS S1/S2, EU CSRD). A Nova Zelândia (NZ) foi pioneira nesta mudança regulatória, exigindo legalmente que aproximadamente 200 grandes entidades (Entidades de Relatórios Climáticos ou CREs) divulguem a resiliência climática contra cenários distintos a partir de 1 de janeiro de 2023. No entanto, existe uma lacuna crítica entre a conformidade regulatória e a utilidade científica genuína. Embora as empresas incorram em custos significativos (até NZ$ 2 milhões por entidade) para produzir estas divulgações, o rigor científico das suas análises de cenários subjacentes permanece não examinado. Existe o risco de que estas divulgações sejam meramente exercícios de "cumprimento de formalidades" narrativos, propensos ao greenwashing, à má interpretação da ciência climática e à "inconsistência interna", onde modelos e fontes de dados díspares são confundidos. Além disso, a auditoria manual de centenas de documentos complexos e de múltiplas páginas para verificar o embasamento científico cria um gargalo operacional para reguladores e investidores.

Metodologia
Este estudo emprega uma estrutura inovadora assistida por Modelos de Linguagem de Grande Escala (LLM) para auditar o rigor científico dos dois primeiros períodos de relatórios obrigatórios da NZ (FY23/24 e FY24/25).

• Amostra: Os investigadores compilaram e filtraram um conjunto de dados de 227 declarações climáticas de 173 entidades de relatório únicas, abrangendo setores financeiros e não financeiros.
• Estrutura de Avaliação: Uma equipa multidisciplinar de especialistas em ciência climática, finanças e adaptação desenvolveu uma matriz de 13 questões específicas para avaliar a análise de cenários. Estas questões visam elementos-chave como nomes de cenários, metas de temperatura, fornecedores de dados, pressupostos de base e a integração de modelos físicos e económicos.
• Arquitetura de LLM: O estudo utilizou um pipeline de Geração Aumentada de Recuperação (RAG) Agêntica alimentado pelo Claude 3.5 Sonnet da Anthropic.
  • Processamento de Dados: Os documentos foram analisados via PyMuPDF e Tesseract OCR, sendo processados através de uma estratégia de fragmentação hierárquica "pequeno-para-grande" (pedaços filhos de 400 tokens ligados a pedaços pais de 2.000 tokens) armazenados numa base de dados vetorial Qdrant.
  • Fluxo de Trabalho Agêntico: Ao contrário dos pipelines RAG lineares e rígidos, o sistema utilizou um agente iterativo orientado por ferramentas, capaz de raciocínio de múltiplos turnos. O agente ajustava dinamicamente as consultas de pesquisa para localizar informações implícitas ou distribuídas de forma não linear (ex.: pressupostos de modelagem específicos).
  • Estrutura de Saída: O agente foi restringido por um system prompt estrito para gerar dados estruturados para cada uma das 13 questões, incluindo a resposta, evidência textual exata (citações), ponteiros de localização, registos de anomalias e uma métrica de confiança (Alta/Baixa).
• Validação: Para garantir a fiabilidade, o pipeline automatizado foi comparado com uma "verdade fundamental" anotada por humanos, derivada de uma auditoria manual de 13 divulgações. O sistema alcançou uma taxa de precisão exata de 91% (93% incluindo correspondências parciais), com falhas ocorrendo principalmente em tarefas interpretativas complexas, e não na extração de texto explícito.

Principais Resultados
A análise de 227 divulgações revela paradoxos estruturais significativos no estado atual do reporte climático:

1. Dominância Narrativa sobre a Quantificação: As divulgações são altamente abrangentes em volume (média de ~47 páginas), mas predominantemente narrativas. Métricas quantitativas representam apenas cerca de 2,1% do total de caracteres. Entidades financeiras tendem a utilizar um tom mais negativo e prudente em comparação com entidades não financeiras, mas ambos os setores permanecem fortemente baseados em texto.
2. Metodologias Fragmentadas e Inconsistentes: Embora todas as entidades cumpram o mandato de três cenários (1,5°C, ≥3°C e uma terceira via), as taxonomias subjacentes são altamente fragmentadas. As entidades frequentemente "escolhem e misturam" cenários de provedores internacionais (IPCC, NGFS) e organismos locais (CCC, NIWA) sem uma lógica estrutural clara.
3. Falta de Rigor Científico e de Linhas de Base:
   • 68% das divulgações não declaram explicitamente os seus cenários de base.
   • Existe uma confusão generalizada entre agregadores de dados (ex.: S&P Trucost, NGFS) e arquiteturas de modelagem primária (ex.: CMIP6, IAMs como GCAM).
   • A modelagem de transmissão macroeconómica explícita (ex.: modelos de Equilíbrio Geral Computável) é quase inteiramente ausente.
   • As entidades frequentemente confundem linhas de base de cenários estruturais com linhas de base de modelagem física localizada (ex.: dados históricos), criando "inconsistência interna".
4. Desempenho e Limitações do LLM: O sistema RAG agêntico conseguiu escalar a análise, mas destacou modos de falha específicos. O modelo exibiu uma correlação negativa entre os seus scores de confiança interna e o sucesso de recuperação real em áreas complexas (ex.: identificação de linhas de base). O sistema gerou frequentemente "asserções de baixa confiança" ou justificações defensivas quando os dados estavam ausentes, em vez de sinalizar claramente "não encontrado", demonstrando que a engenharia de prompt por si só não consegue eliminar as alucinações em dados não estruturados.

Principais Contribuições

• Primeira Auditoria Sistemática: Este estudo fornece uma das primeiras avaliações sistemáticas do rigor científico da análise de cenários climáticos corporativos sob um regime obrigatório.
• Estrutura de Auditoria Automatizada: Demonstra um framework RAG assistido por LLM escalável, capaz de auditar centenas de divulgações, oferecendo uma ferramenta potencial para reguladores internacionais à medida que os mandatos globais se expandem.
• Diagnóstico de "Névoa Analítica": O artigo identifica que a atual flexibilidade regulatória, combinada com fontes de dados heterogéneas, criou uma "névoa analítica" onde as custosas divulgações falham em fornecer dados comparáveis e cientificamente fundamentados para a alocação de capital.
• Validação de RAG Agêntico: Oferece evidência empírica sobre a fiabilidade e as condições de contorno do uso de IA agêntica para análise de políticas, mostrando alta precisão para dados explícitos, mas desafios significativos na interpretação de lógica científica complexa e implícita.

Significado e Alegações
O artigo alega que, embora o quadro regulatório da NZ tenha compelido com sucesso a conformidade legal, ele inadvertidamente incentivou um ciclo de conformidade "performativo". As atuais divulgações, limitadas por estilos narrativos e metodologias inconsistentes, falham em entregar a transparência de mercado e a eficiência de alocação de capital pretendidas pelos padrões TCFD e IFRS.

Os autores argumentam que a lacuna entre a conformidade regulatória e a utilidade científica é exacerbada pelo descolamento da ciência climática física da tomada de decisão financeira. Eles alertam que, sem uma mudança para o reporte padronizado e legível por máquina e para o acoplamento explícito de modelos físicos e económicos, os sistemas de auditoria automatizados irão apenas escalar a extração de "narrativas vazias". O artigo conclui que o deployment de LLMs na auditoria climática não é uma solução milagrosa; antes, expõe a necessidade de uma padronização de dados mais rigorosa na origem para evitar a amplificação da incerteza e o risco de má adaptação no sistema financeiro.