Assessing the Credibility of Corporate SDG Claims: An Agentic AI Framework for Sustainability Report Analysis

Resumo Técnico: Avaliando a Credibilidade das Alegações Corporativas de ODS via um Framework de IA Agêntica

1. Declaração do Problema

O engajamento corporativo com os Objetivos de Desenvolvimento Sustentável (ODS) das Nações Unidas expandiu-se rapidamente, com 7 tamanha de 74% das 250 maiores empresas do mundo referenciando os ODS em seus relatórios de 2024. No entanto, a qualidade dessas divulgações não acompanhou o aumento de sua quantidade. Uma parte significativa das alegações corporativas de ODS permanece simbólica — referências genéricas carentes de metas mensuráveis, métricas quantitativas ou evidências verificáveis. Este fenômeno, denominado "SDG-washing" (lavagem de ODS), envolve a apropriação da autoridade normativa dos ODS para construir legitimidade sem ação substantiva.

Os métodos de avaliação atuais enfrentam um "paradoxo escalabilidade–rigor": a análise de conteúdo manual é rigorosa, mas não consegue escalar para as dezenas de milhares de relatórios anuais, enquanto a correspondência de palavras-chave automatizada é escalável, mas falha em distinguir entre a mera presença de referências aos ODS e a credibilidade das alegações. Ferramentas de IA existentes (ex: OSDG, ClimateBERT) classificam a relevância dos ODS, mas não avaliam a profundidade, especificidade ou o suporte de evidências das alegações. Além disso, há uma carência de avaliação de credibilidade automatizada ao nível da alegação, aplicada especificamente ao contexto corporativo tailandês, onde o reporte é obrigatório, mas a qualidade do conteúdo varia significemente.

2. Metodologia

O estudo desenvolve e valida um Framework de IA Agêntica de quatro fases projetado para avaliar a credibilidade das alegações de ODS corporativas em escala. O framework utiliza uma arquitetura multiagente implementada em Python usando LangGraph, apresentando loops de feedback que permitem que agentes de camadas inferiores acionem a reexaminação de avaliações de camadas superiores.

A Arquitetura de Quatro Fases:

1. Agente Planejador (Ingestão e Estruturação): Converte relatórios de sustentabilidade brutos em PDF em unidades de texto hierárquicas e estruturadas em JSON usando a Extração de Documentos Agênticos (ADE) da LandingAI. Este sistema baseado em visão preserva o contexto relacional e vincula as avaliações a localizações precisas na fonte. Ele distingue unidades de alegação de sustentabilidade discretas de textos padronizados (boilerplate) e cria um "pool de chunks" persistente de evidências não relacionadas à alegação (ex: tabelas de dados, sumários executivos).
2. Agente Mapeador (Mapeamento ao Nível de Meta): Mapeia cada alegação extraída contra os 169 alvos específicos dos ODS (em vez de apenas os 17 objetivos de alto nível). Ele emprega um processo de prompting de dois estágios: triagem ao nível do objetivo seguida de julgamento de relevância ao nível do alvo. As alegações são mapeadas com um escore de confiança; aquelas abaixo de um limiar de 0,5 são sinalizadas como não mapeáveis.
3. Agente Pontuador (Avaliação de Credibilidade Multidimensional): O componente metodológico central. Ele avalia cada alegação mapeada em uma rubrica de credibilidade de cinco dimensões (SMTEC), fundamentada nas teorias de legitimidade, sinalização e accountability:
   • Especificidade: Concretude da ação/iniciativa.
   • Mensurabilidade: Presença de métricas quantitativas, KPIs e linhas de base (baselines).
   • Temporalidade: Existência de prazos, marcos e cronogramas.
   • Evidência: Tipo e força da fundamentação (ex: verificação por terceiros).
   • Consistência: Coerência interna ao longo do relatório (verificada via recuperação de seções cruzadas).
   • Pontuação: Cada dimensão é pontuada em uma escala ordinal de 0 a 3. Um escore composto (média das cinco) classifica as alegações em três níveis: Simbólicas (<1,0), Parcialmente Substantivas (1,0–1,99) e Substantivas (≥2,0).
   • Mecanismo de Recuperação: O agente utiliza um pipeline de recuperação consciente de chunks que busca em todo o relatório (incluindo o pool de chunks de evidências não relacionadas à alegação) por evidências corroboradoras, em vez de depender exclusivamente do contexto imediato da alegação.
4. Agente Comparador (Análise Trans-Relatório): Agrega os resultados para identificar padrões, outliers e "hotspots de lavagem" (alta frequência, baixa credibilidade) entre setores e objetivos.

Protocolo de Validação:
O framework foi aplicado a 30 relatórios de sustentabilidade de empresas listadas na Bolsa de Valores de Tailândia (SET) (ano de reporte 2024), cobrindo 6.325 alegações mapeadas. A validação envolveu:

• Benchmark de Confiabilidade de Especialistas: Uma amostra estratificada de 63 alegações foi pontuada por dois especialistas de domínio e pelo framework de IA. A concordância foi medida usando o alfa ordinal de Krippendorff e o kappa quadrático ponderado de Cohen.
• Robustez de Recuperação: Três pipelines de recuperação (embeddings da OpenAI, Nomic-Embed de código aberto local e LLM-as-judge) foram comparados para garantir que os achados não fossem artefatos de um modelo de embedding específico.
• Iteração de Prompt: O prompt de pontuação foi refinado através de três versões baseadas no feedback de especialistas, tratando o prompt como um artefato metodológico sujeito a calibração empírica.

3. Principais Resultados

• Confiabilidade: O framework alcançou um alfa ordinal de Krippendorff de três avaliadores de 0,744, situando-se na faixa de "concordância substancial". A concordância do framework com especialistas individuais foi estatisticamente indistinguível da concordância entre os dois especialistas humanos, indicando que a IA atingiu o teto empírico para esta tarefa.
• Distribuição de Credibilidade: Ao longo do corpus de 6.325 alegações:
  • 8,7% foram classificadas como Simbólicas.
  • 68,6% foram Parcialmente Substantivas.
  • 22,8% foram Substantivas.
• Fraquezas Dimensionais: A Mensurabilidade foi a dimensão mais fraca (média de 0,71), indicando que a maioria das alegações carece de métricas quantitativas. A Consistência foi a mais forte (média de 2,63), em grande parte devido à recuperação consciente de chunks que encontrou referências cruzadas.
• Sub-Alegação vs. Sobre-Alegação: Contrário à suposição de que as empresas sobre-alegam, o estudo descobriu que as empresas tendem a sub-alegar seu engajamento com os ODS. As empresas declararam menos objetivos do que seus relatórios abordavam substantivamente.
• Hotspots de SDG-Washing: Uma matriz de frequência-credibilidade identificou os ODS 3, 8, 9 e 16 como hotspots (alta frequência de reporte, baixa credibilidade), particularmente em relação à Mensurabilidade. Por outro outro lado, o ODS 13 (Ação Climática) mostrou alta frequência de reporte, mas manteve credibilidade acima da média, desafiando a visão de que o reporte climático é puramente "sinalização barata".
• Impacto Metodológico: O uso do avançado "retrieval consciente de chunks" e prompts refinados reduziu a prevalência estimada de reportes simbólicos de 20,7% (baseline) para 8,7%, demonstrando que métodos de passagem única, focados apenas na alegação, superestimam significativamente o engajamento simbólico.

4. Principais Contribuições

• Metodológica: Desenvolvimento do primeiro framework automatizado capaz de avaliar a credibilidade (não apenas a relevância) das alegações de ODS em escala. O estudo operacionaliza a rubrica SMTEC e introduz um pipeline de recuperação consciente de chunks que traz à tona evidências de seções cruzadas, tratando a ausência de evidência como um sinal.
• Teórica: Avança as teorias de Legitimidade, Sinalização e Accountability ao operacionalizá-las dentro de um instrumento computacionalmente tratável. Identifica padrões específicos, como a "exceção institucional do ODS-13" e a "assimetria de sub-alegação".
• Empírica: Fornece a primeira evidência ao nível de alegação para o contexto corporativo tailandês, revelando que, embora a adoção de reportes seja alta, o engajamento substantivo permanece limitado (22,8% das alegações) e que as empresas frequentemente sub-reportam seu desempenho real.
• Prática: Oferece um instrumento implantável para reguladores, investidores e formuladores de normas para filtrar divulgações de alto risco e construir pontuações de ODS ponderadas pela credibilidade.

5. Significância e Alegações

O artigo afirma resolver o paradoxo escalabilidade–rigor na análise de relatórios de sustentabilidade. Ao ir além da simples classificação de palavras-chave para uma avaliação baseada em múltiplos agentes e rubricas, o framework distingue divulgações substantivas de simbólicas com uma confiabilidade comparável à de especialistas humanos.

O estudo enfatiza que a distinção entre a presença de alinhamento com os ODS e a qualidade desse alinhamento é crítica. Argumenta-se que as ferramentas automatizadas atuais falham em abordar essa lacuna. Os achados sugerem que, embora o volume de reporte dos ODS seja alto, a profundidade do compromisso é frequentemente rasa, caracterizada pela falta de metas mensuráveis e evidências quantitativas. O framework fornece um mecanismo escalável para responsabilizar as corporações pela substância de suas alegações, ofereando uma ferramenta para que os stakeholders naveguem no hiato entre "forma versus substância" nos relatórios globais de sustentabilidade.

Os autores permanecem modestos quanto à "verdade" dos achados, reconhecendo que os resultados são sensíveis às escolhas do instrumento (ex: design de recuperação e iteração de prompt). No entanto, afirmam que o framework oferece uma abordagem robusta e fundamentada em teoria para avaliar as alegações corporativas de ODS que anteriormente não estava disponível.