ESGenius: Benchmarking LLMs on Environmental, Social, and Governance (ESG) and Sustainability Knowledge

O artigo apresenta o ESGenius, o primeiro benchmark abrangente para avaliar o conhecimento de modelos de linguagem em ESG e sustentabilidade, demonstrando que, embora os modelos de ponta apresentem desempenho moderado em cenários zero-shot, a integração de métodos de Geração Aumentada por Recuperação (RAG) com um corpus de fontes autoritativas eleva significativamente a precisão, especialmente em modelos menores.

O essencial

Imagine que você tem um grupo de 50 robôs superinteligentes (chamados de Grandes Modelos de Linguagem ou LLMs) que podem escrever poemas, resolver equações matemáticas e conversar sobre qualquer coisa. Agora, imagine que você precisa testar se eles realmente entendem o mundo real das empresas e do meio ambiente – coisas como: "Como uma fábrica deve relatar sua poluição?", "Quais são os direitos dos trabalhadores?" ou "Como medir o impacto das mudanças climáticas?".

O problema é que, até agora, ninguém tinha um "prova" oficial para testar isso. Era como dar uma prova de matemática para um aluno que só estudou história: ele pode ser inteligente, mas não saberia responder.

É aí que entra o ESGenius.

O que é o ESGenius?

Pense no ESGenius como um grande simulado de concurso público, mas feito especificamente para robôs de IA sobre o tema ESG (Ambiental, Social e Governança).

O projeto foi criado por pesquisadores da Alibaba e da Universidade de Nanyang (Singapura) e tem duas partes principais:

1. O "Banco de Perguntas" (ESGenius-QA): São 1.136 perguntas de múltipla escolha. Mas não são perguntas fáceis do tipo "O que é ESG?". São perguntas difíceis, como: "Se uma empresa reduz suas emissões de carbono, mas ignora a gestão da água, qual é o impacto específico no relatório de sustentabilidade segundo a norma X?".

   • Como foram feitas? Um robô ajudou a criar as perguntas, mas humanos especialistas (pessoas que trabalham com sustentabilidade há anos) leram cada uma delas, corrigiram erros e garantiram que a resposta estivesse correta. É como ter um professor rigoroso revisando a prova.

2. A "Biblioteca de Referência" (ESGenius-Corpus): Para responder a essas perguntas difíceis, os robôs precisam de livros de consulta. O ESGenius reuniu 231 documentos oficiais (como regras da ONU, relatórios de mudanças climáticas e manuais de contabilidade verde). São mais de 19.000 páginas de regras e fatos.

Como foi o teste?

Os pesquisadores fizeram dois tipos de teste com os 50 robôs:

• Teste "Cérebro Puro" (Zero-Shot): Os robôs tiveram que responder sem consultar nada. Eles tinham que confiar apenas no que aprenderam durante seu treinamento inicial.

  • O resultado: A maioria dos robôs foi mal. Eles acertaram apenas entre 55% e 70% das perguntas. Isso mostra que, mesmo sendo inteligentes, eles não sabem "de cor" as regras complexas de sustentabilidade. É como tentar fazer uma prova de medicina sem estudar o livro didático: você chuta, mas erra muito.

• Teste "Com Consulta" (RAG): Aqui, os robôs puderam ler os documentos oficiais antes de responder. O sistema buscava a parte do livro que continha a resposta e entregava para o robô ler.

  • O resultado: A mágica aconteceu! Os robôs, especialmente os menores e mais rápidos, melhoraram drasticamente. Alguns robôs pequenos, que antes acertavam pouco, passaram a acertar mais de 80% das perguntas.
  • A lição: Não adianta ter um robô gigante se ele não sabe onde procurar a informação. Com a "biblioteca" na mão, até robôs menores conseguem se sair melhor que os gigantes que tentam adivinhar.

Analogia do Detetive

Imagine que os robôs são detetives:

• No primeiro teste, você pede para o detetive resolver um crime complexo sem deixar ele ler as provas ou conversar com testemunhas. Ele tenta usar a intuição e acaba se confundindo.
• No segundo teste, você entrega a ele a pasta do caso (os documentos ESG) e diz: "Leia isso e me diga o que aconteceu". De repente, o detetive se torna um gênio, encontrando a resposta exata na página 42 do relatório.

Por que isso é importante?

O mundo corporativo e governamental está cheio de regras sobre meio ambiente e justiça social. Se as empresas usam IAs para escrever relatórios ou tomar decisões, e essas IAs não entendem as regras, elas podem cometer erros graves, mentir sem querer (alucinar) ou violar leis.

O ESGenius é como uma régua de precisão. Ele nos diz:

1. As IAs atuais ainda precisam aprender muito sobre sustentabilidade.
2. A melhor maneira de usá-las não é apenas deixá-las "pensar", mas conectá-las a fontes confiáveis e oficiais (como a biblioteca de documentos que eles criaram).

Conclusão

O ESGenius é um passo gigante para tornar a Inteligência Artificial mais confiável quando o assunto é salvar o planeta e tratar as pessoas com justiça. Ele mostra que, para resolver problemas complexos do mundo real, a IA precisa de fatos verificados nas mãos, e não apenas de "achismos" gerados por seu cérebro digital.

E o melhor: tudo isso (as perguntas, os documentos e os resultados) foi colocado na internet de graça para que qualquer pessoa possa usar e melhorar ainda mais essas ferramentas.

Resumo técnico

Resumo Técnico: ESGenius

1. Problema e Motivação

O conhecimento em ESG (Ambiental, Social e Governança) e sustentabilidade é vasto, complexo e em constante evolução, abrangendo desde relatórios de mudanças climáticas (IPCC) até normas de contabilidade de sustentabilidade (GRI, SASB, ISSB). Embora os Grandes Modelos de Linguagem (LLMs) mostrem potencial para processar documentos técnicos, existe uma lacuna crítica:

• Falta de Avaliação Específica: Não há benchmarks abrangentes de Perguntas e Respostas (QA) projetados especificamente para avaliar a compreensão e o raciocínio de LLMs em conceitos de ESG.
• Riscos de Conformidade: Respostas incorretas sobre métricas ou requisitos de ESG podem levar a violações de conformidade sérias ou iniciativas de sustentabilidade equivocadas.
• Limitações dos Benchmarks Existentes: As avaliações atuais ou ignoram tópicos de ESG ou abordam-nos superficialmente, não capturando a natureza interdisciplinar e técnica do domínio.

2. Metodologia e Construção do Benchmark

O ESGenius é um benchmark completo composto por dois componentes principais, construídos através de um pipeline rigoroso:

A. ESGenius-Corpus (Corpo de Conhecimento)

• Uma coleção meticulosamente curada de 231 documentos fundamentais (PDFs) provenientes de 7 fontes autoritativas:
  1. GRI (Global Reporting Initiative)
  2. SASB (Sustainability Accounting Standards Board)
  3. IFRS/ISSB (International Sustainability Standards Board)
  4. IPCC (Painel Intergovernamental sobre Mudanças Climáticas)
  5. TCFD (Task Force on Climate-related Financial Disclosures)
  6. CDP (Carbon Disclosure Project)
  7. ODM/SDGs (Objetivos de Desenvolvimento Sustentável da ONU)
• O corpus abrange aproximadamente 19.600 páginas, cobrindo padrões globais, relatórios científicos e questionários corporativos.

B. ESGenius-QA (Conjunto de Dados de Avaliação)

• Geração: O pipeline utiliza LLMs (inicialmente o Qwen-max) para gerar candidatos a perguntas de múltipla escolha (MCQs) baseadas em trechos específicos do Corpus.
• Validação Humana: Um processo rigoroso de validação por especialistas do domínio (6 revisores independentes com experiência média de 5 anos e 3 consultores seniores) garante a precisão factual e a relevância.
• Estrutura: O conjunto final contém 1.136 perguntas de múltipla escolha de alta qualidade.
  • Cada pergunta possui 4 opções (A-D) mais uma opção "Não tenho certeza" (Z) para capturar a incerteza do modelo.
  • Rastreabilidade: Cada pergunta é explicitamente mapeada para as páginas e trechos de texto originais que contêm a resposta, permitindo avaliação transparente e suporte a métodos de Geração Aumentada por Recuperação (RAG).
• Controle de Qualidade: Taxa de rejeição de ~25% durante a curadoria para eliminar ambiguidades ou erros.

3. Protocolo de Avaliação

Os autores implementaram um protocolo de avaliação em duas etapas para 50 LLMs diferentes (de 0,5B a 671B parâmetros), incluindo modelos de código aberto (DeepSeek, Llama, Gemma, Qwen) e APIs proprietárias (GPT, o3, etc.):

1. Zero-Shot: Avalia o conhecimento intrínseco do modelo sem acesso externo, testando sua capacidade de raciocínio e memorização pré-treinada.
2. RAG (Geração Aumentada por Recuperação): Avalia a capacidade do modelo de sintetizar informações quando fornecido com o trecho de texto relevante do ESGenius-Corpus como contexto.

4. Principais Resultados

Os experimentos revelaram insights significativos sobre o estado da arte em LLMs para ESG:

• Desempenho Moderado em Zero-Shot: Mesmo os modelos mais avançados (como o o3) atingiram apenas 72,54% de precisão. A maioria dos modelos ficou na faixa de 55–70%, indicando uma lacuna de conhecimento significativa em domínios especializados e interdisciplinares.
• Impacto Transformador do RAG: A abordagem RAG demonstrou melhorias substanciais, especialmente para modelos menores.
  • Exemplo: O modelo DeepSeek-R1-Distill-Qwen-14B melhorou de 63,82% (Zero-Shot) para 80,46% com RAG.
  • Modelos menores com RAG frequentemente superaram modelos maiores operando apenas em Zero-Shot.
• Capacidade de Raciocínio: Modelos com foco explícito em raciocínio (como as variantes DeepSeek-R1 e o3) superaram consistentemente seus pares de tamanho similar sem essa capacidade.
• Análise de Erros: Muitas falhas ocorreram devido à dependência de sobreposição superficial de palavras-chave ou generalização excessiva para quadros políticos conhecidos, em vez de seguir normas de ESG específicas e mais estreitas.

5. Contribuições Chave

1. Primeiro Benchmark Abrangente de ESG: O ESGenius é o primeiro conjunto de dados de QA projetado rigorosamente para avaliar LLMs em conhecimento de sustentabilidade, cobrindo pilares ambientais, sociais e de governança.
2. Infraestrutura de Dados e Pipeline: Disponibilização do ESGenius-Corpus e do ESGenius-QA, com mapeamento explícito entre perguntas e evidências textuais, facilitando pesquisas em RAG.
3. Avaliação Extensiva: Uma análise comparativa de 50 modelos de diferentes famílias e tamanhos, fornecendo uma linha de base clara para a comunidade.
4. Iniciativa de Código Aberto: Todo o conjunto de dados, código de avaliação e um leaderboard interativo estão disponíveis publicamente, promovendo a reprodutibilidade e o avanço colaborativo.

6. Significado e Impacto

O trabalho demonstra que, para domínios de alto risco como ESG, a integração de domínio e a fundamentação transparente (grounding) são mais decisivas do que apenas o tamanho do modelo.

• Para a Indústria: Oferece uma ferramenta crítica para desenvolver sistemas de IA confiáveis que possam auxiliar na tomada de decisões de sustentabilidade, relatórios corporativos e conformidade regulatória.
• Para a Pesquisa: Estabelece um padrão para a avaliação de LLMs em áreas técnicas, destacando a necessidade de métodos de recuperação de informações (RAG) para superar as limitações de conhecimento paramétrico em domínios em rápida evolução.
• Ética: O benchmark inclui mecanismos para reduzir alucinações (opção "Não tenho certeza") e enfatiza a necessidade de citações de fontes autoritativas para evitar greenwashing ou desinformação.

Em resumo, o ESGenius preenche uma lacuna crítica na avaliação de IA, provando que, embora os LLMs atuais tenham um conhecimento básico moderado de ESG, sua eficácia real depende fortemente da capacidade de acessar e raciocinar sobre fontes de dados autoritativas e atualizadas.