ESG-Bench: Benchmarking Long-Context ESG Reports for Hallucination Mitigation

Este artigo apresenta o ESG-Bench, um conjunto de dados de referência com pares de perguntas e respostas anotados por humanos para avaliar e mitigar alucinações em modelos de linguagem ao analisar relatórios de ESG, demonstrando que estratégias de raciocínio em cadeia (Chain-of-Thought) melhoram significativamente a precisão factual e a confiabilidade em contextos de conformidade crítica.

O essencial

Imagine que as empresas modernas têm um "diário de bordo" gigante chamado Relatório ESG. Nele, elas contam como cuidam do E meio ambiente, como tratam as pessoas (Social) e como são geridas (Governança). Antigamente, escrever esse diário era opcional, mas hoje, em muitos lugares, é obrigatório por lei. É como se a empresa tivesse que mostrar a fatura de tudo o que faz de bom (ou ruim) para o planeta e a sociedade.

O problema é que esses diários são enormes, cheios de tabelas, gráficos e textos complicados. Ninguém consegue ler tudo isso manualmente. Então, a gente pediu ajuda para os Robôs Inteligentes (chamados de Modelos de Linguagem ou LLMs, como o ChatGPT) para lerem e resumirem essas informações.

Aqui entra o grande problema: os robôs às vezes alucinam.

O Problema da "Alucinação"

Imagine que você pede ao seu robô de cozinha para fazer um bolo baseado em uma receita antiga e confusa.

1. Alucinação Aditiva: O robô inventa um ingrediente que não existe na receita (ex: "adicionei um pouco de chocolate azul, que estava no texto"). Na verdade, o texto não falava de chocolate.
2. Alucinação Omissiva: O robô vê que a receita diz "adicione 2 ovos", mas ele esquece de mencionar isso e diz "a receita não tem ovos".

No mundo dos negócios, se um robô inventar que uma empresa é "verde" quando ela não é, ou esquece de mencionar uma multa ambiental, isso pode enganar investidores e prejudicar o planeta.

A Solução: O "ESG-Bench" (O Campo de Treino)

Os autores deste artigo criaram um campo de treino especial chamado ESG-Bench. É como uma academia de ginástica para robôs, mas em vez de pesos, eles levantam perguntas sobre relatórios ESG.

• O que tem lá? Perguntas reais feitas por humanos, com as respostas corretas (baseadas no texto original) e um "selo de verificação" dizendo se o robô acertou, errou ou inventou algo.
• O objetivo: Ensinar o robô a não inventar coisas e a dizer "não sei" quando a resposta não está no texto, em vez de chutar.

Como eles ensinaram os robôs? (A Técnica do "Pensamento em Cadeia")

Eles não apenas deram as respostas certas para os robôs decorarem. Eles usaram uma técnica chamada Chain-of-Thought (Cadeia de Pensamento), que é como ensinar uma criança a resolver um problema de matemática passo a passo, em vez de apenas dar o número final.

Eles criaram duas rotinas de treino:

1. Passo a Passo Simples: O robô primeiro pensa: "O texto tem a resposta?" Se sim, ele responde. Se não, ele diz "Não encontrei".
2. Passo a Passo Avançado (4 etapas): O robô faz um roteiro mental:
   • Passo 1: Qual é o assunto da pergunta?
   • Passo 2: Vou procurar no texto onde fala disso.
   • Passo 3: O texto realmente responde?
   • Passo 4: Agora, com base nisso, qual é a resposta?

O Resultado

Os robôs treinados com esse método de "pensar antes de falar" ficaram muito melhores.

• Eles inventaram muito menos coisas.
• Eles aprenderam a dizer "não sei" com mais confiança quando a informação não estava lá.
• O que é mais legal: o que eles aprenderam no treino de ESG serviu para melhorar a resposta deles em outros assuntos também!

Resumo da Ópera

Pense no ESG-Bench como um professor rigoroso que pegou relatórios gigantes e ensinou os robôs a serem honestos e precisos. Em vez de apenas "adivinhar" o que está escrito, os robôs agora aprendem a procurar a prova no texto antes de responder. Isso é crucial para garantir que as empresas não estejam mentindo sobre o quanto são "sustentáveis" e para que os investidores não sejam enganados por robôs alucinados.

É como passar de um aluno que chuta as respostas para um aluno que consulta o livro de regras antes de levantar a mão!

Resumo técnico

1. O Problema

O relatório de ESG (Ambiental, Social e Governança) tornou-se uma exigência legal em muitas regiões e um canal crucial para avaliar o desempenho ético e de longo prazo das empresas. No entanto, a análise automatizada desses documentos enfrenta desafios significativos:

• Complexidade e Longo Contexto: Os relatórios são extensos (centenas de páginas), multimodais (texto, tabelas, gráficos) e ricos em dados qualitativos, exigindo compreensão contextual profunda.
• Alucinações em LLMs: Os Modelos de Linguagem Grandes (LLMs) tendem a alucinar (inventar informações não suportadas) ou omitir respostas quando as evidências estão presentes, devido à dependência de conhecimento paramétrico que pode conflitar com o conteúdo factual do documento.
• Falta de Padronização e Confiança: A inconsistência nas avaliações de ESG e a dificuldade em detectar "greenwashing" exigem ferramentas escaláveis e transparentes.
• Deficiência em Benchmarks Existentes: Recursos atuais de QA (Questionário e Resposta) não cobrem adequadamente documentos longos e heterogêneos de ESG, nem fornecem rótulos específicos para alucinações ou raciocínio passo a passo (Chain-of-Thought).

2. Metodologia

Construção do ESG-Bench

Os autores desenvolveram um novo conjunto de dados (benchmark) focado na mitigação de alucinações em relatórios de ESG:

• Coleta de Dados: Relatórios foram obtidos de empresas de diversos setores (energia, finanças, tecnologia, etc.) e perguntas foram derivadas de fontes acadêmicas, regulatórias e geradas por IA.
• Pipeline de Anotação: Utilizou-se uma abordagem "modelo-então-anotador". O GPT-4o gerou respostas iniciais, que foram revisadas por anotadores humanos (especialistas em economia e sustentabilidade).
• Taxonomia de Alucinações: As respostas foram classificadas em:
  1. Correta: Totalmente suportada pelo contexto.
  2. Alucinação: Informação fabricada ou não suportada.
  3. Incompleta: Parcialmente precisa, mas faltando informações chave.
  4. Resposta Não Encontrada: O modelo disse "não fornecido" quando a resposta existia no texto (alucinação omissiva).
• Estrutura do Dataset: O conjunto final inclui 270 pares QA de relatórios únicos e uma versão ampliada para mitigação com mais de 28.000 exemplos, focando em contextos longos (média de 2.600 tokens, máximo de 46.500 tokens).

Estratégias de Mitigação de Alucinações

Os autores propuseram uma abordagem de três fases para treinar LLMs:

1. Ajuste Fino Supervisionado (SFT): Treinamento padrão em pares (contexto, pergunta, resposta) para ensinar o modelo a basear-se no texto e a abster-se se a informação não estiver presente.
2. Prompting Chain-of-Thought (CoT): Introdução de raciocínio intermediário durante a inferência. Foram testados dois formatos específicos para ESG:
   • CoT de 2 passos: Determinar se a resposta é possível e depois gerar a resposta.
   • CoT de 4 passos: Identificar o tópico, buscar evidências no relatório, determinar a viabilidade da resposta e, finalmente, gerar a resposta.
3. Ajuste Fino com CoT: O modelo é treinado com os passos de raciocínio (rationales) anotados, internalizando a estrutura de decisão para reduzir a dependência de heurísticas superficiais.

3. Contribuições Principais

• ESG-Bench: O primeiro recurso estruturado para avaliação sistemática e mitigação de alucinações em QA de longo contexto no domínio de ESG, com anotações humanas verificadas.
• Estratégia Específica para Tarefa: Desenvolvimento de técnicas de CoT adaptadas para relatórios longos e complexos, demonstrando que o raciocínio estruturado melhora a fundamentação factual.
• Validação de Sinal de Supervisão Proxy: Demonstração de que os julgamentos de "fundamentação" (sim/não) do próprio GPT-4o podem ser usados como sinal de supervisão eficaz para treinar modelos menores, reduzindo a necessidade de anotação humana massiva para cada etapa de treinamento.

4. Resultados Experimentais

Os experimentos foram realizados em três modelos de ponta (Llama-3.2-3B, Gemma-2-2B, Mistral-7B) e avaliados no ESG-Bench, além de benchmarks gerais (HaluEval, BioASQ).

• Desempenho Superior do CoT: As abordagens baseadas em CoT (especialmente a de 4 passos) superaram significativamente o zero-shot, o ajuste fino supervisionado padrão (SFT) e o prompting simples.
• Redução de Alucinações: O método CoT de 4 passos alcançou a maior precisão balanceada e pontuações F1, especialmente em casos onde não havia resposta no texto (WoA - Without Answer), demonstrando uma capacidade superior de "abster-se" corretamente em vez de alucinar.
  • Exemplo: No ESG-Bench, o modelo Mistral com CoT (4 passos) atingiu 96,00% de precisão em casos com resposta e 98,10% em casos sem resposta, com um F1 geral de 73,50%, superando todas as outras configurações.
• Generalização: Os ganhos observados no ESG-Bench transferiram-se para benchmarks gerais (BioASQ e HaluEval), indicando que a capacidade de raciocínio estruturado e verificação de evidências é aplicável além do domínio de ESG.
• Validação de Anotações: A análise de concordância mostrou que o GPT-4o pode servir como um proxy confiável para avaliar a fundamentação de suas próprias respostas, validando o uso de seus julgamentos binários para treinamento.

5. Significado e Impacto

• Conformidade e Auditoria: O trabalho fornece ferramentas essenciais para auditorias corporativas e verificação de conformidade regulatória, onde a precisão factual é crítica.
• Avanço em IA Confiável: Demonstra que a combinação de benchmarks específicos de domínio com estratégias de raciocínio estruturado (CoT) é uma via viável para mitigar alucinações em contextos de alto risco.
• Escalabilidade: A descoberta de que sinais de fundamentação de modelos grandes podem supervisionar modelos menores oferece um caminho escalável para melhorar a confiabilidade de LLMs em áreas sensíveis como sustentabilidade e finanças.

Em resumo, o artigo estabelece que a simples extração de informações não é suficiente para relatórios de ESG; é necessário um mecanismo de raciocínio que verifique ativamente a evidência no texto, e o ESG-Bench fornece a base para desenvolver e avaliar tais capacidades.