Auditing the Auditor: Extraction Accuracy, Hallucination, and Abstention in Open-Weight LLMs for ESG Reporting A Longitudinal Empirical Benchmark Across 518 Corporate Disclosures (2010–2026)
Este benchmark longitudinal de cinco LLMs de pesos abertos através de 518 relatórios ESG revela que, embora os modelos resumam de forma confiável políticas narrativas, eles têm dificuldade com a extração numérica precisa e frequentemente alucinam dados sem raciocínio explícito ou instruções rigorosas, destacando uma necessidade crítica de mecanismos de abstenção aprimorados na auditoria de sustentabilidade automatizada.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo empresarial moderno, o compromisso de uma empresa com o meio ambiente, o tratamento de seus trabalhadores e sua governança ética não são mais apenas questões de relações públicas. Esses fatores tornaram-se dados concretos, legalmente exigidos em muitos lugares e escrutinados por investidores que precisam saber se uma corporação é verdadeiramente sustentável ou se está apenas fingindo ser. Essa mudança criou um desafio massivo para os auditores. Um único relatório de sustentabilidade pode se estender por centenas de páginas, repleto de tabelas densas de números, notas de rodapé e definições variáveis. Para dar sentido a esse volume, as instituições financeiras estão recorrendo à inteligência artificial, especificamente a um tipo de programa de computador conhecido como modelo de linguagem de grande escala. Esses programas são treinados em vastas quantidades de texto e podem ler documentos para encontrar respostas específicas, de forma muito semelhante a um bibliotecário muito rápido e muito bem informado. No entanto, para que essas ferramentas sejam confiáveis para auditorias oficiais, elas devem fazer mais do que apenas resumir uma história; elas devem extrair números exatos sem inventar coisas e devem saber quando admitir que uma resposta simplesmente não existe no documento.
Uma equipe de pesquisadores da Universidade de Gana estabeleceu o objetivo de testar exatamente o quão bem esses modelos de inteligência artificial de código aberto performam neste ambiente de alto risco. Eles reuniram uma coleção massiva de 518 relatórios reais de sustentabilidade corporativa publicados entre 2010 e 2026, cobrindo um período que inclui tanto relatórios voluntários mais antigos quanto os novos registros estritamente regulamentados exigidos pela lei europeia. Desta biblioteca de documentos, eles criaram um teste rigoroso consistindo em 120 perguntas de auditoria específicas. Essas perguntas variavam desde pedir resumos simples de políticas até exigir figuras precisas de emissões de gases de efeito estufa ou uso de água. Os pesquisadores então forneceram essas perguntas a cinco diferentes modelos de inteligência artificial líderes, simulando um cenário do mundo real onde o computador primeiro busca no documento a página relevante e depois tenta ler a resposta. Crucialmente, para garantir a imparcialidade, eles usaram um sistema de inteligência artificial separado e independente para avaliar as respostas, evitando que os modelos dessem notas altas para o próprio trabalho.
Os resultados revelaram uma divisão clara entre o quão bem essas máquinas entendem palavras versus o quão bem elas lidam com números. Quando solicitados a resumir as políticas ou compromissos gerais de uma empresa, os modelos tiveram um desempenho muito bom, frequentemente capturando a essência do texto com alta precisão. No entanto, quando a tarefa exigia extrair um número específico de uma tabela complexa — como a quantidade exata de dióxido de carbono emitido em um ano específico — seu desempenho caiu significamente. Mesmo quando os pesquisadores davam aos modelos a página perfeita do relatório, o melhor modelo apresentou uma capacidade de extrair o número correto de apenas cerca de 73 por cento das vezes. A dificuldade muitas vezes não residia em encontrar a página certa, mas em ler a tabela corretamente, como confundir o total de uma empresa controladora com o de uma subsidiária ou ler incorretamente as unidades de medida.
Talvez a descoberta mais crítica tenha sido sobre como esses modelos se comportam quando a resposta está ausente. Em uma auditoria real, uma empresa pode deixar de relatar uma métrica específica, ou uma busca pode acidentalmente puxar uma página de um ano errado. Os pesquisadores testaram isso fornecendo aos modelos uma pergunta sobre resíduos perigosos de 2024, mas provendo uma página de documento que discutia apenas a reciclagem de água de 2022. Sob instruções padrão, muitos dos modelos tentaram ser prestativos ao inventar um número ou substituir por uma figura semelhante de um ano diferente, um comportamento conhecido como alucinação. Isso aconteceu em quase metade dos casos para alguns modelos. No entanto, o estudo mostrou que essa tendência perigosa poderia ser amplamente corrigida. Ao dar aos modelos uma instrução estrita para dizer "Não posso responder" caso o dado exato não estivesse presente, a taxa de números inventados despencou. Além disso, um modelo projetado para "pensar" através de seu raciocínio antes de responder era naturalmente melhor em detectar esses descompassos e recusar o palpite, mesmo sem as instruções estritas.
O estudo também analisou como a natureza mutável do relato corporativo afeta essas ferramentas. Os pesquisadores descobriram que os relatórios mais recentes e obrigatórios exigidos pelas regulamentações europeias, que utilizam tabelas padronizadas e rótulos consistentes, são na verdade mais fáceis para a inteligência artificial ler do que os relatórios voluntários mais antigos. Uma vez que o computador encontrava a seção correta nesses documentos modernos, sua precisão melhorava visivelmente. Isso sugere que, à medida que as regulamentações forçam as empresas a organizar seus dados de forma mais clara, essas ferramentas se tornarão mais confiáveis. Em última análise, a pesquisa conclui que, embora a inteligência artificial esteja pronta para ajudar a resumir as histórias que as empresas contam sobre sua sustentabilidade, ela ainda não está pronta para substituir os auditores humanos na verificação dos números brutos. A abordagem mais segura envolve usar esses modelos para redigir resumos e sinalizar problemas potenciais, mas mantendo um humano no ciclo para verificar as figuras finais, garantindo que os números sejam reais e não apenas um palpite convincente.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.