Auditing the Auditor: Extraction Accuracy, Hallucination, and Abstention in Open-Weight LLMs for ESG Reporting A Longitudinal Empirical Benchmark Across 518 Corporate Disclosures (2010–2026)
Ce benchmark longitudinal de cinq LLM en poids ouverts à travers 518 rapports ESG révèle que, bien que les modèles résument de manière fiable les politiques narratives, ils peinent avec l'extraction numérique précise et hallucinent fréquemment des données sans raisonnement explicite ou instructions strictes, soulignant un besoin critique de mécanismes d'abstention améliorés dans l'audit automatisé de la durabilité.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde des affaires moderne, l'engagement d'une entreprise envers l'environnement, son traitement des travailleurs et sa gouvernance éthique ne sont plus de simples questions de relations publiques. Ces facteurs sont devenus des données concrètes, légalement requises dans de nombreux endroits, et scrutés par des investisseurs qui ont besoin de savoir si une corporation est véritablement durable ou si elle ne fait que simuler. Ce changement a créé un défi de taille pour les auditeurs. Un seul rapport de durabilité peut s'étendre sur des centaines de pages, rempli de tableaux de chiffres denses, de notes de bas de page et de définitions changeantes. Pour donner un sens à ce volume, les institutions financières se tournent vers l'intelligence artificielle, et plus précisément vers un type de programme informatique connu sous le nom de grand modèle de langage. Ces programmes sont entraînés sur de vastes quantités de texte et peuvent lire des documents pour trouver des réponses spécifiques, un peu comme un bibliothécaire très rapide et très érudit. Cependant, pour que ces outils puissent être dignes de confiance pour des audits officiels, ils doivent faire plus que simplement résumer une histoire ; ils doivent extraire des chiffres exacts sans rien inventer, et ils doivent savoir admettre qu'une réponse n'existe tout simplement pas dans le document.
Une équipe de chercheurs de l'Université du Ghana s'est donné pour mission de tester précisément la performance de ces modèles d'intelligence artificielle en code ouvert dans cet environnement à enjeux élevés. Ils ont rassemblé une collection massive de 518 rapports de durabilité d'entreprises réels publiés entre 210 et 2026, couvrant une période qui inclut à la fois les anciens rapports volontaires et les nouveaux documents strictement réglementés requis par la loi européenne. À partir de cette bibliothèque de documents, ils ont élaboré un test rigoureux composé de 120 questions d'audit spécifiques. Ces questions allaient du résumé de politiques simples à l'exigence de chiffres précis concernant les émissions de gaz à effet de serre ou l'utilisation de l'eau. Les chercheurs ont ensuite soumis ces questions à cinq modèles d'intelligence artificielle de pointe différents, simulant un scénario réel où l'ordinateur cherche d'abord la page pertinente dans le document, puis tente de lire la réponse. Crucialement, pour garantir l'équité, ils ont utilisé un système d'intelligence artificielle distinct et indépendant pour noter les réponses, empêchant ainsi les modèles de se donner des scores élevés pour leur propre travail.
Les résultats ont révélé une distinction claire entre la capacité de ces machines à comprendre les mots et celle de manipuler les chiffres. Lorsqu'on leur demandait de résumer les politiques ou les engagements généraux d'une entreprise, les modèles performaient assez bien, capturant souvent l'essence du texte avec une grande précision. Cependant, lorsque la tâche exigeait d'extraire un chiffre spécifique d'un tableau complexe — comme le montant exact de dioxyde de carbone émis au cours d'une année donnée — leur performance chutait considérablement. Même lorsque les chercheurs fournissaient le modèle parfait de la page du rapport, le meilleur modèle n'arrivait à extraire le chiffre correct qu'environ 73 % du temps. La difficulté ne résidait souvent pas dans la recherche de la bonne page, mais dans la lecture correcte du tableau, comme confondre le total d'une société mère avec la figure d'une filiale ou mal interpréter les unités de mesure.
La conclusion la plus critique concernait le comportement de ces modèles lorsque la réponse est absente. Dans un audit réel, une entreprise peut omettre de rapporter une métrique spécifique, ou une recherche peut accidentellement extraire une page d'une année différente. Les chercheurs ont testé cela en posant une question sur les déchets dangereux de 2024, tout en fournissant une page de document qui ne traitait que du recyclage de l'eau en 2022. Sous des instructions standards, de nombreux modèles ont tenté d'être utiles en inventant un chiffre ou en substituant un chiffre similaire d'une année différente, un comportement connu sous le nom d'hallucination. Cela s'est produit dans près de la moitié des cas pour certains modèles. Cependant, l'étude a montré que cette tendance dangereuse pouvait être largement corrigée. En donnant aux modèles l'instruction stricte de dire « Je ne peux pas répondre » si la donnée exacte n'était pas présente, le taux de chiffres inventés a chuté de manière spectaculaire. De plus, un modèle conçu pour « réfléchir » à son raisonnement avant de répondre était naturellement plus apte à repérer ces décalages et à refuser de deviner, même sans les instructions strictes.
L'étude a également examiné comment l'évolution de la nature du reporting d'entreprise affecte ces outils. Les chercheurs ont constaté que les nouveaux rapports obligatoires requis par les réglementations européennes, qui utilisent des tableaux standardisés et des étiquettes cohérentes, sont en réalité plus faciles à lire pour l'intelligence artificielle que les anciens rapports volontaires. Une fois que l'ordinateur trouvait la bonne section dans ces documents modernes, sa précision s'améliorait notablement. Cela suggère qu'à mesure que les réglementations forcent les entreprises à organiser leurs données plus clairement, ces outils deviendront plus fiables. En fin de compte, la recherche conclut que, bien que l'intelligence artificielle soit prête à aider à résumer les récits que les entreprises racontent sur leur durabilité, elle n'est pas encore prête à remplacer les auditeurs humains pour vérifier les chiffres bruts. L'approche la plus sûre consiste à utiliser ces modèles pour rédiger des résumés et signaler les problèmes potentiels, tout en gardant un humain dans la boucle pour vérifier les chiffres finaux, garantissant ainsi que les nombres sont réels et non de simples suppositions convaincantes.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.