ESG-Bench: Benchmarking Long-Context ESG Reports for Hallucination Mitigation

Cet article présente ESG-Bench, un jeu de données de référence annoté par des humains pour évaluer et réduire les hallucinations des grands modèles de langage dans l'analyse des rapports ESG complexes, en démontrant que des stratégies d'incitation par chaîne de pensée (Chain-of-Thought) améliorent significativement la fiabilité des réponses.

L'essentiel

Imaginez que les rapports ESG (Environnement, Social et Gouvernance) sont comme de vastes bibliothèques géantes remplies de livres sur la façon dont les entreprises prennent soin de la planète et de leurs employés. Ces livres sont de plus en plus épais, complexes et parfois écrits dans un langage très technique.

Aujourd'hui, nous utilisons des Intelligences Artificielles (IA) pour lire ces bibliothèques et répondre à des questions comme : « Cette entreprise a-t-elle vraiment réduit ses déchets ? » ou « Combien d'employés sont-ils formés ? ».

Le problème ? Ces IA ont tendance à rêver. C'est ce qu'on appelle l'hallucination. Parfois, au lieu de chercher la réponse dans le livre, l'IA invente une histoire pour faire plaisir, un peu comme un élève qui répond « 42 » à une question de maths parce qu'il ne sait pas faire le calcul, mais qu'il veut absolument avoir une réponse.

Voici comment les auteurs de cette recherche ont résolu ce problème, expliqué simplement :

1. La Création d'un « Entraîneur de Vérité » (ESG-Bench)

Les chercheurs ont créé un nouvel outil appelé ESG-Bench. Imaginez-le comme un gymnase d'entraînement spécial pour les IA.

• Le matériel : Ils ont pris de vrais rapports d'entreprises (des livres de plusieurs centaines de pages).
• Les exercices : Ils ont posé des milliers de questions à une IA (GPT-4o) et ont demandé à des humains experts (des docteurs en économie et durabilité) de vérifier chaque réponse.
• Le résultat : Ils ont créé un jeu de données où chaque réponse est étiquetée : « Vrai », « Faux », « Inventé » ou « Pas trouvé ». C'est comme un manuel de correction ultra-précis.

2. Le Problème : L'IA qui « Hallucine »

Dans ce monde, il y a deux types de rêves dangereux :

• Le rêve inventé (Hallucination additive) : L'IA dit : « L'entreprise a planté 10 000 arbres », alors que le rapport ne parle que de 100. C'est comme si un cuisinier ajoutait du poison dans le plat en disant que c'est un ingrédient secret.
• Le rêve manquant (Hallucination omissive) : L'IA dit « Je ne sais pas » alors que la réponse est clairement écrite au milieu du rapport. C'est comme si un détective passait à côté d'une preuve évidente.

3. La Solution : Le « Chemin de la Pensée » (Chain-of-Thought)

Pour arrêter l'IA de rêver, les chercheurs lui ont appris à penser étape par étape, comme un détective privé ou un juge. Au lieu de sauter directement à la conclusion, ils lui donnent un plan d'action (une méthode CoT) :

1. Identifier le suspect : De quoi parle la question ? (Ex: Les déchets).
2. Chercher la preuve : Ouvrir le rapport et lire les pages concernées.
3. Vérifier : Est-ce que le rapport contient vraiment la réponse ?
4. Décider :
   • Si oui : Donner la réponse exacte.
   • Si non : Dire honnêtement « Je ne trouve pas cette information dans le document ».

C'est comme demander à un élève de montrer son calcul avant de donner le résultat final. Cela l'oblige à s'assurer qu'il ne fait pas d'erreur.

4. Les Résultats : Des IA plus Sages

Après avoir entraîné les IA avec cette méthode de « détective » sur leur gymnase (ESG-Bench), les résultats sont impressionnants :

• Les IA inventent beaucoup moins. Elles sont devenues plus honnêtes.
• Si la réponse n'est pas dans le texte, elles osent dire « Je ne sais pas » au lieu d'inventer.
• Cette méthode fonctionne même pour d'autres sujets (comme la médecine), pas seulement pour les rapports d'entreprises.

En Résumé

Cette recherche nous dit que pour faire confiance à une IA dans des domaines sérieux (comme l'écologie ou la finance), il ne suffit pas de lui donner des réponses. Il faut lui apprendre la discipline de la preuve.

C'est comme passer d'un enfant qui raconte des histoires au coin du feu, à un journaliste d'investigation qui vérifie chaque fait avant de publier. Grâce à ESG-Bench, nous avons maintenant un outil pour entraîner ces journalistes numériques à ne jamais tricher, même quand personne ne les regarde.

Résumé technique

1. Problématique

L'analyse des rapports de responsabilité sociale d'entreprise (RSE ou ESG en anglais) devient cruciale pour la conformité réglementaire et l'évaluation de la durabilité. Cependant, l'utilisation des Grands Modèles de Langage (LLM) pour automatiser cette analyse se heurte à plusieurs défis majeurs :

• Complexité et longueur : Les rapports ESG sont souvent volumineux (centaines de pages), hétérogènes (texte, tableaux, graphiques) et riches en données qualitatives.
• Hallucinations : Les LLMs tendent à générer des informations non fondées sur le document source, soit par ajout d'informations fausses (hallucinations additives), soit par omission de réponses alors que l'information est présente (hallucinations omissives).
• Manque de benchmarks adaptés : Les existants ne couvrent pas spécifiquement le contexte long des rapports ESG complets ni ne fournissent d'étiquettes fines pour les hallucinations ou de traces de raisonnement (Chain-of-Thought).

L'objectif est donc de créer un cadre pour évaluer et atténuer ces hallucinations dans des contextes à haute responsabilité (compliance, éthique).

2. Méthodologie

A. Construction du Benchmark ESG-Bench

Les auteurs ont construit un jeu de données structuré via un pipeline "Modèle puis Annotateur" :

• Collecte de données : 94 rapports ESG uniques (2020-2024) provenant de divers secteurs (finance, énergie, santé, etc.) et 270 questions couvrant les trois piliers (Environnemental, Social, Gouvernance).
• Génération initiale : Utilisation de ChatGPT-4o pour générer des réponses basées sur les rapports, avec indication de la page source et du format (texte, graphique, tableau).
• Annotation humaine : Des experts (doctorants en économie/durabilité) ont vérifié les réponses selon des critères stricts (GRI). Les réponses ont été étiquetées comme :
  • Correcte (fondée sur le contexte).
  • Hallucination (information fabriquée ou non supportée).
  • Incomplète.
  • Réponse non trouvée (le modèle a échoué à trouver une réponse existante).
• Statistiques : Le dataset final pour la tâche d'atténuation contient 1 358 réponses correctes et 25 516 réponses hallucinées, avec des contextes allant jusqu'à 46 562 tokens.

B. Stratégies d'Atténuation des Hallucinations

L'article propose une approche en trois phases pour améliorer la fiabilité des LLMs :

1. Fine-tuning Supervisé (SFT) : Entraînement sur des paires (contexte, question, réponse annotée) pour apprendre au modèle à s'appuyer sur le texte et à répondre "Non fourni" si l'information manque.
2. Prompting Chain-of-Thought (CoT) : Introduction de étapes intermédiaires lors de l'inférence pour forcer le modèle à évaluer la disponibilité de l'information avant de répondre. Deux formats sont testés :
   • 2 étapes : Déterminer si la réponse existe, puis donner la réponse.
   • 4 étapes : Identifier le sujet, résumer les passages pertinents, déterminer l'existence de la réponse, puis donner la réponse.
3. Fine-tuning basé sur CoT : Affinement des modèles sur un sous-ensemble de données incluant les traces de raisonnement (les étapes intermédiaires) annotées par des humains. Cela permet au modèle d'intérioriser la structure de décision plutôt que de simplement mémoriser des réponses.

3. Contributions Clés

• ESG-Bench : Le premier jeu de données structuré spécifiquement pour l'évaluation systématique et l'atténuation des hallucinations dans les rapports ESG longs, incluant des étiquettes humaines de véracité et de type d'erreur.
• Stratégie Spécifique au Domaine : Développement d'une méthode de fine-tuning combinant des traces de raisonnement (CoT) et des signaux de supervision basés sur la "fondement" (groundedness), adaptée aux longs contextes et aux exigences de conformité.
• Validation par Proxy : Démonstration que les jugements binaires (Oui/Non) de la "fondement" générés par GPT-4o peuvent servir de signal de supervision efficace pour entraîner des modèles plus petits, réduisant ainsi le coût d'annotation humaine.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois modèles (Llama-3.2-3B, Gemma-2-2B, Mistral-7B) et trois jeux de données (ESG-Bench, HaluEval, BioASQ).

• Performance Globale : Les méthodes basées sur le CoT surpassent significativement le prompting standard et le fine-tuning direct (SFT) dans la réduction des hallucinations.
• Meilleure Approche : Le CoT en 4 étapes combiné au fine-tuning s'est révélé être la méthode la plus robuste.
  • Sur ESG-Bench, le modèle Mistral-7B avec CoT (4 étapes) a atteint une précision globale (OA) de 90,00 % et un score F1 de 73,50 %, contre 80,67 % et 69,64 % pour le modèle sans fine-tuning.
  • L'amélioration est particulièrement notable sur les cas "Sans Réponse" (WoA), où le modèle apprend à s'abstenir de répondre plutôt que d'halluciner (ex: précision WoA passant de 83,54 % à 99,37 % pour Mistral).
• Généralisation : Les gains observés sur ESG-Bench se transfèrent aux benchmarks généraux (HaluEval, BioASQ), prouvant que l'apprentissage du raisonnement structuré améliore la fiabilité factuelle au-delà du domaine ESG.
• Validation du Proxy : L'accord entre les jugements humains et les auto-évaluations de GPT-4o (environ 80-83 %) valide l'utilisation de ce dernier comme superviseur proxy pour l'entraînement.

5. Signification et Impact

Ce travail est significatif pour plusieurs raisons :

• Fiabilité Réglementaire : Il offre un outil critique pour garantir que l'analyse automatisée des rapports ESG, de plus en plus obligatoire légalement (ex: directive CSRD en UE), ne génère pas de fausses déclarations pouvant induire en erreur les investisseurs ou les régulateurs.
• Avancée Méthodologique : Il démontre que l'intégration de traces de raisonnement explicites (CoT) dans le fine-tuning est supérieure aux approches purement statistiques pour les tâches de compréhension de documents longs et complexes.
• Scalabilité : La démonstration que les jugements de "fondement" d'un modèle puissant (GPT-4o) peuvent entraîner des modèles plus petits ouvre la voie à des solutions d'atténuation des hallucinations économiquement viables pour des secteurs à haut risque.

En conclusion, ESG-Bench établit un nouveau standard pour l'évaluation de la fiabilité des LLMs dans des contextes documentaires longs et sensibles, prouvant que le raisonnement structuré est la clé pour réduire les hallucinations dans les applications de conformité ESG.