ESG-Bench: Benchmarking Long-Context ESG Reports for Hallucination Mitigation

Dit paper introduceert ESG-Bench, een benchmarkdataset met menselijk geannoteerde vraag-antwoordparen uit ESG-rapporten die, gecombineerd met Chain-of-Thought-strategieën, de hallucinaties van grote taalmodellen in deze complexe en compliance-gevoelige context aanzienlijk vermindert.

De kern

Stel je voor dat een groot bedrijf een jaarverslag schrijft over hoe goed het is voor het milieu, hoe het met zijn werknemers omgaat en hoe eerlijk het bestuur is. Dit noemen we een ESG-rapport. Deze rapporten zijn vaak honderden pagina's dik, vol met moeilijke taal, tabellen en cijfers.

Nu komen er slimme computers (AI) die deze rapporten moeten lezen en samenvatten. Maar hier zit een probleem: deze AI's zijn soms te zelfverzekerd. Ze verzinnen feiten die er niet staan, alsof ze een verhaal uit hun duim zuigen. In de wereld van bedrijven en wetgeving noemen we dit hallucinaties. Als een AI zegt dat een bedrijf "100% groene energie" gebruikt, terwijl dat in het rapport niet staat, kan dat leiden tot grote problemen, boetes of misleiding van investeerders.

De auteurs van dit paper hebben een oplossing bedacht en een nieuw hulpmiddel gemaakt. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Nieuwe "Proefkeuken": ESG-Bench

Stel je voor dat je een kok wilt testen die soep moet maken op basis van een heel oud, complex recept. Je kunt hem niet zomaar laten koken; je moet eerst weten of hij wel echt het recept volgt of dat hij zomaar ingrediënten erbij verzonnen.

De onderzoekers hebben ESG-Bench gemaakt. Dit is een enorme verzameling van vragen en antwoorden gebaseerd op echte ESG-rapporten.

• Het unieke: Ze hebben niet alleen de vragen, maar ook een "rode pen" gebruikt. Mensen (experts) hebben elke AI-antwoord gecontroleerd en gemarkeerd: "Ja, dit staat in het rapport" of "Nee, dit heeft de AI verzonnen".
• Het doel: Het is een testcursus om AI's te leren dat ze niet mogen liegen of verzinnen, zelfs niet als ze het niet weten.

2. Het Probleem: De "Zelfverzekerde Dromer"

AI's zijn vaak gewend om te praten op basis van wat ze in hun geheugen hebben opgeslagen (zoals een mens die uit zijn hoofd leert). Maar bij ESG-rapporten mag je dat niet doen. Je moet alleen kijken naar wat er op dat specifieke stuk papier staat.

• Type 1 Hallucinatie: De AI zegt: "Het bedrijf heeft een nieuwe windmolen gebouwd." (Terwijl het rapport niets over windmolens zegt).
• Type 2 Hallucinatie: De AI zegt: "Ik weet het niet," terwijl het antwoord wel degelijk op pagina 45 staat.

3. De Oplossing: De "Gedachtenstroom" (Chain-of-Thought)

Hoe leer je een AI om niet te dromen? De onderzoekers hebben een nieuwe methode bedacht die ze Chain-of-Thought (CoT) noemen.

Stel je voor dat je een detective bent die een moordzaak oplost.

• De oude manier (Direct): De detective kijkt naar de vraag en roept direct: "Het was de butler!" (Vaak een gok).
• De nieuwe manier (CoT): De detective moet eerst een stappenplan volgen:
  1. Wat is de vraag precies?
  2. Waar in het dossier (het rapport) moet ik zoeken?
  3. Wat staat er echt op die pagina?
  4. Kan ik het antwoord daar vinden? Zo ja, wat is het? Zo nee, zeg dan "Ik weet het niet".

De onderzoekers hebben de AI's getraind om altijd deze gedachtenstroom te volgen voordat ze een antwoord geven. Ze hebben de AI's zelfs "geleerd" om te denken in stappen, net als een mens die hardop nadenkt.

4. Het Resultaat: Slimmer en Eerlijker

Toen ze de AI's met deze nieuwe methode testten, gebeurde er iets wonderbaarlijks:

• Ze verzonnen veel minder feiten.
• Ze durfden eerlijk toe te geven als het antwoord er niet was (in plaats van te verzinnen).
• Ze werden zelfs beter in andere taken, niet alleen bij ESG-rapporten. Het was alsof ze een "eerlijkheids-spier" hadden opgebouwd die ze overal konden gebruiken.

Waarom is dit belangrijk?

In de echte wereld is het cruciaal dat AI's betrouwbaar zijn. Als een AI een bank adviseert of een overheid controleert op milieu-eisen, mag er geen ruimte zijn voor fantasie.

Kort samengevat:
De onderzoekers hebben een "school" (ESG-Bench) gebouwd waar AI's leren om als een zorgvuldige archivaris te werken in plaats van als een verhalend dichter. Door ze te dwingen om stap-voor-stap te denken en alleen te zeggen wat ze echt in het document zien, maken ze de AI's veiliger, eerlijker en betrouwbaarder voor de wereld van duurzaamheid en zakelijke verantwoording.

Technische samenvatting

Probleemstelling

Met de toenemende wettelijke verplichting voor bedrijven om duurzaamheidsrapportages (ESG: Environmental, Social, and Governance) te publiceren, is er een grote behoefte aan geautomatiseerde analyse van deze documenten. Echter, ESG-rapporten zijn vaak zeer lang, complex en bevatten een mix van tekst, tabellen en grafieken. Grote Taalmodellen (LLMs) hebben moeite met het betrouwbaar analyseren van deze lange contexten, wat leidt tot hallucinaties.

De auteurs definiëren twee soorten hallucinaties in deze context:

1. Additieve hallucinaties: Het model voegt informatie toe die niet in het brondocument staat (bijv. "greenwashing" of verzonnen cijfers).
2. Omissieve hallucinaties: Het model geeft een antwoord, terwijl het relevante bewijs in het document wel aanwezig was, of het geeft geen antwoord terwijl het wel mogelijk was.

Bestaande benchmarks en methoden zijn vaak niet specifiek ontworpen voor de lange, heterogene aard van ESG-rapporten, noch bieden ze fijne-granulariteit labels voor hallucinaties of ondersteuning voor volledige rapportcontexten.

Methodologie

De paper introduceert ESG-Bench, een benchmark en dataset specifiek ontworpen voor het evalueren en verminderen van hallucinaties in ESG-vraag-antwoordtaken. De aanpak bestaat uit drie hoofdfasen:

1. Constructie van ESG-Bench

• Datacollectie: Er zijn ESG-rapporten verzameld van ResponsibilityReports.com (2020-2024) uit diverse sectoren (energie, financiën, technologie, etc.).
• Vraaggeneratie: Vragen zijn gegenereerd op basis van academisch onderzoek, internationale non-profitorganisaties (zoals CDP) en ChatGPT. Ze zijn gecategoriseerd in de drie ESG-pijlers.
• Menselijke Annotatie: PhD-studenten met expertise in duurzaamheid en economie hebben de antwoorden van een model (ChatGPT-4o) geëvalueerd.
  • Labels: Antwoorden werden gelabeld als Correct, Hallucination (verzonnen), Incomplete, of Answer Not Found.
  • Betrouwbaarheid: De inter-annotator overeenstemming (Cohen's Kappa) was hoog (tot 86,67%), wat de kwaliteit van de dataset garandeert.
• Dataset Samenstelling: De dataset bevat 270 QA-paren gebaseerd op volledige rapporten en een uitgebreidere versie voor hallucinatiemitigatie met duizenden voorbeelden, variërend in contextlengte (gemiddeld ~2.600 tokens, maximaal ~46.000 tokens).

2. Strategieën voor Hallucinatiemitigatie

De auteurs testen drie benaderingen om de prestaties van LLMs te verbeteren:

1. Supervised Fine-Tuning (SFT): Het model wordt getraind op de dataset om te leren wanneer een antwoord in de tekst staat en wanneer het moet afzien ("Not provided").
2. Chain-of-Thought (CoT) Prompting: Tijdens inferentie wordt het model gestuurd om eerst te redeneren voordat het antwoordt. Er zijn twee formaten ontwikkeld:
   • 2-staps CoT: Bepaal of het antwoordbaar is -> Geef het antwoord.
   • 4-staps CoT: Identificeer het onderwerp -> Zoek relevante zinnen in het rapport -> Bepaal of het antwoordbaar is -> Geef het antwoord.
3. CoT-based Fine-Tuning: Het model wordt fijn afgestemd op een subset van data met expliciete redeneertraces (rationales) die door mensen zijn geannoteerd. Dit dwingt het model om gestructureerd te redeneren in plaats van oppervlakkige patronen te volgen.

3. Evaluatie

• Modellen: Llama-3.2-3B, Gemma-2-2B, en Mistral-7B.
• Datasets: ESG-Bench, plus transfer-evaluatie op HaluEval en BioASQ om generaliseerbaarheid te testen.
• Metrieken: WA-Accuracy (antwoord aanwezig), WoA-Accuracy (geen antwoord aanwezig), Balanced Accuracy en F1-score.
• Proxy-validatie: GPT-4o's eigen vermogen om te beoordelen of zijn antwoorden gegrond zijn, werd gebruikt als proxy voor menselijke annotatie om de training te stroomlijnen.

Belangrijkste Resultaten

De experimenten tonen aan dat CoT-gebaseerde methoden significant beter presteren dan standaard prompting of directe fine-tuning:

• Prestatieverbetering: De 4-staps CoT fine-tuning bleek de meest robuuste methode. Op ESG-Bench bereikte deze methode bij Mistral-7B een WA-Accuracy van 92,52% en een WoA-Accuracy van 99,37%.
• Vermindering van Hallucinaties: De 4-staps CoT-strategie verlaagde het aantal hallucinaties aanzienlijk. Bijvoorbeeld, bij Llama-3.2 steeg de F1-score voor het vermijden van hallucinaties (WoA) van 65,23% (zonder fine-tuning) naar 78,62% met 4-staps CoT.
• Generaliseerbaarheid: De verbeteringen waren niet beperkt tot ESG. De modellen presteerden ook beter op de algemene benchmarks HaluEval en BioASQ, wat aantoont dat de vaardigheid om evidence te verifiëren en af te zien van antwoorden als transferleerbaar is.
• Balans: De methoden creëerden een beter evenwicht tussen het geven van correcte antwoorden (recall) en het vermijden van ongefundeerde claims (precision), wat cruciaal is voor compliance-toepassingen.

Bijdragen

1. ESG-Bench Dataset: De eerste gestructureerde bron die systematische evaluatie en gerichte mitigatie van hallucinaties mogelijk maakt in de ESG-domein, inclusief menselijke labels voor correctheid en afzien.
2. Specifieke CoT-strategie: Een nieuwe, domeinspecifieke Chain-of-Thought aanpak die is ontworpen voor lange contexten en het verifiëren van bewijs in ESG-rapporten.
3. Empirisch Bewijs: Een uitgebreide evaluatie die aantoont dat gestructureerd redeneren (CoT) gecombineerd met fine-tuning de betrouwbaarheid van LLMs in hoog-risico, compliance-gerelateerde omgevingen aanzienlijk verbetert.

Significantie

Deze studie is van groot belang voor de toepassing van AI in zakelijke en regulatorische contexten. Omdat ESG-rapporten steeds vaker wettelijk verplicht zijn en dienen als basis voor investeringsbeslissingen, is de betrouwbaarheid van geautomatiseerde analyse kritiek.

• Compliance en Toezicht: De methode biedt een oplossing voor het detecteren van "greenwashing" en het garanderen dat AI-systemen zich strikt houden aan de feitelijke inhoud van rapporten.
• Scalabiliteit: Het toont aan dat het mogelijk is om LLMs te trainen om lange, complexe documenten betrouwbaar te analyseren zonder dat ze de neiging hebben om informatie te verzinnen.
• Toekomstige Richting: Het paper legt de basis voor het gebruik van "groundedness judgments" (of een antwoord gegrond is) als een effectief supervisiessignaal voor het trainen van hallucinatieneutrale modellen in andere domeinen.

Kortom, ESG-Bench en de voorgestelde CoT-strategie vormen een essentiële stap naar het maken van LLMs veilig en betrouwbaar voor het analyseren van kritieke duurzaamheidsdata.