ESGenius: Benchmarking LLMs on Environmental, Social, and Governance (ESG) and Sustainability Knowledge

Dit paper introduceert ESGenius, het eerste uitgebreide benchmark voor het evalueren van LLM-kennis over ESG en duurzaamheid, dat bestaat uit een geverifieerde vragenlijst en een corpus van autoritaire bronnen, en aantoont dat Retrieval-Augmented Generation (RAG) de prestaties van modellen in dit domein aanzienlijk verbetert.

De kern

Stel je voor dat je een grote, slimme robot hebt die alles over de wereld lijkt te weten. Hij kan verhalen vertellen, code schrijven en zelfs gedichten maken. Maar stel je nu voor dat je hem vraagt: "Hoe moet een bedrijf precies zijn CO2-uitstoot rapporteren volgens de nieuwe Europese regels, en wat is het verschil tussen Scope 1 en Scope 3?"

Waarschijnlijk zou de robot aarzelen, een beetje ratelen, of misschien zelfs een mooi klinkend maar volledig verkeerd antwoord geven. Dit is precies het probleem dat de onderzoekers van ESGenius hebben opgelost.

Hier is een uitleg van hun werk, vertaald naar gewoon Nederlands met een paar leuke vergelijkingen.

1. Het Probleem: De "Alleswetende" Robot die niet weet wat hij moet doen

Vroeger dachten we: hoe slimmer de robot, hoe beter hij overal over kan praten. Maar "ESG" (Milieu, Sociale aspecten en Bestuur) is een heel speciaal vakgebied. Het is als een enorme bibliotheek met duizenden boeken over klimaatwetten, mensenrechten en eerlijk zakendoen.

De onderzoekers ontdekten dat de slimste robots (de LLM's) deze boeken eigenlijk niet echt hebben gelezen. Ze gissen maar wat. Als een bedrijf een fout maakt in zijn duurzaamheidsrapportage, kan dat leiden tot boetes of schandalen. Je kunt dus niet vertrouwen op een robot die "misschien" het juiste antwoord geeft.

2. De Oplossing: Een Grote Proef (ESGenius)

De onderzoekers hebben een enorme test gemaakt, genaamd ESGenius. Denk hierbij aan een supermoeilijk examen voor robots, speciaal ontworpen voor duurzaamheid.

• De Bronnen (De Bibliotheek): Ze hebben 231 officiële documenten verzameld, zoals de regels van de VN, de IPCC (klimaatwetenschappers) en grote organisaties die bedrijven controleren. Dit is hun "antwoordenboek".
• De Vragen (Het Examen): Ze hebben 1.136 meerkeuzevragen gemaakt. Maar wacht, ze hebben niet zomaar vragen bedacht. Ze hebben een slimme robot gebruikt om vragen te genereren, en daarna hebben echte mensen (experts in duurzaamheid) elke vraag nagelopen. Ze hebben gekeken: "Is dit eerlijk? Is het antwoord echt correct volgens de regels?"
  • Vergelijking: Het is alsof je een wiskundetoets laat maken door een computer, maar daarna elke som laat nakijken door een wiskundeleraar om zeker te weten dat er geen fouten in staan.

3. De Test: Twee Manieren van Leren

De onderzoekers hebben 50 verschillende robots getest, van heel kleine tot gigantische modellen. Ze deden dit op twee manieren:

1. De "Geheugen"-test (Zero-Shot):
   De robot krijgt de vraag zonder hulp. Hij moet het antwoord puur uit zijn eigen "hersenen" halen.

   • Resultaat: De meeste robots deden het matig (ongeveer 55-70% goed). Zelfs de slimste robots wisten niet alles. Ze bleken niet goed genoeg opgeleid in deze specifieke, moeilijke regels.

2. De "Open Boek"-test (RAG):
   Hierbij krijgt de robot de vraag én het stukje tekst uit het officiële boek waar het antwoord in staat. De robot moet dan het antwoord zoeken in die tekst.

   • Resultaat: Plotseling werden de robots veel slimmer! Zelfs de kleinere robots presteerden hier fantastisch. Een robot die eerder 63% haalde, sprong naar 80% toen hij de tekst mocht raadplegen.
   • De les: Het is niet zo belangrijk dat de robot alles in zijn hoofd heeft zitten. Het is belangrijker dat hij weet waar hij moet kijken en hoe hij de juiste informatie kan vinden.

4. De Grootste Leerervaring: Kijken is Beter dan Weten

De belangrijkste conclusie van dit hele onderzoek is als volgt:

Stel je voor dat je een detective bent.

• Situatie A: Je moet een moord oplossen, maar je mag alleen je eigen geheugen gebruiken. Je bent een beetje vergeten wat er precies gebeurde. Je raadt het antwoord. (Dit is de "Zero-Shot" test).
• Situatie B: Je mag alle bewijsstukken, getuigenverklaringen en foto's bekijken om het antwoord te vinden. (Dit is de "RAG" test).

De onderzoekers laten zien dat voor complexe zaken zoals duurzaamheid, Situatie B veel beter werkt. Het maakt niet uit hoe groot je robot is; als hij de juiste documenten kan raadplegen, wordt hij een expert.

Waarom is dit belangrijk?

Vroeger dachten we: "Hoe groter de robot, hoe beter."
Nu weten we: "Hoe beter de robot kan zoeken in betrouwbare bronnen, hoe veiliger en eerlijker zijn antwoorden zijn."

Dit onderzoek is als een gereedschapskist voor de toekomst. Het helpt bedrijven en ontwikkelaars om robots te bouwen die niet alleen "leuk" klinken, maar die ook waarheid spreken over klimaat en ethiek. Ze hebben alles openbaar gemaakt, zodat iedereen deze test kan gebruiken om hun eigen robots te verbeteren.

Kortom: ESGenius is de "rijbewijstest" voor robots op het gebied van duurzaamheid. En de test laat zien: als je een robot wilt die goed is in duurzaamheid, geef hem dan niet alleen een goed geheugen, maar geef hem ook een goede zoekmachine en betrouwbare boeken!

Technische samenvatting

Titel: ESGenius: Benchmarking van LLM's op ESG- en Duurzaamheidskennis

Auteurs: Chaoyue He, Xin Zhou, et al. (Alibaba-NTU Global e-Sustainability CorpLab & Alibaba Group)

---

1. Het Probleem

Milieu, Sociale en Governance (ESG) kennis is een complex, interdisciplinair domein dat essentieel is voor bedrijfsverantwoordelijkheid en duurzaamheidsinitiatieven. Hoewel Large Language Models (LLM's) veelbelovend zijn in het verwerken van complexe documenten, bestaat er momenteel geen uitgebreid benchmark om specifiek te evalueren hoe goed LLM's ESG-concepten begrijpen en redeneren.

• Bestaande lacunes: Huidige QA-benchmarks (zoals MMLU) behandelen ESG slechts oppervlakkig of helemaal niet.
• Risico's: Onjuiste antwoorden over ESG-eisen kunnen leiden tot ernstige compliance-overtredingen of misleidende duurzaamheidsstrategieën ("greenwashing").
• Kenniskloof: Er is een gebrek aan gestructureerde evaluatie van de inherente ESG-kennis van LLM's en hun vermogen om te redeneren op basis van autoritaire bronnen.

2. Methodologie: De ESGenius Pipeline

Het paper introduceert ESGenius, een compositief benchmark-systeem bestaande uit twee kerncomponenten, gebouwd via een gestructureerde pipeline (zie Figuur 1 in het paper):

A. ESGenius-Corpus (De Kennisbron)

Een zorgvuldig samengestelde verzameling van 231 autoritaire documenten (PDF's) uit 7 toonaangevende bronnen:

1. GRI (Global Reporting Initiative)
2. SASB (Sustainability Accounting Standards Board)
3. IFRS/ISSB (International Sustainability Standards Board)
4. TCFD (Task Force on Climate-related Financial Disclosures)
5. CDP (Carbon Disclosure Project)
6. IPCC (Intergovernmental Panel on Climate Change) rapporten
7. VN SDG's (Sustainable Development Goals)

Het corpus omvat ongeveer 19.600 pagina's en dekt zowel wetenschappelijke rapporten als sector-specifieke rapportagestandaarden.

B. ESGenius-QA (De Dataset)

Een dataset van 1.136 Multiple Choice Questions (MCQ's) met de volgende kenmerken:

• Generatie: Vragen worden gegenereerd door state-of-the-art LLM's (Qwen-Max) op basis van fragmenten uit het corpus.
• Validatie: Elke vraag wordt dubbelgecontroleerd door zes onafhankelijke ESG-experts (met gemiddeld 5+ jaar ervaring) en drie senior industrie-experts.
• Structuur: Elk vraag heeft 4 opties (A-D) plus een "Niet zeker" optie (Z) om hallucinaties te minimaliseren.
• Mapping: Elke vraag is expliciet gekoppeld aan de bronpagina en tekstfragmenten, wat Retrieval-Augmented Generation (RAG) mogelijk maakt.
• Kwaliteitscontrole: De dataset heeft een afwijzingsgraad van ongeveer 25% om zekerheid te stellen over nauwkeurigheid, duidelijkheid en plausibiliteit van de distractors.

C. Evaluatieprotocollen

De auteurs evalueren 50 verschillende LLM's (van 0,5B tot 671B parameters) in twee settings:

1. Zero-Shot: Testen van de inherente kennis van het model zonder externe context.
2. Long-Context RAG: Het model krijgt het relevante tekstfragment uit het corpus als context mee bij de vraag.

3. Belangrijkste Bijdragen

1. Eerste Comprehensieve ESG-Benchmark: ESGenius is het eerste QA-benchmark dat specifiek is ontworpen om LLM's rigoureus te testen op ESG- en duurzaamheidskennis.
2. Geïntegreerd Corpus en QA: Het koppelt vragen direct aan autoritaire bronnen, wat transparante evaluatie en RAG-toepassingen mogelijk maakt.
3. Uitgebreide Evaluatie: Een benchmark van 50 modellen, inclusief open-source (DeepSeek, Llama, Gemma, Qwen) en proprietary API's (GPT-4o, o3, etc.).
4. Open Source Initiatief: De volledige dataset, code, en een interactieve leaderboard zijn publiek beschikbaar gesteld via GitHub en een webportal.

4. Resultaten

De experimenten leverden de volgende cruciale inzichten op:

• Matige Zero-Shot Prestaties: Zelfs de beste modellen presteren slechts gemiddeld zonder externe hulp.

  • De beste presteerder, o3, behaalde 72,54% nauwkeurigheid.
  • De meeste andere modellen (inclusief GPT-4o, Llama-3.1-70B, Qwen2.5-Max) scoren tussen de 55% en 70%.
  • Dit toont aan dat LLM's moeite hebben met de nuance en diepgang van ESG-concepten.

• RAG Verbetert Prestaties Significaant: Het toevoegen van context (RAG) leidt tot grote verbeteringen, vooral voor kleinere modellen.

  • Voorbeeld: DeepSeek-R1-Distill-Qwen-14B steeg van 63,82% (Zero-Shot) naar 80,46% (RAG).
  • Kleine modellen vs. Grote modellen: Een kleiner model met RAG (bijv. Gemma-3-27B met +141% verbetering) kan vaak beter presteren dan een veel groter model zonder RAG. Dit benadrukt dat kennisgronding belangrijker is dan alleen modelgrootte.

• Redeneringsvermogen is Cruciaal: Modellen die specifiek zijn getraind of gefinetuned voor redeneren (zoals de DeepSeek-R1 en o3 series) presteren over het algemeen beter in Zero-Shot settings dan hun niet-redenerende tegenhangers.

• Foutanalyse: Modellen falen vaak bij vragen die subtiele regionale verschillen, specifieke definities (bijv. "recordable workplace incident") of complexe causale relaties vereisen. Er is een neiging tot oppervlakkige woordovereenkomsten in plaats van diepgaand begrip.

5. Betekenis en Toekomstperspectief

• Vertrouwenswaardige AI: ESGenius biedt een noodzakelijke tool om de betrouwbaarheid van AI in duurzaamheidscontexten te garanderen. Het benadrukt dat antwoorden moeten worden verankerd in autoritaire bronnen om hallucinaties en "greenwashing" te voorkomen.
• Richting voor Onderzoek: De resultaten tonen aan dat voor gespecialiseerde domeinen zoals ESG, RAG en kennisgronding effectiever zijn dan het simpelweg vergroten van modelparameters.
• Leefbaarheid: De benchmark is ontworpen om mee te groeien met de veranderende ESG-landschap (nieuwe wetgeving, updates aan standaarden) dankzij een modulaire architectuur.
• Beperkingen: Huidige beperkingen zijn de focus op Engelstalige documenten, het ontbreken van visuele elementen (grafieken in rapporten) en de afhankelijkheid van menselijke experts voor validatie.

Conclusie: ESGenius vult een kritieke leemte in de AI-onderzoekswereld door een gestandaardiseerde, transparante en uitgebreide manier te bieden om te meten hoe goed LLM's de complexe wereld van duurzaamheid begrijpen, met als belangrijkste bevinding dat gegrounde antwoorden (via RAG) essentieel zijn voor accurate ESG-inzichten.