ESGenius: Benchmarking LLMs on Environmental, Social, and Governance (ESG) and Sustainability Knowledge

Die Studie stellt ESGenius vor, den ersten umfassenden Benchmark zur Evaluierung von Large Language Models im Bereich ESG und Nachhaltigkeit, der aus einem von Experten validierten Fragenkatalog und einer Kuratierung autoritativer Quellen besteht und zeigt, dass Retrieval-Augmented Generation (RAG) die Leistung dieser Modelle in diesem spezialisierten Fachgebiet signifikant verbessert.

Das Wesentliche

🌍 ESGenius: Der „Führerschein" für KI im Umweltschutz

Stellen Sie sich vor, Sie wollen einen neuen Fahrer für ein riesiges, komplexes Schiff einstellen. Das Schiff ist die Welt der Nachhaltigkeit (Umwelt, Soziales und Unternehmensführung – kurz ESG). Die Regeln dafür sind nicht einfach; sie bestehen aus tausenden von dicken Handbüchern, Gesetzen und wissenschaftlichen Berichten (wie IPCC oder GRI).

Das Problem: Die aktuellen künstlichen Intelligenzen (KI), die als „Kapitäne" arbeiten sollen, kennen diese Regeln oft nicht auswendig. Sie raten manchmal, was zu gefährlichen Fehlern führen kann.

Das Team um ESGenius hat jetzt eine Lösung entwickelt: Ein riesiger, neuer Führerschein-Test für diese KIs.

1. Die Bibliothek (ESGenius-Corpus) 📚

Bevor man jemanden prüft, braucht man die richtigen Lernunterlagen.

• Die Analogie: Stellen Sie sich eine Bibliothek vor, die nur aus den wichtigsten Büchern der Welt besteht: Berichte über Klimawandel, Regeln für faire Löhne und Gesetze für saubere Luft.
• Was gemacht wurde: Die Forscher haben 231 dieser autoritären Dokumente (PDFs) gesammelt. Das sind über 19.000 Seiten reines Wissen. Das ist das „Lehrbuch", auf das sich alle beziehen müssen.

2. Der Prüfungsfragen-Katalog (ESGenius-QA) ❓

Ein Führerschein besteht aus Fragen. Aber keine langweiligen „Was ist 2+2?"-Fragen.

• Die Analogie: Statt zu fragen: „Was ist ein Baum?", fragt der Test: „Wenn ein Unternehmen in einem Land mit strengen Wassergesetzen eine Fabrik baut, aber nur 30% des Abwassers filtert, welche spezifische Regel aus dem Handbuch wurde genau verletzt und welche Strafe droht?"
• Das Besondere: Die Forscher haben 1.136 dieser kniffligen Multiple-Choice-Fragen erstellt. Jede Frage ist wie ein kleiner Schlüssel, der exakt auf eine Stelle in den 231 Büchern passt.
• Die Qualitätssicherung: Damit die Fragen nicht falsch sind, haben menschliche Experten (Leute, die sich wirklich mit Nachhaltigkeit auskennen) jede einzelne Frage geprüft. Sie haben sichergestellt, dass die KI nicht einfach raten kann, sondern wirklich verstehen muss.

3. Der große Test: Zwei Szenarien 🧪

Die Forscher haben 50 verschiedene KI-Modelle (von kleinen, schnellen Modellen bis zu riesigen Super-KIs) getestet. Dabei gab es zwei Arten des Tests:

• Szenario A: „Aus dem Gedächtnis" (Zero-Shot)

  • Die Analogie: Der KI wird die Frage gestellt, ohne dass sie die Bücher zur Hand hat. Sie muss aus ihrem eigenen, vortrainierten Wissen antworten.
  • Das Ergebnis: Die KIs waren überraschend schlecht. Die besten lagen nur bei ca. 72%. Das ist wie ein Student, der die Vorlesung verpasst hat und trotzdem versucht, eine Prüfung zu bestehen. Viele KIs halluzinieren (erfinden Fakten) oder verwechseln Regeln.

• Szenario B: „Mit Nachschlagewerk" (RAG - Retrieval Augmented Generation)

  • Die Analogie: Diesmal darf die KI die Bücher (die 231 Dokumente) zur Hand nehmen. Sie sucht den relevanten Abschnitt, liest ihn und gibt dann die Antwort.
  • Das Ergebnis: Wunder geschehen! Die Leistung der KIs schoss in die Höhe. Besonders kleine KIs, die vorher kaum etwas wussten, wurden durch das Nachschlagen fast so gut wie die riesigen Modelle.
  • Die Lehre: Es ist nicht wichtig, wie groß das Gehirn der KI ist. Wichtig ist, dass sie zugriff auf die richtigen Fakten hat.

4. Warum ist das wichtig? 🚀

• Vertrauen: Wenn eine KI über ESG (Umweltschutz, Menschenrechte etc.) spricht, darf sie keine Fehler machen. Ein falscher Rat könnte zu illegalen Praktiken oder „Greenwashing" führen.
• Der Weg nach vorne: ESGenius zeigt uns, dass wir KIs nicht einfach nur „größer" machen müssen. Wir müssen ihnen helfen, faktenbasiert zu arbeiten.
• Offenheit: Das Team hat den gesamten Test, die Fragen und die Daten kostenlos für alle veröffentlicht. Jeder kann seine eigene KI darauf testen und sehen, ob sie wirklich „nachhaltig" denken kann.

Zusammenfassung in einem Satz

ESGenius ist wie ein strenger, von Experten geprüfter Führerschein-Test, der zeigt, dass KIs im Bereich Umweltschutz nur dann sicher fahren können, wenn sie nicht nur auswendig lernen, sondern auch die richtigen Regelbücher zur Hand haben.

Technische Zusammenfassung

1. Problemstellung

Der Bereich Umwelt, Soziales und Unternehmensführung (ESG) sowie Nachhaltigkeit umfasst ein komplexes, interdisziplinäres Wissensfeld, das durch sich ständig weiterentwickelnde technische Rahmenwerke (z. B. GRI, SASB, TCFD, ISSB, IPCC) und strenge Berichtspflichten geprägt ist. Obwohl Large Language Models (LLMs) vielversprechend erscheinen, um komplexe ESG-Dokumente zu verarbeiten, gibt es derzeit keine umfassenden Benchmark-Datensätze, die speziell darauf ausgelegt sind, das Verständnis und die Schlussfolgerungsfähigkeit von LLMs in diesem Bereich zu bewerten.

Bestehende QA-Benchmarks (Question Answering) ignorieren ESG-Themen oft vollständig oder behandeln sie nur oberflächlich. Dies führt zu einer kritischen Lücke: Ohne zuverlässige Evaluierungsmethoden ist es schwierig, die Zuverlässigkeit von KI-Systemen für geschäftskritische ESG-Entscheidungen zu garantieren, was zu Compliance-Verstößen oder „Greenwashing" führen könnte.

2. Methodik und Aufbau des Benchmarks

Die Autoren stellen ESGenius vor, einen umfassenden Benchmark, der aus zwei eng verzahnten Komponenten besteht:

• ESGenius-Corpus: Eine sorgfältig kuratierte Sammlung von 231 autoritativen PDF-Dokumenten aus 7 Hauptquellen. Dazu gehören:

  • Globale Standards (GRI, SASB, IFRS/ISSB).
  • Wissenschaftliche Berichte (IPCC-Assessment Reports).
  • Rahmenwerke für Klimarisiken (TCFD, CDP).
  • UN-Nachhaltigkeitsziele (SDGs).
  • Der Corpus umfasst ca. 19.600 Seiten und deckt alle drei ESG-Säulen (Environmental, Social, Governance) sowie branchenspezifische Nuancen ab.

• ESGenius-QA: Ein Datensatz von 1.136 Multiple-Choice-Fragen (MCQs), die speziell für diesen Benchmark entwickelt wurden.

  • Generierung: Ein LLM-gesteuerter Pipeline-Prozess (unterstützt durch Qwen-Max) generiert Kandidatenfragen aus den Textabschnitten des Corpus.
  • Validierung: Jede Frage wird von Domain-Experten (durchschnittlich 5 Jahre Erfahrung in Nachhaltigkeit/NLP) streng validiert. Dies umfasst die Überprüfung der Fakten, die Klarheit der Frage, die Plausibilität der Ablenkungsoptionen (Distraktoren) und die eindeutige Zuordnung zur Quelle.
  • Struktur: Jede Frage hat vier Optionen (A–D) plus eine Option „Z" („Not sure"), um Modellunsicherheit zu erfassen. Jede Frage ist explizit mit den relevanten Textstellen im Corpus verknüpft, was transparente Evaluierung und Retrieval-Augmented Generation (RAG) ermöglicht.

Evaluierungsprotokoll:
Die Leistung von 50 verschiedenen LLMs (Größen von 0,5 Mrd. bis 671 Mrd. Parametern, sowohl Open-Source als auch proprietäre APIs) wird in zwei Settings getestet:

1. Zero-Shot: Bewertung des inhärenten ESG-Wissens des Modells ohne externe Hilfe.
2. Long-Context RAG: Bewertung der Fähigkeit, relevante Informationen aus dem ESGenius-Corpus zu extrahieren und in die Antwort zu integrieren (der relevante Textabschnitt wird als Kontext vor die Frage eingefügt).

3. Wichtige Beiträge

1. Erster umfassender ESG-QA-Benchmark: ESGenius ist der erste Datensatz, der LLMs rigoros auf ESG- und Nachhaltigkeitswissen prüft, mit einer großen Menge expertenvalidierter Fragen.
2. Transparente Wissensbasis: Durch die explizite Verknüpfung von Fragen mit Quelltexten ermöglicht der Benchmark nicht nur eine Leistungsbeurteilung, sondern auch die Analyse von Halluzinationen und die Unterstützung von RAG-Ansätzen.
3. Umfassende Evaluierung: Der Benchmark deckt 50 Modelle ab, darunter verschiedene Familien (DeepSeek, Gemma, GPT, Llama, Qwen) und Größenordnungen, und bietet detaillierte Analysen zu Reasoning-Fähigkeiten und Instruction-Tuning.
4. Open-Source-Initiative: Der gesamte Datensatz, der Code, die Evaluierungsskripte und eine interaktive Web-Plattform mit einem Live-Leaderboard und Heatmaps sind öffentlich verfügbar, um die Community-Forschung zu fördern.

4. Ergebnisse

Die Experimente mit 50 LLMs lieferten folgende zentrale Erkenntnisse:

• Begrenzte Zero-Shot-Leistung: Selbst die besten Modelle erreichen im Zero-Shot-Modus nur moderate Genauigkeiten (ca. 55–70 %). Das führende Modell (o3) erreicht 72,54 %, während viele andere Modelle deutlich schlechter abschneiden. Dies zeigt eine signifikante Wissenslücke in diesem spezialisierten Bereich.
• RAG als Game-Changer: Die Einführung von Retrieval-Augmented Generation (RAG) führt zu massiven Leistungssteigerungen, insbesondere für kleinere Modelle.
  • Beispiel: Das Modell DeepSeek-R1-Distill-Qwen-14B verbessert sich von 63,82 % (Zero-Shot) auf 80,46 % (mit RAG).
  • Beispiel: Gemma-3-27B zeigt eine Verbesserung von 141 % (von 0,2165 auf 0,5229).
  • Dies beweist, dass die Fähigkeit, auf autoritative Quellen zurückzugreifen, oft wichtiger ist als die reine Modellgröße.
• Einfluss von Reasoning-Fähigkeiten: Modelle, die explizit für Reasoning optimiert wurden (z. B. DeepSeek-R1-Varianten oder o3), schneiden im Zero-Shot-Modus signifikant besser ab als vergleichbare Modelle ohne diese Ausrichtung.
• Schwierigkeit des Benchmarks: Der Datensatz ist hochkomplex. Es gibt Fragen, bei denen kein einziges Modell die richtige Antwort findet (0 % Genauigkeit), was auf die Notwendigkeit tieferer Analysefähigkeiten und nicht nur oberflächlicher Keyword-Matching hinweist.

5. Bedeutung und Ausblick

ESGenius adressiert eine kritische Lücke in der KI-Forschung für nachhaltige Entwicklung. Die Ergebnisse unterstreichen, dass:

• Grounding (Verankerung) in autoritativen Quellen für ESG-Anwendungen unverzichtbar ist, um Genauigkeit und Vertrauen zu gewährleisten.
• RAG-Systeme essenziell sind, um LLMs in dynamischen und hochspezialisierten Domänen wie ESG effektiv einzusetzen.
• Die Entwicklung von vertrauenswürdiger KI in diesem Bereich eine kontinuierliche Evaluierung und Aktualisierung der Benchmarks erfordert, da sich regulatorische Rahmenwerke schnell ändern.

Das Paper liefert damit nicht nur ein Evaluierungswerkzeug, sondern auch eine Roadmap für die Entwicklung robuster, evidenzbasierter KI-Systeme, die Unternehmen und Regulierungsbehörden bei der Bewältigung komplexer Nachhaltigkeitsaufgaben unterstützen können.