ESG-Bench: Benchmarking Long-Context ESG Reports for Hallucination Mitigation

Die Arbeit stellt ESG-Bench vor, einen Benchmark-Datensatz mit menschenannotierten Frage-Antwort-Paaren aus ESG-Berichten, der durch Chain-of-Thought-Prompting und Feinabstimmung von Sprachmodellen die Halluzinationen bei der Analyse komplexer Nachhaltigkeitsdokumente signifikant reduziert und die Zuverlässigkeit in compliance-kritischen Kontexten verbessert.

Das Wesentliche

Stellen Sie sich vor, große Unternehmen schreiben riesige, dicke Bücher über ihre Umweltfreundlichkeit, ihre Behandlung von Mitarbeitern und ihre ethischen Werte. Diese Bücher nennt man ESG-Berichte (Umwelt, Soziales und Unternehmensführung). Sie sind oft hunderte Seiten lang, voller Tabellen, Grafiken und komplexer Sprache.

Früher haben Menschen diese Bücher mühsam gelesen, um zu prüfen, ob die Firmen wirklich das tun, was sie sagen. Heute wollen wir künstliche Intelligenz (KI) einsetzen, um diese Aufgabe zu erledigen. Aber hier liegt das Problem: KI halluziniert.

Das Problem: Die KI, die sich Dinge ausdenkt

Stellen Sie sich die KI wie einen sehr gut ausgebildeten, aber etwas übermütigen Schüler vor. Wenn Sie ihn fragen: „Wie viel CO2 hat Firma X im letzten Jahr ausgestoßen?", liest er vielleicht nicht das ganze Buch. Stattdessen denkt er sich eine plausible Zahl aus, weil er glaubt, er müsse eine Antwort geben. Das nennt man Halluzination.

In der Welt der ESG-Berichte ist das gefährlich. Wenn eine KI erfindet, dass eine Firma „grün" ist, obwohl sie es gar nicht ist, können Investoren falsche Entscheidungen treffen oder Gesetze gebrochen werden.

Die Lösung: ESG-Bench (Der Prüfstand für KI)

Die Forscher aus Sheffield haben eine neue Methode entwickelt, um dieses Problem zu lösen. Sie nennen es ESG-Bench.

Man kann sich ESG-Bench wie einen großen, strengen Lehrer vorstellen, der eine spezielle Prüfung für KI-Modelle erstellt hat:

1. Der Test: Die KI bekommt einen echten ESG-Bericht und eine Frage dazu.
2. Die Aufgabe: Die KI muss die Antwort nur aus dem Text finden. Wenn die Antwort nicht im Text steht, muss sie ehrlich sagen: „Ich weiß es nicht."
3. Die Bewertung: Menschen (Experten) haben die Antworten der KI geprüft. Sie haben markiert: „Richtig", „Ausgedacht" (Halluzination) oder „Unvollständig".

Das Besondere an diesem Test ist, dass er nicht nur prüft, ob die Antwort richtig ist, sondern auch, ob die KI ehrlich ist, wenn sie nichts weiß.

Der Trick: Der „Gedankengang" (Chain-of-Thought)

Wie haben die Forscher die KI dazu gebracht, aufzuhören, sich Dinge auszudenken? Sie haben ihr eine neue Denkweise beigebracht, die sie Chain-of-Thought (CoT) nennen.

Stellen Sie sich vor, die KI ist wie ein Detektiv, der einen Fall lösen muss.

• Die alte KI (ohne CoT): Sie schaut sich den Fall an und schreit sofort: „Der Täter ist der Butler!" (Oft falsch, weil sie ratet).
• Die neue KI (mit CoT): Die Forscher haben ihr beigebracht, erst einen Schritt-für-Schritt-Plan zu schreiben, bevor sie antwortet:
  1. Schritt 1: „Was wird eigentlich gefragt?" (Thema finden).
  2. Schritt 2: „Wo steht das im Buch?" (Im Text suchen).
  3. Schritt 3: „Steht die Antwort dort wirklich?" (Prüfen).
  4. Schritt 4: „Erst jetzt antworten."

Indem sie die KI gezwungen haben, diesen „Gedankengang" laut zu denken und zu schreiben, wurde sie viel genauer. Sie lernte, dass es besser ist, zu warten und zu suchen, als etwas zu erfinden.

Das Ergebnis: Bessere KI für die Welt

Die Forscher haben gezeigt, dass diese Methode funktioniert:

• Die KI macht viel weniger Fehler.
• Sie traut sich, „Ich weiß es nicht" zu sagen, wenn die Information fehlt (statt zu lügen).
• Diese Technik funktioniert nicht nur für ESG-Berichte, sondern hilft der KI auch in anderen Bereichen, ehrlicher zu bleiben.

Zusammenfassend:
Die Forscher haben einen neuen „Prüfstand" (ESG-Bench) gebaut, um zu sehen, ob KI in langen, wichtigen Dokumenten lügt. Durch das Trainieren der KI mit einem strukturierten „Gedankengang" (wie ein Detektiv, der Beweise sammelt), haben sie erreicht, dass die KI verlässlicher wird. Das ist ein wichtiger Schritt, damit wir uns in Zukunft auf KI verlassen können, wenn es um Umwelt, soziale Gerechtigkeit und ethisches Verhalten von Firmen geht.

Technische Zusammenfassung

1. Problemstellung

Die Berichterstattung zu Umwelt, Sozialem und Unternehmensführung (ESG) wird zunehmend gesetzlich vorgeschrieben und ist für die Bewertung der langfristigen Leistung von Unternehmen entscheidend. Allerdings stellen ESG-Berichte aufgrund ihrer Länge, Komplexität und Multimodalität (Text, Tabellen, Grafiken) eine große Herausforderung für Large Language Models (LLMs) dar.

Das Hauptproblem ist die Halluzination: LLMs neigen dazu, Informationen zu erfinden, die nicht im Quelldokument enthalten sind, oder relevante Beweise zu ignorieren. Dies ist in hochregulierten Bereichen wie der ESG-Konformität kritisch, da falsche Informationen zu regulatorischen Risiken und Vertrauensverlust führen können. Bestehende Benchmarks decken diese spezifischen Anforderungen (lange Kontexte, domänenspezifische Faktenprüfung) nicht ausreichend ab.

2. Methodik

A. Aufbau von ESG-Bench (Der Datensatz)

Die Autoren haben ESG-Bench entwickelt, einen Benchmark-Datensatz speziell für die Frage-Antwort-Aufgabe (QA) in ESG-Berichten mit Fokus auf Halluzinationsmitigation.

• Datenquellen: 94 echte ESG-Berichte (2020–2024) aus verschiedenen Sektoren (Energie, Finanzen, Technologie etc.) und 270 Fragen, die auf regulatorischen Standards (z. B. GRI) und akademischen Quellen basieren.
• Annotation: Ein „Modell-zuerst, dann-Annotator"-Pipeline wurde verwendet. ChatGPT-4o generierte zunächst Antworten, die dann von Experten (PhD-Studenten in Ökonomie/Nachhaltigkeit) überprüft wurden.
• Labeling: Die Annotationen klassifizieren Antworten in:
  • Korrekt: Vollständig durch den Kontext gestützt.
  • Halluzination: Erfundene oder nicht gestützte Informationen (additiv).
  • Unvollständig: Fehlen von Schlüsselinformationen.
  • Keine Antwort gefunden: Das Modell antwortete nicht, obwohl die Information vorhanden war (omissive Halluzination).
• Statistik: Der Datensatz enthält sowohl kurze als auch sehr lange Kontexte (bis zu 46.562 Token) und ist in zwei Versionen unterteilt: eine für die reine QA-Bewertung und eine speziell für die Halluzinationsmitigation (mit Ground-Truth-Rationales).

B. Strategien zur Halluzinationsmitigation

Das Paper schlägt einen dreistufigen Ansatz vor, um LLMs zu trainieren, strikt auf dem Kontext zu basieren:

1. Supervised Fine-Tuning (SFT): Das Modell wird auf den ESG-QA-Datensatz feinabgestimmt, wobei es lernt, Antworten zu generieren, wenn Beweise vorliegen, oder „Nicht bereitgestellt" zu antworten, wenn keine Information vorhanden ist. Dies reduziert Halluzinationen im Vergleich zu Zero-Shot-Modellen, ist aber oft nicht transparent genug.
2. Chain-of-Thought (CoT) Prompting: Statt einer direkten Antwort wird das Modell angewiesen, einen mehrstufigen Denkprozess durchzuführen. Es werden zwei spezifische Templates entwickelt:
   • 2-Schritt-CoT: Bestimmung der Beantwortbarkeit, gefolgt von der Antwort.
   • 4-Schritt-CoT: Identifikation des Themas, Suche nach relevanten Sätzen im Bericht, Bestimmung der Beantwortbarkeit, Generierung der Antwort.
3. CoT-basiertes Fine-Tuning: Das Modell wird auf einem Subset des Datensatzes mit expliziten CoT-Argumentationspfaden (Rationales) feinabgestimmt. Das Modell lernt nicht nur die Antwort, sondern den strukturierten Denkprozess, um Beweise zu extrahieren und zu verifizieren.

C. Experimentelles Setup

• Modelle: LLaMA-3.2-3B, Gemma-2-2B-it und Mistral-7B-Instruct-v0.3.
• Benchmarks: ESG-Bench, HaluEval (allgemeine Halluzinationen) und BioASQ (biomedizinische QA).
• Metriken: WA-Accuracy (korrekte Antworten bei Vorhandensein), WoA-Accuracy (korrektes Verweigern bei fehlender Information), Balanced Accuracy und F1-Score.

3. Wichtige Ergebnisse

Die Experimente zeigen deutliche Verbesserungen durch die CoT-Strategien:

• Überlegenheit von CoT: Modelle, die mit dem 4-Schritt-CoT-Ansatz feinabgestimmt wurden, erzielten die besten Ergebnisse. Auf ESG-Bench erreichte Mistral-7B mit 4-Schritt-CoT eine Balanced Accuracy von 90,00 % und einen F1-Score von 73,50 % (im Vergleich zu 69,64 % ohne Feinabstimmung).
• Reduktion von Halluzinationen: Der Ansatz verbessert signifikant die Fähigkeit des Modells, bei fehlenden Informationen korrekt zu „abstain" (sich zurückzuhalten), was die Rate der additiven Halluzinationen drastisch senkt.
• Generalisierung: Die auf ESG-Bench trainierten CoT-Modelle zeigten verbesserte Leistungen auch auf den externen Benchmarks HaluEval und BioASQ, was darauf hindeutet, dass die Fähigkeit zur evidenzbasierten Argumentation domänenübergreifend transferierbar ist.
• Validierung: Die Studie zeigte, dass die Selbstbewertung von GPT-4o (Ja/Nein-Entscheidung zur Groundedness) als effektiver Proxy für das Training von Halluzinations-aware-Modellen genutzt werden kann.

4. Hauptbeiträge

1. ESG-Bench: Der erste strukturierte Benchmark, der systematische Evaluation und gezielte Mitigation von Halluzinationen im Kontext langer ESG-Berichte ermöglicht. Er enthält menschlich annotierte QA-Paare mit Feinabstimmungs-Labels für Faktenhaltigkeit.
2. Domänenspezifische CoT-Strategie: Entwicklung und Validierung von maßgeschneiderten Chain-of-Thought-Prompts (2- und 4-Schritt), die speziell auf die Anforderungen der Evidenzextraktion in langen Dokumenten zugeschnitten sind.
3. Empirische Evidenz: Nachweis, dass CoT-basiertes Fine-Tuning mit Groundedness-Supervision die Zuverlässigkeit von LLMs in hochriskanten Compliance-Szenarien signifikant erhöht und über den ESG-Bereich hinaus generalisierbar ist.

5. Bedeutung und Ausblick

Das Paper adressiert eine kritische Lücke in der Anwendung von KI im Finanz- und Nachhaltigkeitssektor. Da ESG-Berichte zunehmend rechtlich bindend sind, ist die Vermeidung von Halluzinationen keine optionale Verbesserung, sondern eine Notwendigkeit.

• Praktische Relevanz: ESG-Bench und die vorgestellten Methoden bieten Werkzeuge für Unternehmen und Aufsichtsbehörden, um die Zuverlässigkeit von automatisierten ESG-Analysen zu gewährleisten.
• Forschungsbeitrag: Die Arbeit zeigt, dass strukturiertes Denken (CoT) in Kombination mit Feinabstimmung auf annotierten Rationales ein vielversprechender Weg ist, um die „Black Box" von LLMs in sensiblen Bereichen transparenter und faktisch korrekter zu machen.
• Skalierbarkeit: Die Ergebnisse deuten darauf hin, dass dieser Ansatz eine skalierbare Lösung für die Analyse langer, komplexer Dokumente in anderen regulatorischen Bereichen (z. B. Recht, Medizin) bieten könnte.

Zusammenfassend liefert das Paper einen robusten Rahmen, um LLMs von reinen Textgeneratoren zu verlässlichen, evidenzbasierten Analysewerkzeugen für kritische Unternehmensdokumente zu transformieren.