Auditing the Auditor: Extraction Accuracy, Hallucination, and Abstention in Open-Weight LLMs for ESG Reporting A Longitudinal Empirical Benchmark Across 518 Corporate Disclosures (2010–2026)
Dieser longitudinale Benchmark von fünf Open-Weight-LLMs über 518 ESG-Berichte hinweg offenbart, dass die Modelle zwar verlässlich narrative Richtlinien zusammenfassen, aber Schwierigkeiten mit der präzisen numerischen Extraktion haben und häufig Daten halluzinieren, wenn keine explizite Argumentation oder strikte Anweisungen vorliegen, was die kritische Notwendigkeit verbesserter Abstinenzmechanismen in der automatisierten Nachhaltigkeitsprüfung unterstreicht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Geschäftswelt sind das Engagement eines Unternehmens für die Umwelt, der Umgang mit seinen Mitarbeitern und eine ethische Unternehmensführung nicht mehr nur Angelegenheiten der Öffentlichkeitsarbeit. Diese Faktoren sind zu harten Daten geworden, die an vielen Orten gesetzlich vorgeschrieben sind, und werden von Investoren genauestens geprüft, die wissen müssen, ob ein Unternehmen wirklich nachhaltig ist oder nur so tut, als ob. Dieser Wandel hat eine massive Herausforderung für Wirtschaftsprüfer geschaffen. Ein einziger Nachhaltigkeitsbericht kann sich über hunderte Seiten erstrecken, gefüllt mit dichten Datentabellen, Fußnoten und sich ändernden Definitionen. Um dieses Volumen zu bewältigen, wenden Finanzinstitute künstliche Intelligenz ein, speziell eine Art von Computerprogramm, das als großes Sprachmodell bekannt ist. Diese Programme wurden mit riesigen Mengen an Text trainiert und können Dokumente lesen, um spezifische Antworten zu finden, ganz ähnlich wie ein sehr schneller, sehr belesener Bibliothekar. Damit diese Werkzeuge jedoch für offizielle Prüfungen vertrauenswürdig sind, müssen sie mehr tun, als nur eine Geschichte zusammenzufassen; sie müssen exakte Zahlen extrahieren, ohne Dinge zu erfinden, und sie müssen wissen, wann sie zugeben müssen, dass eine Antwort im Dokument schlichtweg nicht existiert.
Ein Team von Forschern der University of Ghana setzte sich zum Ziel, genau zu testen, wie gut diese Open-Source-Modelle der künstlichen Intelligenz in diesem hochriskanten Umfeld abschneiden. Sie sammelten eine massive Sammlung von 518 echten Nachhaltigkeitsberichten von Unternehmen, die zwischen 2010 und 2026 veröffentlicht wurden und einen Zeitraum abdecken, der sowohl ältere freiwillige Berichte als auch die neuesten, streng regulierten Meldungen umfasst, die durch europäisches Recht vorgeschrieben sind. Aus dieser Bibliothek von Dokumenten erstellten sie einen strengen Test, der aus 120 spezifischen Prüfungsfragen bestand. Diese Fragen reichten von der Bitte um einfache Zusammenfassungen von Richtlinien bis hin zur Forderung nach präzisen Zahlen für Treibhausgasemissionen oder Wasserverbrauch. Die Forscher fütterten diese Fragen anschließend fünf verschiedenen führenden Modellen der künstlichen Intelligenz und simulierten dabei ein reales Szenario, in dem der Computer zuerst das relevante Dokument sucht und dann versucht, die Antwort zu lesen. Um die Fairness zu gewährleisten, verwendeten sie ein separates, unabhängiges System der künstlichen Intelligenz, um die Antworten zu bewerten, wodurch verhindert wurde, dass die Modelle sich selbst hohe Punktzahlen für ihre eigene Arbeit gaben.
Die Ergebnisse zeigten eine klare Kluft zwischen der Fähigkeit dieser Maschinen, Wörter zu verstehen, und der Fähigkeit, mit Zahlen umzugehen. Wenn sie gebeten wurden, die allgemeinen Richtlinien oder Verpflichtungen eines Unternehmens zusammenzufassen, schnitten die Modelle recht gut ab und erfassten oft das Wesentliche des Textes mit hoher Genauigkeit. Wenn die Aufgabe jedoch darin bestand, eine spezifische Zahl aus einer komplexen Tabelle zu ziehen – wie etwa die exakte Menge an ausgestoßenem Kohlendioxid in einem bestimmten Jahr –, sank ihre Leistung erheblich. Selbst wenn die Forscher den Modellen die perfekte Seite aus dem Bericht zur Verfügung stellten, konnte das leistungsstärkste Modell die korrekte Zahl nur etwa 73 Prozent der Zeit extrahieren. Die Schwierigkeit lag oft nicht darin, die richtige Seite zu finden, sondern die Tabelle korrekt zu lesen, beispielsweise indem die Gesamtsumme eines Mutterunternehmens mit der Zahl einer Tochtergesellschaft verwechselt oder die Maßeinheiten falsch interpretiert wurden.
Der vielleicht kritischste Befund betraf das Verhalten dieser Modelle, wenn die Antwort fehlt. In einer echten Prüfung könnte ein Unternehmen eine bestimmte Kennzahl nicht gemeldet haben, oder eine Suche könnte versehentlich eine Seite aus einem falschen Jahr aufgerufen haben. Die Forscher testeten dies, indem sie den Modellen eine Frage zu gefährlichem Abfall aus dem Jahr 2024 stellten, ihnen aber eine Dokumentenseite zur Verfügung stellten, die nur über Wasserrecycling aus dem Jahr 2022 sprach. Unter Standardanweisungen versuchten viele der Modelle, hilfreich zu sein, indem sie eine Zahl erfanden oder eine ähnliche Zahl aus einem anderen Jahr einsetzten – ein Verhalten, das als Halluzination bekannt ist. Dies geschah in fast der Hälfte der Fälle bei einigen Modellen. Die Studie zeigte jedoch, dass diese gefährliche Tendenz weitgehend behoben werden konnte. Indem man den Modellen die strikte Anweisung gab, „Ich kann nicht antworten“ zu sagen, falls die exakten Daten nicht vorhanden waren, sank die Rate der erfundenen Zahlen drastisch. Darüber hinaus war ein Modell, das darauf ausgelegt war, erst über seine Argumentation nachzudenken („think“), bevor es antwortet, von Natur aus besser darin, solche Unstimmigkeiten zu erkennen und sich zu weigern zu raten, selbst ohne die strikten Anweisungen.
Die Studie untersuchte auch, wie die sich ändernde Natur der Unternehmensberichterstattung diese Werkzeuge beeinflusst. Die Forscher fanden heraus, dass die neuesten, durch europäische Regulierungen vorgeschriebenen Pflichtberichte, die standardisierte Tabellen und konsistente Bezeichnungen verwenden, für die künstliche Intelligenz tatsächlich leichter zu lesen sind als die älteren, freiwilligen Berichte. Sobald der Computer den richtigen Abschnitt in diesen modernen Dokumenten gefunden hatte, verbesserte sich seine Genauigkeit merklich. Dies deutet darauf hin, dass, wenn Regulierungen Unternehmen dazu zwingen, ihre Daten klarer zu organisieren, diese Werkzeuge zuverlässiger werden. Letztlich kommt die Forschung zu dem Schluss, dass künstliche Intelligenz zwar bereit ist, dabei zu helfen, die Geschichten zusammenzufassen, die Unternehmen über ihre Nachhaltigkeit erzählen, aber noch nicht bereit ist, menschliche Wirtschaftsprüfer bei der Überprüfung der harten Zahlen zu ersetzen. Der sicherste Ansatz besteht darin, diese Modelle dazu zu nutzen, Zusammenfassungen zu entwerfen und potenzielle Probleme aufzuzeigen, aber einen Menschen in den Prozess einzubinden, der die endgültigen Zahlen verifiziert, um sicherzustellen, dass die Zahlen real sind und nicht nur eine überzeugende Vermutung.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.