Auditing the Auditor: Extraction Accuracy, Hallucination, and Abstention in Open-Weight LLMs for ESG Reporting A Longitudinal Empirical Benchmark Across 518 Corporate Disclosures (2010–2026)
Deze longitudinale benchmark van vijf open-weight LLM's over 518 ESG-rapporten onthult dat hoewel modellen narratieve beleidsregels betrouwbaar samenvatten, ze moeite hebben met nauwkeurige numerieke extractie en regelmatig data hallucineren zonder expliciete redenering of strikte instructies, wat wijst op een kritieke behoefte aan verbeterde abstentie-mechanismen in geautomatiseerde duurzaamheidsaudits.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne zakenwereld zijn de inzet van een bedrijf voor het milieu, de behandeling van werknemers en ethisch bestuur niet langer slechts zaken van publieke relaties. Deze factoren zijn veranderand in harde gegevens, wettelijk vereist op veel plaatsen, en worden nauwgezet gecontroleerd door investeerders die moeten weten of een onderneming werkelijk duurzaam is of slechts doet alsof. Deze verschuiving heeft gezorgd voor een enorme uitdaging voor accountants. Een enkel duurzaamheidsverslag kan honderden pagina's beslaan, vol met dichte tabellen met cijfers, voetnoten en veranderende definities. Om deze hoeveelheid te begrijpen, wenden financiële instellingen zich tot kunstmatige intelligentie, specifiek een type computerprogramma dat bekend staat als een groot taalmodel. Deze programma's zijn getraind op enorme hoeveelheden tekst en kunnen documenten lezen om specifieke antwoorden te vinden, vergelijkbaar met een zeer snelle, zeer goed geïnformeerde bibliothecaris. Echter, om deze hulpmiddelen te vertrouwen voor officiële audits, moeten ze meer doen dan alleen een verhaal samenvatten; ze moeten exacte cijfers extraheren zonder dingen te verzinnen, en ze moeten weten wanneer ze moeten toegeven dat een antwoord simpelweg niet in het document aanwezig is.
Een team van onderzoekers van de Universiteit van Ghana zette zich er eveneens op toe om precies te testen hoe goed deze open-source kunstmatige intelligentiemodellen presteren in deze omgeving met hoge inzet. Ze verzamelden een enorme collectie van 518 echte bedrijfsduurzaamheidsverslagen gepubliceerd tussen 2010 en 2026, een periode die zowel oudere vrijwillige rapporten als de nieuwste, strikt gereguleerde aanleveringen die door de Europese wetgeving vereist zijn, omvat. Uit deze bibliotheek van documenten creëerden zij een rigoureuze test bestaande uit 120 specifieke auditvragen. Deze vragen varieerden van het vragen om eenvoudige beleidssamenvattingen tot het eisen van precieze cijfers voor broeikasgasemissies of waterverbruik. De onderzoekers voerden deze vragen vervolgens in bij vijf verschillende toonaangevende kunstmatige intelligentiemodellen, waarbij een scenario uit de echte wereld werd gesimuleerd waarbij de computer eerst zoekt naar de relevante pagina in het document en vervolgens probeert het antwoord te lezen. Om de eerlijkheid te waarborgen, gebruikten zij een apart, onafhankelijk kunstmatige intelligentiesysteem om de antwoorden te beoordelen, waardoor werd voorkomen dat de modellen zichzelf hoge scores gaven voor hun eigen werk.
De resultaten toonden een duidelijke kloof tussen hoe goed deze machines woorden begrijpen versus hoe goed ze met cijfers omgaan. Wanneer gevraagd werd om de algemene beleidsregels of ambities van een bedrijf samen te vatten, presteerden de modellen behoorlijk goed en legden ze vaak de essentie van de tekst met een hoge nauwkeurigheid vast. Echter, wanneer de taak vereiste om een specifiek getal uit een complexe tabel te halen — zoals de exacte hoeveelheid uitgestoten koolstofdioxide in een specifiek jaar — daalde hun prestatie aanzienlijk. Zelfs toen de onderzoekers de modellen de perfecte pagina uit het rapport gaven, kon het best presterende model het juiste getal slechts ongeveer 73 procent van de tijd extraheren. De moeilijkheid lag vaak niet in het vinden van de juiste pagina, maar in het correct lezen van de tabel, zoals het verwarren van het totaal van een moederbedrijf met een cijfer van een dochteronderneming of het verkeerd lezen van de eenheden van meting.
Misschien wel de meest kritieke bevinding betrof hoe deze modellen zich gedragen wanneer het antwoord ontbreekt. In een echte audit kan een bedrijf een specifieke metriek hebben nagelaten te rapporteren, of een zoekopdracht kan per ongeluk een pagina uit het verkeerde jaar hebben opgehaald. De onderzoekers testten dit door de modellen een vraag te stellen over gevaarlijk afval in 2024, maar een documentpagina te leveren die alleen over waterrecycling in 2022 ging. Onder standaardinstructies probeerden veel van de modellen behulpzaam te zijn door een getal te verzinnen of een vergelijkbaar cijfer uit een ander jaar te substitueren, een gedrag dat bekend staat als hallucinatie. Dit gebeurde in bijna de helft van de gevallen bij sommige modellen. De studie toonde echter aan dat deze gevaarlijke neiging grotendeels gecorrigeerd kon worden. Door de modellen de strikte instructie te geven om "Ik kan het niet beantwoorden" te zeggen als de exacte gegevens niet aanwezig waren, daalde het aantal verzonnen getallen drastisch. Bovens kwam men erachter dat één model dat werd ontworpen om eerst na te denken over zijn redenering voordat het antwoord geeft, van nature beter was in het opsporen van deze mismatches en het weigeren om te gokken, zelfs zonder de strikte instructies.
De studie onderzocht ook hoe de veranderende aard van bedrijfsrapportage deze hulpmiddelen beïnvloedt. De onderzoekers vonden dat de nieuwste, verplichte rapporten die door Europese regelgeving worden vereist, die gebruikmaken van gestandaardiseerde tabellen en consistente labels, eigenlijk makkelijker te lezen zijn voor kunstmatige intelligentie dan de oudere, vrijwillige rapporten. Zodra de computer het juiste gedeelte in deze moderne documenten vond, verbeterde de nauwkeurigheid merkbaar. Dit suggereert dat naarmate regelgeving bedrijven dwingt hun gegevens duidelijker te organiseren, deze hulpmiddelen betrouwbaarder zullen worden. Uiteindelijk concludeert het onderzoek dat kunstmatige intelligentie klaar is om te helpen bij het samenvatten van de verhalen die bedrijven over hun duurzaamheid vertellen, maar nog niet klaar is om menselijke accountants te vervangen voor het controleren van de harde cijfers. De veiligste aanpak houdt in dat deze modellen worden gebruikt om samenvattingen op te stellen en potentiële problemen te signaleren, maar dat er een mens in de loop blijft om de definitieve cijfers te verifiëren, om er zeker van te zijn dat de getallen echt zijn en niet slechts een overtuigende gok.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.