Assessing the Credibility of Corporate SDG Claims: An Agentic AI Framework for Sustainability Report Analysis

Technische Samenvatting: Beoordeling van de Geloofwaardigheid van Bedrijfsaanspraken inzake SDG's via een Agentic AI-framework

1. Probleemstelling

De betrokkenheid van bedrijven bij de Duurzame Ontwikkelingsdoelstellingen (SDG's) van de Verenigde Naties is snel uitgebreid, waarbij 74% van de 250 grootste bedrijven ter wereld in hun rapportages van 2024 naar de SDG's verwijst. De kwaliteit van deze openbaarmakingen is echter niet evenredig mee gegroeid met de kwantiteit. Een aanzienlijk deel van de bedrijfsaanspraken met betrekking tot de SDG's blijft symbolisch—generieke verwijzingen die ontbreken aan meetbare doelen, kwantitatieve metrieken of verifieerbaar bewijs. Dit fenomeen, aangeduid als "SDG-washing", behelst het toeëigenen van de normatieve autoriteit van de SDG's om legitimiteit te construeren zonder substantiële actie.

Huidige beoordelingsmethoden kampen met een "schaalbaarheid–rigor paradox": handmatige inhoudsanalyse is rigoureus maar kan niet opschalen naar de tienduizenden jaarverslagen, terwijl geautomatiseerde trefwoordmatching wel schaalbaar is maar niet in staat is om het onderscheid te maken tussen de loutere aanwezigheid van SDG-verwijzingen en de geloofwaardigheid van de aanspraken. Bestaande AI-tools (bijv. OSDG, ClimateBERT) classificeren de relevantie van SDG's, maar evalueren niet de diepgang, specificiteit of het bewijskrachtige ondersteuningsniveau van de aanspraken. Bovendien is er een gebrek aan geautomatiseerde, op aanspraken gebaseerde beoordeling van de geloofwaardigheid, specifiek toegepast op de Thaise bedrijfscontext, waar rapporteren verplicht is maar de kwaliteit van de inhoud sterk varieert.

2. Methodologie

De studie ontwikkelt en valideert een vierfasig Agentic AI-framework dat ontworpen is om de geloofwaardigheid van bedrijfsaanspraken met betrekking tot de SDG's op grote schaal te beoordelen. Het framework maakt gebruik van een multi-agent architectuur, geïmplementeerd in Python met behulp van LangGraph, met feedbackloops die ervoor zorgen dat downstream-agents een herbeoordeling van upstream-beoordelingen kunnen triggeren.

De Vierfasige Architectuur:

1. Planner Agent (Inname & Structurering): Zet ruwe PDF-duurzaamheidsrapporten om in gestructureerde, hiërarchische JSON-teksteenheden met behulp van LandingAI's Agentic Document Extraction (ADE). Dit visuele systeem behoudt de relationele context en koppelt beoordelingen aan precieze bronlocaties. Het onderscheidt discrete duurzaamheidsclaims van boilerplate-tekst en creëert een persistente "chunk pool" van niet-claim-bewijsmateriaal (bijv. datatabellen, managementsamenvattingen).
2. Mapper Agent (Doel-niveau Mapping): Brengt elke geëxtraheerde claim in kaart tegen de 169 specifieke SDG-doelstellingen (in plaats van alleen de 17 hoog-niveau doelen). Het hanteert een tweefasig prompting-proces: screening op doel-niveau gevolgd door een relevantiebeoordeling op doelstelling-niveau. Claims worden in kaart gebracht met een betrouwbaarheidsscore; claims onder de 0_5 drempel worden gemarkeerd als niet-mappable.
3. Scorer Agent (Meerdimensionale Geloofwaardigheidsbeoordeling): De kerncomponent van de methodologie. Het evalueert elke in kaart gebrachte claim op basis van een vijfdimensionale geloofwaardigheidsrubriek (SMTEC), geworteld in legitimiteits-, signalerings- en verantwoordingstheorieën:
   • Specificiteit: Concreetheid van actie/initiatief.
   • Meetbaarheid: Aanwezigheid van kwantitatieve metrieken, KPI's en baselines.
   • Temporaliteit: Bestaan van deadlines, mijlpalen en tijdskaders.
   • Bewijs: Type en kracht van onderbouwing (bijv. verificatie door derden).
   • Consistentie: Interne coherentie binnen het rapport (gecontroleerd via cross-section retrieval).
   • Scoring: Elke dimensie wordt gescoord op een ordinale schaal van 0–3. Een samengestelde score (gemiddelde van de vijf) classificeert claims in drie categorieën: Symbolisch (<1.0), Gedeeltelijk Substantieel (1.0–1.99) en Substantieel (≥2.0).
   • Retrieval Mechanisme: De agent gebruikt een chunk-aware retrieval pipeline die het gehele rapport doorzoekt (inclusief de niet-claim chunk pool) naar bevestigend bewijs, in plaats van uitsluitend te vertrouwen op de directe context van de claim.
4. Comparator Agent (Cross-Rapport Analyse): Aggregeert outputs om patronen, uitschieters en "washing hotspots" (hoge frequentie, lage geloofwaardigheid) te identificeren over sectoren en doelen heen.

Validatieprotocol:
Het framework werd toegepast op 30 duurzaamheidsrapporten van door de Stock Exchange of Thailand (SET) genoteerde bedrijven (verslagjaar 2024), die 6.325 in kaart gebrachte claims bevatten. Validatie omvatte:

• Expert Betrouwbaarheidsbenchmark: Een gestratificeerde steekproef van 63 claims werd gescoord door twee domeinexperts en het AI-framework. De overeenstemming werd gemeten met behulp van de Krippendorff's ordinal alpha en de Cohen's quadratic-weighted kappa.
• Retrieval Robuustheid: Drie retrieval pipelines (OpenAI embeddings, lokale open-source Nomic-Embed, en LLM-as-judge) werden vergeleken om te waarborgen dat de bevindingen geen artefacten waren van een specifiek embedding-model.
• Prompt Iteratie: De scoring-prompt werd verfijnd via drie versies op basis van expertfeedback, waarbij de prompt werd behandeld als een methodologisch artefact dat onderhevig is aan empirische kalibratie.

3. Belangrijkste Resultaten

• Betrouwbaarheid: Het framework bereikte een drie-beoordelaar Krippendorff's ordinal alpha van 0.744, wat valt binnen het bereik van "substantiële overeenstemming". De overeenstemming van het framework met individuele experts was statistisch niet te onderscheiden van de overeenstemming tussen de twee menselijke experts, wat aangeeft dat de AI het empirische plafond voor deze taak heeft bereikt.
• Geloofwaardigheidsdistributie: Verspreid over de corpus van 6.325 claims:
  • 8,7% werd geclassificeerd als Symbolisch.
  • 68,6% was Gedeeltelijk Substantieel.
  • 22,8% was Substantieel.
• Dimensionale Zwaktes: Meetbaarheid was de zwakste dimensie (gemiddelde score 0,71), wat aangeeft dat de meeste claims geen kwantitatieve metrieken missen. Consistentie was de sterkste dimensie (gemiddelde 2,63), grotendeels dankzij de chunk-aware retrieval die kruisverwijzingen vond.
• Onder-claimen versus Over-claimen: In tegenstelling tot de aanname dat bedrijven overclaimen, vond de studie dat bedrijven de neiging hebben om hun SDG-betrokkenheid te onder-claimen. Bedrijven verklaarden minder doelen dan hun rapporten substantieel behandelden.
• SDG-Washing Hotspots: Een frequentie-geloofwaardigheidsmatrix identificeerde SDG 3, 8, 9 en 16 als hotspots (hoge rapportagefrequentie, lage geloofwaardigheid), met name met betrekking tot Meetbaarheid. Daarentegen vertoonde SDG 13 (Climate Action) een hoge rapportagefrequentie maar behield het een boven-gemiddelde geloofwaardigheid, wat de visie uitdaagt dat klimaatverslaglegging louter "goedkope signalering" is.
• Methodologische Impact: Het gebruik van de geavanceerde "chunk-aware" retrieval en verfijnde prompts verminderde de geschatte prevalentie van symbolische rapportage van 20,7% (baseline) naar 8,7%, wat aantoont dat single-pass, claims-only methoden de symbolische betrokkenheid significant overschatten.

4. Belangrijkste Bijdragen

• Methodologisch: Ontwikkeling van het eerste geautomatiseerde framework dat in staat is de geloofwaardigheid (niet alleen de relevantie) van SDG-claims op grote schaal te beoordelen. De studie operationaliseert de SMTEC-rubriek en introduceert een chunk-aware retrieval pipeline die bewijs uit andere secties naar boven haalt, waarbij de afwezigheid van bewijs als een signaal wordt behandeld.
• Theoretisch: Draagt bij aan de Legitimiteits-, Signalerings- en Verantwoordelijkheidstheorieën door deze te operationaliseren binnen een computationeel hanteerbaar instrument. Het identificeert specifieke patronen zoals de "SDG-13 institutionele exceptie" en de "onder-claim asymmetry".
• Empirisch: Levert het eerste bewijs op claim-niveau voor de Thaise bedrijfscontext, waarbij wordt onthuld dat hoewel de adoptie van rapportage hoog is, de substantiële betrokkenheid beperkt blijft (22,8% van de claims) en dat bedrijven hun werkelijke prestaties vaak onderrapporteren.
• Praktisch: Biedt een inzetbaar instrument voor toezichthouders, investeerders en standaardzetters om risicovolle openbaarmakingen te screenen en geloofwaardigheid-gewogen SDG-scores te construeren.

5. Betekenis en Claims

Het artikel beweert het "schaalbaarheid–rigor paradox" in de analyse van duurzaamheidsverslaglegging op te lossen. Door verder te gaan dan eenvoudige trefwoordclassificatie naar een multi-agent, op een rubriek gebaseerde beoordeling, maakt het framework onderscheid tussen substantiële en symbolische openbaarmakingen met een betrouwbaarheid die vergelijkbaar is met die van menselijke experts.

De studie benadrukt dat het onderscheid tussen de aanwezigheid van SDG-alignement en de kwaliteit van die alignment cruciaal is. Het stelt dat huidige geautomatiseerde tools er niet in slagen dit gat te dichten. De bevindingen suggereren dat hoewel het volume van de SDG-rapportage hoog is, de diepgang van de betrokkenheid vaak oppervlakkig is, gekenmerkt door een gebrek aan meetbare doelen en kwantitatief bewijs. Het framework biedt een schaalbaar mechanisme om bedrijven verantwoordelijk te houden voor de substantie van hun claims, en biedt een instrument voor belanghebbenden om de "vorm-versus-substantie" kloof in de wereldwijde duurzaamheidsverslaglegging te navigeren.

De auteurs blijven bescheiden over de "waarheid" van de bevindingen en erkennen dat de resultaten gevoelig zijn voor de keuze van instrumenten (bijv. retrieval design en prompt iteratie). Zij stellen echter dat het framework een robuuste, theoretisch gefundeerde aanpak biedt voor de beoordeling van bedrijfsaanspraken met betrekking tot de SDG's die voorheen niet beschikbaar was.