Extracting and Coding Digital Sustainability Data using Text Mining and AI: A Design Science Approach

Stel je voor dat je een detective bent die een enorme mysteries probeert op te lossen: hoe gebruiken bedrijven technologie om de planeet en mensen te helpen? De aanwijzingen zijn niet verborgen op een stoffige zolder; ze liggen begraven in duizenden dikke, saaie rapporten die bedrijven elk jaar schrijven. Deze rapporten zijn als enorme bibliotheken vol tekst, gevuld met woorden over "groene datacenters", "slimme sensoren" en "digitale gelijkwaardigheid". Het probleem is dat het handmatig lezen van elke pagina van elk rapport alsof je de oceaan probeert te drinken met een rietje is — het duurt eeuwen en je mist misschien de belangrijkste druppels. Dit is de wereld van "Digitale Duurzaamheid", een vakgebied waar onderzoekers bestuderen hoe computers en software de wereld een betere plek kunnen maken. Maar om het grote plaatje te begrijpen, moeten ze deze aanwijzingen snel kunnen vinden en sorteren. Dat is waar de magie van "text mining" (computers leren lezen en patronen vinden) en "Generatieve AI" (super-slimme chatbots die kunnen schrijven en denken) om de hoek komt kijken. In plaats van te verdrinken in papierwerk, willen onderzoekers een robotassistent die het zware werk doet, zodat zij zich kunnen concentreren op het oplossen van de mysteries.

Dit artikel gaat over het bouwen van diezelfde robotassistent. De onderzoekers, Thomas Abraham, Viet Dao en Nesreen El-Rayes, besloten een methode te gebruiken die "Design Science" wordt genoemd, wat eigenlijk een chique manier is om te zeggen: "Laten we een hulpmiddel bouwen om een probleem op te lossen, het te testen en het beter te maken." Hun doel was om een semi-automatisch systeem te creëren dat duurzaamheidsrapporten kan scannen, de relevante digitale duurzaamheidsverhalen eruit kan halen en deze verhalen vervolgens in nette, logische categorieën kan sorteren. Ze gokten niet zomaar iets; ze bouwden drie specifieke "artefacten" (hulpmiddelen) om de klus te klaren: een speciale woordenlijst met woorden om naar te zoeken, een reeks instructies (prompts) om de AI te leren hoe hij moet denken, en het hele proces van hoe je ze samen gebruikt.

Eerst pakten ze het "vinden"-gedeelte aan. Stel je voor dat je op zoek bent naar specifieke soorten schatten in een grot. Als je alleen maar "Schat!" roept, krijg je veel stenen en modder. Je hebt een specifieke kaart nodig. De onderzoekers bouwden een "Digitale Duurzaamheidswoordenlijst", die als een zeer nauwkeurige metaaldetector werkt. Ze voerden het duizenden woorden uit eerder onderzoek om de computer te leren hoe "digitale duurzaamheid" werkelijk klinkt. Ze testten deze woordenlijst op rapporten van bedrijven zoals Biogen en Coca-Cola. De resultaten waren indrukwekkend: de computer vond 94% van de digitale duurzaamheidsverhalen die menselijke experts handmatig hadden gevonden, maar deed dit in een fractie van de tijd. Het vond zelfs 54 extra verhalen die de mensen over het hoofd hadden gezien! Het was echter niet perfect; de computer raakte soms afgeleid door woorden als "website", die belangrijk klonken maar eigenlijk niet over duurzaamheidsinitiatieven gingen. Dit leerde de onderzoekers dat hoewel de computer een geweldige scanner is, er nog steeds een mens nodig is om de resultaten te controleren.

Vervolgens pakten ze het "sorteren"-gedeelte aan. Zodra de computer de verhalen had gevonden, moest hij ze in de juiste dozen plaatsen. De onderzoekers gebruikten twee verschillende "archiefsystemen" gebaseerd op gevestigde theorieën. Het ene systeem sorteerde verhalen op basis van wat de technologie doet (zoals het "automatiseren" van een proces of het "transformeren" van een bedrijfsmodel), en het andere sorteerde op basis van wie er baat bij heeft (zoals "intern" versus "extern" of "vandaag" versus "morgen"). Om de AI te leren hoe hij deze archiefsystemen moet gebruiken, gaven ze niet alleen een simpele opdracht. Ze gebruikten een techniek genaamd "few-shot prompting", wat is alsof je de AI een paar voorbeelden laat zien van een voltooide puzzel en zegt: "Zie je hoe dit stukje hier past? Doe nu de rest." Ze trainden de AI op gegevens van drie bedrijven, lieten de AI fouten maken, corrigeerden de AI en verfijnden de instructies totdat de AI het onder de knie kreeg.

Toen ze deze getrainde AI testten op nieuwe bedrijven (zoals Johnson & Johnson en Volvo), waren de resultaten sterk. Voor de categorieën "wat het doet" kwam de AI in 78% van de gevallen overeen met de sortering van de menselijke experts. Voor de categorieën "wie er baat bij heeft" kwam de AI in 85,3% van de gevallen overeen. De onderzoekers berekenden een score genaamd "Cohen's Kappa", die meet in hoeverre twee mensen (of een persoon en een robot) het met elkaar eens zijn. De score was boven de 0,7, wat wordt beschouwd als een hoge mate van overeenstemming. Dit suggereert dat de AI niet zomaar wat gokt; hij leert daadwerkelijk de logica van de onderzoekers begrijpen.

De paper is echter voorzichtig om niet te beweren dat dit een "toverstaf" is die alles oplost. De onderzoekers sluiten expliciet de mogelijkheid uit dat dit proces volledig automatisch kan zijn. Ze ontdekten dat de AI soms hulp nodig had om de context van een bedrijf te begrijpen. Bijvoorbeeld, als een bedrijf over een veiligheidssysteem over meerdere jaren spreekt, kan de AI dit tellen als meerdere verschillende projecten, terwijl een mens zou weten dat het slechts één langlopend project is. De woordenlijst is ook niet perfect; het is een levend ding dat moet worden bijgewerkt naarmate er nieuwe woorden in de wereld verschijnen. De auteurs concluderen dat de beste aanpak een partnerschap is: de computer fungeert als een supersnelle onderzoeksassistent die het zware werk doet van het vinden en sorteren, maar een menselijke expert moet altijd in de loop zitten om de AI te trainen, de fouten te herstellen en de uiteindelijke beslissing te nemen.

Uiteindelijk suggereert dit artikel dat we niet hoeven te kiezen tussen menselijke wijsheid en machinale snelheid. Door text mining en Generatieve AI te combineren met een zorgvuldig, stapsgewijs trainingsproces, kunnen onderzoekers veel sneller dan voorheen enorme datasets van digitale duurzaamheidsgegevens opbouwen. Het is geen opgelost probleem, maar het is een krachtig nieuw hulpmiddel dat het werk om de wereld te redden een stuk minder eenzaam en een stuk efficiënter maakt.