Extracting and Coding Digital Sustainability Data using Text Mining and AI: A Design Science Approach

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein riesiges Rätsel zu lösen: Wie nutzen Unternehmen Technologie, um dem Planeten und den Menschen zu helfen? Die Hinweise sind nicht in einem staubigen Dachboden versteckt; sie sind in tausenden von dicken, langweiligen Berichten vergraben, die Unternehmen jedes Jahr verfassen. Diese Berichte sind wie riesige Bibliotheken voller Text, gefüllt mit Wörtern über „grüne Rechenzentren“, „intelligente Sensoren“ und „digitale Gerechtigkeit“. Das Problem ist, dass das Lesen jeder einzelnen Seite jedes Berichts von Hand so ist, als würde man versuchen, den Ozean mit einem Strohhalm zu trinken – es dauert ewig, und man könnte die wichtigsten Tropfen übersehen. Dies ist die Welt der „Digitalen Nachhaltigkeit“, ein Bereich, in dem Forscher untersuchen, wie Computer und Software die Welt zu einem besseren Ort machen können. Aber um das große Ganze zu verstehen, müssen sie diese Hinweise schnell finden und sortieren. Genau hier kommt die Magie des „Text-Minings“ (das Beibringen von Fähigkeiten an Computer, um Texte zu lesen und Muster zu finden) und der „Generativen KI“ (superintelligente Chatbots, die schreiben und denken können) ins Spiel. Anstatt in Papierkram zu ertrinken, wollen Forscher einen Roboter-Assistenten, der die schwere Arbeit erledigt, damit sie sich darauf konzentrieren können, das Rätsel zu lösen.

In dieser Arbeit geht es darum, genau diesen Roboter-Assistenten zu bauen. Die Forscher Thomas Abraham, Viet Dao und Nesreen El-Rayes entschieden sich für eine Methode namens „Design Science“, was im Grunde eine schicke Art zu sagen ist: „Lass uns ein Werkzeug bauen, um ein Problem zu lösen, es testen und es besser machen.“ Ihr Ziel war es, ein halbautomatisches System zu schaffen, das Nachhaltigkeitsberichte scannen, die relevanten Geschichten zur digitalen Nachhaltigkeit herausziehen und diese Geschichten dann in ordentliche, logische Kategorien sortieren kann. Sie haben nicht einfach nur geraten; sie bauten drei spezifische „Artefakte“ (Werkzeuge): ein spezielles Wörterbuch mit Begriffen, nach denen gesucht werden soll, eine Reihe von Anweisungen (Prompts), um der KI beizubringen, wie sie zu denken hat, und den gesamten Prozess, wie man sie zusammen verwendet.

Zuerst kümmerten sie sich um den Teil des „Findens“. Stellen Sie sich vor, Sie suchen nach bestimmten Arten von Schätzen in einer Höhle. Wenn Sie einfach nur „Schatz!“ rufen, bekommen Sie viel Gestein und Dreck. Sie brauchen eine spezifische Karte. Die Forscher bauten ein „Digital Sustainability Dictionary“, das wie ein hochgradig abgestimmter Metalldetektor funktioniert. Sie fütterten es mit tausenden von Wörtern aus der bisherigen Forschung, um es zu lehren, wie „digitale Nachhaltigkeit“ tatsächlich klingt. Sie testeten dieses Wörterbuch an Berichten von Unternehmen wie Biogen und Coca-Cola. Die Ergebnisse waren beeindruckend: Der Computer fand 94 % der digitalen Nachhaltigkeitsgeschichten, die menschliche Experten manuell gefunden hatten, aber er tat dies in einem Bruchteil der Zeit. Er fand sogar 54 zusätzliche Geschichten, die die Menschen übersehen hatten! Es war jedoch nicht perfekt; der Computer wurde manchmal durch Wörter wie „Website“ abgelenkt, die wichtig klangen, aber eigentlich nichts mit Nachhaltigkeitsinitiativen zu tun hatten. Dies lehrte die Forscher, dass der Computer zwar ein großartiger Scanner ist, aber immer noch einen Menschen braucht, der die Ergebnisse überprüft.

Als Nächstes kümmerten sie sich um den Teil des „Sortierens“. Sobald der Computer die Geschichten gefunden hatte, musste er sie in die richtigen Boxen legen. Die Forscher verwendeten zwei verschiedene „Ablagesysteme“, die auf etablierten Theorien basieren. Ein System sortierte die Geschichten danach, was die Technologie tut (wie etwa einen Prozess zu „automatisieren“ oder ein Geschäftsmodell zu „transformieren“), und das andere sortierte sie danach, wer profitiert (wie „intern“ vs. „extern“ oder „heute“ vs. „morgen“). Um der KI beizubringen, diese Ablagesysteme zu nutzen, gaben sie ihr nicht einfach nur einen einfachen Befehl. Sie nutzten eine Technik namens „Few-Shot Prompting“, was so ist, als würde man der KI ein paar Beispiele eines fertigen Puzzles zeigen und sagen: „Siehst du, wie dieses Teil hierher passt? Jetzt mach du den Rest.“ Sie trainierten die KI mit Daten von drei Unternehmen, ließen sie Fehler machen, korrigierten sie und verfeinerten ihre Anweisungen, bis sie den Dreh raus hatte.

Als sie diese trainierte KI an neuen Unternehmen (wie Johnson & Johnson und Volvo) testeten, waren die Ergebnisse stark. Für die Kategorien „was es tut“ stimmte die KI in 78 % der Fälle mit den menschlichen Experten überein. Für die Kategorien „wer profitiert“ stimmte sie in 85,3 % der Fälle überein. Die Forscher berechneten einen Wert namens „Cohen’s Kappa“, der misst, wie sehr zwei Personen (oder eine Person und ein Roboter) übereinstimmen. Der Wert lag über 0,7, was als hohe Übereinstimmung gilt. Dies deutet darauf hin, dass die KI nicht nur rät, sondern tatsächlich der Logik der Forscher folgt.

Die Arbeit ist jedoch vorsichtig damit, dies als „Zauberstab“ darzustellen, der alles löst. Die Forscher schließen explizit die Vorstellung aus, dass dieser Prozess vollautomatisch sein kann. Sie fanden heraus, dass die KI manchmal Hilfe benötigte, um den Kontext eines Unternehmens zu verstehen. Wenn ein Unternehmen beispielsweise über mehrere Jahre hinweg über ein Sicherheitssystem spricht, könnte die KI dies als mehrere verschiedene Projekte zählen, während ein Mensch wüsste, dass es sich nur um ein einziges langes Projekt handelt. Auch das Wörterbuch ist nicht perfekt; es ist ein lebendiges Ding, das aktualisiert werden muss, wenn neue Wörter in die Welt kommen. Die Autoren kommen zu dem Schluss, dass der beste Ansatz eine Partnerschaft ist: Der Computer fungiert als superschneller Forschungsassistent, der die schwere Arbeit des Findens und Sortierens übernimmt, aber ein menschlicher Experte muss immer im Prozess involviert sein („in the loop“), um die KI zu trainieren, ihre Fehler zu korrigieren und die endgültige Entscheidung zu treffen.

Am Ende legt diese Arbeit nahe, dass wir uns nicht zwischen menschlicher Weisheit und maschineller Geschwindigkeit entscheiden müssen. Indem wir Text-Mining und Generative KI mit einem sorgfältigen, schrittweisen Trainingsprozess kombinieren, können Forscher viel schneller als zuvor massive Datensätze digitaler Nachhaltigkeitsdaten erstellen. Es ist kein gelöstes Problem, aber es ist ein leistungsstarkes neues Werkzeug, das den Job, die Welt zu retten, ein wenig weniger einsam und viel effizienter macht.