Extracting and Coding Digital Sustainability Data using Text Mining and AI: A Design Science Approach

Immagina di essere un detective che cerca di risolvere un enorme mistero: come usano le aziende la tecnologia per aiutare il pianeta e le persone? Gli indizi non sono nascosti in una soffitta polverosa; sono sepolti all'interno di miglia di rapporti spessi e noiosi che le aziende scrivono ogni anno. Questi rapporti sono come gigantesche biblioteche di testo, piene di parole riguardanti "data center verdi", "sensori intelligenti" e "equità digitale". Il problema è che leggere ogni singola pagina di ogni rapporto a mano è come cercare di bere l'oceano con una cannuccia: richiede un tempo infinito e potresti perdere le gocce più importanti. Questo è il mondo della "Sostenibilità Digitale", un campo in cui i ricercatori studiano come i computer e i software possano rendere il mondo un posto migliore. Ma per comprendere il quadro generale, hanno bisogno di trovare e smistare questi indizi rapidamente. È qui che avviene la magia del "text mining" (insegnare ai computer come leggere e trovare schemi) e della "IA Generativa" (chatbot super intelligenti che possono scrivere e pensare). Inve la di annegare nella carta, i ricercatori vogliono un assistente robotico che faccia il lavoro pesante, così che possano concentrarsi sulla risoluzione del mistero.

Questo articolo riguarda la costruzione di quel preciso assistente robotico. I ricercatori, Thomas Abraham, Viet Dao e Nesreen El-Rayes, hanno deciso di utilizzare un metodo chiamato "Design Science", che è essenzialmente un modo elegante per dire: "Costruiamo uno strumento per risolvere un problema, testiamolo e rendiamolo migliore". Il loro obiettivo era creare un sistema semi-automatico in grado di scansionare i rapporti di sostenibilità, estrarre le storie rilevanti sulla sostenibilità digitale e poi smistare quelle storie in categorie nette e logiche. Non hanno solo tirato a indovinare; hanno costruito tre "artefatti" specifici (strumenti): un dizionario speciale di parole da cercare, un set di istruzioni (prompt) per insegnare all'IA come pensare e l'intero processo su come usarli insieme.

Per prima cosa, hanno affrontato la parte della "ricerca". Immagina di cercare tipi specifici di tesori in una caverna. Se urli solo "Tesoro!", otterrai molti sassi e terra. Hai bisogno di una mappa specifica. I ricercatori hanno costruito un "Dizionario della Sostenibilità Digitale", che è come un metal detector altamente calibrato. Lo hanno nutrito con miglia di parole provenienti da ricerche passate per insegnargli come suona la "sostenibilità digitale". Hanno testato questo dizionario su rapporti di aziende come Biogen e Coca-Cola. I risultati sono stati impressionanti: il computer ha trovato il 94% delle storie di sostenibilità digitale che gli esperti umani avevano trovato manualmente, ma lo ha fatto in una frazione del tempo. Ha persino trovato 54 storie extra che gli umani avevano mancato! Tuttavia, non era perfetto; il computer a volte si distraeva con parole come "sito web" che sembravano importanti ma non riguardavano realmente iniziative di sostenibilità. Questo ha insegnato ai ricercatori che, sebbene il computer sia un ottimo scanner, ha ancora bisogno di un essere umano per controllare i risultati.

Successivamente, hanno affrontato la parte dello "smistamento". Una volta che il computer aveva trovato le storie, doveva metterle nelle scatole giuste. I ricercatori hanno utilizzato due diversi "sistemi di archiviazione" basati su teorie consolidate. Un sistema smistava le storie in base a ciò che la tecnologia fa (come "Automatizzare" un processo o "Trasformare" un modello di business), e l'altro smistava in base a chi ne beneficia (come "Interno" vs "Esterno" o "Oggi" vs "Domani"). Per insegnare all'IA come usare questi sistemi di archiviazione, non le hanno dato un semplice comando. Hanno utilizzato una tecnica chiamata "few-shot prompting", che è come mostrare all'IA alcuni esempi di un puzzle completato e dire: "Vedi come questo pezzo si incastra qui? Ora fai tu il resto". Hanno addestrato l'IA su dati di tre aziende, lasciandola sbagliare, correggendola e perfezionando le sue istruzioni finché non avesse preso la mano.

Quando hanno testato questa IA addestrata su nuove aziende (come Johnson & Johnson e Volvo), i risultati sono stati solidi. Per le categorie di "cosa fa", l'IA ha corrisposto allo smistamento degli esperti umani il 78% delle volte. Per le categorie di "chi beneficia", ha corrisposto all'85,3% delle volte. I ricercatori hanno calcolato un punteggio chiamato "Kappa di Cohen", che misura quanto due persone (o una persona e un robot) siano d'accordo. Il punteggio era superiore a 0,7, il che è considerato un alto livello di accordo. Ciò suggerisce che l'IA non sta solo tirando a indovinare; sta effettivamente imparando la logica dei ricercatori.

Tuttavia, l'articolo è attento a non dire che questo sia una "bacchetta magica" che risolve tutto. I ricercatori escludono esplicitamente l'idea che questo processo possa essere completamente automatico. Hanno scoperto che l'IA a volte aveva bisogno di aiuto per comprendere il contesto di un'azienda. Ad esempio, se un'azienda parla di un sistema di sicurezza nell'arco di diversi anni, l'IA potrebbe contarlo come più progetti diversi, mentre un essere umano saprebbe che si tratta di un unico progetto prolungato. Anche il dizionario non è perfetto; è un'entità vivente che deve essere aggiornata man mano che nuove parole entrano nel mondo. Gli autori concludono che il miglior approccio è una partnership: il computer agisce come un assistente di ricerca super veloce che svolge il lavoro pesante di ricerca e smistamento, ma un esperto umano deve sempre essere nel ciclo per addestrare l'IA, correggere i suoi errori e prendere la decisione finale.

In definitiva, questo articolo suggerisce che non dobbiamo scegliere tra la saggezza umana e la velocità della macchina. Combinando il text mining e l'IA Generativa con un processo di addestramento attento e passo dopo passo, i ricercatori possono costruire enormi dataset di dati sulla sostenibilità digitale molto più velocemente di prima. Non è un problema risolto, ma è uno strumento potente che rende il compito di salvare il mondo un po' meno solitario e molto più efficiente.