A Cascaded Unsupervised-Supervised NLP Pipeline for Detecting Accusatory Language in Public Procurement

Immagina di essere un detective che cerca di risolvere un mistero, ma invece di cercare impronte digitali o impronte di scarpe, stai setacciando milioni di minuscoli e disordinati appunti lasciati dalle persone in una gigantesca e caotica piazza cittadina. Questo è il mondo dell'Elaborazione del Linguaggio Naturale (NLP), un ramo dell'informatica in cui le macchine imparano a leggere e comprendere il testo umano. A volte, i computer sono bravi a leggere libri formali, ma spesso si confondono con lo slang, i refusi e gli sfoghi emotivi che le persone scrivono nella vita reale. La grande domanda qui è: possiamo insegnare a un computer a individuare i sussurri specifici e arrabbiati che accennano a corruzione o irregolarità negli affari pubblici del governo, anche quando questi sussurri sono sepolti sotto una montagna di lamentele e domande noiose? Questo è importante perché il denaro pubblico è una risorsa enorme e, quando le persone si impegnano in irregolarità, tutti perdono. Se riusciamo a costruire un "rilevatore di bugie" digitale che legga questi appunti, potremmo catturare i malintenzionati prima che rubino la fiducia del pubblico.

Questo articolo racconta la storia di un team di ricercatori che ha costruito un ingegnoso sistema investigativo in due fasi per trovare il linguaggio "accusatorio" nel sistema di approvvigionamento pubblico dell'Ecuador. Pensa all'approvvigionamento pubblico come al fatto che il governo faccia la spesa per tutto, dalle riparazioni stradali alle forniture scolastiche. Prima che l'accordo finale venga concluso, ai fornitori è permesso porre domande o lasciare commenti. La maggior parte di questi commenti è innocua, come "Può spiegare questa regola?" o "Non mi piace il prezzo". Ma alcuni sono sussurri pericolosi come "Questo affare è truccato" o "Stanno solo permettendo a una sola azienda di vincere". La sfida è che questi sussurri pericolosi sono rari — come trovare un singolo ago rosso in un pagliaio di un milione di aghi blu.

I ricercatori hanno provato a usare i computer "super-lettori" più tecnologici e costosi disponibili (chiamati Large Language Models come LLaMA e RoBERTa) per trovare questi aghi. Si aspettavano che questi strumenti potenti sarebbero stati i migliori. Tuttavia, hanno scoperto qualcosa di sorprendente: i computer sofisticati e pesanti erano in realtà troppo confusi dal testo disordinato e informale. Vedevano gli aghi ma non riuscivano a separarli dalla paglia. Il team ha quindi scoperto che uno strumento molto più semplice, vecchio e leggero chiamato Word2Vec, che avevano addestrato specificamente sullo slang e sulla lingua locale di questi commenti di approvvigionamento, funzionava a meraviglia. Era come scambiare un metal detector ad alta potenza e sovradimensionato che emette segnali per tutto, con un semplice magnete ben tarato che coglie solo il metallo specifico che stavano cercando.

La soluzione del team è stata una pipeline "a cascata", che è solo un modo elegante per dire che hanno usato un filtro prima del controllo finale. Per prima cosa, hanno usato il semplice strumento Word2Vec per raggruppare insieme i commenti simili, come se si smistassero lettere mescolate in buste basandosi sullo stile della calligrafia. Successivamente, hanno usato un metodo matematico (Modelli di Miscela Gaussiana) per trovare la busta specifica che era più probabile contenesse le lettere "accusatorie". Infine, hanno usato un classificatore standard e affidabile (un algoritmo Random Forest) per leggere solo quelle lettere specifiche e decidere se fossero davvero accuse di corruzione.

I risultati sono stati impressionanti. Anche se i commenti "accusatori" costituivano solo circa il 3% del totale dei dati (uno squilibrio severo), questo sistema semplice in due fasi ha catturato il 91% di essi (rich call/recall) con un'accuratezza dell'84% (precisione). Ciò suggerisce che non è necessario un supercomputer massiccio ed costoso per risolvere questo problema; un sistema leggero e addestrato in modo intelligente può fare lo stesso lavoro, se non meglio. L'articolo esclude esplicitamente l'idea che i modelli IA più nuovi e complessi siano automaticamente la scelta migliore per questo compito specifico, rumoroso e del mondo reale. Sebbene i modelli sofisticati mostrassero promessa, faticavano con l' "anisotropia" dei dati — un modo tecnico per dire che i dati erano schiacciati in una forma che confondeva i modelli complessi. Il modello più semplice, addestrato direttamente sui commenti disordinosi del mondo reale, gestiva il caos molto meglio.

I ricercatori hanno anche testato il loro sistema su una massa enorme di dati non etichettati (commenti che non avevano ancora controllato manualmente). Il sistema ha segnalato circa 1.892 potenziali accuse su quasi 93.000 commenti. Quando hanno controllato manualmente un campione di questi commenti segnalati, hanno scoperto che circa l'84% erano effettivamente vere accuse di corruzione o irregolarità. Ciò suggerisce che il sistema è abbastanza robusto da poter essere utilizzato come un osservatore in tempo reale sulla spesa pubblica. Tuttavia, l'articolo nota un limite: il sistema è bravo a individuare accuse dirette, ma potrebbe perdere commenti sottili, sarcastici o ironici che non utilizzano le solite parole chiave della "corruzione".

In definitiva, questo articolo dimostra che a volte il modo migliore per risolvere un problema complesso non è lanciare la tecnologia più potente, ma costruire un processo intelligente e su misura che comprenda le particolarità specifiche dei dati. Combinando un embedding semplice e specifico per il dominio con una strategia di filtraggio intelligente, i ricercatori hanno creato uno strumento che è veloce, economico da gestire ed efficace nel far luce sulle ombre dove si nasconde la corruzione. Suggeriscono che questo approccio potrebbe essere adattato ad altri paesi, a condizione che tali paesi abbiano i loro dati di approvvigionamento pubblico organizzati in modo che i computer possano leggerli facilmente.