Auditable machine learning for high-stakes decisions

Nel mondo moderno, gli algoritmi prendono decisioni che plasmano le vite. Decidono chi ottiene un prestito, chi riceve la cauzione, chi viene assunto per un lavoro e quali pazienti ricevono cure mediche urgenti. Per anni, il modo standard per comprendere queste decisioni è stato chiedere quali fattori abbiano spinto la probabilità verso l'alto o verso il basso. Se a una persona veniva negato un prestito, una spiegazione poteva dire che il suo reddito era troppo basso o il suo debito troppo elevato. Ma questo approccio tratta ogni fattore come un punto su una scala mobile, dove un punteggio alto in un'area può semplicemente compensare un punteggio basso in un'altra. Questa logica di "compensazione totale" funziona bene per classificare gli annunci pubblicitari, ma fallisce quando sono coinvolte leggi e regolamenti. Nel mondo reale della governance, alcune condizioni sono cancelli assoluti. Un documento mancante, un precedente penale o una specifica controindicazione medica possono porre il veto a una decisione, indipendentemente dalla forza delle altre prove. Viceversa, una specifica combinazione di fatti potrebbe essere sufficiente a garantire un'approvazione, a prescindere dalle altre debolezze. Finora, i modelli di machine learning hanno faticato a parlare questo linguaggio di requisiti assoluti e trigger sufficienti, offrendo spesso solo storie vaghe su ciò che ha influenzato un risultato piuttosto che certificare il risultato stesso.

Uno studio recente introduce un sistema progettato specificamente per gestire queste decisioni ad alto rischio e verificabili. I ricercatori hanno sviluppato un modello chiamato rete logica bipolare, che opera su un'idea semplice ma potente: che molte decisioni del mondo reale siano costruite da due tipi distinti di regole che lavorano insieme. Il primo tipo identifica ciò che è sufficiente per innescare un esito, come un insieme di condizioni che, se soddisfatte, garantiscono un risultato positivo. Il secondo tipo identifica ciò che è necessario, agendo come un insieme di cancelli che devono essere superati affinché si verifichi qualsiasi esito positivo. Se una condizione necessaria manca, la decisione viene immediatamente bloccata dal veto, proprio come una chiave mancante non può essere sostituita da un portafoglio più grande. Il sistema apprende questi due insiemi di regole simultaneamente dai dati, combinandoli in una singola previsione. A differenza di altri modelli che cercano di spiegare una decisione "black-box" a posteriori, questo sistema costruisce la decisione e la sua spiegazione come lo stesso oggetto. La previsione è la regola, e la regola è la previsione.

I ricercatori hanno testato questo approccio su trenta diversi dataset del mondo reale, coprendo aree che vanno dal credit scoring alla giustizia penale, fino alla diagnosi medica e alla ritenzione dei dipendenti. Hanno confrontato il loro nuovo sistema con altri dieci popolari metodi di machine learning, inclusi complessi modelli "black-box" noti per l'alta accuratezza ma la scarsa trasparenza, e modelli "white-box" più semplici, trasparenti ma spesso meno accurati. I risultati hanno mostrato che il nuovo sistema ha raggiunto un livello di accuratezza statisticamente equivalente ai migliori modelli black-box nei compiti specifici in cui contano le regole verificabili. Ha ottenuto prestazioni migliori rispetto ai tradizionali alberi di decisione e altri sistemi basati su regole, e pur essendo leggermente meno accurato di un modello specifico trasparente chiamato modello additivo, offriva qualcosa che quel modello non poteva offrire: una chiara struttura booleana che dichiara esplicitamente cosa è richiesto e cosa è sufficiente. Nel dominio specifico dei compiti di decisione-audit, il sistema ha eguagliato le prestazioni del potente XGBoost, uno standard del settore, fornendo al contempo un percorso logico chiaro e verificabile.

Oltre alla pura accuratezza, lo studio si è concentrato sulla capacità del sistema di rispondere effettivamente alle domande difficili poste da regolatori e auditor. Possiamo dimostrare che una specifica condizione fosse necessaria? Possiamo trovare un percorso verso l'approvazione che aggiri una regola? Il sistema ha dimostrato la capacità di recuperare le condizioni necessarie con alta precisione, superando i metodi esistenti utilizzati nelle scienze sociali e nell'epidemiologia per questo scopo specifico. Nei test che coinvolgevano scenari di policy sintetica, il sistema ha commesso pochissimi errori nel porre il veto a casi che avrebbero dovuto essere approvati, mantenendo i rifiuti falsi al di sotto dello 0,5%. Applicato a dati reali, come i record di turnover dei dipendenti, il sistema ha identificato con successo i fattori "igiene" — condizioni come il reddito o il ruolo lavorativo che, se mancanti, agiscono come un veto — separandoli dai fattori "motivazionali" che potrebbero innescare un esito positivo. Questa distinzione rispecchia le lunghe teorie della psicologia organizzativa, dove l'assenza di bisogni fondamentali causa insoddisfazione, ma la loro presenza non causa necessariamente soddisfazione. Il modello ha appreso questa struttura autonomamente, senza che gli venisse detto di cercarla.

I ricercatori hanno inoltre sottoposto il sistema a controlli rigorosi per garantire che non stesse solo memorizzando i dati o creando contraddizioni. Hanno verificato che le regole generate non si contraddissero mai tra loro e che il sistema potesse rispondere coerentemente con "sì" o "no" a domande sul fatto che un insieme specifico di dati fosse sufficiente per innescare una decisione o se un dato mancante avrebbe bloccato la stessa. In un test che coinvolgeva dati biologici dove le vere relazioni di causa-effetto erano note, il sistema ha identificato correttamente la direzione dell'influenza nell'ottantatré percento dei casi esaminati. Ciò suggerisce che il modello non stia solo trovando schemi, ma stia catturando la logica sottostante del funzionamento di questi sistemi. Lo studio ha anche notato con cura i casi in cui il sistema non funziona altrettanto bene. Quando i dati riguardano segnali continui, come il riconoscimento di un suono o di un'immagine, dove un fattore può compensare perfettamente un altro, le prestazioni del sistema calano rispetto ai modelli progettati per tali compiti. Questo non è un difetto, ma una caratteristica del suo design; il sistema ammette quando il mondo non opera su rigidi cancelli e trigger, e performa peggio in tali scenari, il che è un esito prevedibile e onesto.

La portata di questo lavoro risiede nella sua capacità di colmare il divario tra la necessità di alta accuratezza e la necessità di assoluta trasparenza. In settori come la finanza, la giustizia e la sanità, una decisione non può essere presa se non può essere sottoposta ad audit. Gli strumenti attuali costringono spesso a scegliere tra un modello altamente accurato che non può spiegare il proprio ragionamento e un modello semplice che è facile da spiegare ma che spesso commette errori. Questo nuovo approccio offre una via di mezzo dove il modello è sia abbastanza accurato da essere utile, sia abbastanza strutturato da poter essere certificato. Fornisce un modo per chiedere non solo "perché questa persona è stata rifiutata?", ma "cosa era esattamente richiesto affinché questa persona fosse approvata, e quel requisito è stato soddisfatto?". Apprendendo la doppia struttura di trigger sufficienti e cancelli necessari, il sistema offre un linguaggio che corrisponde alla logica delle leggi e delle politiche che è destinato a far rispettare. Non pretende di essere il modello più accurato per ogni possibile problema, ma per il dominio specifico e critico delle decisioni ad alto rischio, fornisce un nuovo standard per ciò che significa essere una macchina verificabile.