Statistical Aspects of SHAP: Functional ANOVA for Model Interpretation

Immagina di cercare di capire perché una sfera di cristallo magica abbia dato una specifica previsione. Magari ti ha detto che avresti preso un A al test di matematica, o che una richiesta di prestito è stata respinta. Nel mondo dell'informatica, questo viene chiamato "apprendimento automatico" (machine learning), e la sfera di cristallo è un algoritmo complesso che ha imparato a prendere decisioni osservando migliaia di indizi, o "caratteristiche" (features). Ma ecco la parte complicata: questi algoritmi sono spesso così complessi che persino i loro creatori non riescono facilmente a spiegare perché abbiano preso una specifica decisione. È come una scatola nera. Per risolvere questo problema, gli scienziati hanno sviluppato strumenti per sbirciare all'interno e assegnare un "punteggio" a ogni indizio, dicendoci quanto quel particolare indizio abbia contribuito alla risposta finale. Uno degli strumenti più popolari è chiamato SHAP. Si basa su un vecchio concetto della teoria dei giochi chiamato "valore di Shapley", che è essenzialmente un modo equo per dividere un premio tra una squadra di giocatori in base a quanto ogni persona ha aiutato la squadra a vincere. La grande domanda che i ricercatori si sono posti è: come calcoliamo questi punteggi in modo equo quando ci sono centinaia di indizi, e come decidiamo cosa sia "normale" ai fini del confronto?

Questo articolo, scritto da Andrew Herren, P. Richard Hahn e Rafael Alcantara, approfondisce la matematica dietro SHAP per vedere come funzioni realmente. Gli autori trattano il problema come un enorme puzzle, collegando i puntini tra la spiegabilità del machine learning e un campo chiamato "analisi di sensibilità", utilizzato nella fisica e nell'ingegneria per vedere come il cambiamento degli input influenzi gli output. Scoprono che SHAP sta in realtà facendo qualcosa di molto simile a una tecnica statistica chiamata "ANOVA funzionale", che scompone una funzione complessa in pezzi più piccoli e gestibili — come separare un frullato nei suoi singoli frutti per vedere quanto zucchero aggiunge ciascuno di essi. L'articolo suggerisce che i maggiori mal di testa che le persone affrontano quando usano SHAP derivino da due scelte principali: decidere quale "baseline" o punto di riferimento usare per il confronto (come chiedere: "Rispetto a cosa?") e decidere quanti degli miliardi di possibili combinazioni di indizi controllare effettivamente.

Gli autori sostengono che, sebbene SHAP sia uno strumento potente, non è una bacchetta magica che risolve tutto automaticamente. Mostrano che le risposte che si ottengono dipendono fortemente dalla distribuzione dei dati che si sceglie come riferimento di background. Ad esempio, se confronti una specifica previsione con una "baseline singola" (come una persona media), potresti ottenere un risultato molto diverso rispetto a un confronto con una "baseline correlata" (dove le caratteristiche che solitamente vanno insieme vengono mantenute insieme). Nelle loro simulazioni, hanno scoperto che l'uso di una baseline correlata può cambiare drasticamente i punteggi, a volte ribaltando completamente l'importanza di una caratteristica. Esplorano anche come gestire il fatto che controllare ogni singola combinazione di caratteristiche è impossibile quando se ne hanno migliaia. Suggeriscono che, invece di controllare ciecamente tutto, potremmo usare metodi di campionamento più intelligenti — come cercare prima le interazioni "di basso ordine" più importanti — per ottenere una risposta sufficientemente buona senza aspettare per sempre.

In definitiva, l'articolo non sostiene di aver trovato l'unico modo perfetto per usare SHAP. Al contrario, chiarisce le decisioni tecniche che gli utenti prendono, spesso senza rendersene conto, quando eseguono il software. Gli autori suggeriscono che la connessione tra la spiegazione dei modelli di IA e l'analisi di sensibilità sia una connessione affascinante che potrebbe portare a metodi migliori in futuro. Tuttavia, avvertono che non esiste un unico valore di Shapley "corretto" per ogni situazione; la risposta "giusta" dipende da quale domanda si sta cercando di porre e da quale tipo di dati di background si sceglie di utilizzare per il confronto. Quindi, sebbene SHAP ci aiuti a sbirciare dentro la scatola nera, l'articolo ci ricorda che dobbiamo comunque stare attenti a come interpretiamo la luce che vediamo.