Estimand-Relative Validity and Context-Driven Instability of Shapley Explanations for Tabular Foundation Models
Questo articolo dimostra che la validità e la stabilità delle spiegazioni di Shapley per i modelli fondativi tabulari dipendono criticamente dalla scelta dell'operatore di rimozione rispetto all'estimando previsto e sono significativamente influenzate dagli esempi in contesto, rendendo necessaria la specifica esplicita di tali fattori per un'interpretazione affidabile.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dall'autore. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo dell'intelligenza artificiale, esiste una classe crescente di modelli progettati per apprendere dagli esempi piuttosto che memorizzando regole fisse. Immaginate uno studente che, invece di studiare un libro di testo per anni, riceve un singolo foglio di appunti e una nuova domanda, per poi essere chiamato a risolverla immediatamente usando solo quel foglio. È così che funzionano i moderni "modelli di base" (foundation models) per i dati tabulari. Essi prendono un piccolo insieme di esempi etichettati, chiamato contesto, e una nuova query, e formulano una previsione senza mai modificare il proprio codice interno. Poiché questi sistemi sono così flessibili, i ricercatori hanno cercato a lungo di capire perché compiano le scelte che compiono. Utilizzano un metodo chiamato valori di Shapley, che agisce come una divisione equa del merito. Se una previsione è un lavoro di squadra, questo metodo calcola quanto ogni pezzo di informazione abbia contribuito al risultato finale. Tuttavia, per capire quanto importi un pezzo specifico di informazione, il metodo deve prima immaginare cosa accadrebbe se quel pezzo fosse mancante. Questo crea un enigma: quando si rimuove un pezzo di dato, come si riempie lo spazio vuoto? Lo si sostituisce con una media, con un vuoto, o con un nuovo esempio che si adatti al modello? La risposta a questa domanda cambia l'intera narrazione di come il modello pensa.
Uno studio recente di Emin Talip Demirkiran presso l'Università Tecnica di Eskisehir affronta questo enigma, concentrandosi su due dei modelli più avanzati di questo tipo, noti come TabPFN e TabICL. Il ricercatore voleva sapere se la scelta di come riempire i dati mancanti cambi la spiegazione della decisione del modello, e se tali spiegazioni rimangano stabili quando i dettagli circostanti cambiano leggermente. Per scoprirlo, il team ha eseguito una serie massiccia e attentamente pianificata di test utilizzando sia dati sintetici, dove le risposte corrette erano note per progettazione, sia dataset del mondo reale. Hanno testato cinque modi diversi di gestire le informazioni mancanti, che vanno dalla semplice mediazione a metodi più complessi che chiedono al modello di rivalutare la situazione con il pezzo mancante rimosso. I risultati hanno rivelato una verità sorprendente: non esiste un unico modo "migliore" per spiegare questi modelli. Il metodo che produce la spiegazione più accurata per un certo tipo di domanda è spesso il peggiore per un'altra.
Lo studio ha scoperto che la scelta del metodo dipende interamente dalla domanda che si sta cercando di porre. Se si vuole sapere come si comporterebbe il modello se si intervenisse cambiando un valore specifico, le spiegazioni più accurate derivavano da metodi che sostituivano semplicemente il dato mancante con medie o segnaposti standard. Tuttavia, se si vuole sapere come il modello ragiona sulla base delle specifiche relazioni all'interno dei dati che gli sono stati mostrati, le migliori spiegazioni derivavano da metodi che chiedevano al modello di ricontestualizzarsi con il pezzo mancante rimosso. Infatti, i ricercatori hanno osservato che il metodo che performava meglio per un obiettivo spesso performava peggio per l'altro. Ciò significa che una spiegazione non è una proprietà fissa del modello; è relativa alla specifica domanda che viene posta. Senza specificare esattamente come il dato mancante sia stato gestito e quale tipo di risposta si desideri, una spiegazione non può essere considerata affidabile.
Oltre alla questione di quale metodo utilizzare, lo studio ha anche investigato quanto siano stabili queste spiegazioni quando l'ambiente cambia. In questi modelli, la previsione dipende fortemente dagli esempi specifici scelti per formare il contesto. I ricercatori hanno testato se cambiare l'ordine delle colonne, il modo in cui le etichette vengono codificate o il seed casuale utilizzato per avviare il modello alterasse la spiegazione. Hanno scoperto che questi fattori avevano quasi nessun effetto. Al contrario, la spiegazione era schiaccianteamente dominata dagli esempi specifici che venivano inseriti nel contesto. In altre parole, la spiegazione è altamente sensibile al set specifico di esempi che il modello sta osservando, ma è sorprendentemente stabile rispetto ad altre variazioni tecniche. Ciò suggerisce che l'affidabilità di una spiegazione è legata al contesto specifico fornito, non solo al modello stesso.
I ricercatori hanno anche testato un controllo di sicurezza aggiungendo una caratteristica ai dati che non conteneva alcuna informazione utile, essenzialmente una variabile "dummy". Si aspettavano che il modello ignorasse questa caratteristica e le assegnasse un'importanza pari a zero. Inveve, entrambi i modelli cambiavano frequentemente le loro previsioni in risposta a questa caratteristica inutile, assegnandole un peso significativo. Ciò indica che questi potenti modelli possono essere facilmente influenzati dal rumore, e le loro spiegazioni possono riflettere questa sensibilità. Lo studio conclude che, per questi tipi di sistemi di IA, una spiegazione non è un fatto indipendente. È una costruzione fragile che dipende dal metodo specifico utilizzato per gestire l'informazione mancante, dalla specifica domanda posta e dagli esempi specifici che il modello sta attualmente considerando. Per comprendere questi modelli, dobbiamo smettere di cercare una singola spiegazione universale e iniziare a chiederci esattamente di quale tipo di spiegazione abbiamo bisogno e in quali condizioni essa sia valida.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.