🤖 machine learning

Doctor Rashomon and the UNIVERSE of Madness: Variable Importance with Unobserved Confounding and the Rashomon Effect

Questo articolo introduce UNIVERSE, un nuovo framework che sfrutta gli insiemi di Rashomon per fornire limiti robusti sull'importanza delle variabili in presenza di confondimento non osservato e molteplicità del modello, affrontando così i limiti critici della selezione standard delle caratteristiche e della generazione di ipotesi.

Autori originali: Jon Donnelly, Srikar Katta, Emanuele Borgonovo, Cynthia Rudin

Pubblicato 2026-08-24

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jon Donnelly, Srikar Katta, Emanuele Borgonovo, Cynthia Rudin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo della scienza dei dati, i ricercatori cercano spesso di capire cosa guidi un determinato esito, come se un prestito verrà rimborsato o se un paziente guarirà. Per farlo, costruiscono modelli matematici che analizzano vari fattori, o caratteristiche, come il reddito, la storia creditizia o l'età. Una parte standard di questo processo consiste nel determinare quali di questi fattori siano realmente importanti. Gli scienziati si sono affidati a lungo a metodi che assegnano un punteggio a ogni caratteristica in base a quanto cala le prestazioni del modello se tale caratteristica viene rimossa o rimescolata. Questo aiuta a decidere quali variabili raccogliere in futuro e quali ignorare. Tuttavia, questo approccio standard presenta un difetto nascosto: solitamente assume che il modello analizzato sia l'unico valido. In realtà, molti modelli diversi possono spiegare gli stessi dati altrettanto bene, un fenomeno noto come effetto Rashomon. Inoltre, i dati del mondo reale sono spesso incompleti; informazioni cruciali, come il reddito esatto di una persona o la sua storia clinica, potrebbero mancare interamente dal dataset. Quando esistono questi pezzi mancanti, i metodi standard possono produrre conclusioni fuorvianti, facendo apparire una caratteristica importante quando non lo è, o nascondendo una caratteristica che invece conta davvero.

Un team di ricercatori dell'Università di Duke e dell'Università Bocconi ha sviluppato un nuovo framework chiamato UNIVERSE per risolvere questi problemi. Il loro lavoro affronta la doppia sfida di avere molteplici modelli ugualmente validi e di avere dati mancanti che potrebbero falsare i risultati. Invece di scegliere un singolo modello migliore e analizzarlo isolatamente, i ricercatori esaminano l'intero gruppo di modelli che performano quasi bene quanto quello migliore. Chiamano questo gruppo un insieme Rashomon. Esaminando l'intero insieme, possono vedere come l'importanza di una caratteristica cambi attraverso diversi modelli validi. Ma vanno oltre: tengono conto anche del fatto che alcune variabili importanti sono mancanti nei dati. Lo fanno creando una rete di sicurezza di limiti matematici. Questi limiti agiscono come un intervallo di possibili valori, garantendo che la vera importanza di una caratteristica cada da qualche parte all'interno di tale intervallo, anche se i ricercatori non sanno esattamente quali siano le variabili mancanti o quale specifico modello sia quello reale.

I ricercatori hanno testato il loro metodo utilizzando una tecnica di simulazione ingegnosa. Hanno preso dataset del mondo reale, come i registri della recidiva criminale, i tassi di abbandono scolastico degli studenti e le valutazioni del rischio di credito, e hanno creato artificialmente uno scenario in cui alcuni dati erano nascosti. Hanno suddiviso i dati in gruppi e hanno addestrato modelli diversi su ciascun gruppo, creando di fatto una situazione in cui il "vero" modello dipendeva dal gruppo di appartenenza di una persona, un'informazione che l'analisi principale non vedeva. Hanno poi applicato il framework UNIVERSE per vedere se fosse in grado di identificare correttamente l'importanza delle caratteristiche nonostante queste informazioni nascoste. I risultati sono stati chiari: senza i loro nuovi aggiustamenti, i metodi standard spesso fallivano nel catturare la vera importanza delle variabili, specialmente quando il campione era ampio o quando i dati erano complessi. Al contrario, il metodo UNIVERSE produceva costantemente intervalli che contenevano la risposta corretta. Nei loro test, il metodo ha catturato con successo l'importanza corretta delle variabili in più dell'ottanta per cento dei tentativi, anche quando i dati mancavano di pezzi chiave.

Una delle dimostrazioni più convincenti del loro lavoro ha coinvolto un dataset sul rischio di credito utilizzato dalle banche. In questo scenario, un punteggio di rischio specifico chiamato Stima del Rischio Esterno era ampiamente considerato un fattore critico per prevedere i default sui prestiti. L'analisi standard suggeriva che questo punteggio fosse vitale. Tuttavia, quando i ricercatori hanno applicato il loro framework UNIVERSE, hanno scoperto che l'importanza di questo punteggio non era così robusta come sembrava. Hanno dimostrato che, se esistessero fattori non misurati, come il reddito di una persona, non inclusi nei dati, la Stima del Rischio Esterno potrebbe non essere affatto necessaria. La loro analisi ha suggerito che altre caratteristiche, più interpretabili, potrebbero facilmente sostituirla. Questa scoperta è significativa perché implica che le banche potrebbero fare affidamento su una metrica complessa ed costosa che potrebbe essere scambiata con informazioni più semplici e trasparenti, portando potenzialmente a un feedback migliore per i richiedenti prestiti.

La forza di questo nuovo approccio risiede nella sua capacità di gestire l'incertezza senza fare ipotesi irrealistiche. I metodi tradizionali spesso richiedono di conoscere esattamente come i dati mancanti siano distribuiti o di assumere un tipo specifico di relazione tra le variabili. Il framework UNIVERSE non ne ha bisogno. Invece, chiede all'analista di fornire una stima ragionevole di quanto i dati mancanti possano cambiare i risultati. Sulla base di questa stima, il metodo calcola un intervallo di possibili valori di importanza. I ricercatori hanno dimostrato matematicamente che questi intervalli sono affidabili, il che significa che se la stima dell'analista sull'impatto dei dati mancanti è corretta, la vera importanza della caratteristica cadrà quasi certamente entro i limiti calcolati. Hanno anche dimostrato che questi limiti diventano più stretti e precisi man mano che i dati diventano disponibili, rendendo il metodo utile sia per piccoli che per grandi dataset.

Questo lavoro rappresenta un cambiamento nel modo in cui gli scienziati pensano all'importanza delle variabili. Invece di cercare una risposta singola e definitiva che dipenda da un modello specifico e da un dataset completo, i ricercatori abbracciano la complessità del mondo reale. Riconoscono che più modelli possono essere corretti e che i dati sono spesso incompleti. Fornendo un metodo che tiene conto di queste realtà, offrono uno strumento che è più onesto su ciò che i dati possono e non possono dire. Il framework non pretende di trovare l'unico vero modello o l'unico vero punteggio di importanza. Inveve, fornisce un intervallo affidabile che cattura la verità, assicurando che le decisioni basate sui dati non siano travolte da variabili nascoste o dall'illusione di una singola spiegazione ottimale. Questo approccio offre una via verso conclusioni scientifiche più affidabili e robuste in campi che vanno dalla finanza alle politiche pubbliche.

Riepilogo Tecnico: UNIVERSE – Importanza delle Variabili con Confondimento Non Osservato ed Effetto Rashomon

Definizione del Problema

I metodi di importanza delle variabili (VI) sono strumenti standard per la generazione di ipotesi, la selezione delle caratteristiche e la validazione scientifica. Tuttavia, le pipeline standard di VI soffrono di due limitazioni critiche che possono portare a intuizioni fuorvianti:

L'Effetto Rashomon: Molti modelli distinti possono spiegare un dataset altrettanto bene. Una caratteristica ritenuta importante in un modello quasi-ottimale può essere irrilevante in un altro. Sebbene studi recenti abbiano affrontato questo problema analizzando l'insieme "Rashomon" (l'insieme di tutti i modelli quasi-ottimali), tali metodi tipicamente assumono che tutte le variabili rilevanti siano osservate.
Confondimento Non Osservato: Nei dataset osservazionali, variabili essenziali sono spesso omesse. Quando esistono confonditori non osservati, l'importanza di una caratteristica stimata sui dati osservati potrebbe non riflettere la sua vera importanza rispetto alla funzione della media condizionale sottostante.

Gli approcci esistenti al confondimento non osservato (analisi di sensibilità) spesso si affidano ad assunzioni restrittive (ad esempio, la linearità) che non valgono per le moderne metriche di VI non lineari come SHAP o l'importanza per permutazione. Al contrario, i metodi esistenti dell'insieme Rashomon non tengono conto delle variabili omesse. Questo articolo affronta il divario nel realizzare un'inferenza robusta dell'importanza delle variabili in presenza di sia dell'effetto Rashomon che del confondimento non osservato.

Metodologia: Il Framework UNIVERSE

Gli autori introducono UNIVERSE (UNobservables and Inference for Variable importancE using Rashomon SEts), un framework che deriva limiti sull'importanza reale delle variabili anche quando le caratteristiche sono mancanti. L'approccio integra tre fonti di incertezza: l'effetto Rashomon, le variabili non osservate e l'errore del campione finito.

1. Fondamento Teorico

Il framework definisce la vera funzione della media condizionale $g^*(x, u)$ che dipende sia dalle covariate osservate $X$ che dalle covariate non osservate $U$ . L'obiettivo è limitare l'importanza della variabile $\Phi_j(g^*, P_U)$ per questa vera funzione.

Il metodo procede in tre passaggi logici:

Passaggio A: Limitare i veri submodelli tramite l'Insieme Rashomon.
Gli autori definiscono un insieme di submodelli condizionali $S^* = \{f_u \mid u \in \mathcal{U}\}$ , dove ogni $f_u$ è il modello ottimale dato un valore specifico della variabile non osservata $U$ . Dimostrano che $S^*$ è un sottoinsieme dell'insieme Rashomon della popolazione $R(\epsilon_{unobs})$ , dove $\epsilon_{unobs}$ limita la perdita attesa di questi submodelli sui dati osservati.
Passaggio B: Correzione del Campione Finito.
Poiché l'insieme Rashomon della popolazione è non osservabile, il metodo costruisce un insieme Rashomon empirico $\hat{R}^{(n)}$ . Il Teorema 1 fornisce una garanzia probabilistica che un insieme Rashomon empirico aggiustato (con una soglia corretta per la dimensione del campione finito e il bias di regolarizzazione) contenga l'insieme Rashomon della popolazione con alta probabilità. Ciò assicura che tutti i submodelli necessari in $S^*$ siano catturati.
Passaggio C: Considerare lo Spostamento della Distribuzione (VI-Drift).
Le metriche di importanza delle variabili spesso dipendono dalla distribuzione di input. L'importanza di una caratteristica in un submodello $f_u$ valutata sulla distribuzione condizionale $P_{XY|U=u}$ può differire dalla sua importanza sulla distribuzione marginale osservata $P_{XY}$ . Gli autori introducono un parametro $\tau_j$ (VI-drift) per limitare lo spostamento massimo dell'importanza causato dal condizionamento su variabili non osservate.

2. Il Limite Finale

Combinando questi componenti, il Teorema 3 stabilisce che la vera importanza della variabile $\Phi_j(g^*, P_U)$ giace all'interno di un intervallo con alta probabilità ( $1 - (\delta + \gamma)$ ):
$\Phi_j(g^*, P_U) \in \left[ \inf_{f \in \hat{R}} \Phi_j(f, D^{(n)}) - \tau_j - \alpha, \quad \sup_{f \in \hat{R}} \Phi_j(f, D^{(n)}) + \tau_j + \alpha \right]$
Dove:

$\hat{R}$ è l'insieme Rashomon empirico aggiustato.
$\alpha$ tiene conto dell'incertezza del campione finito nella stima della metrica VI stessa.
$\tau_j$ tiene conto dello spostamento della distribuzione dovuto al confondimento non osservato.
I limiti sono derivati usando la dipendenza del modello sottrattiva (o altre metriche compatibili) e valgono per qualsiasi classe di modelli in cui l'insieme Rashomon possa essere stimato.

Contributi Chiave

Primo Framework Unificato: UNIVERSE è il primo metodo che affronta simultaneamente l'effetto Rashomon, il confondimento non osservato e l'incertezza del campione finito nella stima dell'importanza delle variabili.
Garanzie Teoriche: L'articolo fornisce rigorosi limiti del campione finito (Teoremi 1–3) che garantiscono che la vera importanza della variabile sia contenuta nell'intervallo calcolato con alta probabilità, anche in presenza di confondimento non osservato.
Generalità: A differenza dei framework di analisi di sensibilità limitati a estimandi lineari, UNIVERSE è compatibile con una vasta gamma di metriche di VI agnostiche rispetto al modello (ad esempio, SHAP, importanza per permutazione, model reliance).
Implementazione Pratica: Gli autori forniscono un metodo per stimare la dimensione dell'insieme Rashomon per restringere i limiti e dimostrano l'utilità del framework in un caso di studio sul rischio di credito.

Risultati Sperimentali

Gli autori hanno valutato UNIVERSE utilizzando dataset "semi-sintetici" derivati da quattro fonti del mondo reale (COMPAS, Dropout, FICO, Wine Quality). In questa configurazione, la variabile "non osservata" era la partizione dei dati utilizzata per addestrare un particolare submodello, permettendo agli autori di conoscere la verità fondamentale (ground truth).

Validazione della Copertura: Attraverso diverse dimensioni campionarie e dataset, il framework ha costantemente raggiunto i tassi di copertura target (ad esempio, $\geq 80\%$ o $\geq 90\%$ ) solo quando tutti e tre gli aggiustamenti (incertezza del modello, incertezza della stima della VI e VI-drift) venivano applicati.
Necessità degli Aggiustamenti: Gli esperimenti hanno mostrato che omettere le correzioni del campione finito o gli aggiustamenti del VI-drift portava a una grave sottocopertura, in cui la vera importanza cadeva al di fuori dei limiti calcolati.
Caso di Studio (Rischio di Credito FICO): In un'analisi della caratteristica "External Risk Estimate" (ERE), UNIVERSE ha dimostrato che l'apparente importanza di ERE non era robusta al confondimento non osservato. I limiti suggerivano che altre caratteristiche, potenzialmente più interpretabili, potevano sostituire ERE se avessero catturato un certo livello di segnale, sfidando la conclusione che ERE fosse indispensabile.

Significato e Rivendicazioni

L'articolo sostiene che UNIVERSE rappresenti un passo avanti sostanziale nell'uso dell'importanza delle variabili in contesti complessi e realistici in cui i dati sono incompleti. Fornendo limiti matematicamente garantiti, il framework consente ai professionisti di:

Distinguere tra caratteristiche che sono robustamente importanti in tutti i modelli plausibili e scenari non osservati rispetto a quelle la cui importanza è un artefatto di variabili omesse.
Evitare conclusioni fuorvianti derivanti da analisi a singolo modello o analisi che ignorano l'effetto Rashomom.
Quantificare il "costo" del confondimento non osservato in termini di ampiezza dell'intervallo di importanza.

Gli autori notano che, sebbene trovare l'intero insieme Rashomon possa essere computazionalmente intensivo, il framework è generale e applicabile a qualsiasi classe di modelli in cui l'insieme possa essere approssimato (ad esempio, alberi decisionali, foreste casuali). Riconoscono che è necessario ulteriore lavoro per estendere questi metodi a esiti continui e classi di modelli più complessi come le reti neurali.