🤖 AI

From Training to Deployment: Post-Hoc Causal Feature Identification via Sensitivity Ratios

Questo articolo introduce il Rapporto di Sensibilità Normalizzato (NSR), un diagnostico post-hoc e model-agnostic che identifica le caratteristiche causali rispetto a quelle spurie nei modelli addestrati sfruttando la stabilità della sensibilità attraverso cambiamenti ambientali strutturati, raggiungendo l'identificazione esatta sotto specifiche condizioni e dimostrando un'elevata accuratezza sia su dataset sintetici che reali.

Autori originali: Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

Pubblicato 2026-07-29

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di capire perché una sfera di cristallo magica predice il futuro. Sai che la sfera di cristallo funziona, ma non sai come. Ha imparato le vere leggi della fisica, o è solo stata fortunata nel notare che il cielo è sempre blu il martedì? Questo è il mondo dell'apprendimento automatico (machine learning), dove i computer imparano a fare previsioni trovando schemi nei dati. A volte trovano gli schemi corretti (come "la pioggia bagna l'erba"), ma spesso trovano schemi "spuri"—coincidenze che sembrano reali ma si rompono non appena la situazione cambia (come "il martedì causa la pioggia").

Il grande problema è che, una volta addestrato, un modello informatico è come una scatola nera. Non possiamo facilmente sbirciare all'interno per vedere se si basa sulla verità o se è solo un colpo di fortuna. Gli strumenti precedenti per risolvere questo problema richiedevano di tornare al tavolo da disegno e riaddestrare il modello da zero, il che è lento e costoso. Questo articolo introduce un nuovo modo per sbirciare dentro un modello finito senza cambiare nulla di ciò che è stato costruito. È come avere una torcia speciale che può dirti, semplicemente osservando come il modello reagisce a diverse stanze, se sta guardando i veri mobili o solo le ombre sul muro.

La nuova torcia del detective: NSR

Gli autori di questo articolo, Athanasios Vlontzos e il suo team, hanno inventato uno strumento chiamato Normalised Sensitivity Ratio (NSR). Pensa a un modello di IA addestrato come a uno chef che ha perfezionato la ricetta di una zuppa. Lo chef sa che se aggiunge un pizzico di sale (un ingrediente "causale"), la zuppa ha un sapore migliore, indipendentemente da dove stia cucinando. Ma se lo chef ha imparato che "ogni volta che piove fuori, la zuppa sa di salato" (una correlazione "spuria"), quella regola funziona solo nella cucina dove piove. Se lo chef si sposta in una cucina soleggiata, la zuppa potrebbe avere un sapore terribile perché la pioggia non è lì a innescare la "salinità".

Lo strumento NSR funziona chiedendo allo chef di assaggiare la zuppa in diverse cucine (ambienti).

Il Test Causale: Se lo chef aggiunge sale, il sapore cambia della stessa entità in ogni cucina. La sensibilità è costante.
Il Test Spurio: Se lo chef si affida alla regola della "pioggia", il sapore cambia drasticamente a seconda del fatto che in quella specifica cucina stia piovendo. La sensibilità oscilla.

L'NSR misura questa "oscillazione". Se la reazione di un modello a una caratteristica è costante attraverso diversi ambienti, l'NSR dice: "Questa è una caratteristica reale e causale!". Se la reazione salta da un valore all'altro, l'NSR dice: "Questa è una coincidenza spuria!".

Come funziona la magia (senza la magia)

L'articolo dimostra che se hai almeno tre ambienti diversi (come tre ospedali diversi o tre lotti diversi di dati) in cui le cose "spurie" (come il rumore delle apparecchiature o il meteo) cambiano, ma le cause "reali" rimangono le stesse, lo strumento NSR può separare perfettamente la verità dalle bugie.

Gli autori hanno testato questa idea attraverso una serie di prove:

Rilevamento Perfetto: Nelle loro simulazioni al computer, quando le condizioni erano favorevoli — specificamente con almeno 5 ambienti e un ampiezza di spostamento (shift magnitude) di 1 o superiore — lo strumento ha ottenuto un punteggio perfetto. Sotto queste specifiche condizioni di regime, ha identificato ogni singola caratteristica causale e ogni singola caratteristica spuria con una precisione del 100% (un AUROC di 1.000). È stato come trovare un ago in un pagliaio senza mai toccare la paglia.
Le "Zone Vietate": L'articolo è molto onesto su quando lo strumento fallisce. Se hai solo due ambienti, lo strumento diventa cieco. Se i cambiamenti negli ambienti sono troppo simmetrici (come un'immagine speculare perfetta), lo strumento si confonde. Hanno anche scoperto che se lo "spostamento" tra gli ambienti è minuscolo rispetto al rumore, lo strumento non riesce a vederlo. È come cercare di sentire un sussurro in un uragano; il segnale si perde.
Test nel Mondo Reale: Lo hanno provato su dati reali, nello specifico un dataset di bike-sharing di una città. Sapevano quali fattori (come la temperatura e l'ora del giorno) causavano effettivamente il noleggio delle biciclette e quali erano solo coincidenze. Senza riaddestrare affatto il modello, lo strumento NSR ha identificato correttamente 6 fattori su 8 tra quelli realmente causali. Ha fatto molto meglio di altri metodi standard che si limitano a guardare la dimensione dei numeri nel modello.

Perché questo è importante

La parte più eccitante di questa scoperta è che funziona dopo che il modello è già stato addestrato. Di solito, se sospetti che un modello stia imbrogliando usando schemi spuri, devi scartarlo e ricominciare da capo. Con l'NSR, puoi semplicemente prendere il modello finito, puntargli contro la torcia e dire: "Ah, vedo che ti stai affidando al giorno della settimana invece che ai veri sintomi medici".

Gli autori dimostrano che questo metodo è un diagnostico "post-hoc", il che significa che è un controllo che puoi dare a un modello che è già al lavoro. Non ha bisogno di conoscere il codice interno del modello e non deve toccare il processo di addestramento. Si limita a osservare come si comporta il modello quando il mondo cambia intorno a lui.

Tuttavia, l'articolo traccia anche una linea netta nella sabbia. Questo strumento funziona meglio quando le cause "reali" (come la biologia o la fisica) rimangono stabili, e solo il "rumore" (come macchine o località diverse) cambia. Se le cause reali stesse cambiano da un posto all'altro (come se la definizione di "malattia" cambiasse tra gli ospedali), lo strumento potrebbe confondersi e pensare che una causa reale sia solo una coincidenza. Gli autori sono cauti nell'affermare che questo è un limite, non un errore.

In breve, questo articolo ci offre un nuovo modo per fidarci della nostra IA. Fornisce una garanzia matematica che, se il mondo cambia in un modo specifico, possiamo individuare i bugiardi nella logica del modello. Trasforma la scatola nera in una scatola di vetro, permettendoci di vedere esattamente su cosa si basa il modello, in modo da essere certi che non stia solo tirando a indovinare in base al meteo.

Sintesi Tecnica: Identificazione Post-Hoc di Caratteristiche Causali tramite Rapporti di Sensibilità

Problema

Il paper affronta una lacuna critica nell'interpretabilità del machine learning: determinare su quali caratteristiche un modello pre-addestrato si affidi in modo causale rispetto a quello spurio, senza avere accesso alla procedura di addestramento, alla classe del modello o al grafo causale sottostante.

I metodi esistenti per l'identificazione di caratteristiche causali, come l'Invariant Risk Minimization (IRM) e l'Invariant Causal Prediction (ICP), richiedono un intervento durante la fase di addestramento (ad esempio, modificando le funzioni di perdita o eseguendo ricerche esaustive di sottoinsiemi). Di conseguenza, non possono diagnosticare modelli che sono già stati implementati. Gli autori si concentrano sul regime di shift strutturato (structured-shift regime), uno scenario comune nei dati clinici multi-sito o nella genomica multi-batch, dove gli ambienti differiscono principalmente nella media delle caratteristiche spurie (ad esempio, offset delle apparecchiature, effetti batch), mentre il meccanismo causale e la distribuzione delle caratteristiche causali rimangono stabili. In questo scenario, un modello che si affida a caratteristiche spurie esibirà una sensibilità dipendente dall'ambiente, mentre un modello che si affida a caratteristiche causali mostrerà una sensibilità costante.

Metodologia: Rapporto di Sensibilità Normalizzato (NSR)

Gli autori propongono il Rapporto di Sensibilità Normalizzato (NSR), una metrica diagnostica post-hoc e agnostica rispetto al modello.

Concetto Centrale

L'NSR quantifica la stabilità della sensibilità di un modello verso una specifica caratteristica attraverso diversi ambienti.

Causal Sensitivity Ratio (CSR): Per una caratteristica $j$ e ambienti $e$ e un riferimento $e_{ref}$ , il CSR misura lo spostamento medio dell'output del modello quando la caratteristica $j$ viene sostituita da un prelievo dalla distribuzione marginale dell'ambiente di riferimento, mantenendo fisse le altre caratteristiche.
Normalizzazione: L'NSR è definito come il coefficiente di variazione al quadrato ( $CV^2$ ) dei valori CSR attraverso gli ambienti, normalizzato rispetto alla media del CSR.
$\text{NSR}_j(e_{ref}) := \frac{\text{Var}_{e \neq e_{ref}}[\text{CSR}_j(e, e_{ref})]}{(\mathbb{E}_{e \neq e_{ref}}[\text{CSR}_j(e, e_{ref})])^2}$

Proprietà Chiave

Invarianza del Peso: La normalizzazione annulla i pesi appresi dal modello ( $\hat{w}_j^2$ ). Ciò garantisce che le caratteristiche spurie con coefficienti piccoli (che potrebbero sfuggire a un'analisi basata sui pesi) siano comunque rilevate se la loro sensibilità varia tra gli ambienti.
Segnale Diagnostico: Sotto il regime di shift strutturato:
- Caratteristiche Causali: Inducono una sensibilità costante attraverso gli ambienti $\implies \text{NSR}_j = 0$ .
- Caratteristiche Spurie: Inducono una sensibilità che segue lo shift ambientale $\implies \text{NSR}_j > 0$ .
Implementazione: L'NSR richiede solo un modello black-box addestrato, etichette ambientali e dati non utilizzati (held-out). Può essere calcolato utilizzando passaggi in avanti (forward passes), valori SHAP o importanza per permutazione come stimatori intercambiabili del segnale di sensibilità.

Contributi Principali

1. Teorema di Identificazione Esatta

Sotto un Modello Causale Strutturale (SCM) lineare nel regime di shift strutturato con $K \ge 3$ ambienti non degeneri, l'NSR raggiunge l'identificazione esatta.

Teorema 1: Per qualsiasi predittore lineare con pesi non nulli, $\text{NSR}_j = 0 \iff j$ è una caratteristica causale.
La dimostrazione mostra che il segnale di identificazione deriva dalla geometria degli shift ambientali, non dai pesi del modello. Questo risultato teorico si estende empiricamente ai modelli non lineari.

2. Caratterizzazione Completa dei Modi di Fallimento

Il paper fornisce criteri quantitativi precisi per determinare quando l'NSR fallisce, consentendo ai professionisti di valutare la validità del regime:

Shift Deboli: L'NSR collassa come $O(\epsilon^4)$ quando l'entità dello shift $\epsilon$ è piccola rispetto al rumore intra-ambiente.
Geometria Degenerata: L'NSR è identicamente zero se $K < 3$ o se gli shift assoluti rispetto all'ambiente di riferimento sono simmetrici (ad esempio, shift di $+1, -1, 0$ ).
Attenuazione del Proxy: Per le caratteristiche che mescolano segnali causali e spuri ( $X_j = \alpha X_C + (1-\alpha)X_S$ ), l'NSR degrada come $O((1-\alpha)^4)$ .

3. Tassi di Convergenza a Campione Finito

Il paper stabilisce un divario di velocità tra caratteristiche causali e spurie:

Sotto l'ipotesi nulla (caratteristica causale, $\text{NSR}=0$ ), lo stimatore empirico converge a $O_p(n^{-1})$ .
Sotto l'ipotesi alternativa (caristica spuria, $\text{NSR}>0$ ), converge a $O_p(n^{-1/2})$ .
Questo divario consente il thresholding basato su permutazioni senza assunzioni distributive, poiché la distribuzione nulla si contrae verso lo zero più velocemente di quanto l'alternativa si separi.

4. Incomparabilità con IRM e ICP

Gli autori dimostrano che NSR, IRM e ICP operano sotto condizioni incomparabili riguardo agli schemi di shift.

Esistono configurazioni di shift (ad esempio, shift simmetrici) in cui IRM e ICP rilevano le caratteristiche spurie ma l'NSR no.
Viceversa, esistono configurazioni (ad esempio, shift asimmetrici dove le varianze al quadrato sono zero) in cui l'NSR rileva le caratteristiche spurie ma l'IRM no.
I metodi sono complementari; la scelta dipende dalla specifica geometria degli shift ambientali disponibili.

Risultati Sperimentali

Validazione su Dati Sintetici

Verifica del Regime: Gli esperimenti confermano la transizione di fase teorica. Con $K \ge 5$ e un'entità dello shift $\epsilon \ge 1$ , l'NSR raggiunge un AUROC di 1.000 con varianza zero su 30 seed.
Modi di Fallimento: Gli esperimenti validano la nitidezza delle condizioni di fallimento. Gli shift simmetrici (geometria degenerata) portano a prestazioni pari al caso base (AUROC $\approx$ 0.5), mentre rompere la simmetria ripristina il rilevamento perfetto.
Convergenza: I tassi di convergenza empirica corrispondono alle previsioni teoriche $O(n^{-1})$ e $O(n^{-1/2})$ entro un errore del 2-8%.

Agnosticismo del Modello

L'NSR è stato testato su cinque famiglie di modelli (OLS, Ridge, Random Forest, XGBoost, MLP). Le classifiche delle caratteristiche sono state coerenti tra le famiglie (Kendall $\tau \ge 0.529$ ), confermando che il segnale risiede nella struttura dell'ambiente piuttosto che nella specifica classe di modello.

Applicazioni nel Mondo Reale

Dati di Bike-Sharing: Utilizzando partizioni per quintili mensili, l'NSR ha recuperato 6 delle 8 caratteristiche causali (Precision@7 = 0.75), superando LASSO (0.58) senza modificare il modello addestrato.
Dati sulla Qualità del Vino: L'NSR ha identificato i driver causali in un contesto di variazione tecnica a livello di batch.
Intuizione Pratica: Gli esperimenti evidenziano che l'NSR richiede che il modello base generalizzi all'interno degli ambienti (non vada in overfitting). È stata necessaria una regolarizzazione adattiva (mirando a $R^2 \approx 0.75$ ) per evitare che il rumore intra-ambiente oscurasse il segnale di stabilità.

Significato e Ambito

Il paper sostiene che l'NSR fornisca uno strumento di audit post-hoc, teoricamente fondato, per i modelli implementati. La sua importanza risiede in:

Utilità Operativa: Permette ai professionisti di diagnosticare la dipendenza da caratteristiche spurie in modelli esistenti senza doverli riaddestrare o senza accedere ai dati di addestramento.
Confini Espliciti: A differenza di molti strumenti di interpretabilità "black box", l'NSR dispone di una mappa completa del suo regime operativo e dei suoi modi di fallimento, fornendo controlli quantitativi (ad esempio, la verifica dell'entità dello shift e del numero di ambienti) prima dell'applicazione.
Complementarità: Riempie una nicchia distinta da IRM e ICP, mirando specificamente a scenari in cui la geometria dello shift è asimmetrica e il modello è già addestrato.

Limitazioni riconosciute dagli Autori:

Stabilità Marginale delle Caratteristiche Causali: L'NSR assume che la distribuzione delle caratteristiche causali ( $P(X_C)$ ) sia stabile tra gli ambienti. Se le covariate causali cambiano (ad esempio, cambiamenti demografici), l'NSR potrebbe classificarle erroneamente come spurie.
Struttura dello Shift: La formulazione attuale assume uno shift scalare uniforme tra le caratteristiche spurie. Gli shift specifici per caratteristica o i cambiamenti di covarianza non sono catturati direttamente senza estensioni di sottospazio.
Dipendenza dal Regime: Il metodo è strettamente un diagnostico per il regime di shift strutturato; non è uno strumento di scoperta causale generalizzato per arbitrarie distribuzioni di dati.