Valid Feature-Level Inference for Tabular Foundation Models via the Conditional Randomization Test

Questo articolo presenta un metodo pratico che combina il Test di Randomizzazione Condizionata (CRT) con il modello fondazionale TabPFN per ottenere valori p validi in campioni finiti sulla rilevanza delle feature nei dati tabellari, senza necessità di riaddestramento del modello o assunzioni parametriche.

L'essenziale

Immagina di essere un detective che sta cercando di risolvere un mistero: chi è davvero il colpevole?

In questo caso, il "mistero" è un fenomeno che vuoi prevedere (ad esempio: "Prenderà la pioggia domani?" o "Questo paziente avrà una malattia?"). I "sospettati" sono tutte le informazioni che hai a disposizione (le variabili): l'umidità, la pressione, la temperatura, il giorno della settimana, ecc.

Il problema è che oggi abbiamo modelli di intelligenza artificiale (AI) così potenti e complessi che funzionano come scatole nere. Sanno prevedere benissimo il risultato, ma se chiedi loro: "Ma l'umidità è davvero importante, o è solo la pressione che conta?", spesso non sanno darti una risposta certa. Si limitano a dire: "Ehi, ho un'idea, ma non posso esserne sicuro al 100%".

Questo articolo presenta una soluzione geniale per trasformare queste "scatole nere" in strumenti che possono dare risposte statisticamente valide. Ecco come funziona, spiegato in modo semplice:

1. Il Problema: La Confusione tra Correlazione e Causa

Spesso le cose sono correlate ma non causali.

• Esempio: Immagina che quando c'è molta gente al parco, ci sono anche molti gelati venduti. Se guardi solo i dati, potresti pensare che la gente al parco causi l'acquisto di gelati.
• La realtà: È il caldo che causa entrambe le cose. Se sai già che c'è il caldo, la gente al parco non ti dice nulla di nuovo sui gelati.
• I vecchi metodi di intelligenza artificiale spesso si confondono e dicono che "la gente al parco" è importante, perché non sanno isolare il vero colpevole (il caldo).

2. La Soluzione: Il "Test di Randomizzazione Condizionale" (CRT)

Gli autori propongono un esperimento mentale chiamato Test di Randomizzazione Condizionale. È come fare un esperimento scientifico in laboratorio, ma con i dati al computer.

Ecco l'analogia del "Gioco del Sostituto":

1. Prendi il tuo modello AI e guardi quanto bene prevede il risultato (es. i gelati) usando tutte le informazioni (caldo, gente, ecc.).
2. Ora, prendi una sola variabile, diciamo "la gente al parco".
3. Il trucco: Chiedi al computer di creare una versione "finta" della gente al parco. Ma attenzione! Questa versione finta deve mantenere le stesse relazioni con le altre variabili (es. se c'è il caldo, la gente finta deve essere comunque al parco), ma deve essere scollegata magicamente dal risultato (i gelati).
4. Sostituisci la gente reale con la gente finta nel tuo modello e vedi se le previsioni peggiorano.
   • Se le previsioni peggiorano molto, significa che la gente reale aveva informazioni preziose che la versione finta non aveva. Quindi, la gente è importante (anche se solo marginalmente).
   • Se le previsioni rimangono uguali, significa che la gente non aggiungeva nulla di nuovo rispetto al caldo. Quindi, non è un colpevole reale.

3. La Magia: TabPFN (Il "Genio" Pre-addestrato)

Fare questo esperimento è difficile perché serve un modello che sappia creare quella "gente finta" perfetta, rispettando tutte le regole complesse del mondo reale. Costruire un modello del genere da zero per ogni esperimento richiederebbe anni.

Qui entra in gioco TabPFN.

• Immagina TabPFN come un chef stellato che ha già cucinato milioni di piatti (dati) durante la sua formazione.
• Quando gli porti un nuovo ingrediente (un nuovo dataset), non ha bisogno di imparare da zero. Sa già come gli ingredienti interagiscono tra loro.
• Grazie a questo "genio" pre-addestrato, il computer può generare istantaneamente le versioni "finte" delle variabili e testarle, senza dover riaddestrare nulla. È veloce e preciso.

4. Il Risultato: Un "Voto di Colpa" Affidabile (Il p-value)

Alla fine di questo processo, il metodo ti restituisce un numero, chiamato p-value.

• Pensa al p-value come a un voto di colpevolezza statistica.
• Se il voto è basso (vicino a zero), significa: "Sono quasi certo che questa variabile conti davvero, anche tenendo conto di tutte le altre".
• Se il voto è alto, significa: "Non c'è prova sufficiente per dire che questa variabile è importante; potrebbe essere solo un effetto collaterale".

Perché è importante?

Prima di questo lavoro, se usavi l'AI per prendere decisioni importanti (in medicina, finanza, giustizia), non potevi essere sicuro al 100% se stavi guardando la causa vera o solo un'ombra.
Ora, grazie a questo metodo:

1. Non serve essere statistici esperti: Funziona anche con dati complessi e non lineari.
2. È sicuro: Funziona anche con pochi dati (non serve un milione di esempi).
3. È onesto: Distingue chiaramente tra "questa cosa è correlata" e "questa cosa è la causa reale".

In sintesi: Gli autori hanno preso un "genio" dell'AI (TabPFN) e lo hanno messo al servizio di un vecchio e saggio metodo statistico (CRT). Il risultato è uno strumento che ci permette di dire con certezza: "Sì, questa variabile è importante, e non è solo un'illusione causata dalle altre". È come avere una lente di ingrandimento che toglie la nebbia dalle decisioni basate sui dati.

Sommario tecnico

1. Il Problema

Nel campo dell'apprendimento automatico (Machine Learning), i modelli moderni (reti neurali, ensemble, foundation model) offrono prestazioni predittive eccezionali ma sono spesso "scatole nere" (black-box). Un limite fondamentale di questi modelli è l'incapacità di fornire inferenze statistiche valide, in particolare valori-p (p-values) affidabili per testare l'importanza delle singole feature.

• Limiti degli approcci attuali: I metodi di attribuzione post-hoc, come i valori di Shapley (es. SHAP), sono descrittivi ma non inferenziali. Non distinguono tra rilevanza marginale e condizionale e non offrono garanzie statistiche formali (come il controllo dell'errore di Tipo I).
• La sfida: Determinare se una covariata $X_j$ fornisce informazioni sul target $Y$ oltre a quelle già spiegate dalle altre variabili ($X_{-j}$). Questo richiede un test di indipendenza condizionale rigoroso, che sia valido anche in campioni finiti, in presenza di relazioni non lineari e correlazioni complesse, senza assumere distribuzioni parametriche specifiche.

2. Metodologia Proposta

L'autore propone una procedura che combina il Conditional Randomization Test (CRT) con TabPFN, un modello fondazionale probabilistico per dati tabellari.

Il Framework CRT

Il CRT è un metodo di permutazione che testa l'ipotesi nulla $H_0: Y \perp\!\!\perp X_j | X_{-j}$ (l'indipendenza condizionale).

1. Generazione del Null: Invece di permutare casualmente i dati, il CRT sostituisce i valori osservati di $X_j$ con nuovi campioni estratti dalla distribuzione condizionale $p(X_j | X_{-j})$. Questo preserva la struttura di dipendenza tra le covariate ma rompe il legame diretto tra $X_j$ e $Y$.
2. Statistica di Test: Si calcola una statistica di test (in questo caso, la Expected Log Predictive Density - ELPD) sui dati originali e sui dati "randomizzati" (null).
3. Valutazione: Il valore-p è calcolato confrontando la statistica osservata con la distribuzione delle statistiche ottenute dai dati nulli. Se la statistica osservata è estrema rispetto alla distribuzione nulla, si rifiuta $H_0$.

Il Ruolo di TabPFN

La sfida principale del CRT è modellare accuratamente $p(X_j | X_{-j})$, specialmente in contesti non lineari e misti. L'articolo utilizza TabPFN per risolvere questo problema:

• Modellazione Condizionale: TabPFN, un transformer pre-addestrato su dataset sintetici, viene utilizzato per stimare $p(X_j | X_{-j})$ in un singolo passaggio in avanti (single forward pass), senza bisogno di riaddestramento specifico per il task.
• Modellazione della Risposta: Lo stesso modello (o una sua istanza) stima $p(Y | X)$ per calcolare l'ELPD come statistica di test.
• Vantaggi: TabPFN fornisce distribuzioni predittive posteriori calibrate, permettendo di campionare valori validi per $X_j$ sia per feature continue (tramite quantili predetti) che categoriche (tramite probabilità di classe).

3. Contributi Chiave

1. Inferenza Validata per Foundation Model: Dimostra come integrare un modello fondazionale (TabPFN) in un framework statistico rigoroso (CRT) per ottenere valori-p validi a livello di feature.
2. Validità in Campioni Finiti: La procedura garantisce valori-p validi in campioni finiti, a differenza di molti metodi basati su asintotica che falliscono con dataset piccoli o complessi.
3. Nessuna Assunzione Parametrica: Il metodo non richiede assunzioni di linearità o normalità dei dati, gestendo efficacemente relazioni non lineari, interazioni e feature correlate.
4. Distinzione Rilevanza Condizionale vs Marginale: A differenza di SHAP o l'importanza per permutazione, il metodo distingue rigorosamente se una feature è informativa condizionatamente alle altre, evitando falsi positivi dovuti a correlazioni spurie.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su una vasta gamma di dataset sintetici (regimi lineari, non lineari, interazioni, blocchi di rumore, feature correlate).

• Controllo dell'Errore di Tipo I: In quasi tutti i benchmark, il tasso di errore di Tipo I (falsi positivi) è rimasto vicino o inferiore al livello nominale $\alpha = 0.05$. Questo conferma una corretta calibrazione sotto l'ipotesi nulla.
  • Eccezioni: Un lieve aumento dell'errore di Tipo I è stato osservato in scenari con segnali deboli o distribuzioni condizionali complesse (es. Friedman 3), suggerendo che la qualità dell'approssimazione di $p(X_j | X_{-j})$ da parte di TabPFN è critica.
• Potenza del Test: Il metodo ha mostrato un'elevata potenza (capacità di rilevare feature rilevanti), raggiungendo il 100% di rilevamento in 8 su 11 dataset, inclusi scenari lineari sparsi, densi e non lineari (es. Friedman 1, XOR).
• Robustezza: Le distribuzioni cumulative empiriche (ECDF) dei valori-p per le feature irrilevanti seguono fedelmente la distribuzione Uniforme(0,1), mentre quelle per le feature rilevanti si concentrano vicino allo zero.

5. Significato e Conclusioni

Questo lavoro rappresenta un passo significativo verso la scienza dei dati responsabile, colmando il divario tra la flessibilità dei moderni modelli di machine learning e la necessità di garanzie inferenziali classiche.

• Impatto Pratico: Fornisce agli analisti uno strumento per testare l'importanza delle feature in dataset tabellari di piccole e medie dimensioni senza dover riaddestrare modelli complessi o fare assunzioni parametriche restrittive.
• Limitazioni: Il costo computazionale può essere elevato per dataset con un numero molto alto di feature ($p$) o campioni ($n$), poiché richiede il campionamento condizionale per ogni feature. Inoltre, la validità del test dipende dalla capacità di TabPFN di approssimare correttamente la distribuzione condizionale; se questa approssimazione è scarsa, la calibrazione dei valori-p può risentirne.
• Prospettive Future: Il paper suggerisce l'estensione del framework a dataset di grandi dimensioni, l'integrazione con l'inferenza causale (per andare oltre le associazioni) e lo sviluppo di diagnostiche per valutare la qualità della modellazione condizionale in tempo reale.

In sintesi, l'articolo dimostra che i modelli fondazionali possono essere utilizzati non solo per la previsione, ma anche come motori probabilistici per l'inferenza statistica rigorosa, offrendo valori-p validi che combinano la potenza predittiva dell'IA con la solidità della statistica classica.