ExplainerPFN: Towards tabular foundation models for model-free zero-shot feature importance estimations

Riepilogo Tecnico: ExplainerPFN

Enunciato del Problema
In scenari di decisione ad alto rischio (ad esempio, concessione di prestiti, assunzioni, diagnosi mediche), i modelli di machine learning operano spesso come scatole nere proprietarie dietro API chiuse, negando agli utenti e ai regolatori l'accesso al modello sottostante $f$. Sebbene i metodi di attribuzione delle caratteristiche, come i valori di Shapley (SHAP), siano lo standard per l'interpretabilità, il loro calcolo richiede tipicamente l'accesso diretto al modello per valutare le coalizioni di caratteristiche. Inoltre, gli spiegatori post-hoc esistenti spesso falliscono quando l'accesso al modello è limitato o quando il budget di query è ristretto. Una sfida teorica critica è che la mappatura dai dati e dalle previsioni alle attribuzioni non è univocamente identificabile; modelli diversi possono produrre previsioni identiche ma assegnare valori di Shapley diversi alle stesse caratteristiche. Di conseguenza, recuperare spiegazioni "vere rispetto al modello" senza accesso al modello è impossibile. Il paper ipotizza che, in contesti a accesso zero, l'unico target coerente sia un'attribuzione "vera rispetto ai dati"—inferendo la struttura di attribuzione più probabile data la distribuzione dei dati e le previsioni, piuttosto che la logica interna di un modello specifico.

Metodologia: ExplainerPFN
Gli autori introducono ExplainerPFN, il primo modello fondazionale tabellare progettato per la stima delle importanza delle caratteristiche zero-shot e senza modello. L'approccio sfrutta l'apprendimento in contesto (in-context learning) per prevedere attribuzioni in stile valore di Shapley utilizzando solo la distribuzione dei dati di input ($X$) e le previsioni del modello ($\hat{Y}$), senza accesso a $f$, gradienti o spiegazioni di riferimento.

1. Architettura: ExplainerPFN è costruito sul framework TabPFN, utilizzando un encoder transformer adattato per dati tabellari. Ogni istanza $(x_i, \hat{y}_i)$ è codificata come un token che integra valori delle caratteristiche, output previsti e informazioni posizionali. Il modello impiega l'attenzione self-attention bidirezionale per catturare le dipendenze intra- e inter-istanza rilevanti per l'attribuzione delle caratteristiche.
2. Paradigma di Addestramento: Il modello è addestrato su una grande meta-distribuzione di dataset causali strutturali sintetici.
   • Generazione dei Dati: La pipeline campiona grafi aciclici diretti (DAG) casuali che rappresentano Modelli Causali Strutturali (SCM). Le caratteristiche sono generate propagando il rumore attraverso questi grafi. Viene selezionato un target binario e un modello base (una semplice rete neurale feed-forward) viene addestrato sui dati sintetici.
   • Verità Terrena: I valori di Shapley esatti o quasi esatti sono calcolati per i task sintetici per servire come etichette di supervisione.
   • Obiettivo: Il modello impara una media a posteriori dell'attribuzione sotto un prior di meta-addestramento. Invece di prevedere uno scalare, produce una distribuzione di probabilità su bucket discretizzati che rappresentano valori di attribuzione standardizzati. L'obiettivo di addestramento minimizza la Densità Predittiva Logaritmica Negativa (NLPD).
3. Inferenza e Post-Processing: All'inferenza, ExplainerPFN agisce come un generatore condizionale $F_{zs}: (X, \hat{Y}) \to \hat{\Phi}$. Per garantire che gli output rispettino gli assiomi di Shapley (efficienza e simmetria) senza accesso al modello, viene applicata una pipeline di post-processing in tre fasi:
   • Ricalibrazione a media zero: Impone l'efficienza in aspettativa sull'intero dataset.
   • Ridimensionamento della varianza: Normalizza la varianza dell'attribuzione per caratteristica basandosi sull'assunzione di indipendenza di Linear-SHAP.
   • Correzione dell'efficienza a livello di istanza: Garantisce che le attribuzioni per ogni istanza sommino all'output del modello meno la baseline.

Contributi Chiave

1. Efficienza dei Surrogati Few-Shot: Gli autori dimostrano che gli spiegatori surrogati few-shot possono raggiungere un'alta fedeltà SHAP con sole due osservazioni di riferimento, stabilendo una baseline forte per contesti con risorse limitate.
2. Attribuzione Zero-Shot: ExplainerPFN è proposto come il primo metodo per stimare attribuzioni in stile valore di Shapley in un contesto completamente zero-shot, richiedendo nessun accesso al modello sottostante o a spiegazioni precalcolate. Punta ad attribuzioni "vere rispetto ai dati", offrendo una soluzione principiale dove i metodi post-hoc esistenti non possono essere applicati.
3. Rilascio Open-Source: Gli autori rilasciano l'intera pipeline di addestramento, i pesi pre-addestrati e un generatore di dati sintetici adattato dalla procedura di fitting del prior di TabPFN ma ridisegnato per l'apprendimento dell'attribuzione delle caratteristiche.
4. Validazione Empirica: Estesi esperimenti su 11 dataset reali UCI e benchmark sintetici mostrano che ExplainerPFN raggiunge prestazioni competitive con spiegatori surrogati few-shot che si basano su 2–10 esempi SHAP.

Risultati

• Prestazioni: Sui dataset reali, ExplainerPFN (zero-shot) raggiunge correlazioni di Pearson competitive con i valori SHAP di verità terrena, spesso superando i surrogati basati su MLP e uguagliando o superando i surrogati Random Forest e TabPFN addestrati con 2–10 esempi. Ad esempio, sul dataset Banknote Authentication, ExplainerPFN ha raggiunto una correlazione di 0.880 (base MLP) e 0.897 (base RF), comparabile ai metodi few-shot con 10 campioni.
• Robustezza: Il modello mantiene prestazioni coerenti tra diversi predittori base (MLP vs Random Forest), indicando che non va in overfitting su una specifica classe di modelli.
• Limitazioni Osservate:
  • Dimensionalità: Le prestazioni peggiorano all'aumentare della dimensionalità delle caratteristiche. La dimensionalità è identificata come il predittore dominante del degrado delle prestazioni, con correlazioni che diminuiscono significativamente per dataset con più di 8 caratteristiche.
  • Magnitudo vs Ordinamento: Sebbene ExplainerPFN recuperi bene l'ordinamento relativo e gli effetti direzionali, sottostima sistematicamente le magnitudini assolute tra le caratteristiche, limitando la sua utilità per confronti precisi di scala tra caratteristiche.
  • Divario Sintetico-Reale: I dati di addestramento sintetici mostrano correlazioni a coppie e asimmetrie inferiori rispetto ai dataset reali UCI, suggerendo un divario di distribuzione che influisce sulle prestazioni di trasferimento.

Significato e Affermazioni
Il paper afferma di stabilire l'interpretabilità zero-shot come una direzione di ricerca vitale per contesti in cui l'accesso al modello non è disponibile. Spostando l'obiettivo da "vero rispetto al modello" a "vero rispetto ai dati", ExplainerPFN offre uno strumento pratico e guidato dai dati per l'attribuzione, utile per l'audit delle decisioni, l'identificazione di potenziali bias e il miglioramento della trasparenza in scenari di API proprietarie. Gli autori posizionano il metodo non come sostituto delle spiegazioni con accesso al modello quando disponibili, ma come uno strumento critico di triage per ambienti ad alto rischio dove il calcolo SHAP tradizionale è computazionalmente proibitivo o tecnicamente impossibile a causa di restrizioni di accesso. Il lavoro evidenzia che strutture di attribuzione significative possono essere recuperate direttamente dalle distribuzioni dei dati, aprendo nuove vie per l'interpretabilità nell'era dei modelli fondazionali closed-source.