Pre-trained Tabular Foundation Models as Versatile Summary Networks for Neural Posterior Estimation

Riepilogo Tecnico: Modelli di Base Tabulari Pre-addestrati come Reti di Riepilogo Versatili per la Stima del Posteriore Neurale

Enunciato del Problema

L'inferenza basata su simulazione (SBI) affronta problemi di inferenza bayesiana in cui la funzione di verosimiglianza $p(x|\theta)$ è intrattabile o costosa da valutare, ma è possibile generare campioni tramite un simulatore $x \sim p(x|\theta)$. I metodi standard di SBI neurale, come la Stima del Posteriore Neurale (NPE), addestrano tipicamente stimatori di densità condizionale direttamente su coppie simulate di parametri e osservazioni. Tuttavia, la qualità di questi stimatori dipende fortemente dal budget di simulazione e dalla qualità delle statistiche sufficienti utilizzate per rappresentare le osservazioni. Mentre le reti pre-adattate (PFN) come TabPFN offrono una via senza addestramento per l'inferenza ammortizzata adattandosi a nuovi compiti tramite apprendimento nel contesto, la loro applicazione alla SBI è stata limitata. Un lavoro precedente (NPE-PFN) ha utilizzato TabPFN come campionatore autoregressivo diretto del posteriore, vincolato dalla sua dimensione del contesto e dall'interfaccia scalare per il target. Questo articolo indaga un approccio alternativo: sfruttare TabPFN non come campionatore diretto, ma come rete di riepilogo congelata e modulare per estrarre rappresentazioni informative delle uscite del simulatore per l'inferenza a valle.

Metodologia: PFN-NPE

Gli autori propongono PFN-NPE, una ricetta generale che disaccoppia l'apprendimento della rappresentazione dal campionamento del posteriore. Il metodo consta di tre componenti configurabili:

1. Costruzione nel Contesto: Per ogni coordinata del parametro $d$ del vettore dei parametri $\theta$, viene costruita un contesto di regressione scalare $C_d$ utilizzando un sottoinsieme di $m$ simulazioni di addestramento. In questo contesto, le uscite del simulatore $x_i$ fungono da caratteristiche tabulari, mentre la coordinata del parametro scalare $\theta_{i,d}$ funge da target di regressione.
2. Estrazione di Riepilogo Congelata: Un encoder TabPFN pre-addestrato (pesi fissi) viene interrogato per ogni simulazione di addestramento, simulazione di validazione e osservazione di riferimento $x_o$ utilizzando il contesto $C_d$. Ciò produce un'incorporazione dell'ultimo strato $h_d(x)$ per ogni coordinata del parametro. Queste incorporazioni vengono concatenate per formare un riepilogo grezzo $h_{raw}(x)$.
3. Proiezione e Inferenza: Il riepilogo grezzo viene proiettato su una dimensione fissa (predefinita 64) utilizzando una trasformazione lineare (ad esempio, PCA) adattata sul set di addestramento. Un estimatore di densità condizionale (predefinito: Neural Spline Flow) viene quindi addestrato su coppie di questi riepiloghi fissi e i corrispondenti parametri $\{(s(x_i), \theta_i)\}$.

Crucialmente, TabPFN viene interrogato una sola volta durante la fase di precalcolo del riepilogo. La testa di inferenza a valle è specifica per il compito e viene addestrata sui riepiloghi fissi, consentendo al modello di base di fungere da componente riutilizzabile attraverso diversi compiti SBI.

Contributi Chiave

1. Formulazione di PFN-NPE: Il documento formula un metodo che utilizza un TabPFN congelato come rete di riepilogo per la Stima del Posteriore Neurale, separando le capacità di rappresentazione del modello di base dal meccanismo di campionamento del posteriore.
2. Valutazione Empirica Completa: Gli autori valutano PFN-NPE attraverso la suite di benchmark SBIBM, inclusi compiti standard, varianti con coordinate di disturbo (distrattori) e simulatori di serie temporali strutturati, sotto budget di simulazione corrispondenti (tipicamente $n=10.000$).
3. Quadro Diagnostico: Oltre alle prestazioni congiunte aggregate, lo studio impiega C2ST marginale, C2ST nello spazio dei ranghi e sonde quantiliche per dissecare dove sorgono le discrepanze del posteriore. Ciò include l'analisi di come i riepiloghi congelati preservino la posizione marginale, la scala e le strutture di dipendenza congiunta.

Risultati

Il confronto empirico rivela un panorama delle prestazioni dipendente dal compito:

• Prestazioni: Con un budget di 10.000 simulazioni, il metodo autoregressivo NPE-PFN raggiunge generalmente il C2ST congiunto medio più basso sui compiti di benchmark standard (ad esempio, Bernoulli GLM, SIR, Lotka-Volterra). Tuttavia, PFN-NPE supera sia NPE-PFN che le baseline NPE con riepilogo appreso su modelli di mistura (ad esempio, Mistura Gaussiana) e compiti con coordinate di disturbo (distrattori).
• Informazioni Marginali vs. Congiunte: Le sonde diagnostiche indicano che i riepiloghi derivati da TabPFN spesso preservano informazioni utili sul posteriore unidimensionale. Le sonde lineari decodificano con successo le medie del posteriore e i quantili marginali dalle incorporazioni congelate attraverso vari compiti.
• Limitazioni nella Struttura Congiunta: Nonostante un buon recupero marginale, PFN-NPE mostra un C2ST congiunto e un C2ST nello spazio dei ranghi elevati su compiti con strutture di dipendenza complesse (ad esempio, SLCP, Lotka-Volterra, serie temporali). Il divario "congiunto meno marginale" suggerisce che, mentre i riepiloghi catturano posizione e scala marginali, faticano a rappresentare la piena geometria del posteriore congiunto necessaria per un campionamento multivariato accurato.
• Efficienza: PFN-NPE comporta un costo una tantum per l'incorporazione e l'addestramento del flusso, ma offre un costo di campionamento trascurabile per query ripetute, in contrasto con NPE-PFN che esegue inferenza nel contesto per ogni query.

Significato e Affermazioni

Il documento afferma che TabPFN può fungere da rete di riepilogo efficace e senza addestramento per la SBI, in particolare in contesti che coinvolgono distribuzioni di mistura o coordinate di disturbo in cui i riepiloghi appresi standard potrebbero faticare. Il significato risiede nel dimostrare che i modelli di base congelati possono codificare informazioni sufficienti sul posteriore marginale per supportare la stima della densità a valle, anche senza un affinamento specifico per il compito.

Tuttavia, gli autori sono modesti riguardo all'universalità del metodo. Affermano esplicitamente che il principale modo di fallimento per questo approccio basato su riepilogo congelato è la rappresentazione delle strutture di dipendenza multivariata. Le diagnosi suggeriscono che, mentre l'obiettivo di pre-addestramento (predizione supervisionata scalare su modelli causali strutturali) si allinea bene con i compiti che richiedono un recupero marginale, potrebbe non catturare intrinsecamente le complesse dipendenze congiunte necessarie per un campionamento accurato del posteriore in tutti i regimi SBI. Il documento conclude che PFN-NPE è un'alternativa versatile e modulare che sposta l'onere dell'approssimazione del posteriore alla testa di inferenza, ma la sua efficacia è condizionata dall'allineamento tra il prior di pre-addestramento del modello di base e i requisiti strutturali specifici del compito SBI.