Shaping the Prior: How Synthetic Task Distributions Determine Tabular Foundation Model Quality

Riepilogo Tecnico: Modellare il Prior – Come le Distribuzioni di Attività Sintetiche Determinano la Qualità dei Modelli Fondamentali per Dati Tabellari

1. Enunciato del Problema

I modelli fondamentali per dati tabellari (TFM) sono emersi come una classe di metodi che ripropongono l'apprendimento supervisionato su dati tabellari come inferenza ammortizzata, consentendo ai modelli di prevedere le etichette delle query da un insieme di supporto etichettato senza addestramento specifico per dataset. A differenza dei modelli fondamentali per il linguaggio o la visione, che acquisiscono bias induttivi da dati naturalmente esistenti, i TFM derivano i loro bias induttivi quasi interamente da distribuzioni di preaddestramento sintetiche.

Il documento individua un divario critico: la progettazione di questi prior sintetici è scarsamente compresa. I prior sintetici esistenti sono spesso "troppo ben comportati", generando dati con marginali di caratteristica lisce, assenza di valori mancanti e righe di supporto/query scambiabili. Non riescono a catturare le irregolarità, le confondenze, gli effetti di selezione e gli spostamenti distribuzionali intrinseci nei dati tabellari reali. Di conseguenza, i modelli preaddestrati su attività sintetiche idealizzate potrebbero mancare della robustezza necessaria per il deployment. La domanda scientifica centrale affrontata è: Cosa determina la qualità di un modello fondamentale per dati tabellari e, in particolare, come la progettazione del prior sintetico influenza le prestazioni a valle?

2. Metodologia: O'PRIOR

Per affrontare questo problema, gli autori introducono O'PRIOR, un prior di realismo composito progettato per generare attività di preaddestramento sintetiche che mimano meglio la complessità dei dati tabellari reali. La metodologia è strutturata come una pipeline generativa sequenziale e sicura dalle perdite, composta da quattro componenti accoppiati:

1. Meta-Generatore SCM Gerarchico:

   • Invece di affidarsi a una singola famiglia funzionale (ad es. solo MLP), O'PRIOR campiona da un Modello Causale Strutturale (SCM) Ibrido.
   • Compose meccanismi di base da cinque famiglie diverse: Perceptron Multistrato (MLP), Alberi Decisionali (inclusi XGBoost, Random Forest, Extra Trees), strati convoluzionali 1D, Processi Gaussiani (kernel RBF) e Vettori Autoregressivi con Ritardo Temporale (VAR).
   • Questi meccanismi sono disposti in un Grafo Aciclico Diretto (DAG) casuale dove i valori dei nodi sono aggregati tramite operatori come media, softmax pesata o massimo. Caratteristiche e target sono selezionati utilizzando strategie consapevoli della diversità (ad es. k-means, selezione del punto più lontano) per garantire che l'attività copra regioni diverse dello spazio rappresentazionale.

2. Motore di Realismo Modulare:

   • Questo componente trasforma l'output grezzo dell'SCM in una tabella osservativa introducendo artefatti realistici.
   • Preprocessing solo per il supporto: Le statistiche (media, varianza) sono calcolate esclusivamente dall'insieme di supporto per prevenire la fuoriuscita di informazioni verso le righe di query.
   • Aumento delle Caratteristiche e Morfologia delle Marginale: Include caratteristiche ingegnerizzate (interazioni polinomiali, proiezioni a rango basso) e trasforma le marginale per includere code pesanti (Student-t, Pareto), variabili vincolate, distribuzioni simili a conteggi e rumore eteroschedastico.
   • Mancanza Strutturata: Introduce meccanismi di Mancanza Completamente a Caso (MCAR), Mancanza a Caso (MAR) e Mancanza Non a Caso (MNAR), con strategie di imputazione memorizzate come metadati.
   • Trasformazioni del Target: Applica trasformazioni di asimmetria, rumore a code pesanti e trasformazioni di tipo censura ai target di regressione, e discretizzazione con rumore di etichetta per la classificazione.
   • Struttura dei Sottogruppi: Opzionalmente aggiunge sottogruppi categorici con intercette o interazioni specifiche del gruppo.

3. Modulo di Spostamento Distribuzionale e Stress da Shortcut:

   • Questo modulo inietta esplicitamente condizioni che causano modalità di fallimento nel deployment reale.
   • Confondimento Latente: Aggiunge un vettore latente condiviso a caratteristiche e target per creare correlazioni spurie.
   • Predittori di Supporto Spuri: Crea caratteristiche altamente predittive nell'insieme di supporto ma inaffidabili o invertite nell'insieme di query.
   • Spostamento delle Covariate: Applica perturbazioni affini alle righe di query per spostare le distribuzioni marginali.
   • Deriva Temporale/Stagionale: Introduce non stazionarietà tramite segnali periodici e cambiamenti di regime.

4. Protocollo Governato dal Curriculum e Sicuro dalle Perdite:

   • La pipeline impone un contratto sicuro dalle perdite: tutte le statistiche adattate devono essere misurabili dall'insieme di supporto ($F_n$-misurabili). Le righe di query sono trasformate solo da funzioni del supporto.
   • Un curriculum controlla la difficoltà del prior durante il preaddestramento, iniziando con un realismo "BASSO" (meccanismi semplici, artefatti lievi) e passando a "DIFFICILE" (meccanismi complessi, spostamenti gravi) per facilitare una convergenza stabile.

3. Protocollo Sperimentale

Gli autori stabiliscono un protocollo di valutazione controllata per isolare il prior come unica variabile indipendente.

• Vincoli Fissi: L'architettura del modello (NANOTABPFN, una reimplementazione leggera di TABPFN V2), l'ottimizzatore e il budget computazionale (40.000 dataset sintetici, 10 epoche) sono mantenuti costanti in tutti gli esperimenti.
• Baseline: I confronti sono effettuati contro TabPFN v1 (SCM basato su MLP), TabICL-v1 (MLP + XGBoost) e TabICL-v2 (diversità SCM estesa).
• Gruppi di Ablazione: Sono testate nove varianti di O'PRIOR per isolare il contributo della diversità SCM, degli SCM Ibridi, del Realismo (Moderato/Forte), dello Stress da Spostamento e del Curriculum.
• Benchmark: La valutazione è eseguita su TabArena v0.1 (21 dataset) e OpenML-CC18 (31 dataset filtrati), concentrandosi su regimi di campioni piccoli e medi.

4. Risultati Chiave

• Prestazioni a Valle: O'PRIOR produce miglioramenti consistenti e sostanziali rispetto alle baseline. La configurazione completa di O'PRIOR (G4) migliora l'ROC-AUC su TabArena di 2,8 punti e l'ROC-AUC su OpenML-CC18 di 10,1 punti rispetto a TabICL-v2.
• Contributi delle Componenti:
  • Diversità dei Meccanismi: L'SCM Ibrido (G1b) è identificato come il singolo componente più impattante, responsabile della maggior parte del divario di prestazioni tra la baseline più debole e le migliori configurazioni di O'PRIOR.
  • Realismo: Il realismo forte (G2b) supera monotonicamente il realismo moderato, indicando che l'esposizione a irregolarità (code pesanti, valori mancanti) è benefica.
  • Stress da Spostamento: Sebbene migliori la robustezza, il contributo del modulo di spostamento alla precisione media i.i.d. è inferiore rispetto al realismo, poiché è progettato principalmente per la robustezza distribuzionale.
  • Curriculum: Sotto budget fissi e brevi, prior statici forti a volte superano la configurazione del curriculum perché la fase di riscaldamento riduce l'esposizione alla distribuzione più difficile. Il curriculum è una scelta dipendente dalla pianificazione, non universalmente superiore.
• Allineamento Strutturale: Utilizzando una metrica TabStruct adattata, O'PRIOR genera tabelle con spettri di correlazione e decadimenti degli autovalori che corrispondono più da vicino ai dataset reali (ad es. Churn, Home Credit) rispetto a TabICL-v2, in particolare nella cattura delle dipendenze inter-caratteristiche.
• Rappresentazioni Interne: Esperimenti di sondaggio rivelano che i modelli preaddestrati su O'PRIOR sviluppano rappresentazioni interne progressivamente più discriminative attraverso i livelli del transformer, specialmente su dataset strutturalmente impegnativi (ad es. Vehicle, Ionosphere). Al contrario, le baseline mostrano spesso prestazioni piatte o degradanti attraverso i livelli.

5. Significato e Affermazioni

Il documento afferma che la costruzione del prior sintetico è un determinante di primo ordine, largamente trascurato, della qualità dei modelli fondamentali per dati tabellari.

• Contributo Scientifico: Isolando il prior come variabile, il lavoro dimostra che i cambiamenti architetturali non sono l'unico motore delle prestazioni dei TFM; la progettazione della distribuzione delle attività sintetiche è ugualmente critica.
• Insight Meccanistico: Lo studio stabilisce che la diversità dei meccanismi strutturali (tramite SCM Ibridi) è il principale motore del miglioramento del trasferimento, mentre il realismo osservazionale e lo stress consapevole dello spostamento forniscono guadagni complementari e indipendenti.
• Framework Pratico: O'PRIOR fornisce un framework principiato e modulare per generare dati di preaddestramento sintetici che riflettono meglio la "disordine" dei dati tabellari reali, portando a modelli non solo più accurati ma anche dotati di rappresentazioni interne più profonde e robuste.

Gli autori concludono che il lavoro futuro dovrebbe concentrarsi sul ridimensionamento di questo framework a budget più ampi e sull'esplorazione di moduli di realismo specializzati per dominio, ma i risultati attuali stabiliscono fermamente che prior migliori producono modelli fondamentali per dati tabellari migliori sia a livello di generazione dei dati che di apprendimento delle rappresentazioni.