Sintesi Tecnica: Verso la Valutazione dei Prior dei Dati per i Modelli Fondativi Tabulari

Problema di Ricerca

I modelli fondativi tabulari (TFM), come TabPFN, si affidano pesantemente a prior generativi di dati per definire la distribuzione del compito durante il pre-training. Sebbene questi prior siano centrali nel plasmare il comportamento predittivo a valle, vengono raramente valutati come componenti indipendenti. Tipicamente, un prior viene introdotto insieme a specifiche scelte architettoniche, strategie di ottimizzazione e protocolli di addestramento, rendendo difficile isolare l'impatto specifico del prior stesso. Questa mancanza di isolamento ostacola la capacità di confrontare i prior di diversi modelli o di comprendere come le proprietà a livello di dati si traducano in prestazioni a valle. Il documento affronta la questione metodologica: Come possono i prior di diversi modelli fondativi tabulari essere confrontati indipendentemente dalle architetture e dai protocolli di addestramento con cui sono stati originariamente introdotti?

Metodologia

Per affrontare questo problema, gli autori propongono un pipeline di valutazione unificato che standardizza la generazione dei dati, l'addestramento del modello e la valutazione a valle. Questo framework è costruito come un'estensione del TFM-Playground.

1. Interfaccia Unificata dei Prior

Gli autori hanno implementato un'interfaccia unificata per generare compiti di addestramento da cinque distinte famiglie di prior:

• TabPFNv1: Utilizza prior basati su funzioni (MLP, processi gaussiani e miscele) per campionare funzioni target su input casuali.
• TabICL: Genera compiti campionando variabili gaussiane latenti e propagandole attraverso trasformazioni di Modelli Causali Strutturali (SCM) a strati. Le varianti includono mappature MLP, mappature basate su alberi o miscele.
• TICL: Simile a TabPFNv1, ma utilizza routine alternative di pre-processing e conversione del target basate su generatori MLP e processi gaussiani.
• TabForestPFN: Adatta modelli di ML standard (alberi decisionali, k-nearest neighbors, classificatori a proiezione casuale) a dati campionati casualmente e utilizza le loro predizioni su input non visti come target.
• Real Data (Dati Reali): Una pipeline controllata che utilizza dataset curati da OpenML. Prevede la cura dei dataset, la riduzione della fuga di dati (rimozione dei duplicati tramite fingerprinting statistico) e la costruzione del compito, dove i dataset sono partizionati in pool di classificazione/regressione. I compiti sono generati campionando i dataset e selezionando i target (o colonne compatibili casuali).

2. Setup Sperimentale Controllato

• Generazione dei Compiti: Ogni prior genera un budget fisso di 250.000 compiti. I compiti sono vincolati a un massimo di 512 campioni e 16 feature per garantire la fattibilità computazionale.
• Architettura del Modello: Tutti i prior vengono utilizzati per addestrare un modello nanoTabPFN identico. Questa architettura leggera è stata scelta per mantenere prestazioni competitive nei regimi di dati scarsi, permettendo al contempo esperimenti controllati e ripetibili sotto risorse fisse.
• Protocollo di Addestramento: Viene applicato un protocollo fisso a tutti i prior, incluso un batch size di 1 per gestire diverse lunghezze di sequenza senza padding.
• Valutazione a Valle: I modelli sono valutati su un sottoinsieme fisso di compiti di classificazione di TabArena v0.1 (16 compiti con ≤500 feature e ≤5000 istanze). Le prestazioni sono misurate tramite l'area sotto la curva ROC (ROC-AUC) attraverso tre fold.

3. Metriche di Valutazione

Lo studio confronta i prior utilizzando due dimensioni:

1. Caratterizzazione a Livello di Dati: I compiti generati sono riassunti tramite un vettore condiviso di statistiche del dataset (meta-feature) per calcolare la similarità pairwise nello spazio dei dati.
2. Prestazioni a Valle: I prior sono classificati in base alle prestazioni assolute (Raw Avg. ROC-AUC) e alla consistenza relativa (Norm. Avg. min-max normalized ROC-AUC e rank medio).

Risultati Chiave

Variabilità delle Prestazioni

Diversi prior favoriscono diversi comportamenti a valle, senza che un singolo prior domini tutte le metriche:

• Prestazioni Assolute: Il prior TICL ha ottenuto il più alto ROC-AUC medio grezzo (0.866) e il maggior numero di vittorie sui dataset (5).
• Consistenza Relativa: Il prior TabICL Mix SCM ha ottenuto il miglior rank medio (2.69) e il più alto valore normalizzato (0.937), indicando una competitività più costante tra i vari compiti rispetto agli altri.
• Prestazioni sui Dati Reali: Sorprendentemente, Real Random Targets (selezione casuale di colonne target da dataset reali) ha superato significativamente Real Default Targets (uso dei target originali) (0.675 vs 0.123 media normalizzata). Gli autori attribuiscono ciò alla diversità dei compiti; la selezione casuale permette a un singolo dataset di generare molteplici problemi di predizione distinti, mentre i target fissi possono portare a problemi ripetitivi e simili.

Similarità dei Dati vs. Prestazioni

• Spazio dei Dati: I prior appartenenti alla stessa libreria (ad es. varianti di TabICL) sono generalmente più simili tra loro rispetto ai prior di altre librerie, suggerendo che il framework di generazione influenzi la distribuzione dei dati più del meccanismo sottostante specifico.
• Spazio delle Prestazioni: Sebbene alcune similarità nello spazio dei dati correlino con le similarità nelle prestazioni (ad es. varianti di TabPFN), la correlazione non è perfetta.
  • Dati Dissimili, Prestazioni Simili: Il prior TabForest Neighbor è statisticamente molto dissimile dai dati reali, eppure raggiunge prestazioni a valle competitive.
  • Dati Simili, Prestazioni Diverse: Real Random Targets e Real Default Targets sono statisticamente simili nello spazio dei dati, eppure le loro prestazioni a valle differiscono drasticamente.
• Conclusione: La similarità statistica a livello di dati è una proxy informativa ma incompleta per il comportamento predittivo a valle. Fattori come la diversità dei compiti e i segnali di apprendimento non sono pienamente catturati dalle statistiche riassuntive.

Studio di Ablazione

Uno studio di ablazione sulla dimensionalità dei dati ha rivelato che aumentare il numero di feature mantenendo fisso il numero di campioni ha generalmente portato a prestazioni a valle peggiori. Gli autori suggeriscono che ciò crei un rapporto feature-campione irrealistico rispetto ai compiti di valutazione.

Significato e Rivendicazioni

Il documento sostiene di compiere un "primo passo" verso l'esplorazione di come i prior generativi dei dati influenzino il comportamento a valle in un contesto controllato. I suoi contributi primari sono:

1. Isolamento dei Prior: Isolamento riuscito dei prior come componenti indipendenti fissando l'architettura e il protocollo di addestramento, un compito raramente tentato nella letteratura precedente sui TFM.
2. Interfaccia Unificata: Fornitura di un'interfaccia standardizzata per confrontare i prior sintetici e quelli basati su dati reali attraverso molteplici framework esistenti (TabPFN, TabICL, TabForest, ecc.).
3. Intuizioni Empiriche: Dimostrazione del fatto che, sebbene la similarità a livello di dati offra alcune intuizioni, essa non spiega completamente il comportamento a valle. Lo studio evidenzia come la diversità dei compiti (ad es. tramite la selezione casuale del target) possa essere un fattore critico per il successo dei prior basati su dati reali, indipendentemente dalla similarità statistica con i dati sorgente.

Gli autori rimangono modesti, osservando che le differenze di prestazione osservate sono spesso piccole in magnitudo e dovrebbero essere interpretate con cautela. Suggeriscono che lavori futuri potrebbero esaminare se l'ottimizzazione degli iperparametri specifica per ogni prior possa alterare tali classifiche relative.