Speedrunning Tabular Foundation Model Pretraining

Sintesi Tecnica: Speedrunning del Pretraining di Modelli Fondazionali Tabulari

Problema
Il pretraining di modelli fondazionali tabulari (TFM) è un collo di bottiglia computazionalmente costoso che rallenta il ciclo di iterazione per nuove architetture, prior e strategie di ottimizzazione. Mentre sono stati compiuti sforzi significativi per accelerare il pretraining dei Large Language Model (LLM), non esiste un equivalente framework guidato dalla comunità per i TFM. L'alto costo del pretraining limita la prototipazione rapida e l'accumulo di tecniche di accelerazione all'interno della comunità dell'apprendimento tabulare.

Metodologia
Gli autori introducono una competizione pubblica di tipo "speedrun" incentrata su nanoTabPFN, una reimplementazione minimale ed educativa di TabPFN v2. La competizione stabilisce un protocollo fisso in cui i contributori modificano uno script di training a file singolo per raggiungere un obiettivo specifico di performance downstream nel minor tempo di wallclock possibile.

• Target: L'obiettivo è preaddestrare una rete neurale che raggiunga un ROC AUC medio di validazione superiore a quello di un baseline Random Forest su dataset TabArena sottocampionati (38 task di classificazione).
• Vincoli: Tutte le esecuzioni devono utilizzare una singola GPU NVIDIA L40S. Il tempo riportato è la mediana di più esecuzioni di verifica per sopprimere il rumore del cluster. I record non devono caricare pesi preaddestrati e devono utilizzare una pipeline di valutazione fissa.
• Progressione: Lo speedrun è cumulativo; ogni nuovo record si basa sulle tecniche di quello precedente, isolando l'impatto di specifiche ottimizzazioni.

Contributi Chiave e Tecniche
Il paper non propone una nuova famiglia di modelli, ma piuttosto un protocollo riproducibile e una sequenza di record che dimostrano come varie tecniche si trasferiscano dal linguaggio naturale ai dati tabulari. La progressione dal baseline (74,32 minuti) al record attuale (0,92 minuti) ha coinvolto le seguenti intervezioni tecniche chiave:

1. Switch dell'Ottimizzatore: Sostituire l'ottimizzatore AdamW con lo schedule-free con l'ottimizzatore Muon per matrici di peso 2D ha migliorato significativamente l'efficienza campionaria.
2. Architettura e Precisione:
   • Implementazione di Scaled Dot-Product Attention (SDPA).
   • Passaggio da un'architettura post-norm a una pre-norm.
   • Adozione di training a precisione mista (bf16) e moltiplicazione di matrici TF32.
   • Regolazione degli iperparametri (aumento del learning rate a $10^{-3}$) e allargamento della dimensione dell'embedding (da 192 a 256) riducendo al contempo le teste di attenzione.
3. Ottimizzazioni di Throughput: Batching dell'iterazione Newton–Schulz per Muon e compilazione del forward pass dell'encoder transformer.
4. Modifiche Architetturali:
   • Decadimento Residuo (Residual Decay): Pesatura esponenziale decrescente degli input per i primi blocchi del transformer ($0.95^i$).
   • RMSNorm: Sostituzione di LayerNorm con RMSNorm a precisione inferiore.
   • Righe di Pensiero (Thinking Rows): Prependere 16 (successivamente 24) righe apprendibili ("thinking rows") all'input, alle quali le righe dei dati prestano attenzione, aumentando significamente le performance.
   • Raggruppamento Ricorrente delle Feature (Repeated Feature Grouping): Embedding delle colonne congiuntamente con offset specifici (es. $j, j+1, j+3$) per prevenire il collasso della rappresentazione in feature con distribuzioni simili.
5. Strategie di Training Avanzate:
   • Latest Weight Averaging (LAWA): Media degli ultimi 10 checkpoint esclusivamente per la valutazione.
   • Weight Decay: Applicazione del weight decay sia ai parametri AdamW che a quelli Muon.
   • Modifica del Decoder: Alimentazione del decoder con la media degli embedding delle feature (inveve degli embedding dei target).
   • Autoresearch: Il record finale ha utilizzato un loop di ricerca degli iperparametri e dell'architettura guidato da un LLM (autoresearch) per scoprire la configurazione ottimale.

Risultati
L'attuale miglior record raggiunge l'obiettivo di performance downstream in 0,92 minuti su una singola GPU NVIDIA L40S. Questo rappresenta:

• Un accelerazione di 81× nel tempo di wallclock rispetto al baseline di 74,32 minuti.
• Una riduzione di 22× nel numero di dataset sintetici richiesti (da 80.576 a 3.648).
• Quando addestrato per l'intero budget del baseline (256.000 dataset), il modello ottimizzato raggiunge un ROC AUC medio di 0,82, avvicinandosi alle performance di TabPFN v2.5 (0,8286) senza preprocessing o ensemble.

Significatività
Il paper sostiene che il contributo primario sia il formato dello speedrun stesso, che fornisce un protocollo aperto e semplice affinché la comunità possa aggiungere, verificare e accumulare miglioramenti di pretraining. Fissando il prior sintetico e la pipeline di valutazione, la classifica isola quali ottimizzazioni pratiche siano efficaci per i TFM. Gli autori osservano che l'attuale miglior record mantiene fisso il prior sintetico, suggerendo che il prior stesso rimanga una "direzione intonsa" per futuri miglioramenti. Il lavoro dimostra che le tecniche di successo nel linguaggio naturale (come Muon, SDPA e specifiche modifiche architettoniche) possono essere efficacemente trasferite ai modelli fondazionali tabulari per ridurre drasticamente i costi di addestramento.