Speedrunning Tabular Foundation Model Pretraining

Technische Samenvatting: Speedrunning van de Pretraining van een Tabulair Foundation Model

Probleem
Het pretrainen van tabulaire foundation models (TFMs) is een computationeel dure bottleneck die de iteratiecyclus voor nieuwe architecturen, priors en optimalisatiestrategieën vertraagt. Hoewel er aanzienlijke inspanningen zijn geleverd om de pretraining van Large Language Models (LLMs) te versnellen, bestaat er geen gelijkwaardig, door de gemeenschap gedreven framework voor TFMs. De hoge kosten van pretraining beperken snelle prototyping en de accumulatie van versnellings-technieken binnen de tabulaire leergemeenschap.

Methodologie
De auteurs introduceren een publieke "speedrun" competitie gecentreerd rond nanoTabPFN, een minimale, educatieve reimplementatie van TabPFN v2. De competitie stelt een vast protocol vast waarbij bijdragers een single-file trainingsscript aanpassen om een specifieke downstream prestatiedoelstelling te bereiken in de kortst mogbare wandkloktijd (wallclock time).

• Doel: Het doel is om een neuraal netwerk te pretrainen dat een gemiddelde validatie ROC AUC bereikt die hoger is dan die van een Random Forest baseline op gesubsamplede TabArena datasets (38 classificatietaken).
• Restricties: Alle runs moeten gebruikmaken van een enkele NVIDIA L40S GPU. De gerapporteerde tijd is de mediaan van meerdere verificatieruns om clusterruis te onderdrukend. Records mogen geen pretrained gewichten laden en moeten een vaste evaluatiepipeline gebruiken.
• Progressie: De speedrun is cumulatief; elk nieuw record bouwt voort op de technieken van de vorige, waardoor de impact van specifieke optimalisaties wordt geïsoleerd.

Belangrijkste Bijdragen en Technieken
Het paper stelt geen nieuwe modelfamilie voor, maar eerder een reproduceerbaar protocol en een reeks records die aantonen hoe diverse technieken overdragen van taalmodellering naar tabulaire data. De progressie van de baseline (74,32 minuten) naar het huidige record (0,92 minuten) omvatte de volgende cruciale technische interventies:

1. Optimizer Switch: Het vervangen van de schedule-free AdamW optimizer door de Muon optimizer voor 2D-gewichtsmatrices verbeterde de sample-efficiëntie aanzienlijk.
2. Architectuur en Precisie:
   • Implementatie van Scaled Dot-Product Attention (SDPA).
   • Overstap van post-norm naar pre-norm architecturen.
   • Adoptie van mixed precision training (bf16) en TF32 matrixvermenigvuldiging.
   • Aanpassing van hyperparameters (verhoging van de learning rate naar $10^{-3}$) en het verbreden van de embedding dimensie (192 $\to$ 256) terwijl het aantal attention heads werd verminderd.
3. Doorvoersoptimalisaties (Throughput): Batching van de Newton–Schulz iteratie voor Muon en het compileren van de transformer encoder forward pass.
4. Architecturale Modificaties:
   • Residual Decay: Exponentiële afweging van inputs naar eerdere transformer blocks ($0.95^i$).
   • RMSNorm: Vervanging van LayerNorm door laag-precisie RMSNorm.
   • Thinking Rows: Het toevoegen van 16 (later 24) leerbare "thinking rows" vooraf aan de input, waar de data rows op attention geven, wat de prestaties aanzienlijk verhoogt.
   • Repeated Feature Grouping: Kolommen gezamenlijk embedden met specifieke offsets (bijv. $j, j+1, j+3$) om representatie-instorting te voorkomen bij features met vergelijkbare distributies.
5. Geavanceerde Trainingsstrategieën:
   • Latest Weight Averaging (LAWA): Het middelen van de laatste 10 checkpoints voor evaluatie alleen.
   • Weight Decay: Toepassen van weight decay op zowel AdamW als Muon parameters.
   • Decoder Modificatie: Het voeden van het gemiddelde van de feature embeddings (in plaats van de target embeddings) aan de decoder.
   • Autoresearch: Het uiteindelijke record maakte gebruik van een door LLM gestuurde hyperparameter- en architectuurzoeklus (autoresearch) om de optimale configuratie te ontdekken.

Resultaten
Het huidige beste record bereikt de doelstelling voor downstream prestaties in 0,92 minuten op een enkele NVIDIA L40S GPU. Dit vertegenwoordigt:

• Een 81× versnelling in wandkloktijd vergeleken met de 74,32-minuten baseline.
• Een 22× reductie in het aantal benodigde synthetische datasets (van 80.576 naar 3.648).
• Wanneer getraind voor het volledige baseline budget (256.000 datasets), bereikt het geoptimaliseerde model een gemiddelde ROC AUC van 0,82, wat dicht bij de prestaties van TabPFN v2.5 (0,8286) ligt zonder preprocessing of ensembles.

Betekenis
Het paper stelt dat de primaire bijdrage de speedrun-format zelf is, die een eenvoudig, open protocol biedt voor de gemeenschap om pretraining-verbeteringen toe te voegen, te verifiëren en op te stapelen. Door de synthetische prior en de evaluatiepipeline vast te leggen, isoleert de leaderboard welke praktische optimalisaties effectief zijn voor TFMs. De auteurs merken op dat het huidige beste record de synthetische prior vastgehouden heeft, wat suggereert dat de prior zelf een "ongetaste richting" blijft voor toekomstige verbetering. Het werk demonstreert dat technieken die succesvol zijn in taalmodellering (zoals Muon, SDPA en specifieke architecturale aanpassingen) effectief kunnen worden overgedragen naar tabulaire foundation models om de trainingskosten drastisch te verlagen.