🤖 machine learning

Speedrunning Tabular Foundation Model Pretraining

Dieses Paper führt eine gemeinschaftlich getriebene „Speedrun“-Challenge für das nanoTabPFN-Modell ein, bei der Mitwirkende darum konkurrieren, die Vortrainingszeit und den Datenbedarf drastisch zu reduzieren, um ein festgesetztes Ziel für die Downstream-Performance zu erreichen, wodurch der Iterationszyklus für die Forschung an Tabular Foundation Models beschleunigt wird.

Ursprüngliche Autoren: Salih Bora Ozturk, Alexander Pfefferle, Frank Hutter

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Salih Bora Ozturk, Alexander Pfefferle, Frank Hutter

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie man Entscheidungen basierend auf Tabellenkalkulationen (Datentabellen) trifft. Normalerweise ist das so, als würde man versuchen, einen riesigen Swimmingpool mit einem einzigen Teelöffel zu füllen: Es dauert lange, kostet ein Vermögen an Elektrizität und bis man fertig ist, ist man zu müde, um eine neue Idee auszuprobieren.

Dieses Paper stellt eine unterhaltsame, kompetitive Lösung für dieses Problem vor, die man „Speedrun“ nennt.

Die große Idee: Die „Speedrun“-Analogie

Denken Sie an Videospiel-Speedruns, bei denen Spieler versuchen, ein Spiel so schnell wie möglich zu bewältigen, indem sie clevere Tricks anwenden. Die Autoren haben einen ähnlichen Wettbewerb für das Training von KI-Modellen auf tabellarischen Daten geschaffen.

Das Ziel: Anstatt zu versuchen, das „perfekte“ Modell zu bauen, besteht das Ziel lediglich darin, ein bestimmtes, bescheidenes Leistungsniveau (das einen Standard-„Random Forest“-Algorithmus zu schlagen gilt) so schnell wie möglich zu erreichen.
Die Regeln: Alle verwenden denselben Computer (eine NVIDIA L40S Grafikkarte) und denselben Ausgangscode. Das Einzige, was man ändern kann, ist die Art und Weise, wie man das Modell trainiert.
Der Preis: Der Gewinner darf die schnellste Zeit auf einer öffentlichen Bestenliste präsentieren.

Die Startlinie: Der „langsame Baseline“

Die Autoren begannen mit einer Standardversion eines für die Lehre konzipierten tabellarischen KI-Modells namens nanoTabPFN.

Das Problem: Mit den Standardeinstellungen dauerte es 74,32 Minuten, um das Modell ausreichend zu trainieren, um das Leistungsziel zu erreichen. Es musste zudem über 80.000 künstliche Übungsdatensätze „lesen“, um die Regeln zu lernen.
Die Metapher: Dies ist wie ein Schüler, der für eine Prüfung lernt, indem er jede einzelne Seite eines Lehrbuchs Wort für Wort liest, was zwei Stunden dauert, um fertig zu werden.

Das Rennen: Wie sie schneller wurden

Die Community (Forscher und Enthusiasten) hat sich abwechselnd an dem Trainingsskript versucht, um Zeit einzusparen. Hier ist, wie sie die Geschwindigkeit gesteigert haben, unter Verwendung einfacher Analogien:

Bessere Lerntechniken (Der Muon Optimizer):
Sie ersetzten die Standard-Lernmethode durch eine intelligentere Methode namens „Muon“.
- Ergebnis: Die Zeit sank auf 54 Minuten. Es war, als würde man vom lauten Vorlesen eines Buches zum schnellen Überfliegen der Kernpunkte wechseln.
Hardware-Upgrade & Mathematik (SDPA, bf16, Breite):
Sie änderten die Art und Weise, wie der Computer Mathematik betreibt (unter Verwendung einer schnelleren Rechenart namens „bf16“) und passten die Größe des Modell-„Gehirns“ an (es wurde breiter, aber mit weniger Kanälen).
- Ergebnis: Ein massiver Sprung! Die Zeit sank auf 10 Minuten. Dies ist vergleichbar mit dem Wechsel von einem Fahrrad zu einem Sportwagen.
Batching und Kompilierung:
Sie gruppierten Aufgaben zusammen, damit der Computer nicht so oft stoppen und neu starten muss, und sie „kompilierten“ den Code, damit er reibungsloser läuft.
- Ergebnis: Die Zeit sank auf 9 Minuten.
Der „Thinking Rows“-Trick:
Sie fügten dem Datensatz 16 spezielle, unsichtbare „Thinking Rows“ hinzu. Diese sind wie kleine Klebezettel, auf die das Modell seine Gedanken schreiben kann, um sie zu organisieren, bevor es antwortet.
- Ergebnis: Die Zeit sank auf 3,88 Minuten. Es ist, als würde man dem Schüler ein Whiteboard zum Brainstorming geben, bevor er die Prüfung schreibt.
Gruppierung von Merkmalen (Features):
Sie brachten dem Modell bei, Spalten von Daten in überlappenden Gruppen zu betrachten (wie ein Puzzleteil und seine Nachbarn gleichzeitig anzuschauen), um zu verhindern, dass es verwirrt wird.
- Ergebnis: Die Zeit sank auf 2,15 Minuten.
Der KI-Coach (Autoresearch HPO):
Schließlich setzten sie einen KI-Agenten (einen Roboter-Coach) ein, um die Einstellungen automatisch zu optimieren und die perfekte Kombination von Tricks zu finden.
- Ergebnis: 0,92 Minuten.

Das Endergebnis

Der aktuelle Rekordhalter trainierte das Modell in weniger als einer Minute (0,92 Minuten).

Geschwindigkeit: Dies ist 81 Mal schneller als die ursprüngliche Methode.
Effizienz: Das Modell musste 22 Mal weniger künstliche Datensätze sehen, um das Gleiche zu lernen.

Warum das wichtig ist (laut dem Paper)

Das Paper behauptet nicht, dass dieses spezifische Modell nun das Beste darin ist, reale Probleme zu lösen. Stattdessen ist das Format die eigentliche Erfindung.

Das „Protokoll“: Sie haben einen einfachen, fairen Weg geschaffen, wie die gesamte Community neue Ideen testen kann. Wenn jemand einen neuen Trick hat, führt er ihn einfach aus, protokolliert die Zeit und sieht, ob er den Rekord bricht.
Anhäufung von Verbesserungen (Stacking Improvements): Da alle auf demselben Skript aufbauen, können wir genau sehen, welche Tricks funktionieren und welche nicht.
Zukünftiges Potenzial: Das Paper stellt fest, dass, wenn man dieses superschnelle Rezept nimmt und es die vollen 74 Minuten laufen lässt (statt frühzeitig zu stoppen), es tatsächlich ein sehr leistungsfähiges Modell wird. Dies deutet darauf hin, dass diese Speed-Tricks die KI nicht nur schneller, sondern auch intelligenter machen.

Kurz gesagt: Das Paper hat einen langsamen, teuren und isolierten Forschungsprozess in ein schnelles, offenes und kollaboratives Spiel verwandelt, bei dem die Community darum wettstreitet, den effizientesten Weg zu finden, einer KI etwas über Tabellenkalkulationen beizubringen.

Technisches Resümee: Speedrunning der Pretraining-Phase von Tabular Foundation Models

Problemstellung
Das Pretraining von Tabular Foundation Models (TFMs) stellt einen rechenintensiven Flaschenhals dar, der den Iterationszyklus für neue Architekturen, Priors und Optimierungsstrategien verlangsamt. Während erhebliche Anstrengungen zur Beschleunigung des LLM-Pretrainings unternommen wurden, existiert kein vergleichbares, gemeinschaftsbasiertes Framework für TFMs. Die hohen Kosten des Pretrainings begrenzen das schnelle Prototyping und die Akkumulation von Beschleunigungstechniken innerhalb der Community für tabellarisches Lernen.

Methodik
Die Autoren führen einen öffentlichen „Speedrun“-Wettbewerb ein, der sich um nanoTabPFN dreht, eine minimale, edukative Reimplementierung von TabPFN v2. Der Wettbewerb etabliert ein festes Protokoll, bei dem Mitwirkende ein Single-File-Trainingsskript modifizieren, um ein spezifisches Downstream-Leistungsziel in der kürzestmöglichen Wandlaufzeit (Wallclock Time) zu erreichen.

Ziel: Das Ziel ist das Pretraining eines neuronalen Netzwerks, das einen durchschnittlichen Validierungs-ROC-AUC-Wert erreicht, der über dem eines Random-Forest-Baselines auf Teilstichproben von TabArena-Datensätzen (38 Klassifikationsaufgaben) liegt.
Beschränkungen: Alle Durchläufe müssen eine einzige NVIDIA L40S GPU verwenden. Die gemeldete Zeit ist der Median aus mehreren Verifizierungsdurchläufen, um Cluster-Rauschen zu unterdrücken. Es dürfen keine vortrainierten Gewichte geladen werden, und es muss eine feste Evaluierungspipeline verwendet werden.
Progression: Der Speedrun ist kumulativ; jeder neue Rekord baut auf den Techniken des vorherigen auf, wodurch die Auswirkungen spezifischer Optimierungen isoliert werden.

Wesentliche Beiträge und Techniken
Das Paper schlägt keine neue Modellfamilie vor, sondern ein reproduzierbares Protokoll und eine Sequenz von Rekorden, die demonstrieren, wie verschiedene Techniken vom Sprachmodellieren auf tabellarische Daten übertragen werden können. Die Progression vom Baseline-Modell (74,32 Minuten) zum aktuellen Bestwert (0,92 Minuten) beinhaltete die folgenden zentralen technischen Interventionen:

Optimizer-Wechsel: Der Ersatz des Schedule-free AdamW-Optimierers durch den Muon-Optimierer für 2D-Gewichtsmatrizen verbesserte die Stichprobeneffizienz erheblich.
Architektur und Präzision:
- Implementierung von Scaled Dot-Product Attention (SDPA).
- Wechsel von Post-Norm zu Pre-Norm-Architekturen.
- Einführung von Mixed-Precision-Training (bf16) und TF32-Matrixmultiplikation.
- Anpassung der Hyperparameter (Erhöhung der Lernrate auf $10^{-3}$ ) und Verbreiterung der Embedding-Dimension (192 $\to$ 256) bei gleichzeitiger Reduzierung der Attention-Heads.
Durchsatz-Optimierungen: Batching der Newton-Schulz-Iteration für Muon und Kompilierung des Transformer-Encoder-Forward-Passes.
Architektonische Modifikationen:
- Residual Decay: Exponentielle Abgewichtung der Inputs für frühere Transformer-Blöcke ( $0,95^i$ ).
- RMSNorm: Ersetzung von LayerNorm durch präzisionsärmere RMSNorm.
- Thinking Rows: Voranstellen von 16 (später 24) lernbaren „Thinking Rows“ zum Input, auf die die Datensätze aufmerksam nehmen (attend), was die Performance signifikant steigert.
- Repeated Feature Grouping: Gemeinsames Embedding von Spalten mit spezifischen Offsets (z. B. $j, j+1, j+3$ ), um einen Repräsentationskollaps bei Features mit ähnlichen Verteilungen zu verhindern.
Fortgeschrittene Trainingsstrategien:
- Latest Weight Averaging (LAWA): Mittelung der letzten 10 Checkpoints ausschließlich für die Evaluation.
- Weight Decay: Anwendung von Weight Decay sowohl auf AdamW- als auch auf Muon-Parameter.
- Decoder-Modifikation: Übergabe des Mittelwerts der Feature-Embeddings (statt der Target-Embeddings) an den Decoder.
- Autoresearch: Der finale Rekord nutzte eine LLM-gesteuerte Hyperparameter- und Architektur-Suchschleife (Autoresearch), um die optimale Konfiguration zu finden.

Ergebnisse
Der aktuelle Bestwert erreicht das Ziel-Downstream-Performance-Niveau in 0,92 Minuten auf einer einzelnen NVIDIA L40S GPU. Dies entspricht:

Einer 81-fachen Beschleunigung der Wandlaufzeit im Vergleich zur 74,32-minütigen Baseline.
Einer 22-fachen Reduktion der benötigten synthetischen Datensätze (von 80.576 auf 3.648).
Bei Training mit dem vollen Baseline-Budget (256.000 Datensätze) erreicht das optimierte Modell einen durchschnittlichen ROC AUC von 0,82 und nähert sich damit der Performance von TabPFN v2.5 (0,8286) ohne Preprocessing oder Ensembles an.

Bedeutung
Das Paper behauptet, dass der primäre Beitrag das Speedrun-Format selbst ist, welches ein einfaches, offenes Protokoll bietet, damit die Community Pretraining-Verbesserungen hinzufügen, verifizieren und stapeln kann. Durch das Fixieren des synthetischen Priors und der Evaluierungspipeline isoliert das Leaderboard, welche praktischen Optimierungen effektiv sind. Die Autoren merken an, dass der aktuelle Bestwert den synthetischen Prior fix hält, was darauf hindeutet, dass der Prior selbst eine „unberührte Richtung“ für zukünftige Verbesserungen bleibt. Die Arbeit zeigt, dass Techniken, die im Sprachmodell erfolgreich sind (wie Muon, SDPA und spezifische architektonische Anpassungen), effektiv auf tabellarische Foundation Models übertragen werden können, um die Trainingskosten drastisch zu senken.