🤖 machine learning

Pocket Foundation Models: Distilling TFMs into CPU-Ready Gradient-Boosted Trees

Dieser Beitrag stellt eine Methode vor, um langsame, GPU-abhängige tabellarische Grundmodelle in schnelle, CPU-native Gradient-Boosting-Bäume unter Verwendung von stratifizierten Out-of-Fold-Labels zur Verhinderung von Label-Leckage zu destillieren, wodurch eine Genauigkeit nahe der des Lehrers mit einer bis zu 860-fachen Beschleunigung für Echtzeitanwendungen wie Betrugserkennung erreicht wird.

Ursprüngliche Autoren: Aditya Tanna, Nassim Bouarour, Mohamed Bouadi, Vinay kumar Sankarapu, Pratinav Seth

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Aditya Tanna, Nassim Bouarour, Mohamed Bouadi, Vinay kumar Sankarapu, Pratinav Seth

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der Genie-Professor, der nicht laufen kann

Stellen Sie sich einen Genie-Professor (das „Foundation Model") vor, der unglaublich gut darin ist, Rätsel zu lösen. Dieser Professor kann eine massive Bibliothek vergangener Rätsel durchsuchen und sofort die Antwort auf ein neues Rätsel finden.

Allerdings gibt es einen Haken:

Sie sind langsam: Um ein Rätsel zu lösen, muss der Professor jedes Mal seine gesamte Bibliothek an Notizen durchlesen. Das dauert lange (etwa 150 Millisekunden bis über eine Sekunde).
Sie sind teuer: Der Professor benötigt einen Supercomputer (eine leistungsstarke GPU), um zu arbeiten.
Die reale Welt ist ungeduldig: In Situationen wie der Unterbindung von Kreditkartenbetrug oder der Triage von Patienten benötigen Sie eine Antwort in unter 2 Millisekunden. Der Professor ist zu langsam und zu schwer, um hier nützlich zu sein.

Die Lösung: Der „Pocket"-Schüler

Die Autoren wollten einen Schüler schaffen, der genauso klug ist wie der Professor, aber auf einem normalen Laptop (CPU) läuft und in einem Wimpernschlag antwortet.

Sie verwendeten eine Technik namens Wissensdestillation. Stellen Sie sich dies vor, als würde der Professor dem Schüler eine Spickzettel geben. Anstatt dem Schüler nur die richtige Antwort zu nennen (z. B. „Ja, das ist Betrug"), erklärt der Professor, wie er darüber nachgedacht hat (z. B. „Ich bin zu 90 % sicher, dass es Betrug ist, aber es gibt eine 10 %ige Chance, dass es ein Fehlalarm ist"). Diese Nuance hilft dem Schüler, besser zu lernen, als nur die Antworten auswendig zu lernen.

Die Falle: Das „Spiegel"-Problem

Hier ist der knifflige Teil, den das Paper entdeckt hat.

Wenn Sie den Professor bitten, exakt dieselben Rätsel zu bewerten, die er gerade zum Lernen verwendet hat, gerät er in Verwirrung. Da der Professor die Antworten direkt vor sich in seinem „Kontext" hat, denkt er eigentlich nicht nach; er ruft sie nur ab. Er sagt: „Ich kenne dieses! Es ist definitiv Betrug!" mit 100 %iger Sicherheit.

Wenn der Schüler daraus lernt, erhält er einen schlechten Spickzettel. Der Professor teilt keine „Weisheit" oder „Unsicherheit" mit; er wiederholt nur den Antwortenschlüssel. Der Schüler lernt nichts Neues und am Ende ist er dümmer, als wenn er direkt den Antwortenschlüssel gelernt hätte.

Die Lösung: Der „Blinde" Test
Um dies zu beheben, verwendeten die Autoren eine Methode namens Stratifizierte Out-of-Fold (OOF)-Kennzeichnung.

Stellen Sie sich vor, Sie teilen die Bibliothek der Rätsel in 5 separate Stapel auf.
Der Professor studiert 4 Stapel und wird dann nur am 5. Stapel getestet, den er noch nicht gesehen hat.
Dann wechseln sie die Stapel. Sie studieren die neuen 4 Stapel und werden am nächsten unsichtbaren Stapel getestet.
Auf diese Weise wird der Professor gezwungen, tatsächlich zu denken und zu raten, anstatt nur abzurufen. Dies erstellt einen hochwertigen, ehrlichen Spickzettel für den Schüler.

Die Ergebnisse: Ein schneller, kluger Schüler

Das Team testete dies an 153 verschiedenen Datensätzen (von kleinen medizinischen Aufzeichnungen bis hin zu großen Finanzdaten). Hier ist, was sie fanden:

Geschwindigkeit: Der neue Schüler (ein Modell namens XGBoost) läuft 38 bis 860 Mal schneller als der Professor. Er antwortet auf einem Standardcomputer in etwa 1,9 Millisekunden und erfüllt die strikte Anforderung „unter 2 ms".
Intelligenz: Der Schüler behält 96,5 % der Intelligenz des Professors. Tatsächlich schlug der Schüler bei 51 % der Tests ein standardmäßiges, gut abgestimmtes Modell (CatBoost), das normalerweise der Goldstandard für diese Art von Arbeit ist.
Der „Niedrigdimensionale" Sweet Spot: Der Schüler glänzt am meisten bei Problemen mit weniger Merkmalen (wie ein Rätsel mit weniger als 21 Teilen). Bei diesen ist der Schüler deutlich besser als die Konkurrenz. Bei massiven, komplexen Rätseln mit Tausenden von Merkmalen gewinnt der Schüler jedoch keinen großen Vorteil gegenüber Standardmodellen.
Teamwork (Multi-Lehrer):
- Bei Baum-basierten Schülern (wie XGBoost) half es nicht viel, wenn mehrere Professoren Ratschläge gaben. Ein starker Professor reichte aus.
- Bei Neuralen Netzwerk-Schülern (MLPs) half es, wenn mehrere Professoren ihre Ratschläge mittelten; dies wirkte wie ein „Glättungseffekt", der den Schüler genauer machte.

Das Fazit

Das Paper beweist, dass Sie keinen Supercomputer benötigen, um die weltweit intelligentesten KI-Modelle für Echtzeitaufgaben einzusetzen. Indem Sie eine clevere „blinde Test"-Methode verwenden, um einen Spickzettel zu generieren, können Sie ein leichtgewichtiges, schnelles „Schüler"-Modell trainieren, das auf einer normalen CPU läuft.

Wenn der Professor gut ist: Wird der Schüler zu einem schnellen, genauen Ersatz.
Wenn der Professor schlecht ist: Wird auch der Schüler schlecht (die Methode repariert keinen schwachen Professor magisch).
Die goldene Regel: Sie müssen sicherstellen, dass der Professor gegenüber den Testdaten „blind" ist, sonst lernt der Schüler nichts.

Die Autoren haben alle Tools dafür als Open-Source verfügbar gemacht, damit jeder sein eigenes „Pocket Foundation Model" bauen kann.

Technische Zusammenfassung: Pocket-Foundation-Modelle

Problemstellung

Tabular Foundation Models (TFMs) wie TabICLv2, TabPFNv2.6 und LimiX haben durch die Nutzung von In-Context-Learning (ICL) mittels großer Transformer-Modelle State-of-the-Art-Genauigkeit auf kleinen strukturierten Datensätzen demonstriert. Diese Modelle stehen jedoch vor einer kritischen Hürde beim Einsatz: Sie erfordern zum Zeitpunkt der Abfrage die Verarbeitung des gesamten Trainingsdatensatzes, was zu Inferenz-Latenzen zwischen 151 ms und 1.275 ms auf GPUs führt. Diese Latenz ist mit Echtzeitanwendungen wie Betrugserkennung, Kreditwürdigkeitsprüfung oder Patiententriage unvereinbar, die häufig Antworten unter 2 ms erfordern. Darüber hinaus machen GPU-Kosten und Produktionsbeschränkungen, die ausschließlich CPUs nutzen, den direkten Einsatz von TFMs unpraktisch.

Während Knowledge Distillation einen Weg bietet, diese Modelle in schnellere Gradient-Boosted Decision Tree (GBDT)-Schülermodelle zu komprimieren, entsteht bei ICL-basierten Lehrmodellen ein spezifisches technisches Hindernis. Wenn ein ICL-Lehrmodell Beispiele bewertet, die bereits in seinem Kontext vorhanden sind (d. h. in seinem eigenen Trainingsdatensatz), kollabieren seine Vorhersagen zu nahezu One-Hot-Vektoren mit nahezu Null-Entropie. Diese „Leckage" zerstört die für eine effektive Distillation notwendige Inter-Klassen-Struktur (weiche Labels), wodurch der Schüler nicht mehr lernt als bei harten Labels, und führt oft zu schlechteren Ergebnissen als das Standardtraining.

Methodik

Der Artikel schlägt eine leakagesensitive Distillationspipeline vor, die TFM-Lehrmodelle in CPU-fähige GBDT- oder MLP-Schülermodelle umwandelt. Die Kerninnovation besteht in der Verwendung von stratifizierten Out-of-Fold (OOF)-Labels, um Kontextleckagen zu verhindern.

OOF-Labeling: Der Trainingsdatensatz $D$ wird in $K=5$ stratifizierte Folds aufgeteilt. Für jeden Fold $k$ wird das Lehrmodell auf $D \setminus D_k$ trainiert und ausschließlich zur Vorhersage von Wahrscheinlichkeiten für den zurückgehaltenen Satz $D_k$ verwendet. Dies stellt sicher, dass das Lehrmodell die Abfragebeispiele niemals in seinem Kontext sieht, wodurch das Soft-Label-Signal (Inter-Klassen-Struktur) erhalten bleibt, das für die Distillation erforderlich ist.
Mittelung mehrerer Lehrer: In Settings mit mehreren Lehrern werden OOF-Vorhersagen verschiedener TFM-Familien (z. B. TabPFN, TabICL, LimiX) mit gleichen Gewichten gemittelt, bevor sie als Ziele verwendet werden.
Ziel des Schülers: Der Schüler (XGBoost, CatBoost, LightGBM oder MLP) wird unter Verwendung einer Hinton-artigen gemischten Verlustfunktion trainiert:
$\mathcal{L} = \alpha \sum_i w_i T_i^2 \text{KL}(\hat{p}_i^{T_i} \parallel q_i^{T_i}) + (1-\alpha) \sum_i w_i \ell_{\text{CE}}(y_i, q_i)$
Dabei ist $\alpha=0,7$ , $T_i$ eine pro-Beispiel-Temperaturskalierung basierend auf der Lehrer-Entropie und $w_i$ ein Vertrauensgewicht, das übermäßig selbstsichere oder nahezu zufällige Vorhersagen herabstuft. Für baumbasierte Schüler vereinfacht sich der KL-Term zu einer pro-Klasse MSE-Regression auf Soft-Label-Logits.
Lehrerauswahl: Der Artikel stellt fest, dass die Rangfolge der Lehrer nach ihrem einzelnen AUC auf einem zurückgehaltenen Stichprobenexemplar exakt auf die Rangfolge der resultierenden Schüler übergeht. Die Auswahl des besten Lehrers erfordert somit keine komplexe Architektursuche; man wählt einfach den Lehrer mit dem höchsten einzelnen AUC.

Hauptbeiträge

Obligatorisches OOF-Labeling: Die Autoren identifizieren, dass OOF-Labeling für ICL-basierte TFMs nicht optional ist. Ohne dieses kollabiert das Soft-Label-Signal, und die Distillation liefert Schüler, die unterlegen sind gegenüber Baselines mit harten Labels.
Leistung vs. Latenz: Die Distillation von TabICLv2 in XGBoost erreicht eine macro-mean AUC von 0,882 (96,5 % der AUC des Lehrers) bei einer Latenz von 1,9 ms auf einem einzelnen CPU-Kern. Dies stellt eine 38- bis 860-fache Beschleunigung im Vergleich zum Lehrer dar und übertrifft statistisch eine abgestimmte CatBoost-Baseline auf 51 % der 153 Datensätze (Wilcoxon $p=0,0008$ ).
Vorhersehbare Gewinne: Die Vorteile der Distillation sind stark von der Datendimensionalität vorhersehbar:
- Niedrigdimensionale Daten ( $\le$ 21 Merkmale): Die Distillation bietet einen signifikanten Gewinn (+0,011 AUC gegenüber CatBoost).
- Hochdimensionale Daten ( $>$ 21 Merkmale): Die Gewinne sind vernachlässigbar (+0,001 AUC), und wenn der Lehrer selbst schlechter als CatBoost abschneidet, kann die Distillation die Leistung weiter verschlechtern.
Dynamik mehrerer Lehrer:
- Baum-Schüler: Die Mittelung mehrerer Lehrer liefert einen statistisch nachweisbaren, aber praktisch vernachlässigbaren Gewinn (+0,0006 AUC). Ein einzelner starker Lehrer reicht aus.
- MLP-Schüler: Die Mittelung mehrerer Lehrer wirkt als effektives Label-Smoothing und liefert einen signifikanten Gewinn (+0,006 AUC, $p=0,003$ ) gegenüber dem Training mit einem einzelnen Lehrer.
Open-Source-Pipeline: Die vollständige Pipeline ist implementiert und als Teil der TabTune-Bibliothek veröffentlicht.

Ergebnisse

Die Evaluation umfasst 153 Klassifizierungsdatensätze aus TALENT, OpenML-CC18, TabZilla und TabArena.

Genauigkeit: Die beste distillierte Konfiguration (TabICLv2 $\to$ XGBoost) erreicht 0,882 AUC und behält 96,5 % der Leistung des Lehrers bei.
Latenz: Distillierte Baum-Schüler laufen auf der CPU in 1,9–4,0 ms, im Vergleich zu 151–1.275 ms für Lehrer auf der GPU.
Baselines: Die distillierten Modelle schlagen eine abgestimmte CatBoost-Baseline auf 51 % der Datensätze. Im Gegensatz dazu erzeugt OrionMSP, ein schwächerer Lehrer, Schüler, die nur in 22,6 % der Fälle gewinnen.
Ablation: Für MLP-Schüler auf niedrigdimensionalen Daten führte die Verwendung harter Labels mit OOF ( $\alpha=0$ ) tatsächlich zu besseren Ergebnissen als die vollständige Hinton-Soft-Label-Pipeline (+0,034 AUC), was darauf hindeutet, dass für saubere, niedrigdimensionale Daten die komplexe Soft-Label-Maschinerie optional ist, OOF-Labeling jedoch kritisch bleibt.

Bedeutung

Der Artikel zeigt, dass das „Einsatzproblem" tabularer Foundation-Modelle gelöst werden kann, ohne ihre Genauigkeitsvorteile aufzugeben. Indem die spezifische Leckage-Problematik, die ICL-Lehrern inhärent ist, adressiert wird, demonstrieren die Autoren, dass es möglich ist, die „Inter-Klassen-Struktur" eines TFM in einen leichten, CPU-nativen GBDT zu destillieren.

Die Bedeutung liegt in der Vorhersehbarkeit und dem graceful failure (anständigem Versagen) des Ansatzes:

Wenn ein TFM stark ist, überträgt die Distillation diese Stärke auf einen schnellen Schüler.
Wenn ein TFM schwach ist (oder die Daten hochdimensional sind), inflationiert die Distillation die Leistung nicht künstlich; sie versagt sauber, oft mit schlechteren Ergebnissen als ein Standard-GBDT, was signalisiert, dass der Lehrer kein guter Kandidat war.
Die Methode erfordert keine komplexe Hyperparameter-Optimierung für den Schüler; die primäre Entscheidung besteht einfach darin, den am besten performenden Lehrer auszuwählen.

Die Autoren schließen, dass Praktiker für niedrigdimensionale strukturierte Daten eine Lehrergenauigkeit bei nur 1 % der Inferenzkosten erreichen können, sofern sie strikt das OOF-Labeling-Protokoll einhalten, um einen Signalzusammenbruch zu vermeiden.