🤖 machine learning

Pocket Foundation Models: Distilling TFMs into CPU-Ready Gradient-Boosted Trees

Dit artikel introduceert een methode om trage, GPU-afhankelijke tabulaire foundation-modellen te distilleren naar snelle, CPU-native gradient-boosted bomen met behulp van gestratificeerde out-of-fold-labeling om labellekage te voorkomen, waarbij bijna docentnauwkeurigheid wordt bereikt met een snelheidswinst van tot 860x voor real-time toepassingen zoals fraudeopsporing.

Oorspronkelijke auteurs: Aditya Tanna, Nassim Bouarour, Mohamed Bouadi, Vinay kumar Sankarapu, Pratinav Seth

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aditya Tanna, Nassim Bouarour, Mohamed Bouadi, Vinay kumar Sankarapu, Pratinav Seth

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het Genie dat niet kan draaien

Stel je een Geniale Professor (het "Foundation Model") voor die ongelooflijk slim is in het oplossen van puzzels. Deze professor kan een enorme bibliotheek met eerdere puzzels bekijken en direct het antwoord op een nieuwe puzzel vinden.

Er is echter een addertje onder het gras:

Ze zijn traag: Om een puzzel op te lossen, moet de Professor elke keer zijn volledige notitiebibliotheek doorbladeren. Dit kost veel tijd (ongeveer 150 milliseconden tot meer dan een seconde).
Ze zijn duur: De Professor heeft een supercomputer (een krachtige GPU) nodig om te werken.
De echte wereld is ongeduldig: In situaties zoals het stoppen van creditcardfraude of het triëren van patiënten, heb je een antwoord nodig in minder dan 2 milliseconden. De Professor is te traag en te zwaar om hier nuttig te zijn.

De Oplossing: De "Pocket"-Student

De auteurs wilden een Student creëren die even slim is als de Professor, maar draait op een gewone laptop (CPU) en in een flits antwoordt.

Ze gebruikten een techniek genaamd Knowledge Distillation (kennisdistillatie). Denk hierbij aan de Professor die de Student een spiekbriefje geeft. In plaats van de Student alleen het juiste antwoord te geven (bijvoorbeeld: "Ja, dit is fraude"), legt de Professor uit hoe hij erover dacht (bijvoorbeeld: "Ik ben 90% zeker dat het fraude is, maar er is 10% kans dat het een vals alarm is"). Deze nuance helpt de Student om beter te leren dan alleen antwoorden te memoriseren.

De Valstrik: Het "Spiegel"-Probleem

Hier is het lastige deel dat het paper ontdekte.

Als je de Professor vraagt om precies dezelfde puzzels te beoordelen die hij net heeft gebruikt om te studeren, raakt hij in de war. Omdat de Professor de antwoorden direct voor zich heeft in zijn "context", denkt hij niet echt na; hij herinnert zich ze alleen. Hij zegt: "Ik ken deze! Het is zeker Fraude!" met 100% zekerheid.

Als de Student hieruit leert, krijgt hij een slecht spiekbriefje. De Professor deelt geen "wijsheid" of "onzekerheid"; hij herhaalt alleen het antwoordensleutel. De Student leert niets nieuws en wordt uiteindelijk minder slim dan wanneer hij gewoon het antwoordensleutel had bestudeerd.

De Oplossing: De "Blinde" Toets
Om dit op te lossen, gebruikten de auteurs een methode genaamd Stratified Out-of-Fold (OOF) labeling.

Stel je voor dat je de bibliotheek met puzzels in 5 aparte stapels verdeelt.
De Professor bestudeert 4 stapels en wordt vervolgens alleen getoetst op de 5e stapel die hij nog niet heeft gezien.
Vervolgens wisselen ze van stapels. Ze bestuderen de nieuwe 4 stapels en worden getoetst op de volgende onbekende stapel.
Door dit te doen, wordt de Professor gedwongen om echt na te denken en te gokken, in plaats van alleen te herinneren. Dit creëert een hoogwaardig, eerlijk spiekbriefje voor de Student.

De Resultaten: Een Snelle, Slimme Student

Het team testte dit op 153 verschillende datasets (variërend van kleine medische dossiers tot grote financiële data). Hier is wat ze vonden:

Snelheid: De nieuwe Student (een model genaamd XGBoost) draait 38 tot 860 keer sneller dan de Professor. Hij antwoordt in ongeveer 1,9 milliseconden op een standaardcomputer, wat voldoet aan de strenge eis van "minder dan 2ms".
Slimheid: De Student behoudt 96,5% van de intelligentie van de Professor. Sterker nog, bij 51% van de tests deed de Student het beter dan een standaard, goed afgesteld model (CatBoost) dat doorgaans de gouden standaard is voor dit soort werk.
Het "Laag-dimensionale" Sweet Spot: De Student blinkt het meest uit bij problemen met minder kenmerken (zoals een puzzel met minder dan 21 stukjes). Hier is de Student aanzienlijk beter dan de concurrentie. Echter, bij enorme, complexe puzzels met duizenden kenmerken, wint de Student niet veel voordeel ten opzichte van standaardmodellen.
Samenwerking (Multi-Teacher):
- Voor Boom-gebaseerde Studenten (zoals XGBoost) hielp het niet veel om meerdere Professoren advies te laten geven. Eén sterke Professor was voldoende.
- Voor Neurale Netwerk Studenten (MLP's) hielp het wel om meerdere Professoren hun advies te laten middelen; dit werkte als een "gladmakend" effect dat de Student nauwkeuriger maakte.

De Conclusie

Het paper bewijst dat je geen supercomputer nodig hebt om 's werelds slimste AI-modellen te gebruiken voor real-time taken. Door een slimme "blinde toets"-methode te gebruiken om een spiekbriefje te genereren, kun je een lichtgewicht, snel "Student"-model trainen dat draait op een gewone CPU.

Als de Professor goed is: Wordt de Student een snelle, nauwkeurige vervanging.
Als de Professor slecht is: Zal de Student ook slecht zijn (de methode repareert geen zwakke Professor op magische wijze).
De Gouden Regel: Je moet ervoor zorgen dat de Professor "blind" is voor de testdata, anders leert de Student niets.

De auteurs hebben alle tools om dit te doen open-source gemaakt, zodat iedereen zijn eigen "Pocket Foundation Model" kan bouwen.

Technische Samenvatting: Pocket Foundation Modellen

Probleemstelling

Tabulaire Foundation Modellen (TFM's) zoals TabICLv2, TabPFNv2.6 en LimiX hebben state-of-the-art nauwkeurigheid aangetoond op kleine gestructureerde datasets door gebruik te maken van in-context learning (ICL) via grote transformers. Deze modellen staan echter voor een kritieke implementatiebarrière: ze vereisen dat het volledige trainingsset wordt geraadpleegd op het moment van de query, wat resulteert in inferentielatenties tussen 151 ms en 1.275 ms op GPU's. Deze latentie is incompatibel met real-time toepassingen zoals fraudeopsporing, kredietwaardigheidsbeoordeling of patiënttriage, die vaak reactietijden onder de 2 ms vereisen. Bovendien maken GPU-kosten en productiebeperkingen die alleen CPU's toestaan een directe implementatie van TFM's onpraktisch.

Hoewel kennisdistillatie een weg biedt om deze modellen te comprimeren tot snellere Gradient-Boosted Decision Tree (GBDT)-studenten, rijst er een specifiek technisch obstakel bij ICL-gebaseerde leraren. Wanneer een ICL-leraar voorbeelden scoort die al aanwezig zijn in zijn context (d.w.z. zijn eigen trainingsset), klapen zijn voorspellingen samen tot bijna one-hot vectoren met een entropie dicht bij nul. Deze "lekkage" vernietigt de inter-klassenstructuur (soft labels) die noodzakelijk is voor effectieve distillatie, waardoor de student niet meer leert dan bij harde labels het geval zou zijn, en vaak slechter presteert dan standaard training.

Methodologie

Het artikel stelt een lekkage-bewuste distillatiepijplijn voor die TFM-leraren omzet in CPU-klaar GBDT- of MLP-studenten. De kerninnovatie is het gebruik van Gestratificeerde Out-of-Fold (OOF)-labeling om contextlekkage te voorkomen.

OOF-labeling: De trainingsdataset $D$ wordt opgedeeld in $K=5$ gestratificeerde folds. Voor elke fold $k$ wordt het lerarenmodel gefit op $D \setminus D_k$ en gebruikt om alleen voor de achtergehouden set $D_k$ kansen te voorspellen. Hierdoor ziet de leraren de query-voorbeelden nooit in zijn context, waardoor het soft-label-signaal (inter-klassenstructuur) dat vereist is voor distillatie behouden blijft.
Gemiddelde van meerdere leraren: In settings met meerdere leraren worden OOF-voorspellingen van verschillende TFM-families (bijv. TabPFN, TabICL, LimiX) met gelijke gewichten gemiddeld voordat ze als doelen worden gebruikt.
Studentdoel: De student (XGBoost, CatBoost, LightGBM of MLP) wordt getraind met een Hinton-stijl gemengde verliesfunctie:
$\mathcal{L} = \alpha \sum_i w_i T_i^2 \text{KL}(\hat{p}_i^{T_i} \parallel q_i^{T_i}) + (1-\alpha) \sum_i w_i \ell_{\text{CE}}(y_i, q_i)$
Waarbij $\alpha=0.7$ , $T_i$ een per-stuk temperatuurschaal is die varieert met de entropie van de leraar, en $w_i$ een betrouwbaarheidsgewicht is dat te zelfverzekerde of bijna-willekeurige voorspellingen down-weights. Voor boomgebaseerde studenten vereenvoudigt de KL-term zich tot per-klasse MSE-regressie op soft-label logits.
Selectie van leraar: Het artikel stelt vast dat de rangschikking van leraren op basis van hun solo-AUC op een achtergehouden steekproef exact overdraagt naar de rangschikking van de resulterende studenten. Het selecteren van de beste leraar vereist dus geen complexe architectuurzoeking; men kiest simpelweg de leraar met de hoogste solo-AUC.

Belangrijkste Bijdragen

Verplichte OOF-labeling: De auteurs identificeren dat OOF-labeling niet optioneel is voor ICL-gebaseerde TFM's. Zonder dit klappt het soft-label-signaal in, en levert distillatie studenten op die inferieur zijn aan baselines met harde labels.
Prestatie versus Latentie: Het distilleren van TabICLv2 naar XGBoost bereikt een macro-gemiddelde AUC van 0,882 (96,5% van de AUC van de leraar) met een latentie van 1,9 ms op een enkele CPU-kern. Dit vertegenwoordigt een 38x tot 860x snelheidswinst ten opzichte van de leraar, terwijl het statistisch beter presteert dan een afgestelde CatBoost-baseline op 51% van de 153 datasets (Wilcoxon $p=0,0008$ ).
Voorspelbare Winsten: De voordelen van distillatie zijn sterk voorspelbaar op basis van de data-dimensionaliteit:
- Laag-dimensionale data ( $\le$ 21 kenmerken): Distillatie biedt een aanzienlijke winst (+0,011 AUC ten opzichte van CatBoost).
- Hoog-dimensionale data ( $>$ 21 kenmerken): Winsten zijn verwaarloosbaar (+0,001 AUC), en als de leraar zelf slechter presteert dan CatBoost, kan distillatie de prestaties verder verslechteren.
Dynamiek van meerdere leraren:
- Boom-studenten: Gemiddelde van meerdere leraren biedt een statistisch detecteerbare maar praktisch verwaarloosbare winst (+0,0006 AUC). Een enkele sterke leraar is voldoende.
- MLP-studenten: Gemiddelde van meerdere leraren fungeert als effectieve label-smoothing, wat een aanzienlijke winst oplevert (+0,006 AUC, $p=0,003$ ) ten opzichte van training met één leraar.
Open-source Pijplijn: De volledige pijplijn is geïmplementeerd en uitgebracht als onderdeel van de TabTune-bibliotheek.

Resultaten

De evaluatie omvat 153 classificatiedatasets van TALENT, OpenML-CC18, TabZilla en TabArena.

Nauwkeurigheid: De beste gedistilleerde configuratie (TabICLv2 $\to$ XGBoost) bereikt een AUC van 0,882, waarbij 96,5% van de prestaties van de leraar behouden blijft.
Latentie: Gedistilleerde boom-studenten draaien in 1,9–4,0 ms op CPU, vergeleken met 151–1.275 ms voor leraren op GPU.
Baselines: De gedistilleerde modellen verslaan een afgestelde CatBoost-baseline op 51% van de datasets. Daarentegen produceert OrionMSP, een zwakkere leraar, studenten die slechts 22,6% van de tijd winnen.
Ablatie: Voor MLP-studenten op laag-dimensionale data presteerde het gebruik van harde labels met OOF ( $\alpha=0$ ) de volledige Hinton soft-label pijplijn met 0,034 AUC, wat suggereert dat voor schone, laag-dimensionale data de complexe soft-label-mechanica optioneel is, maar OOF-labeling kritiek blijft.

Betekenis

Het artikel toont aan dat het "implementatieprobleem" van tabulaire foundation modellen kan worden opgelost zonder hun nauwkeurigheidsvoordelen op te offeren. Door het specifieke lekkageprobleem inherent aan ICL-leraren aan te pakken, tonen de auteurs aan dat het mogelijk is om de "inter-klassenstructuur" van een TFM te distilleren naar een lichtgewicht, CPU-natieve GBDT.

De betekenis ligt in de voorspelbaarheid en graceful failure van de aanpak:

Als een TFM sterk is, draagt distillatie die kracht over naar een snelle student.
Als een TFM zwak is (of de data hoog-dimensionaal is), inflateert distillatie de prestaties niet kunstmatig; het faalt netjes, vaak met een slechtere prestatie dan een standaard GBDT, wat aangeeft dat de leraar geen goede kandidaat was.
De methode vereist geen complexe hyperparameter-tuning voor de student; de primaire beslissing is simpelweg het selecteren van de best presterende leraar.

De auteurs concluderen dat voor laag-dimensionale gestructureerde data, praktici bijna-leraar-nauwkeurigheid kunnen bereiken tegen 1% van de inferentiekosten, mits ze strikt adhere aan het OOF-labelingprotocol om signaalklap te voorkomen.