🤖 machine learning

TFM-Retouche: A Lightweight Input-Space Adapter for Tabular Foundation Models

Dit artikel introduceert TFM-Retouche, een architectuuronafhankelijke, lichtgewicht residual adapter in de inputruimte die de zero-shot prestaties en kalibratie van bevroren tabulaire foundation modellen verbetert door efficiënte end-to-end training met een identiteitsbewaker, wat resulteert in state-of-the-art resultaten op TabArena-Lite terwijl een superieur evenwicht tussen voorspellende kwaliteit en rekenkosten wordt behouden.

Oorspronkelijke auteurs: Duong Nguyen, Mohammed Jawhar, Nicolas Chesneau

Gepubliceerd 2026-05-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Duong Nguyen, Mohammed Jawhar, Nicolas Chesneau

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-slimme, voorgetrainde chef hebt (het "Tabular Foundation Model") die jarenlang miljoenen maaltijden heeft bereid op basis van een enorme, generieke receptenboek. Deze chef is ongelooflijk getalenteerd en kan raden hoe een nieuw gerecht zou moeten smaken, gewoon door naar de ingrediënten te kijken, zonder dat hij eerst een proefje hoeft te nemen. Dit heet "zero-shot" leren.

Echter, soms gaat deze chef het iets fout omdat de specifieke ingrediënten die je vandaag hebt, een beetje verschillen van die in hun generieke receptenboek. Misschien heeft je lokale markt een specifiek type tomaat, of is het water in je keuken anders.

Het Probleem: Het Chefje Aanpassen is Gevaarlijk

Traditioneel had je, als je wilde dat deze chef jouw specifieke gerecht beter zou bereiden, twee opties:

Volledige Hertraining: Stuur de chef terug naar de koksopleiding om alles vanaf nul opnieuw te leren. Dit is duur, traag en riskeert dat ze hun oorspronkelijke genialiteit vergeten.
Fine-Tuning: Geef de chef een paar specifieke notities over hoe ze hun techniek moeten aanpassen. Maar dit is lastig; als je hun interne spiergeheugen te veel verandert, kunnen ze hun natuurlijke talent verliezen.

De Oplossing: TFM-Retouche (De "Zachte Duw")

De auteurs van dit paper introduceren TFM-Retouche. In plaats van te proberen het brein van de chef of hun interne kookstijl te veranderen, passen ze gewoon de ingrediënten aan voordat ze ze aan de chef geven.

Denk er als volgt over na:

De Chef: Het bevroren, voorgetrainde AI-model (TabICLv2). Het blijft precies hetzelfde.
De Adapter: Een klein, slim "voor-chefje" dat direct voor de hoofdkok zit.
De Actie: Het voor-chefje kijkt naar je rauwe ingrediënten. Het gooit ze niet weg of vervangt ze. In plaats daarvan geeft het ze een kleine, precieze duw. Het zou kunnen zeggen: "Hé, deze tomaat is een beetje zoeter dan gebruikelijk, dus laten we een klein snufje zout toevoegen om het in evenwicht te brengen voordat de hoofdkok het ziet."

Deze "duw" is een residual adapter. Het leert net genoeg om je specifieke data in lijn te brengen met wat de hoofdkok verwacht, zonder ooit de interne recepten van de chef aan te raken.

Het Veiligheidsnet: De "Identity Guard"

Een van de grootste zorgen is: "Wat als deze duw de dingen erger maakt?"

Het paper introduceert een slim veiligheidsmechanisme genaamd de Identity Guard.

Na het trainen van het voor-chefje voert het systeem een test uit. Het vraagt: "Heeft de duw het gerecht daadwerkelijk beter gemaakt?"
Als Ja: Het systeem gebruikt de duw.
Als Nee: Het systeem negeert het voor-chefje volledig en geeft de rauwe ingrediënten direct aan de hoofdkok, precies alsof het voor-chefje niet bestond.

Dit zorgt ervoor dat je nooit per ongeluk de dingen erger maakt. Het is als een veiligheidsknop die automatisch een nieuw gadget uitschakelt als het niet helpt.

De Resultaten: De Kookwedstrijd Winnen

De auteurs hebben dit getest op TabArena-Lite, een enorme competitie met 51 verschillende "kookuitdagingen" (datasets variërend van het voorspellen van klantverloop tot financiële risico's).

De Winnaar: Hun methode, TabICLv2-Retouche, nam 1e plaats op de ranglijst.
De Efficiëntie: Ze bereikten dit met een klein budget. Terwijl andere deelnemers 200 uur besteedden om de perfecte instellingen te vinden, had deze methode slechts 10 pogingen nodig.
De Snelheid: Het was ongelooflijk snel om te trainen en uit te voeren. Het bevindt zich op de "Pareto-grens", wat betekent dat het de best mogelijke kwaliteit biedt voor de hoeveelheid tijd en rekenkracht die wordt gebruikt.

Waarom Dit Belangrijk Is (Volgens het Paper)

Het paper beweert dat voor deze krachtige AI-chefs het probleem niet is dat ze niet slim genoeg zijn (capaciteit); het probleem is dat ze niet perfect in lijn zijn met je specifieke data.

Door simpelweg de invoer te duwen in plaats van het brein te herschakelen, haalt TFM-Retouche het beste van twee werelden:

Het behoudt de oorspronkelijke, krachtige kennis van de chef intact.
Het past de output aan voor je specifieke behoeften.
Het doet dit goedkoop, snel en veilig.

Kortom: Probeer de genie niet opnieuw te trainen; geef ze gewoon de ingrediënten iets aangepast, en houd een veiligheidsnet klaar om in te grijpen als de aanpassing faalt.

Technische Samenvatting: TFM-Retouche

Probleemstelling

Tabulaire Foundation-modellen (TFM's), zoals TabPFN-2.6 en TabICLv2, hebben sterke zero-shot prestaties aangetoond via In-Context Learning (ICL) door gebruik te maken van overdraagbare inductieve bias die zijn geleerd tijdens synthetische pretraining. Deze modellen beschikken echter op het moment van inferentie over vaste inductieve bias. Het aanpassen ervan aan specifieke downstream-datasets vereist doorgaans óf volledige fine-tuning, wat computatief onhaalbaar is, óf Parameter-Efficient Fine-Tuning (PEFT)-methodes zoals LoRA. PEFT-benaderingen zijn vaak architectuurspecifiek, vereisen handmatige invoeging van trainbare modules in de backbone, en recente empirische bewijzen suggereren dat aanpassing in de gewichtsruimte soms de nauwkeurigheid of kalibratie kan verslechteren door de fragiele synthetische priors die in de voorgetrainde gewichten zijn gecodeerd, te eroderen. Bovendien vertrouwen bestaande aanpassingsmethodes in de inputruimte (bijv. BETA) vaak op vaste-breedte bottlenecks die zijn ontworpen voor eerdere, capaciteit-beperkte modellen, wat mogelijk niet aansluit bij de afstemmingsbehoeften van moderne, hoogcapacitaire TFM's.

Methodologie

De auteurs stellen TFM-Retouche voor, een lichtgewicht, architectuur-agnostische input-ruimtelijke residual-adapter die is ontworpen om bevroren TFM-backbones af te stemmen op specifieke downstream-taken zonder de voorgetrainde gewichten te wijzigen.

Kernarchitectuur

Het kader introduceert een gated residual-adapter, $g_\phi(x)$ , die wordt toegepast op de input-features $x$ voordat deze de bevroren TFM $f_\theta$ binnenkomen:
$g_\phi(x) = (1 - \alpha) \odot x + \alpha \odot \delta(x)$
Waarbij:

$\alpha$ : Een leerbare gate-parameter (een scalair of een per-kanaal vector) die de sterkte van de interventie regelt. Deze wordt geïnitieerd met een kleine waarde (0,02) om ervoor te zorgen dat de adapter begint in de buurt van de identiteitsfunctie.
$\delta(x)$ : Een trainbare binnenblok-transformatie die $R^d \to R^d$ $R^{d} \to R^{d}$ afbeeldt. De auteurs implementeren twee varianten:
1. Cross Block (DCNv2): Een cross-netwerk dat expliciet multiplicatieve feature-interacties modelleert die verankerd zijn bij de originele input.
2. Residual MLP Block: Een standaard residual bottleneck MLP.
Dimensiebehoud: In tegenstelling tot eerdere encoders die inputs comprimeren, behoudt TFM-Retouche de inputdimensie en fungeert het als een "duwtje" in plaats van een vervanging.

Trainings- en Veiligheidsmechanismen

End-to-End Training: De adapterparameters worden getraind via backpropagation door de bevroren TFM-backbone. De backbone-gewichten blijven volledig onveranderd.
Identiteitswacht: Om het risico te mitigeren dat aanpassing de prestaties verslechtert, wordt na het trainen een identiteitswacht ingezet. Tijdens de inferentie evalueert het systeem de prestaties van de adapter op een vastgehouden validatieset. Als de adapter de basisprestaties niet verbetert met een kleine tolerantie (standaard 0,5%), omzeilt het systeem de adapter volledig en valt het terug op de ongewijzigde TFM. Dit zorgt ervoor dat de aanpassing strikt per dataset optioneel is.

Belangrijkste Bijdragen

TFM-Retouche Kader: Een nieuw, dimensiebehoudend input-ruimtelijk adapterkader dat agnostisch is ten opzichte van de TFM-backbone-architectuur. Het ondersteunt zowel classificatie als regressie en kan worden geïnstancierd met modulaire binnenblokken (DCNv2 of MLP).
Trainingsstrategie met Identiteitswacht: Een methode voor het trainen van adapters end-to-end door bevroren TFM's, gekoppeld aan een veiligheidsmechanisme dat prestatieverlies voorkomt door terug te vallen op de zero-shot baseline wanneer aanpassing niet nuttig is.
Uitgebreide Evaluatie: Het kader is geïnstancierd op TabICLv2 (aangeduid als TabICLv2-Retouche) en geëvalueerd op TabArena-Lite, een benchmark bestaande uit 51 datasets voor binaire classificatie, multiclass classificatie en regressie.
Open-Source Release: De auteurs verbinden zich ertoe het kader als een open-source bibliotheek vrij te geven.

Experimentele Resultaten

De evaluatie werd uitgevoerd op de TabArena-Lite leaderboard (51 datasets). Belangrijkste bevindingen zijn:

Prestaties: TabICLv2-Retouche (T+E-variant, afgestemd en geensembleerd) behaalde de hoogste rang (Elo 1651) op de leaderboard, en presteerde beter dan de bevroren TabICLv2-basis (+56 Elo) en andere state-of-the-art methodes zoals TabPFN-2.6 en RealTabPFN-2.5.
Efficiëntie: Deze prestaties werden bereikt met een aanzienlijk kleiner budget voor hyperparameteroptimalisatie (HPO) (10 willekeurige configuraties versus de standaard 200 die door andere afgestemde peers wordt gebruikt).
Rekenkundige Trade-offs:
- Trainingstijd: TabICLv2-Retouche (T+E) bevindt zich op de Pareto-grens voor trainingstijd versus kwaliteit en domineert andere afgestemde en geensembleerde methodes (bijv. RealMLP, RealTabPFN-2.5) die aanzienlijk meer trainingstijd vereisen.
- Inferentietijd: Het blijft op de inferentietijd-Pareto-grens en biedt hoogwaardige voorspellingen met een gematigde inferentielatentie in vergelijking met de snelste zero-shot modellen.
Ablatiestudies:
- De Identiteitswacht werd geïdentificeerd als het meest kritieke onderdeel; het verwijderen ervan veroorzaakte dat de getrainde adapter gemiddeld slechter presteerde dan de ongewijzigde basis.
- Aanpassing in de gewichtsruimte (LoRA en volledige SFT) toegepast op de bevroren TabICLv2-backbone slaagde er niet in de prestaties te verbeteren ten opzichte van de zero-shot baseline in deze setting, terwijl de input-ruimtelijke residual-duw wel succesvol was.
- BETA-stijl encoders (vaste-breedte bottlenecks) presteerden slecht op TabICLv2, wat bevestigt dat de bottleneck voor moderne TFM's afstemming is en niet capaciteit.

Betekenis en Aanspraken

Het paper positioneert TFM-Retouche niet als vervanging voor zero-shot TFM-workflows, maar als een laag-risico, late-fase verfijningsmechanisme.

Afstemming boven Capaciteit: Het werk betoogt dat voor moderne, hoogcapacitaire TFM's de primaire uitdaging ligt in het afstemmen van de generieke synthetische prior op specifieke taakstructuren, in plaats van het comprimeren van inputcapaciteit.
Veiligheid en Modulariteit: Door de backbone bevroren te laten en een identiteitswacht te gebruiken, stelt het kader practitioners in staat marginale voorspellingswinsten te behalen zonder het risico het model te destabiliseren of zich vast te leggen aan een specifieke backbone-architectuur.
Praktijktoepasbaarheid: De methode vereist minimale rekenresources (training van slechts 102–105 parameters per dataset) en is compatibel met bestaande zero-shot pipelines, waardoor het een praktisch hulpmiddel is om de prestaties te verbeteren zodra upstream-databeslissingen zijn gestabiliseerd.

De auteurs concluderen dat aanpassing in de inputruimte state-of-the-art kwaliteit kan leveren zonder efficiëntie op te offeren, mits de aanpassing lichtgewicht, dicht bij de identiteit is en wordt beschermd tegen prestatieverlies.