🤖 machine learning

TFM-Retouche: A Lightweight Input-Space Adapter for Tabular Foundation Models

Dieser Artikel stellt TFM-Retouche vor, einen architekturagnostischen, leichten Residual-Adapter im Eingaberaum, der die Zero-Shot-Leistung und Kalibrierung eingefrorener tabellarischer Grundmodelle durch effizientes End-to-End-Training mit einer Identitätsgarantie verbessert, Ergebnisse auf TabArena-Lite auf dem Stand der Technik erzielt und dabei ein überlegenes Gleichgewicht zwischen Vorhersagequalität und Rechenkosten wahrt.

Ursprüngliche Autoren: Duong Nguyen, Mohammed Jawhar, Nicolas Chesneau

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Duong Nguyen, Mohammed Jawhar, Nicolas Chesneau

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen superklugen, vortrainierten Koch (das „Tabular Foundation Model"), der Jahre damit verbracht hat, Millionen von Mahlzeiten nach einem massiven, allgemeinen Kochbuch zuzubereiten. Dieser Koch ist außerordentlich talentiert und kann erraten, wie ein neues Gericht schmecken sollte, indem er nur die Zutaten betrachtet, ohne es vorher probieren zu müssen. Dies wird als „Zero-Shot"-Lernen bezeichnet.

Allerdings liegt dieser Koch manchmal leicht daneben, weil die spezifischen Zutaten, die Sie heute haben, ein wenig von denen in seinem allgemeinen Kochbuch abweichen. Vielleicht gibt es auf Ihrem lokalen Markt eine bestimmte Tomatensorte, oder das Wasser in Ihrer Küche ist anders.

Das Problem: Das Anpassen des Kochs ist riskant

Traditionell hatten Sie, wenn Sie wollten, dass dieser Koch Ihr spezifisches Gericht besser zubereitet, zwei Möglichkeiten:

Vollständiges Nachtrainieren: Schicken Sie den Koch zurück in die Kochschule, um alles von Grund auf neu zu lernen. Dies ist teuer, langsam und birgt das Risiko, dass er sein ursprüngliches Genie vergisst.
Feinabstimmung (Fine-Tuning): Geben Sie dem Koch einige spezifische Anmerkungen, wie er seine Technik anpassen soll. Doch dies ist knifflig; wenn Sie sein internes Muskelgedächtnis zu stark verändern, könnte er sein natürliches Talent verlieren.

Die Lösung: TFM-Retouche (Der „sanfte Stoß")

Die Autoren dieses Papiers stellen TFM-Retouche vor. Anstatt zu versuchen, das Gehirn des Kochs oder seinen inneren Kochstil zu verändern, passen sie einfach die Zutaten an, bevor sie sie dem Koch übergeben.

Stellen Sie es sich so vor:

Der Koch: Das eingefrorene, vortrainierte KI-Modell (TabICLv2). Es bleibt exakt gleich.
Der Adapter: Ein winziger, intelligenter „Vorkoch", der direkt vor dem Hauptkoch sitzt.
Die Aktion: Der Vorkoch betrachtet Ihre rohen Zutaten. Er wirft sie nicht weg oder ersetzt sie. Stattdessen gibt er ihnen einen winzigen, präzisen Stoß. Er könnte sagen: „Hey, diese Tomate ist etwas süßer als üblich, also fügen wir eine winzige Prise Salz hinzu, um sie auszugleichen, bevor der Hauptkoch sie sieht."

Dieser „Stoß" ist ein residualer Adapter. Er lernt gerade genug, um Ihre spezifischen Daten mit dem abzugleichen, was der Hauptkoch erwartet, ohne jemals die internen Rezepte des Kochs zu berühren.

Das Sicherheitsnetz: Die „Identitäts-Wache"

Eine der größten Sorgen ist: „Was, wenn dieser Stoß die Dinge verschlimmert?"

Das Papier stellt eine clevere Sicherheitsfunktion vor, die Identity Guard (Identitäts-Wache) genannt wird.

Nach dem Training des Vorkochs führt das System einen Test durch. Es fragt: „Hat der Stoß das Gericht tatsächlich verbessert?"
Wenn Ja: Das System verwendet den Stoß.
Wenn Nein: Das System ignoriert den Vorkoch vollständig und gibt die rohen Zutaten direkt an den Hauptkoch weiter, genau so, als ob der Vorkoch nicht existiert hätte.

Dies stellt sicher, dass Sie die Dinge nie versehentlich verschlimmern. Es ist wie ein Sicherheitsschalter, der ein neues Gerät automatisch abschaltet, wenn es nicht hilft.

Die Ergebnisse: Den Kochwettbewerb gewinnen

Die Autoren testeten dies auf TabArena-Lite, einem massiven Wettbewerb mit 51 verschiedenen „Kochherausforderungen" (Datensätze, die von der Vorhersage von Kundenabwanderung bis hin zu Finanzrisiken reichen).

Der Gewinner: Ihre Methode, TabICLv2-Retouche, belegte Platz 1 auf der Rangliste.
Die Effizienz: Sie erreichten dies mit einem winzigen Budget. Während andere Wettbewerber 200 Stunden damit verbrachten, die perfekten Einstellungen zu finden, benötigte diese Methode nur 10 Versuche.
Die Geschwindigkeit: Das Training und die Ausführung waren unglaublich schnell. Sie liegt auf der „Pareto-Grenze", was bedeutet, dass sie die bestmögliche Qualität für die eingesetzte Zeit und Rechenleistung bietet.

Warum dies wichtig ist (laut dem Papier)

Das Papier behauptet, dass für diese leistungsstarken KI-Köche das Problem nicht darin besteht, dass sie nicht klug genug sind (Kapazität); das Problem ist, dass sie nicht perfekt auf Ihre spezifischen Daten abgestimmt sind.

Indem sie einfach den Eingang anstoßen statt das Gehirn neu zu verkabeln, bietet TFM-Retouche das Beste aus beiden Welten:

Es bewahrt das ursprüngliche, mächtige Wissen des Kochs intakt.
Es passt die Ausgabe an Ihre spezifischen Bedürfnisse an.
Es tut dies kostengünstig, schnell und sicher.

Kurz gesagt: Versuchen Sie nicht, das Genie neu zu trainieren; geben Sie ihnen einfach die leicht angepassten Zutaten und halten Sie ein Sicherheitsnetz bereit, falls die Anpassung scheitert.

Technische Zusammenfassung: TFM-Retouche

Problemstellung

Tabulare Foundation-Modelle (TFMs), wie TabPFN-2.6 und TabICLv2, haben durch In-Context-Learning (ICL) eine starke Zero-Shot-Leistung demonstriert, indem sie übertragbare induktive Verzerrungen nutzen, die durch synthetisches Pretraining erlernt wurden. Diese Modelle verfügen jedoch bei der Inferenz über feste induktive Verzerrungen. Ihre Anpassung an spezifische Downstream-Datensätze erfordert typischerweise entweder ein vollständiges Fine-Tuning, das rechnerisch prohibitiv ist, oder parameter-effiziente Fine-Tuning-Methoden (PEFT) wie LoRA. PEFT-Ansätze sind oft architekturspezifisch und erfordern das manuelle Einfügen trainierbarer Module in das Backbone; zudem deuten neuere empirische Befunde darauf hin, dass eine Anpassung im Gewichtsraum die Genauigkeit oder Kalibrierung verschlechtern kann, indem die fragilen synthetischen Priors, die in den vortrainierten Gewichten kodiert sind, erodiert werden. Darüber hinaus verlassen sich bestehende Methoden zur Anpassung im Eingaberaum (z. B. BETA) häufig auf festbreite Engpässe, die für frühere, kapazitätsbeschränkte Modelle konzipiert wurden, was möglicherweise nicht mit den Ausrichtungsbedürfnissen moderner TFMs mit hoher Kapazität übereinstimmt.

Methodik

Die Autoren schlagen TFM-Retouche vor, einen leichten, architekturagnostischen residualen Adapter im Eingaberaum, der eingefrorene TFM-Backbones mit spezifischen Downstream-Aufgaben abgleicht, ohne die vortrainierten Gewichte zu modifizieren.

Kernarchitektur

Das Framework führt einen gated residualen Adapter, $g_\phi(x)$ , ein, der auf die Eingabemerkmale $x$ angewendet wird, bevor sie in das eingefrorene TFM $f_\theta$ eintreten:
$g_\phi(x) = (1 - \alpha) \odot x + \alpha \odot \delta(x)$
Wobei:

$\alpha$ : Ein lernbarer Gate-Parameter (entweder ein Skalar oder ein pro-Kanal-Vektor), der die Stärke des Eingriffs steuert. Er wird auf einen kleinen Wert (0,02) initialisiert, um sicherzustellen, dass der Adapter nahe der Identitätsfunktion beginnt.
$\delta(x)$ : Eine trainierbare innere Blocktransformation, die $R^d \to R^d$ $R^{d} \to R^{d}$ abbildet. Die Autoren implementieren zwei Varianten:
1. Cross Block (DCNv2): Ein Cross-Netzwerk, das explizit multiplikative Merkmalsinteraktionen modelliert, die am ursprünglichen Eingang verankert sind.
2. Residualer MLP-Block: Ein standardmäßiger residualer Engpass-MLP.
Dimensionserhaltung: Im Gegensatz zu früheren Encodern, die Eingaben komprimieren, bewahrt TFM-Retouche die Eingabedimensionalität und wirkt als „Nudge" (leichte Stöße) statt als Ersatz.

Training und Sicherheitsmechanismen

End-to-End-Training: Die Adapterparameter werden durch Backpropagation durch das eingefrorene TFM-Backbone trainiert. Die Backbone-Gewichte bleiben vollständig unverändert.
Identitäts-Wächter (Identity Guard): Um das Risiko zu mindern, dass die Anpassung die Leistung verschlechtert, wird ein post-training Identitäts-Wächter eingesetzt. Während der Inferenz bewertet das System die Leistung des Adapters auf einem zurückgehaltenen Validierungsdatensatz. Wenn der Adapter die Baseline-Leistung nicht um eine kleine Toleranz (Standard 0,5 %) verbessert, umgeht das System den Adapter vollständig und fällt auf das unveränderte TFM zurück. Dies stellt sicher, dass die Anpassung pro Datensatz strikt opt-in ist.

Hauptbeiträge

TFM-Retouche-Framework: Ein neuartiger, dimensionsbewahrender Adapter im Eingaberaum, der gegenüber der TFM-Backbone-Architektur agnostisch ist. Er unterstützt sowohl Klassifikation als auch Regression und kann mit modularen inneren Blöcken (DCNv2 oder MLP) instanziiert werden.
Trainingsstrategie mit Identitäts-Wächter: Eine Methode zum End-to-End-Training von Adapters durch eingefrorene TFMs, gekoppelt mit einem Sicherheitsmechanismus, der Leistungsverschlechterungen verhindert, indem bei nicht hilfreicher Anpassung zur Zero-Shot-Baseline zurückgekehrt wird.
Umfassende Evaluierung: Das Framework wurde auf TabICLv2 instanziiert (bezeichnet als TabICLv2-Retouche) und auf TabArena-Lite evaluiert, einem Benchmark, der 51 Datensätze umfasst, die binäre Klassifikation, multiklassen-Klassifikation und Regression abdecken.
Open-Source-Veröffentlichung: Die Autoren verpflichten sich, das Framework als Open-Source-Bibliothek bereitzustellen.

Experimentelle Ergebnisse

Die Evaluierung wurde auf der TabArena-Lite-Rangliste (51 Datensätze) durchgeführt. Zu den wichtigsten Erkenntnissen gehören:

Leistung: TabICLv2-Retouche (T+E-Variante, abgestimmt und ensemblet) erreichte den ersten Rang (Elo 1651) auf der Rangliste und übertraf das eingefrorene TabICLv2-Basis-Modell (+56 Elo) sowie andere State-of-the-Art-Methoden wie TabPFN-2.6 und RealTabPFN-2.5.
Effizienz: Die Methode erreichte diese Leistung mit einem deutlich kleineren Hyperparameter-Optimierungs-Budget (HPO) (10 zufällige Konfigurationen gegenüber den Standard-200, die von anderen abgestimmten Peers verwendet werden).
Rechenkompromisse:
- Trainingszeit: TabICLv2-Retouche (T+E) befindet sich auf der Pareto-Front für Trainingszeit versus Qualität und dominiert andere abgestimmte und ensemblete Methoden (z. B. RealMLP, RealTabPFN-2.5), die erheblich mehr Trainingszeit erfordern.
- Inferenzzeit: Sie bleibt auf der Inferenzzeit-Pareto-Front und bietet hochwertige Vorhersagen mit moderater Inferenz-Latenz im Vergleich zu den schnellsten Zero-Shot-Modellen.
Ablationsstudien:
- Der Identitäts-Wächter wurde als kritischste Komponente identifiziert; seine Entfernung führte dazu, dass der trainierte Adapter im Durchschnitt schlechter abschnitt als die unveränderte Basis.
- Anpassung im Gewichtsraum (LoRA und vollständiges SFT), angewendet auf das eingefrorene TabICLv2-Backbone, konnte in diesem Setting keine Leistungsverbesserung gegenüber der Zero-Shot-Baseline erzielen, wohingegen der residuale Nudge im Eingaberaum erfolgreich war.
- BETA-artige Encoder (festbreite Engpässe) schnitten bei TabICLv2 schlecht ab, was bestätigt, dass der Engpass für moderne TFMs die Ausrichtung und nicht die Kapazität ist.

Bedeutung und Behauptungen

Die Arbeit positioniert TFM-Retouche nicht als Ersatz für Zero-Shot-TFM-Workflows, sondern als einen risikoarmen, späten Verfeinerungsmechanismus.

Ausrichtung vor Kapazität: Die Arbeit argumentiert, dass für moderne TFMs mit hoher Kapazität die primäre Herausforderung darin besteht, den generischen synthetischen Prior mit spezifischen Aufgabenstrukturen abzugleichen, anstatt die Eingabekapazität zu komprimieren.
Sicherheit und Modularität: Durch das Einfrieren des Backbones und die Verwendung eines Identitäts-Wächters ermöglicht das Framework Praktikern, marginale Vorhersagegewinne zu erzielen, ohne das Risiko, das Modell zu destabilisieren oder sich auf eine bestimmte Backbone-Architektur festzulegen.
Praktikabilität: Die Methode erfordert minimale Rechenressourcen (Training von nur 102–105 Parametern pro Datensatz) und ist mit bestehenden Zero-Shot-Pipelines kompatibel, was sie zu einem praktischen Werkzeug zur Leistungsverbesserung macht, sobald die upstream-Datenentscheidungen stabilisiert sind.

Die Autoren schließen daraus, dass Anpassung im Eingaberaum State-of-the-Art-Qualität liefern kann, ohne die Effizienz zu opfern, vorausgesetzt, die Anpassung ist leichtgewichtig, nahezu identisch und gegen Leistungsverschlechterung geschützt.