📊 statistics

When Tabular Foundation Models Transfer Across Modalities: A Systematic Evaluation Across 95 Datasets, 7 Modalities, and Two Regimes

Dit artikel introduceert een verenigde classificatiepijplijn die Equiangular Tight Frame-preprocessing combineert met een tabelvormig fundamenteel model voor in-context inferentie, waarmee wordt aangetoond dat het competitieve prestaties behaalt over 95 datasets en zeven modaliteiten, terwijl het aanzienlijk sneller draait dan volledige fijnafstemming en goed gekalibreerde betrouwbaarheidsscores biedt voor praktische implementatie.

Oorspronkelijke auteurs: Julien Lafrance

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Julien Lafrance

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt met verschillende soorten informatie: foto's, geluidsopnames, tekstdocumenten, chemische formules en spreadsheets. Jarenlang hebben datawetenschappers elk van deze als een compleet andere taal behandeld, waarbij een unieke vertaler (een specifiek AI-model) en een uniek woordenboek (een specifiek afstemmingsrecept) nodig waren voor elke specifieke taak.

Dit artikel stelt een eenvoudige vraag: Wat als we voor ze allemaal slechts één universele vertaler zouden kunnen gebruiken?

De auteurs hebben een "universele pijplijn" gebouwd die elk type data neemt, omzet in een standaardformaat en er een enkele, vooraf getrainde "Tabulaire Foundation Model" doorheen stuurt. Ze hebben dit getest op 95 verschillende datasets over 7 verschillende soorten data (visie, audio, spraak, tekst, moleculen, tijdreeksen en standaard tabellen).

Hier is de uitsplitsing van hun bevindingen met behulp van alledaagse analogieën:

1. De "Universele Adapter" (De Pijplijn)

Beschouw de binnenkomende data als ruwe ingrediënten. Sommige zijn groenten, sommige zijn vlees, sommige zijn kruiden.

De Oude Manier: Je huurt een andere chef in voor elk ingrediënt. Een sushi-chef voor vis, een slager voor vlees, een bakker voor meel. Het werkt geweldig, maar het is duur, traag, en je hebt voor elk ingrediënt een andere keukenopstelling nodig.
De Nieuwe Manier: De auteurs hebben een "Universele Voorbereidingsstation" gecreëerd.
1. ETF Preprocessing: Dit is een soort slimme snijmachine die alle ingrediënten in perfect uniforme vormen snijdt, zodat ze netjes in een standaard doos passen.
2. TabICL (Het Brein): Dit is een superintelligente, vooraf getrainde chef die miljoenen recepten heeft gezien. In plaats van een nieuw recept vanaf nul te leren, kijkt de chef naar de ingrediënten die je hebt gegeven en zegt: "Op basis van mijn training lijkt dit op een salade."
3. Temperature Scaling: Dit is de "proef" aan het einde om te controleren of de chef niet overmoedig is. Als de chef zegt: "Ik weet voor 99% zeker dat dit een salade is," controleert deze stap of dat vertrouwen ook daadwerkelijk gerechtvaardigd is.

2. De Resultaten: "Goed Genoeg" vs. "Geweldig"

De auteurs vergeleken hun Universele Adapter met de "Specialistische Chefs" (modellen die specifiek zijn afgestemd op één type data).

De "Gelijkwaardige" Groep (De meeste datasets): Op ongeveer 77% tot 94% van de taken presteerde de Universele Adapter net zo goed als de Specialistische Chefs.
- De Analogie: Het is alsof je een Zwitsers zakmes gebruikt om een brief te openen. Een briefopener (de specialist) is perfect, maar het Zwitserse zakmes (het universele model) doet het werk net zo goed, en je hoeft niet een hele gereedschapskist mee te dragen.
- De Winst: De Universele Adapter is 4 tot 200 keer sneller in het opzetten en uitvoeren. Het bespaart enorme hoeveelheden tijd en rekenkracht.
De "Verbeterende" Groep (Een handvol datasets): Op een klein aantal taken (voornamelijk specifieke geluidsopnames) presteerde de Universele Adapter zelfs beter dan de specialisten.
- De Analogie: Soms heeft het Zwitserse zakmes een verborgen gereedschap dat de specialist niet had bedacht, of was de specialist te veel aan het overanalyseren. In deze zeldzame gevallen vond de universele aanpak een betere oplossing.

3. Het "Vertrouwenssignaal" (Kalibratie)

Een van de meest interessante bevindingen van het paper gaat over zelfvertrouwen.

Veel AI-modellen zijn als overmoedige studenten die een fout antwoord geven, maar er 100% zeker van zijn dat ze het goed hebben.
De pijplijn van de auteurs produceert gekalibreerde waarschijnlijkheden. Dit betekent dat als het model zegt: "Ik weet voor 90% zeker dat dit een kat is," het ook daadwerkelijk 90% van de tijd gelijk heeft.
Het Praktische Gebruik: Dit maakt "confidence-gated deployment" mogelijk. Je kunt de computer vertellen: "Als je minder dan 90% zeker bent, neem dan de beslissing niet; stuur het naar een mens." Dit fungeert als een veiligheidsventiel, waardoor de werklast voor menselijke beoordelaars in sommige tests met bijna 5 keer is verminderd.

4. Wanneer Niet te Gebruiken

De auteurs zijn eerlijk over de beperkingen.

Laag-dimensionale Data: Als de data al zeer eenvoudig is (zoals een kleine spreadsheet met minder dan 30 kolommen), is het "Universele Voorbereidingsstation" (ETF preprocessing) eigenlijk een verspilling van tijd en kan het zelfs de prestaties verslechteren. Het is als het gebruik van een hoogwaardige voedselprocessor om een enkele teentje knoflook te hakken; een mes is sneller en beter.
Spraakdata: In hun specifieke tests had de universele aanpak moeite met spraakdata en presteerde het slechter dan de specialisten.

De Kern van het Verhaal

Het paper beargumenteert dat we niet voor elk type data een ander AI-instrument nodig hebben.

Als je de absoluut best mogelijke score wilt en onbeperkte tijd en geld hebt, huur dan de Specialistische Chef in (fine-tune een specifiek model).
Als je een oplossing wilt die 95% zo goed is, 100x sneller is en op alles werkt, gebruik dan de Universele Adapter.

De auteurs concluderen dat voor de meeste reële scenario's de "Universele Adapter" de intelligentere, efficiëntere keuze is, die een "goed genoeg" resultaat biedt tegen een fractie van de kosten, met het extra voordeel dat je precies weet wanneer je de voorspellingen kunt vertrouwen.

Technische Samenvatting: Wanneer Tabulaire Foundation Modellen Transfereerbaar zijn over Modaliteiten

Probleemstelling

Classificatie-pipelines zijn momenteel gefragmenteerd per modaliteit, met afzonderlijke tooling en tuning-recepten voor tabulaire data (gradient-boosted trees), visie/tekst (getunede lineaire probes), moleculen (ChemBERTa), audio (AST) en grafen (GIN). Deze fragmentatie maakt het moeilijk om claims over "cross-modality transfer" te evalueren, omdat deze vaak steunen op inconsistente vergelijkingsbaselines (bijv. het vergelijken van niet-getunede probes of oracle-selecties). Het paper stelt dat zodra data wordt gemapt naar een vaste vectorrepresentatie, de downstream classificatiestap niet modaliteit-specifiek hoeft te zijn. De kernuitdaging is bepalen of een enkele, uniforme pipeline kan concurreren met de sterkste lichtgewicht getunede baselines over diverse modaliteiten heen zonder per dataset hyperparameter-tuning uit te voeren.

Methodologie

De auteurs stellen een verenigde drie-fasen classificatiepipeline voor die identiek wordt toegepast op 95 datasets verspreid over zeven modaliteiten (visie, audio, spraak, tekst, moleculair, tijdreeksen en tabulair). De pipeline opereert op bevroren feature-representaties en bestaat uit:

Adaptieve ETF Preprocessing:
- Een Equiangular Tight Frame (ETF) preprocessing-fase herstructureert de feature-geometrie om de klassen-gemiddelden te stimuleren richting de equiangular tight frame-geometrie die geassocieerd wordt met neural collapse.
- Een depth-4 MLP brengt input-features in kaart naar een 256-dimensionale eenheidsbol, waarbij wordt geoptimaliseerd tegen een vaste simplex ETF-target.
- Adaptieve Skip: Deze fase wordt overgeslagen als de input-dimensie $d \le 30$ , omdat de overhead de geometrische winst op laag-dimensionale engineered features overtreft.
- Training Stop: Training stopt op basis van een geometrisch criterium (verhouding tussen binnen- en tussen-klasse spreiding $R$ ) of een harde limiet (200 epochs), om het gebruik van een validatieset te vermijden en zo comparison bias te voorkomen.
TabICL Inferentie:
- De pipeline gebruikt TabICL, een tabulair foundation model, voor in-context inferentie.
- Ensembling Strategie: Voor ruwe features gebruikt het model een ensemble van 8 context-permutaties. Voor ETF-gepreprocessde features wordt ensembling geschrapt ten gunste van een enkele permutatie, aangezien de geometrische transformatie de variantie die ensembling doorgaans vangt, vermindert.
Post-hoc Temperatuur Scaling:
- ETF-preprocessing induceert overmatige zelfverzekerdheid (overconfidence). Een temperatuur scaling-stap wordt toegepast op een 20% holdout van de trainingsset om de waarschijnlijkheidskalibratie te herstellen, wat confidence-gated deployment mogelijk maakt.

Evaluatieprotocol:
Het paper hanteert een strikt "same-features" vergelijkingsprotocol. Prestaties worden beoordeeld tegen de sterkste lichtgewicht getunede baseline op dezelfde bevroren features (bijv. een getunede lineaire probe of XGBoost met Optuna search). Gespecialiseerde full-backbone fine-tuning en oracle cell-selecties worden apart gerapporteerd om context te bieden, maar vormen niet de primaire vergelijking.

Belangrijkste Bijdragen

Systematische Cross-Modality Evaluatie: De eerste evaluatie van een tabulair foundation model over een grote diversiteit aan bevroren encoder-embeddings (10+ encoder-families) en zeven modaliteiten onder een verenigd zero-tuning protocol.
Modulaire ETF Preprocessing: Introduceert ETF-preprocessing als een modulaire, encoder-agnostische fase die losstaat van encoder pre-training, gebruikmakend van een geometrisch early-stopping criterium ( $R < 0.05$ ) dat werkt zonder validatiegegevens.
Kalibratie en Vertrouwenssignalen: Demonstreert dat hoewel TabICL van nature goed gekalibreerd is, ETF-preprocessing dit verstoort. De voorgestelde post-hoc herschaling herstelt de kalibratie, wat een betrouwbaar per-predictie vertrouwenssignaal biedt voor "confidence-gated" deployment (het automatisch accepteren van voorspellingen met een hoge mate van zekerheid).
Regime Karakterisering: Identificeert twee verschillende operationele regimes:
- Equivalent Regime: De pipeline matcht de sterkste getunede baseline (statistisch ononderscheidbaar), maar biedt aanzienlijke snelheidvoordelen.
- Improving Regime: De pipeline verhoogt de bruikbaarheid van representaties betekenisvol (gemiddelde winst +12.6pp), voornamelijk waargenomen bij laag-dimensionale engineered audio-features en gevallen van feature-task misalignment.
Deployment Richtlijnen: Biedt een praktisch kader voor deployment, inclus[ief] een pre-deployment regime predictor (91.4% LOO nauwkeurigheid op Panel A) om onderscheid te maken tussen equivalent en verbeterende gevallen, en specifieke regels voor wanneer ETF-preprocessing overgeslagen moet worden.

Resultaten

Prestaties: Op 95 datasets bereikt de pipeline een 77.1% win-of-tie rate tegen de sterkste lichtgewicht getunede baselines in het deployed protocol (Panel A, cross-modality) en 91.5% op held-out tabulaire data (Panel B).
Regime Splitsing:
- Equivalent (30/35 datasets): De pipeline matcht de baseline. De waarde hiervan is operationeel: één enkele stack behandelt alle modaliteiten zonder per-taak tuning.
- Improving (5/35 datasets): De pipeline presteert significant beter dan de baseline, met name op laag-dimensionale audio-features (MFCC, mel-stats) en misaligned embeddings (bijv. Wav2Vec2 op UrbanSound8K).
Snelheid: De pipeline is 4x tot 200x sneller dan full backbone fine-tuning (AST, ChemBERTa, GIN) en vergelijkbaar in snelheid met getunede lineaire probes, terwijl het de per-dataset tuning overhead van die laatste vermijdt.
Kalibratie: Na temperatuur scaling produceert de pipeline goed gekalibreerde waarschijnlijkheden. Bij een drempelwaarde $\tau=0.9$ , bevestigt de pipeline automatisch 79.5% van de voorspellingen met een conditionele nauwkeurigheid van 93.6%, wat de menselijke review-last met 4.9x vermindert.
Beperkingen: De pipeline helpt niet bij moderne foundation embeddings waar een getunede lineaire probe al nabij een plafond zit (bijv. tekst foundation, audio foundation), en het slaagt er niet in om spraak-taken te redden in de huidige benchmark.

Betekenis en Claims

Het paper claimt dat cross-modality transfer geen binaire succes/falen kwestie is, maar zich splitst in twee structureel verschillende regimes. De primaire bijdrage is een eerlijke, fixed-features vergelijking die onthult:

Pariteit is gebruikelijk: Voor de meeste datasets matcht een enkele uniforme pipeline de prestaties van gespecialiseerde, getunede baselines.
Snelheid is het differentiatiemiddel: De pipeline biedt een enorme reductie in adaptatietijd en computationele kosten vergeleken met gespecialiseerde fine-tuning, zonder kwaliteitsverlies voor de meerderheid van de gevallen.
Uplift bestaat maar is zeldzaam: Er zijn specifieke gevallen (laag-dimensionale features, misalignment) waar de pipeline een echte kwaliteitssprong biedt, hoewel deze moeilijk vooraf te voorspellen zijn.

De auteurs positioneren dit werk als een stap naar het vereenvoudigen van het gefragmenteerde landschap van classificatie, door een "zero-touch" recept aan te bieden dat breed concurrerend is, aanzienlijk sneller is dan gespecialiseerde fine-tuning en in staat is betrouwbare vertrouwenssignalen te produceren voor deployment. Ze stellen expliciet dat de pipeline niet altijd de allerbeste gespecialiseerde modellen of zwaar getunede pipelines verslaat, maar dichtbij genoeg blijft om een levensvatbare standaard te zijn, vooral wanneer snelheid en operationele eenvoud prioriteit hebben.