🤖 machine learning

Shaping the Prior: How Synthetic Task Distributions Determine Tabular Foundation Model Quality

Dit artikel introduceert O'Prior, een compositief realisme-prior dat de nauwkeurigheid en robuustheid van tabulaire foundation-modellen aanzienlijk verbetert door te sterk geïdealiseerde synthetische pretrainingsdistributies te vervangen door een complexer, op stress getest generatieprotocol dat de onregelmatigheden van real-world data beter nabootst.

Oorspronkelijke auteurs: Mohamed Bouadi, Nassim Bouarour, Varun Kulkarni, Shivam Dubey, Aditya Tanna, Vinay Kumar Sankarapu

Gepubliceerd 2026-05-20

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohamed Bouadi, Nassim Bouarour, Varun Kulkarni, Shivam Dubey, Aditya Tanna, Vinay Kumar Sankarapu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Hoe Leer We AI om Kalkunbladen te Lezen?

Stel je voor dat je een robot wilt leren hoe hij de toekomst kan voorspellen op basis van spreadsheets (tabulaire data). Je hebt twee opties:

Toon het echte werelddata: Geef het miljoenen echte medische dossiers, bankafschriften of verkoopregistraties.
Maak nepdata: Creëer een computerprogramma dat miljoenen nep-spreadsheets genereert om de robot te laten bestuderen.

Voor taal (zoals het schrijven van essays) of visie (zoals het herkennen van katten) leert AI voornamelijk van voorbeelden uit de echte wereld. Maar voor spreadsheets betoogt het paper dat het maken van nepdata eigenlijk beter is, maar alleen als je die nepdata er echt uit laat zien.

De auteurs introduceren een nieuw systeem genaamd O'PRIOR. Denk aan O'PRIOR als een "Meesterkok" voor nepdata. Zijn taak is het bereiden van synthetische spreadsheets die zo realistisch zijn, dat ze de AI misleiden om te leren hoe het om moet gaan met de rommelige, chaotische realiteit van de echte wereld.

Het Probleem: De "Te Perfecte" Keuken

Het paper stelt dat eerdere pogingen om nepdata te maken, leken op koken in een keuken waar alles perfect is:

De ingrediënten zijn altijd vers en glad (geen vreemde uitschieters).
Het recept verandert nooit.
De kok maakt nooit een fout.

Als je een robot alleen traint op perfecte data, wordt het een geweldige kok in een perfecte keuken. Maar als je het naar een echt restaurant stuurt waar de uien verbrand zijn, de kachel kapot is en de ingrediënten ontbreken, valt het in elkaar.

Werelddata is rommelig. Het bevat ontbrekende getallen, vreemde pieken en verwarrende patronen. De auteurs realiseerden zich dat we, om een robuuste AI te maken, moeten stoppen met het maken van "perfecte" nepdata en moeten beginnen met het maken van "rommelige" nepdata.

De Oplossing: O'PRIOR (De Realisme-motor)

O'PRIOR is een machine met vier onderdelen die is ontworpen om deze rommelige, realistische nep-spreadsheets te genereren. Hier is hoe het werkt, stap voor stap:

1. De Verhaler (De Hybride SCM-generator)

Eerst moet het systeem beslissen waarover de data gaat.

Oude manier: Het gebruikte één type verhaal (zoals een simpele wiskundige vergelijking) voor elke enkele spreadsheet.
O'PRIOR-methode: Het mixt verschillende storytypes. Het kan een beslissingstree (zoals een flowchart), een neurale netwerken (zoals een brein) en een tijdreeks (zoals een beurskoers) allemaal in één spreadsheet combineren.
Analogie: Stel je voor dat je een student leert problemen op te lossen. In plaats van hen alleen wiskundige woordproblemen te geven, geef je hen een mix van natuurkundepuzzels, logica-raadsels en financiële scenario's. Dit leert hen zich aan te passen aan elke situatie.

2. De Realiteitsfilter (De Modulaire Realisme-motor)

Zodra het verhaal is geschreven, voegt O'PRIOR de "korreligheid" toe.

Het neemt de schone, perfecte getallen en maakt ze rommelig.
Het voegt ontbrekende waarden toe (zoals een gescheurd blad in een notitieboek).
Het voegt vreemde verdelingen toe (zoals een paar mensen die miljarden verdienen terwijl de meesten heel weinig verdienen).
Het voegt ruis toe (zoals statische op een radio).
Analogie: Dit is als het nemen van een onberispelijke, high-definition foto en vervolgens krassen, stof en een licht scheve hoek toevoegen. De AI leert de "persoon" in de foto te zien, zelfs als de foto beschadigd is.

3. De Stress-test (De Shift & Shortcut-module)

Dit is het slimste deel. In de echte wereld kunnen patronen die vandaag werken, morgen falen.

O'PRIOR creëert "valkuilen". Het kan een specifieke kolom (zoals "aantal schoenen in bezit") laten lijken alsof het "rijkdom" voorspelt in de trainingsdata, maar verandert vervolgens de regels zodat die kolom in de testdata niets betekent.
Analogie: Stel je een student voor die voor een toets studeert. De leraar (O'PRIOR) geeft hen oefenvragen waarbij het antwoord altijd "C" is. De student leert om "C" te raden. Vervolgens verandert de leraar op de echte toets de regels zodat "C" fout is. O'PRIOR traint de AI om niet te vertrouwen op gelukkige gissingen of makkelijke shortcuts, en dwingt het om de echte logica te leren.

4. Het Lesplan van de Leraar (Het Curriculum)

Je kunt een baby niet direct in het diepe deel van het zwembad gooien.

O'PRIOR begint met "makkelijke" rommelige data (slechts een paar ontbrekende getallen).
Naarmate de AI beter wordt, verhoogt de leraar geleidelijk de moeilijkheidsgraad (meer ontbrekende getallen, meer verwarrende patronen).
Analogie: Dit is als een videospel. Je begint op "Makkelijk" met simpele vijanden, en naarmate je levelt, introduceert het spel moeilijkere bazen en complexe mechanieken.

Het Experiment: Werkte Het?

De auteurs voerden een zeer strenge test uit. Ze hielden het "brein" van de AI (architectuur) en de hoeveelheid tijd die het besteedde aan studeren (rekenbudget) exact hetzelfde. Het enige wat ze veranderden, was het type nepdata dat ze het voerden.

Het Resultaat: De AI die was getraind op de rommelige, realistische data van O'PRIOR, presteerde aanzienlijk beter op realistische benchmarks dan AI die was getraind op de oude, "perfecte" nepdata.
De Ontdekking: De grootste impuls kwam van het mixen van verschillende storytypes (Stap 1). De tweede grootste impuls kwam van het toevoegen van de rommeligheid (Stap 2).
Het "Interne" Bewijs: De auteurs keken in het brein van de AI. Ze ontdekten dat de AI die was getraind op O'PRIOR niet alleen antwoorden uit het hoofd leerde; het bouwde diepere, beter georganiseerde interne kaarten van de data. Het leerde de structuur van het probleem te zien, niet alleen de oppervlakkige patronen.

De Conclusie

Het paper beweert dat het geheim van het bouwen van een geweldige AI voor spreadsheets niet alleen ligt in het bouwen van een groter brein of het gebruik van meer rekenkracht. Het geheim is de kwaliteit van de nepdata die je het voert.

Als je een AI wilt die de rommelige, onvoorspelbare echte wereld aankan, moet je het trainen op nepdata die net zo rommelig, onvoorspelbaar en vol valkuilen is als de echte wereld. O'PRIOR is het gereedschap dat eindelijk heeft uitgevonden hoe je die soort data bereidt.

Technische Samenvatting: Het Vormgeven van de Prior – Hoe Synthetische Taakverdelingen de Kwaliteit van Fundamentele Modellen voor Tabulair Data Bepalen

1. Probleemstelling

Fundamentele modellen voor tabulair data (TFM's) zijn opgekomen als een klasse van methoden die toezicht op tabulair leren herformuleren als geamortiseerde inferentie, waardoor modellen query-labels kunnen voorspellen vanuit een gelabelde supportset zonder dataset-specifiek training. In tegenstelling tot fundamentele modellen voor taal of visie, die inductieve bias verwerven uit natuurlijk voorkomende data, halen TFM's hun inductieve bias bijna uitsluitend uit synthetische pretraining-verdelingen.

Het artikel identificeert een kritieke kloof: het ontwerp van deze synthetische priors is slecht begrepen. Bestaande synthetische priors zijn vaak "te goed geordend", waarbij data wordt gegenereerd met gladde feature-marginalen, geen ontbrekende waarden en uitwisselbare support/query-rijen. Ze slagen er niet in de onregelmatigheden, verwarrende factoren, selectie-effecten en verdelingsverschuivingen vast te leggen die inherent zijn aan real-world tabulair data. Bijgevolg missen modellen die zijn voorgeïmplementeerd op geïdealiseerde synthetische taken de robuustheid die vereist is voor implementatie. De centrale wetenschappelijke vraag die wordt aangepakt is: Wat bepaalt de kwaliteit van een fundamenteel model voor tabulair data, en specifiek, hoe beïnvloedt het ontwerp van de synthetische prior de downstream-prestaties?

2. Methodologie: O'PRIOR

Om dit aan te pakken, introduceren de auteurs O'PRIOR, een compositieve realisme-prior die is ontworpen om synthetische pretraining-taken te genereren die de complexiteit van real-world tabulair data beter nabootsen. De methodologie is gestructureerd als een sequentiële, lekveilige generatieve pijplijn die bestaat uit vier gekoppelde componenten:

Hiërarchische SCM Meta-Generator:
- In plaats van te vertrouwen op één functionele familie (bijvoorbeeld alleen MLP's), steekt O'PRIOR uit een Hybride Structureel Causaal Model (SCM).
- Het componeert basismechanismen uit vijf diverse families: Meerdere Lagen Perceptrons (MLP's), Beslissingsbomen (inclusief XGBoost, Random Forest, Extra Trees), 1D Convolutielagen, Gaussische Processen (RBF-kernen) en Tijdvertraagde Vector Autoregressies (VAR's).
- Deze mechanismen zijn gerangschikt in een willekeurige Gerichte Acyclische Grafiek (DAG) waarbij knooppuntwaarden worden geaggregeerd via operatoren zoals gemiddelde, gewogen softmax of maximum. Features en targets worden geselecteerd met diversiteitsbewuste strategieën (bijvoorbeeld k-means, verste-punt-selectie) om ervoor te zorgen dat de taak diverse gebieden van de representatieve ruimte bestrijkt.
Modulaire Realisme-engine:
- Deze component transformeert de ruwe SCM-uitvoer in een observationele tabel door realistische artefacten in te voeren.
- Alleen support-voorverwerking: Statistieken (gemiddelde, variantie) worden uitsluitend berekend vanuit de supportset om informatielek naar query-rijen te voorkomen.
- Feature-aanvulling & Marginaal Morphing: Omvat ontworpen features (polynoominteracties, laag-rang projecties) en transformeert marginalen om zware staarten (Student-t, Pareto), gebonden variabelen, tel-achtige verdelingen en heteroscedastische ruis op te nemen.
- Gestructureerde Ontbrekende Waarden: Introduceert Missing Completely At Random (MCAR), Missing At Random (MAR) en Missing Not At Random (MNAR) mechanismen, met imputatiestrategieën opgeslagen als metadata.
- Target-transformaties: Past scheefheids-transformaties, ruis met zware staarten en censurerende transformaties toe op regressie-targets, en discretisatie met labelruis voor classificatie.
- Subgroepstructuur: Voegt optioneel categorische subgroepen toe met groeps-specifieke intercepts of interacties.
Verdelingsverschuiving en Shortcut Stress-module:
- Deze module injecteert expliciet voorwaarden die falingsmodi veroorzaken bij implementatie in de realiteit.
- Latente Verwarring: Voegt een gedeelde latente vector toe aan features en targets om schijnbare correlaties te creëren.
- Schijnbare Support-predictoren: Creëert features die zeer voorspellend zijn in de supportset maar onbetrouwbaar of omgekeerd in de queryset.
- Covariatenverschuiving: Past affiene perturbaties toe op query-rijen om marginale verdelingen te verschuiven.
- Temporele/Seizoensgebonden Drift: Introduceert non-stationariteit via periodieke signalen en regime-wisselingen.
Curriculum-gestuurde, Lekveilige Protocol:
- De pijplijn handhaaft een lekveilig contract: alle gefitte statistieken moeten meetbaar zijn vanuit de supportset ( $F_n$ -meetbaar). Query-rijen worden alleen getransformeerd door functies van de support.
- Een curriculum controleert de moeilijkheidsgraad van de prior tijdens pretraining, beginnend met "LAAG" realisme (simpele mechanismen, milde artefacten) en overgaand naar "MOEILIJK" (complexe mechanismen, ernstige verschuivingen) om stabiele convergentie te faciliteren.

3. Experimenteel Protocol

De auteurs stellen een gecontroleerd evaluatieprotocol op om de prior als enige onafhankelijke variabele te isoleren.

Vaste Beperkingen: De modelarchitectuur (NANOTABPFN, een lichtgewicht herimplementatie van TABPFN V2), optimizer en rekenbudget (40.000 synthetische datasets, 10 epoch) worden constant gehouden in alle experimenten.
Basislijnen: Vergelijkingen worden gemaakt met TabPFN v1 (MLP-gebaseerd SCM), TabICL-v1 (MLP + XGBoost) en TabICL-v2 (uitgebreide SCM-diversiteit).
Ablatiegroepen: Negen varianten van O'PRIOR worden getest om de bijdrage van SCM-diversiteit, Hybride SCM's, Realisme (Matig/Sterk), Shift Stress en het Curriculum te isoleren.
Benchmarks: Evaluatie wordt uitgevoerd op TabArena v0.1 (21 datasets) en OpenML-CC18 (31 gefilterde datasets), met focus op regimes met kleine tot middelgrote steekproeven.

4. Belangrijkste Resultaten

Downstream-prestaties: O'PRIOR levert consistente en aanzienlijke verbeteringen op ten opzichte van basislijnen. De volledige O'PRIOR-configuratie (G4) verbetert de TabArena ROC-AUC met 2,8 punten en de OpenML-CC18 ROC-AUC met 10,1 punten ten opzichte van TabICL-v2.
Componentbijdragen:
- Mechanisme-diversiteit: De Hybride SCM (G1b) wordt geïdentificeerd als het meest impactvolle component, verantwoordelijk voor het grootste deel van het prestatieverschil tussen de zwakste basislijn en de beste O'PRIOR-configuraties.
- Realisme: Sterk realisme (G2b) presteert monotoon beter dan matig realisme, wat aangeeft dat blootstelling aan onregelmatigheden (zware staarten, ontbrekende waarden) gunstig is.
- Shift Stress: Hoewel het de robuustheid verbetert, is de bijdrage van de shift-module aan de gemiddelde i.i.d.-nauwkeurigheid kleiner dan die van realisme, aangezien deze primair is ontworpen voor verdelingsrobuustheid.
- Curriculum: Onder vaste, korte budgetten presteren statische sterke priors soms beter dan de curriculum-configuratie, omdat de warmup-fase de blootstelling aan de moeilijkste verdeling reduceert. Curriculum is een schema-afhankelijke keuze, niet universeel superieur.
Structurele Alignering: Met behulp van een aangepaste TabStruct-metriek genereert O'PRIOR tabellen met correlatiespectra en eigenwaardevervallen die beter overeenkomen met real-world datasets (bijvoorbeeld Churn, Home Credit) dan TabICL-v2, met name in het vastleggen van inter-feature-afhankelijkheden.
Interne Representaties: Onderzoeksexperimenten onthullen dat modellen die zijn voorgeïmplementeerd op O'PRIOR progressief meer discriminerende interne representaties ontwikkelen over transformerlagen heen, vooral op structureel uitdagende datasets (bijvoorbeeld Vehicle, Ionosphere). In tegenstelling hiermee vertonen basislijnen vaak vlakke of verslechterende prestaties over de lagen heen.

5. Betekenis en Claims

Het artikel beweert dat synthetische prior-construktie een eerste-orde, grotendeels over het hoofd geziene determinant is van de kwaliteit van fundamentele modellen voor tabulair data.

Wetenschappelijke Bijdrage: Door de prior als variabele te isoleren, toont het werk aan dat architecturale wijzigingen niet de enige drijvende kracht zijn van TFM-prestaties; het ontwerp van de synthetische taakverdeling is even kritiek.
Mechanistisch Inzicht: De studie stelt vast dat structurele mechanismediversiteit (via Hybride SCM's) de primaire drijver is van transferverbetering, terwijl observationeel realisme en shift-bewuste stress complementaire, onafhankelijke winsten bieden.
Praktisch Kader: O'PRIOR biedt een principieel, modulair kader voor het genereren van synthetische pretraining-data die de "rommeligheid" van real-world tabulair data beter weerspiegelt, wat leidt tot modellen die niet alleen nauwkeuriger zijn, maar ook diepere, robuustere interne representaties bezitten.

De auteurs concluderen dat toekomstig werk zich moet richten op het schalen van dit kader naar grotere budgetten en het verkennen van domein-specifieke realisme-modules, maar dat de huidige resultaten stevig vaststellen dat betere priors betere fundamentele modellen voor tabulair data opleveren op zowel het data-generatie- als het representatie-leerniveau.