Engineering Regression Without Real-Data Training: Domain Adaptation for Tabular Foundation Models Using Multi-Dataset Embeddings

Deze paper introduceert TREDBench en een embedding-gestuurde methode voor het selecteren van synthetische data om TabPFN 2.5 aan te passen aan engineering-regressieproblemen zonder gebruik van echte engineering-steekproeven, wat leidt tot aanzienlijke verbeteringen in voorspellende nauwkeurigheid en datadoeltreffendheid.

De kern

Het Grote Probleem: De "Lege Vrieskast" van de Ingenieur

Stel je voor dat je een super-slimme kok wilt zijn die elke soort taart kan bakken. In de wereld van kunstmatige intelligentie (AI) hebben we zo'n "superkok" al voor tekst (zoals ChatGPT) en voor foto's. Deze modellen zijn getraind op enorme hoeveelheden data: miljoenen zinnen en foto's.

Maar in de techniek (bijvoorbeeld het ontwerpen van een nieuwe auto, een brug of een medicijn) is het heel anders. Hier zijn de "ingrediënten" (de data) vaak:

1. Zeer schaars: Het kost miljoenen euro's om één crash-test van een auto te doen. Je hebt dus geen miljoenen tests, maar misschien maar een paar dozijn.
2. Versnipperd: Elke ingenieur heeft zijn eigen kleine stapeltje data, maar niemand heeft één grote verzameling.

Omdat er zo weinig echte data is, kunnen de slimme AI-modellen niet goed leren. Ze zijn als een kok die alleen maar in theorie heeft geleerd, maar nooit echt in een keuken heeft gestaan.

De Oplossing: De "Fictieve Keuken"

De onderzoekers van MIT dachten: "Wat als we de kok eerst trainen op een enorme hoeveelheid fictieve data?"

Ze gebruiken een generator die miljoenen nep-datasets maakt. Het is alsof je een computer laat dromen over duizenden verschillende taarten die kunnen bestaan. De AI (een model genaamd TabPFN) leert hierdoor de basisregels van het bakken.

Het probleem: De "fictieve taarten" die de computer droomt, smaken vaak niet echt. Ze zijn te willekeurig. Als je de AI nu een echte taartrecept geeft (echt ingenieursdata), is hij verward. De verhouding tussen suiker en bloem in zijn dromen klopt niet met de realiteit. Er is een kloof tussen de droomwereld en de echte wereld.

De Nieuwe Methode: De "Smaaktest"

De onderzoekers wilden de AI trainen op echte data, maar die was er niet genoeg. Dus bedachten ze een slimme truc: Ze gaan de droomwereld aanpassen.

1. De Smaaktest (TREDBench): Ze maakten een lijst van 83 echte datasets (35 van ingenieurs, 48 van andere dingen zoals vastgoed). Ze gebruikten een slimme "neus" (een embedding van TabPFN) om te ruiken of een dataset naar "techniek" ruikt of naar "vastgoed".

   • Vergelijking: Het is alsof je een proeverij hebt waar je kunt ruiken of een drankje echt koffie is of nep-koffie. Ze ontdekten dat de standaard nep-data van de computer heel duidelijk anders ruikt dan echte koffie.

2. De Selectie: Ze lieten de computer 10.000 nieuwe "droom-datasets" maken. Vervolgens lieten ze de "neus" deze datasets proeven.

   • Ze selecteerden alleen de top 200 datasets die het meest leken op echte ingenieursdata.
   • Vergelijking: In plaats van 10.000 willekeurige droom-recepten te gebruiken, selecteerden ze alleen die 200 recepten die het meest op een echte, heerlijke taart leken.

3. De Opleiding (Zonder Echte Data): Ze namen deze 200 "beste" droom-datasets en gebruikten ze om de AI verder te trainen.

   • Het magische deel: Ze gebruikten geen enkele echte ingenieursdata voor deze training. Ze veranderden alleen de "droomwereld" van de AI zodat deze meer leek op de echte wereld.

Het Resultaat: Een Beter Bakker

Toen ze de getrainde AI testten op echte ingenieursproblemen, gebeurde er iets wonderlijks:

• Hij was slimmer: De AI maakte betere voorspellingen dan de oorspronkelijke AI en zelfs beter dan de beste bestaande software (AutoGluon).
• Hij was zuiniger: De AI had veel minder echte data nodig om goed te presteren.
  • Vergelijking: De oude AI had misschien 100 echte taartrecepten nodig om goed te worden. De nieuwe AI had er maar 25 nodig om hetzelfde niveau te bereiken. Dat is een winst van 4,4 keer zo efficiënt.

Waarom is dit belangrijk?

Dit onderzoek toont aan dat we de "schaarste aan data" in de techniek kunnen oplossen zonder dat we duizenden dure experimenten hoeven te doen.

In plaats van te wachten tot er genoeg echte data is, kunnen we de generator van de dromen zo aanpassen dat de dromen realistischer worden. Het is alsof we de kok niet meer laten dromen van willekeurige groenten, maar hem laten dromen van precies de groenten die hij in de echte wereld gaat gebruiken.

Kortom: Door slim te kiezen uit de nep-data, kunnen we een AI bouwen die net zo goed presteert alsof hij op echte data is getraind, zelfs als die echte data er niet is. Dit opent de deur voor snellere en goedkopere innovaties in de techniek.

Technische samenvatting

Probleemstelling

Predictieve modellering in de engineering wordt traditioneel beheerst door maatwerkmodellen die voor elk specifiek probleem opnieuw getraind moeten worden. Dit komt door de schaarste aan grote, gestructureerde datasets; engineering-data is vaak klein, heterogeen, duur om te genereren (bijv. fysieke experimenten of simulaties) en versnipperd.

Hoewel er recente vooruitgang is geboekt met Tabulaire Foundation Models (zoals TabPFN), die zijn voorgeïmplementeerd op miljoenen synthetische, procedurally gegenereerde datasets, blijft er een significant probleem bestaan:

1. Domain Gap: De statistische structuur van deze synthetische trainingsdata komt vaak niet overeen met die van echte engineering-data.
2. Beperkte Transfer: Hierdoor presteren deze modellen suboptimaal bij het overdragen naar specifieke engineering-taken (regressieproblemen).
3. Data-Schaarste: Het trainen van nieuwe modellen op echte engineering-data is vaak onmogelijk vanwege de beperkte hoeveelheid beschikbare samples.

De kernvraag is: Kan een foundation model dat uitsluitend op synthetische data is getraind, worden aangepast om sterke prestaties te leveren op echte engineering-data, zonder ooit echte engineering-samples te zien tijdens het trainingsproces?

Methodologie

De auteurs stellen een nieuwe aanpak voor die domain adaptation realiseert zonder toegang tot de doel-domein (engineering) data tijdens het fine-tuning-proces. De methode bestaat uit de volgende stappen:

1. Introductie van TREDBench:

   • De auteurs hebben TREDBench gecreëerd, een gestandaardiseerde benchmark bestaande uit 83 tabulaire regressiedatasets (35 engineering, 48 non-engineering).
   • Deze datasets zijn handmatig gelabeld door experts en voorbereid voor consistentie (bijv. normalisatie, filtering op grootte).

2. Dataset-Embeddings:

   • Ze gebruiken TabPFN 2.5 om een "embedding van datasets" te genereren. In plaats van individuele datapunten te embedden, wordt de gemiddelde transformer-representatie van alle datapunten in een dataset gebruikt om een vast vectorieel representatie (192 dimensies) van de hele dataset te creëren.
   • Analyse toont aan dat engineering-datasets een deels onderscheidend gebied innemen in deze embedding-ruimte, maar dat standaard procedurally gegenereerde data sterk verschilt van echte engineering-data (een grote "synthetic-real domain gap").

3. Embedding-Gedreven Synthetische Data Curation:

   • Om de kloof te overbruggen zonder echte data te gebruiken, genereren de auteurs 10.000 nieuwe procedurally gegenereerde synthetische datasets.
   • Ze trainen een classifier (XGBoost) in de embedding-ruimte om te onderscheiden tussen "engineering-achtige" en "niet-engineering" datasets.
   • Deze classifier wordt gebruikt om de 10.000 synthetische datasets te scoren op de waarschijnlijkheid dat ze tot het engineering-domein behoren.
   • De top 200 "engineering-achtige" synthetische datasets worden geselecteerd. Deze selectie verkleint de onderscheidbaarheid tussen synthetische en echte engineering-data aanzienlijk (van 96,8% naar 88,9%).

4. Synthetic-Only Adaptation (Fine-tuning):

   • Het TabPFN 2.5 model ondergaat continued pre-training (fine-tuning) uitsluitend op deze geselecteerde 200 synthetische datasets.
   • Cruciaal: Er worden geen echte engineering-samples gebruikt om de modelgewichten te updaten. Het model leert alleen de verdeling van de geselecteerde synthetische data, die statistisch het dichtst bij engineering ligt.

Belangrijkste Bijdragen

• TREDBench: Een nieuwe, zorgvuldig samengestelde benchmark voor tabulaire regressie in de engineering, inclusief expert-labels voor domein-classificatie.
• Kwantificering van de Domain Gap: Het aantonen dat engineering-datasets statistisch onderscheidbaar zijn van zowel non-engineering data als standaard synthetische data, wat de noodzaak van adaptatie onderstreept.
• Embedding-Guided Curation: Een nieuwe methode om procedurally gegenereerde data te filteren en te selecteren op basis van dataset-level embeddings, waardoor synthetische data kan fungeren als een "data engine" voor specifieke domeinen.
• Synthetic-Only Adaptation: Het bewijzen dat een foundation model significant kan worden verbeterd voor engineering-taken zonder enige echte engineering-data te gebruiken voor training, puur door slimme selectie van synthetische brondata.

Resultaten

De methode werd getest op 35 engineering-regressiedatasets en vergeleken met de originele TabPFN 2.5 en AutoGluon (een state-of-the-art AutoML systeem).

• Prestatieverbetering: Het aangepaste model presteerde beter dan de originele TabPFN 2.5 op 29 van de 35 datasets en beter dan AutoGluon op 27 van de 35 datasets.
• Data-efficiëntie: Het model behaalde aanzienlijke winsten in data-efficiëntie. Dit betekent dat het model dezelfde nauwkeurigheid bereikte met veel minder trainingsdata.
  • Gemiddelde multiplicatieve data-efficiëntiewinst t.o.v. TabPFN 2.5: 1,75x.
  • Gemiddelde multiplicatieve data-efficiëntiewinst t.o.v. AutoGluon: 4,44x.
• Consistentie: Hoewel er variatie was in prestaties (het model presteerde niet in elk enkel geval perfect), was de algehele trend sterk positief, wat aantoont dat de methode robuust is voor diverse engineering-problemen.

Betekenis en Impact

Dit werk heeft belangrijke implicaties voor de toepassing van AI in de wetenschap en industrie:

1. Oplossing voor Data-Schaarste: Het biedt een haalbare weg om foundation modellen toe te passen in domeinen waar het verzamelen van grote datasets onhaalbaar of te duur is (zoals engineering, materialkunde en fysica).
2. Van "Procedural Generators" naar "Data Engines": Het toont aan dat procedurally gegenereerde generators niet statisch hoeven te zijn. Door ze te cureren op basis van embeddings, kunnen ze worden getransformeerd in domein-specifieke data-bronnen.
3. Toekomst van Engineering AI: Het suggereert dat we kunnen verschuiven van het trainen van specifieke modellen per taak naar het gebruik van herbruikbare, generaliserende systemen die specifiek zijn aangepast aan de statistische structuur van engineering-data, zelfs zonder directe toegang tot die data tijdens het trainingsproces.

Samenvattend bewijst dit paper dat principled synthetic data curation een krachtige strategie is om de kloof tussen synthetische foundation models en real-world engineering toepassingen te overbruggen.