Engineering Regression Without Real-Data Training: Domain Adaptation for Tabular Foundation Models Using Multi-Dataset Embeddings

Die Studie stellt TREDBench vor und zeigt, dass eine embeddingsgesteuerte Kuratierung synthetischer Daten die Anpassung von Tabular-Foundation-Modellen wie TabPFN 2.5 an ingenieurwissenschaftliche Regressionsaufgaben ohne reale Trainingsdaten ermöglicht und dabei sowohl die Vorhersagegenauigkeit als auch die Dateneffizienz signifikant steigert.

Das Wesentliche

Stell dir vor, du bist ein Ingenieur, der neue Autos, Brücken oder Flugzeuge entwirft. Um zu wissen, ob dein Entwurf gut funktioniert, musst du normalerweise teure Simulationen am Computer laufen lassen oder echte Prototypen bauen und crashen. Das kostet viel Zeit und Geld.

Um das zu umgehen, nutzen Ingenieure oft „Klugscheißer-Modelle" (Vorhersagemodelle). Diese lernen aus alten Daten, wie ein Design funktioniert, und sagen dann voraus, wie ein neues Design abschneiden wird, ohne dass man es physisch testen muss.

Das Problem: Daten sind Mangelware.
In der Welt des maschinellen Lernens gibt es riesige Datenberge für Dinge wie Sprache (Chatbots) oder Bilder (Gesichtserkennung). Aber für Ingenieursdaten gibt es nur kleine, verstreute Haufen. Oft hat man nur Daten für ein spezifisches Problem, nicht für alle.

Das Problem mit den „Künstlichen" Daten

In den letzten Jahren haben Forscher versucht, dieses Problem zu lösen, indem sie künstliche Daten generieren. Stell dir vor, ein Computerprogramm erfindet Millionen von fiktiven Brücken und berechnet, wie sie sich verhalten. Ein KI-Modell (genannt TabPFN) lernt dann an diesen Milliarden von fiktiven Beispielen, wie man überhaupt Probleme löst.

Aber hier liegt der Haken:
Die künstlich erzeugten Daten sehen für die KI oft zu „perfekt" oder zu „zufällig" aus. Sie haben nicht den gleichen „Geschmack" oder die gleiche Struktur wie echte Ingenieursdaten. Es ist, als würde man jemanden nur mit Kochbüchern aus einem anderen Universum trainieren und dann erwarten, dass er ein echtes Steak in einer echten Küche perfekt zubereitet. Das Ergebnis ist oft enttäuschend.

Die Lösung: Der „Schmecker" für Daten

Die Autoren dieses Papers haben eine clevere Idee entwickelt, um dieses Problem zu lösen, ohne echte Ingenieursdaten zum Trainieren zu verwenden (was ja das eigentliche Problem ist).

Hier ist die Analogie:

1. Der Daten-Schnüffler (TREDBench):
   Zuerst haben die Forscher eine riesige Bibliothek mit echten Ingenieursdaten und echten Nicht-Ingenieursdaten (z. B. Immobilienpreise, Sportstatistiken) gesammelt. Sie haben eine spezielle KI (TabPFN) benutzt, um jeden Datensatz wie einen „Fingerabdruck" oder eine „DNA" zu analysieren.

   • Ergebnis: Sie haben festgestellt, dass echte Ingenieursdaten einen ganz eigenen „Geruch" haben, der sich von normalen Daten und von den künstlich generierten Daten unterscheidet.

2. Die Filter-Maschine (Embedding-Guided Curation):
   Anstatt die KI einfach mit allen künstlichen Daten zu füttern, haben sie eine neue Methode entwickelt. Sie haben 10.000 neue, künstliche Datensätze generiert. Dann haben sie diese durch ihren „Daten-Schnüffler" gejagt.

   • Die KI hat sich gefragt: „Welche dieser künstlichen Daten riechen am meisten wie echte Ingenieursdaten?"
   • Sie haben die Top 200 ausgewählt, die dem echten Ingenieurs-Stil am ähnlichsten sind, und alle anderen (die zu zufällig oder zu fremdartig waren) weggeworfen.

3. Das Fein-Tuning (Der Feinschliff):
   Jetzt haben sie das KI-Modell (TabPFN) noch einmal kurz mit diesen 200 ausgewählten, „ingenieursähnlichen" künstlichen Daten trainiert.

   • Wichtig: Sie haben dabei keine einzige echte Ingenieurs-Datenprobe benutzt! Nur die besten künstlichen Nachahmer.

Das Ergebnis: Ein Super-Ingenieur

Das Ergebnis war verblüffend:

• Das so „verfeinerte" Modell war viel besser darin, echte Ingenieursprobleme zu lösen als das ursprüngliche Modell.
• Es brauchte viel weniger Daten, um gute Vorhersagen zu treffen (bis zu 4,44-mal effizienter als andere Methoden).
• Es war besser als die aktuellen Standard-Tools (AutoGluon), die Ingenieure normalerweise nutzen.

Warum ist das wichtig?

Stell dir vor, du willst ein neues Flugzeug entwerfen, hast aber nur Daten von 10 alten Tests. Normalerweise wäre das zu wenig für eine KI.
Mit dieser Methode kann die KI jetzt so tun, als hätte sie Millionen von passenden Trainingsbeispielen gesehen, weil sie gelernt hat, welche Art von künstlichen Daten „echt" wirken.

Zusammengefasst in einem Satz:
Die Forscher haben einen Weg gefunden, wie man einer KI beibringt, Ingenieursprobleme zu lösen, indem man ihr nur die besten „Kostproben" aus einer riesigen Menge künstlicher Daten gibt, anstatt sie mit unpassendem Müll zu füttern – und das alles, ohne jemals echte, teure Ingenieursdaten zum Trainieren zu benötigen.

Technische Zusammenfassung

1. Problemstellung

In der ingenieurwissenschaftlichen Vorhersagemodellierung (z. B. für Designoptimierung oder Surrogatmodelle) dominieren oft maßgeschneiderte Modelle, die für einzelne, kleine und isolierte Datensätze trainiert werden. Dies liegt an der Knappheit, Heterogenität und hohen Kosten realer Ingenieursdaten (z. B. physikalische Simulationen oder Experimente).

Obwohl sich „Tabular Foundation Models" (TFMs) wie TabPFN durch Vor-Training auf riesigen Mengen synthetischer, prozedural generierter Daten bewährt haben, besteht ein fundamentales Problem: Die statistische Struktur dieser synthetischen Trainingsdaten spiegelt oft nicht die Realität von Ingenieursdaten wider. Dies führt zu einer signifikanten Domain-Disparität (Lücke zwischen synthetischer und realer Welt), die die Transferleistung auf reale Ingenieursprobleme einschränkt. Die zentrale Forschungsfrage lautet: Kann ein auf rein synthetischen Daten trainiertes Foundation-Modell durch gezielte Anpassung ohne Zugriff auf reale Ingenieursdaten verbessert werden?

2. Methodik

Die Autoren schlagen einen mehrstufigen Ansatz vor, der auf der Analyse von Datensatz-Embeddings und einer darauf basierenden synthetischen Datenkuratierung beruht:

A. TREDBench (Benchmark-Datensatz)

Die Autoren stellen TREDBench vor, eine kuratierte Sammlung von 83 tabellarischen Regressionsdatensätzen:

• 35 Datensätze aus dem Ingenieurwesen (z. B. mechanisches Design, Materialwissenschaft).
• 48 Datensätze aus nicht-ingenieurwissenschaftlichen Bereichen (z. B. Wirtschaft, Logistik).
• Alle Datensätze wurden von Experten manuell klassifiziert und für kleine Datenmengen standardisiert.

B. Datensatz-Embeddings und Analyse der Domain-Lücke

Um die Ähnlichkeit zwischen Datensätzen zu quantifizieren, nutzen sie die internen Repräsentationen des Modells TabPFN 2.5.

• Embedding-Erstellung: Jeder Datensatz wird durch den Mittelwert der Transformer-Repräsentationen seiner Datenpunkte in einen 192-dimensionalen Vektorraum eingebettet.
• Klassifikationsanalyse: Ein XGBoost-Klassifikator wird trainiert, um diese Embeddings zu unterscheiden.
  • Ergebnis: Ingenieurs- und Nicht-Ingenieurs-Datensätze sind zu 65,8 % unterscheidbar.
  • Ergebnis: Standard-prozedural generierte Daten und Ingenieursdaten sind zu 96,8 % unterscheidbar. Dies bestätigt eine massive Lücke zwischen Standard-Synthese und realer Ingenieursdomäne.

C. Embedding-gesteuerte synthetische Datenkuratierung (Der Kernvorschlag)

Um die Domain-Lücke zu überbrücken, ohne reale Ingenieursdaten für das Training zu verwenden, entwickeln die Autoren einen Embedding-Guided Synthetic Data Curation-Prozess:

1. Generierung: Es werden 10.000 prozedural generierte synthetische Regressionsdatensätze erstellt.
2. Einbettung & Klassifikation: Diese werden in den TabPFN-Embedding-Raum transformiert. Ein Klassifikator wird trainiert, um die Wahrscheinlichkeit zu schätzen, ob ein synthetischer Datensatz „ingenieurähnlich" ist.
3. Selektion: Die Top-200 synthetischen Datensätze mit der höchsten Wahrscheinlichkeit für die Ingenieursklasse werden ausgewählt.
4. Validierung der Selektion: Nach der Selektion sinkt die Unterscheidbarkeit zwischen den ausgewählten synthetischen Daten und echten Ingenieursdaten von 96,8 % auf 88,9 %. Die synthetischen Daten decken den Raum der Ingenieursdaten nun besser ab.

D. Weiteres Vor-Training (Continued Pre-Training)

Das TabPFN 2.5-Modell wird für 5 Epochen ausschließlich mit den 200 ausgewählten „ingenieurähnlichen" synthetischen Datensätzen weitertrainiert (Fine-Tuning).

• Wichtig: Keine einzigen realen Ingenieursdatenpunkte werden zur Aktualisierung der Gewichte verwendet.
• Dies stellt eine Form der Domain Adaptation ohne Ziel-Domain-Supervision dar.

3. Schlüsselbeiträge

1. TREDBench: Ein neuer Benchmark mit 83 Datensätzen, der als Standard für die Evaluierung von Tabular-Foundation-Modellen im Ingenieurwesen dient.
2. Quantifizierung der Domain-Lücke: Nachweis, dass Standard-Synthese-Daten stark von Ingenieursdaten abweichen, aber eine Teilmenge synthetischer Daten existiert, die diesen Bereich gut approximiert.
3. Embedding-gesteuerte Selektion: Ein neuer Algorithmus, der synthetische Daten basierend auf ihrer Nähe zu realen Domänen im Embedding-Raum filtert.
4. Synthetik-only Adaptation: Demonstration, dass ein Foundation-Modell durch reines Vor-Training auf kuratierten synthetischen Daten (ohne reale Ziel-Daten) signifikant verbessert werden kann.

4. Ergebnisse

Die Leistung des angepassten Modells wurde auf 35 Ingenieursdatensätzen evaluiert und mit dem Basis-TabPFN 2.5 sowie AutoGluon (State-of-the-Art AutoML) verglichen.

• Vorhersagegenauigkeit:
  • Das angepasste Modell übertrifft das Basis-TabPFN 2.5 in 29 von 35 Fällen (82,9 %).
  • Es übertrifft AutoGluon in 27 von 35 Fällen (77,1 %).
• Dateneffizienz (Data Efficiency):
  • Das angepasste Modell benötigt weniger Trainingsdaten, um die gleiche Genauigkeit zu erreichen.
  • Multiplikative Effizienzsteigerung: Im Durchschnitt benötigt das Basis-Modell 1,75-fach mehr Daten als das angepasste Modell (im Vergleich zu TabPFN 2.5) und 4,44-fach mehr Daten als AutoGluon, um das gleiche Leistungsniveau zu erreichen.
• Konsistenz: Während die Verbesserungen in den meisten Fällen signifikant sind, gibt es einige Ausnahmen, in denen die Leistung leicht abfällt, was auf weitere Optimierungspotenziale in der Generierungsstrategie hinweist.

5. Bedeutung und Fazit

Diese Arbeit zeigt, dass prinzipiengeleitete synthetische Datenkuratierung ein mächtiges Werkzeug ist, um die Datenknappheit in ingenieurwissenschaftlichen Anwendungen zu überwinden.

• Paradigmenwechsel: Statt für jedes neue Ingenieursproblem ein neues Modell zu trainieren, kann ein generisches Foundation-Modell durch selektives Vor-Training auf „domänenrelevanten" synthetischen Daten zu einem hochleistungsfähigen, domänenspezifischen Modell werden.
• Skalierbarkeit: Die Methode ermöglicht es, prozedurale Generatoren in „Daten-Engines" zu verwandeln, die reale Verteilungen nachahmen, ohne dass teure reale Daten gesammelt werden müssen.
• Zukunftsperspektive: Dies ebnet den Weg für wiederverwendbare, generalisierbare Systeme im Engineering, die über die Grenzen isolierter, aufgabenspezifischer Modelle hinausgehen und besonders in datenarmen wissenschaftlichen und industriellen Domänen wertvoll sind.

Zusammenfassend beweist das Paper, dass die Kombination aus modernen Foundation-Modellen und intelligenter synthetischer Datenselektion eine praktikable Lösung für das langjährige Problem der Datenknappheit im Engineering darstellt.