Engineering Regression Without Real-Data Training: Domain Adaptation for Tabular Foundation Models Using Multi-Dataset Embeddings

Cet article présente TREDBench et une méthode d'adaptation de domaine guidée par les embeddings pour améliorer l'efficacité des modèles tabulaires fondationnels dans les régressions d'ingénierie en utilisant exclusivement des données synthétiques curatées, comblant ainsi le fossé entre les distributions synthétiques et les données réelles sans nécessiter d'échantillons d'ingénierie pour l'entraînement.

L'essentiel

🏗️ Le Problème : L'Ingénierie manque de "Carnets de Recettes"

Imaginez que vous êtes un architecte ou un ingénieur qui doit construire un pont, une voiture ou un médicament. Pour le faire, vous avez besoin de données : des milliers d'exemples de ce qui a fonctionné ou échoué par le passé.

Le problème, c'est que dans le monde de l'ingénierie, collecter ces données est un cauchemar.

• Faire un crash-test de voiture coûte des millions de dollars.
• Simuler la résistance d'un matériau demande des supercalculateurs.
• Souvent, vous n'avez que quelques dizaines d'exemples, alors que les intelligences artificielles (IA) modernes ont besoin de millions d'exemples pour apprendre.

Pendant des années, les ingénieurs ont dû créer un nouveau modèle d'IA spécifique pour chaque petit projet, comme si un boulanger devait apprendre à faire un gâteau différent à chaque fois qu'il ouvre son four, sans jamais réutiliser ses compétences.

🤖 La Solution "Universelle" (et son problème)

Récemment, des chercheurs ont créé des "Modèles Fondamentaux" (comme GPT pour le texte, mais pour les tableaux de données). Le modèle phare s'appelle TabPFN.

• L'idée : Au lieu d'apprendre sur des données réelles (trop chères), on entraîne ce modèle sur des millions de données fabriquées par ordinateur (synthétiques). C'est comme si on entraînait un élève avec des milliers de livres de fiction avant de lui donner un vrai examen.
• Le souci : Les données fabriquées par ordinateur sont souvent trop "parfaites" ou trop "aléatoires". Elles ne ressemblent pas à la réalité complexe et désordonnée de l'ingénierie. C'est comme essayer d'apprendre à conduire une voiture de course en jouant à un jeu vidéo où la physique est faussée. Quand l'IA arrive sur un vrai chantier, elle est perdue.

🔍 L'Idée Géniale du Papier : Le "Filtre de Réalité"

Les auteurs de ce papier (du MIT) ont eu une idée brillante : Et si on ne changeait pas l'IA, mais qu'on changeait ses livres de fiction ?

Ils ont créé un outil appelé TREDBench, une immense bibliothèque de 83 vrais jeux de données (35 d'ingénierie, 48 d'autres domaines comme l'économie).

Voici leur méthode, expliquée avec une analogie culinaire :

1. Le Goût de la Vérité : Ils ont fait goûter à leur IA (TabPFN) des milliers de plats (données) pour voir comment elle les "sentait". Ils ont remarqué que les plats "ingénierie" avaient un goût spécifique, différent des plats "économie" ou des plats "inventés par ordinateur".
2. Le Filtre Intelligent : Au lieu d'utiliser toutes les données inventées par ordinateur pour entraîner l'IA, ils ont créé un filtre. Ce filtre a examiné 10 000 données inventées et a dit : "Attends, celle-ci a le goût d'un vrai problème d'ingénierie ! Garde-la. Celle-là, c'est trop bizarre, jette-la."
3. L'Entraînement Ciblé : Ils ont pris uniquement les 200 meilleures données inventées (celles qui ressemblent le plus à la réalité) et ont ré-entraîné l'IA dessus.
   • Analogie : C'est comme si un chef étoilé entraînait son apprenti non pas avec n'importe quelle recette de livre, mais uniquement avec les recettes de livres qui ressemblent le plus aux vrais plats qu'il servira au restaurant.

🚀 Les Résultats : Une IA qui comprend enfin l'Ingénierie

Le résultat est bluffant. Cette IA, entraînée uniquement sur ces données "filtrées" (sans jamais voir une seule donnée réelle d'ingénierie pendant l'entraînement), devient bien meilleure :

• Elle apprend plus vite : Elle a besoin de 1,75 fois moins de données réelles pour atteindre le même niveau de performance que l'ancienne version. C'est comme si elle apprenait la conduite en 2 heures au lieu de 3.
• Elle bat les champions : Elle surpasse les meilleurs systèmes actuels (comme AutoGluon) sur 29 problèmes d'ingénierie sur 35.
• L'efficacité : Pour certains problèmes, elle est 4,44 fois plus efficace en termes de données.

💡 En Résumé

Ce papier nous dit que l'IA ne doit pas nécessairement voir la réalité pour la comprendre, à condition qu'on lui donne des "simulations de réalité" très bien choisies.

Au lieu de dépenser des millions pour collecter des données réelles, on peut utiliser des générateurs de données artificielles, les trier intelligemment avec un "filtre de goût", et entraîner des IA qui fonctionnent parfaitement dans le monde réel, même avec très peu de données. C'est une révolution pour l'ingénierie, la science et l'industrie, où les données sont rares et chères.

Résumé technique

1. Problématique

La modélisation prédictive dans le domaine de l'ingénierie se heurte à un défi majeur : la pénurie de données. Contrairement aux domaines du traitement du langage naturel ou de la vision par ordinateur, où des modèles de fondation (Foundation Models) sont entraînés sur des corpus massifs, les données d'ingénierie sont souvent :

• Petites et fragmentées : Obtenues via des simulations physiques coûteuses ou des expériences réelles (ex: tests de crash de véhicules).
• Hétérogènes : Chaque tâche d'ingénierie nécessite traditionnellement un modèle "sur mesure" (bespoke), entraîné séparément avec un réglage fin des hyperparamètres.
• Siloées : Difficiles à agréger en grands ensembles de données unifiés.

Les modèles récents de fondation pour données tabulaires, comme TabPFN, sont pré-entraînés sur des millions de données synthétiques procédurales. Cependant, il existe un écart de domaine (domain gap) significatif : la distribution statistique des données synthétiques générées procéduralement ne reflète pas fidèlement la structure des données réelles d'ingénierie. Cela limite la capacité de transfert (transfer learning) de ces modèles vers des problèmes d'ingénierie concrets, surtout lorsque l'on ne dispose pas de données réelles pour un ajustement fin (fine-tuning).

Question centrale : Peut-on adapter un modèle de fondation entraîné uniquement sur des données synthétiques pour qu'il performe bien sur des données d'ingénierie réelles, sans jamais utiliser de données d'ingénierie réelles lors de l'entraînement ?

---

2. Méthodologie

Les auteurs proposent une approche d'adaptation de domaine guidée par les embeddings (représentations vectorielles) pour combler cet écart sans accès aux données cibles réelles.

A. TREDBench : Un nouveau benchmark

Les auteurs ont créé TREDBench, une collection curatée de 83 ensembles de données de régression tabulaire :

• 35 ensembles liés à l'ingénierie (mécanique, matériaux, chimique, électrique).
• 48 ensembles non-ingénierie (immobilier, économie, logistique, etc.).
• Les données ont été standardisées (1024 points, normalisation, encodage one-hot) pour une évaluation cohérente.

B. Analyse de l'espace d'embeddings

Utilisant TabPFN 2.5, les auteurs extraient des embeddings au niveau du jeu de données (dataset-level embeddings).

• Chaque jeu de données est représenté par un vecteur fixe (192 dimensions) obtenu en moyennant les représentations des points de données générées par le transformer lors de l'inférence "in-context".
• Résultat de l'analyse : Un classifieur XGBoost peut distinguer les données d'ingénierie des données non-ingénierie avec 65,8 % de précision, et les distinguer des données synthétiques procédurales standards avec 96,8 % de précision. Cela confirme un écart de domaine important entre les générateurs procéduraux standards et la réalité de l'ingénierie.

C. Curation de données synthétiques guidée par l'embedding

Pour combler cet écart sans utiliser de données réelles, les auteurs proposent un pipeline d'adaptation :

1. Génération : Création de 10 000 jeux de données de régression synthétiques procéduraux.
2. Embedding : Calcul des embeddings pour ces 10 000 jeux via TabPFN 2.5.
3. Classification : Entraînement d'un classifieur binaire (ingénierie vs synthétique) sur un sous-ensemble d'embeddings (mélange de 35 jeux d'ingénierie et de 250 jeux synthétiques).
4. Sélection : Application du classifieur aux 10 000 jeux pour estimer la probabilité qu'ils appartiennent à la classe "ingénierie".
5. Sous-sélection : Sélection des 200 jeux de données synthétiques ayant la probabilité la plus élevée d'être "ingénierie-like".
   • Résultat : Après sélection, la capacité à distinguer ces données synthétiques des données réelles d'ingénierie chute à 88,9 %, indiquant une convergence significative des distributions.

D. Adaptation par pré-entraînement continu (Continued Pre-training)

Le modèle TabPFN 2.5 est fine-tuné (5 époques) uniquement sur ces 200 jeux de données synthétiques sélectionnés.

• Contrainte clé : Aucune donnée d'ingénierie réelle n'est utilisée pour mettre à jour les poids du modèle.
• L'objectif est de déformer la distribution d'entraînement synthétique pour qu'elle se rapproche de la sous-variété occupée par les données d'ingénierie dans l'espace latent.

---

3. Contributions Clés

1. TREDBench : Un benchmark standardisé de 83 jeux de données pour évaluer les modèles tabulaires dans des contextes d'ingénierie à faible volume de données.
2. Quantification de l'écart de domaine : Preuve empirique que les données procédurales standards sont très différentes des données d'ingénierie, mais qu'une sous-classe de données synthétiques peut être identifiée comme "similaire" via l'espace d'embeddings.
3. Méthode d'adaptation "Synthetic-Only" : Une nouvelle approche de curation de données qui permet d'adapter un modèle de fondation à un domaine spécifique (ingénierie) sans aucune donnée réelle de ce domaine pour l'entraînement.
4. Amélioration de l'efficacité des données : Démonstration que cette méthode améliore la précision prédictive et l'efficacité des données (data efficiency) par rapport aux modèles de base.

---

4. Résultats Expérimentaux

L'évaluation a été menée sur 35 jeux de données d'ingénierie avec des splits train/test de 70/30 et une validation croisée.

• Performance Comparative :
  • Le modèle TabPFN 2.5 fine-tuné (synthétique uniquement) surpasse le TabPFN 2.5 d'origine sur 29/35 jeux de données.
  • Il surpasse AutoGluon (un système AutoML de pointe) sur 27/35 jeux de données.
• Efficacité des données (Data Efficiency) :
  • Le modèle proposé nécessite moins de données pour atteindre la même performance que les modèles de référence.
  • Gain multiplicatif moyen : 1,75x par rapport au TabPFN 2.5 de base et 4,44x par rapport à AutoGluon.
  • Cela signifie que le modèle proposé peut atteindre la performance d'AutoGluon avec environ 4,4 fois moins de données d'entraînement.
• Analyse de la variabilité : Bien que les gains soient globalement significatifs, la performance n'est pas uniforme sur tous les problèmes (échec sur 6 problèmes par rapport à TabPFN de base, 8 par rapport à AutoGluon), soulignant la nécessité d'améliorer encore les procédures de génération.

---

5. Signification et Implications

Ce travail démontre que la pénurie de données dans l'ingénierie peut être atténuée par une curation intelligente de données synthétiques.

• Changement de paradigme : Au lieu de voir les générateurs procéduraux comme des sources de bruit trop éloignées de la réalité, ils peuvent être transformés en "moteurs de données" (data engines) pertinents pour le domaine grâce à une sélection basée sur les embeddings.
• Modèles de fondation pour l'ingénierie : Il devient possible de construire des modèles de fondation réutilisables pour l'ingénierie sans avoir à collecter massivement des données réelles coûteuses pour l'entraînement initial.
• Avenir de la modélisation : Cette approche ouvre la voie à des systèmes prédictifs généralisables qui peuvent s'adapter à divers problèmes de conception (aérodynamique, matériaux, structures) en utilisant uniquement des données synthétiques ciblées, réduisant ainsi le goulot d'étranglement de la collecte de données réelles.

En résumé, l'article prouve qu'une adaptation de domaine sans données cibles (target-free domain adaptation), guidée par la structure latente des modèles de fondation, est une voie viable pour révolutionner la modélisation prédictive en ingénierie.