Physics-informed fine-tuning of foundation models for partial differential equations

1. Problématique et Contexte

Les équations aux dérivées partielles (EDP) sont fondamentales pour la modélisation scientifique et l'ingénierie. Bien que les méthodes numériques traditionnelles (différences finies, éléments finis) soient précises, elles sont souvent trop coûteuses en calcul pour des scénarios nécessitant de nombreuses requêtes (ex: problèmes inverses, contrôle en temps réel).

L'apprentissage automatique a émergé comme une alternative via les opérateurs neuronaux (comme les FNO - Fourier Neural Operators), qui apprennent à mapper les conditions initiales/bordures vers les solutions. Cependant, ces modèles sont généralement spécifiques à un domaine : ils doivent être réentraînés de zéro pour chaque nouvelle EDP ou changement de paramètres physiques, ce qui génère un surcoût computationnel et nécessite beaucoup de données étiquetées.

Les modèles de fondation pour les EDP (ex: POSEIDON, WALRUS) ont été développés pour surmonter cela en étant pré-entraînés sur de vastes ensembles de données hétérogènes. Néanmoins, leur adaptation à des tâches en aval (downstream tasks) avec des données limitées reste difficile, surtout en cas de dérive de distribution (distribution shift). Le fine-tuning purement basé sur les données peut conduire à des prédictions statistiquement probables mais physiquement incorrectes.

Le défi central : Comment adapter efficacement un modèle de fondation pré-entraîné à une nouvelle classe d'EDP (inédite) avec très peu, voire aucune, donnée de solution étiquetée, tout en garantissant la cohérence physique ?

2. Méthodologie

Les auteurs proposent un cadre de fine-tuning informé par la physique (Physics-Informed Fine-Tuning) pour les modèles de fondation basés sur les données.

• Approche Hybride et Contraintes Physiques : Au lieu de minimiser uniquement l'erreur par rapport à des solutions de référence (ground truth), l'objectif de fine-tuning intègre directement les résidus des EDP et les conditions aux limites.
  • La fonction de perte physique ($L_{physics}$) est calculée sur les résidus de l'EDP ($||N_f(u)||$) et les conditions aux limites ($||B_f(u)||$) évalués en des points de collocation.
  • Les dérivées nécessaires sont calculées via la différenciation automatique ou des approximations par différences finies.
• Stratégie de Fine-Tuning :
  • Le modèle pré-entraîné (POSEIDON) est adapté à une nouvelle tâche (ici, l'équation de Poisson 2D, qui est hors distribution par rapport aux dynamiques de fluides du pré-entraînement).
  • Les paramètres sont divisés : le "backbone" (représentations physiques générales) est transféré, tandis que les couches d'embedding et de récupération sont réinitialisées ou adaptées pour s'ajuster aux canaux d'entrée/sortie spécifiques.
  • Padding zéro : Une technique de remplissage par zéro aux bords est utilisée pour imposer naturellement les conditions de Dirichlet nulles, évitant ainsi des termes de pénalité douce dans la perte.
• Trois Configurations Comparées :
  1. Data-driven : Fine-tuning classique avec perte de données uniquement.
  2. Physics-informed : Fine-tuning uniquement avec la perte physique (sans solutions étiquetées).
  3. Hybride : Combinaison de la perte de données et de la perte physique. Une stratégie clé ici est l'augmentation "on-the-fly" : pendant l'entraînement, des fonctions sources non étiquetées (de formes extrêmes et variées) sont générées dynamiquement et utilisées pour calculer la perte physique, enrichissant ainsi la distribution d'entraînement sans coût de génération de solutions.

3. Contributions Clés

1. Premier cadre systématique : Introduction du premier cadre de fine-tuning informé par la physique spécifiquement pour les modèles de fondation d'EDP basés sur les données.
2. Adaptation Zero-Shot / Few-Shot : Démonstration que les modèles peuvent s'adapter à de nouvelles familles d'EDP avec très peu de données étiquetées, voire aucune (en mode purement physique), en s'appuyant sur les lois physiques comme supervision.
3. Stratégie Hybride Supérieure : Mise en évidence du fait que le fine-tuning hybride (données + physique avec augmentation on-the-fly) offre une généralisation supérieure aux scénarios hors distribution (out-of-distribution) par rapport aux méthodes purement basées sur les données.
4. Efficacité et Interprétabilité : Établissement d'un paradigme évolutif et économe en données, offrant une voie physiquement interprétable pour l'adaptation des modèles de fondation en apprentissage scientifique.

4. Résultats Expérimentaux

Les expériences ont été menées sur l'équation de Poisson 2D (tâche en aval) en utilisant le modèle POSEIDON pré-entraîné, comparé à des FNO entraînés de zéro.

• Performance d'Interpolation (Données limitées) :
  • Dans les régimes à faible quantité de données ($M < 16$), les modèles de fondation fine-tunés surpassent systématiquement les FNO entraînés de zéro.
  • Le fine-tuning hybride surpasse les approches purement data-driven ou purement physiques. Il peut apprendre à partir d'un seul échantillon étiqueté ($M=1$) en complétant les connaissances via la physique, là où le fine-tuning data-driven nécessite au moins 32 paires pour atteindre une performance comparable.
• Performance d'Extrapolation (Hors Distribution) :
  • Face à des formes de sources extrêmes et inédites (sinus, motifs radiaux, bruit de Perlin, etc.), les modèles purement data-driven échouent (erreurs élevées).
  • Les modèles Physics-Informed et Hybrides montrent une robustesse supérieure. Les contraintes physiques agissent comme des "garde-fous" empêchant les prédictions physiquement impossibles.
  • Le modèle hybride, entraîné avec une augmentation de formes de sources variées, obtient même une erreur d'extrapolation inférieure à son erreur d'interpolation, car la distribution d'entraînement élargie correspond mieux aux tests extrêmes.
• Cohérence Physique :
  • Les modèles purement data-driven apprennent souvent une simple cartographie image-à-image, minimisant l'erreur pixel mais violant les équations sous-jacentes.
  • Les modèles informés par la physique produisent des solutions qui satisfont mieux les résidus des EDP (vérifiés par des stencils de différences finies), garantissant une cohérence physique même avec peu de données.
• Efficacité Computationnelle :
  • Le fine-tuning des modèles de fondation est considérablement plus rapide et moins coûteux en ressources que l'entraînement de FNO de zéro, tout en offrant une précision compétitive.

5. Signification et Impact

Ce travail marque une avancée significative dans l'apprentissage scientifique (Scientific Machine Learning) :

• Réduction de la dépendance aux données : Il permet d'entraîner des modèles précis sur des EDP complexes sans avoir besoin de générer des millions de solutions de référence coûteuses via des solveurs numériques traditionnels.
• Robustesse face au changement de distribution : Il résout le problème critique de la généralisation des modèles de fondation à des régimes physiques non vus lors du pré-entraînement.
• Nouveau Paradigme : Il valide l'idée que les objectifs informés par la physique peuvent servir de supervision efficace pour l'adaptation de modèles de fondation, combinant la puissance des représentations apprises à grande échelle avec la rigueur des lois physiques.

En conclusion, cette étude propose une voie vers des substituts d'apprentissage machine fiables, interprétables et économes en données pour la science computationnelle, en démontrant que la fusion du fine-tuning de modèles de fondation et de l'apprentissage informé par la physique est synergique et puissante.