Physics-informed fine-tuning of foundation models for partial differential equations

1. Problemstellung

Partielle Differentialgleichungen (PDEs) sind fundamental für viele wissenschaftliche und ingenieurtechnische Disziplinen (z. B. Klimamodellierung, Strömungsmechanik). Während traditionelle numerische Methoden (wie Finite-Elemente-Methoden) hochpräzise Lösungen liefern, sind sie oft rechenintensiv und für Echtzeitanwendungen oder inverse Probleme ungeeignet.

Neuronale Operatoren (z. B. Fourier Neural Operators, FNOs) und neuere PDE-Foundation-Modelle (wie POSEIDON, WALRUS) bieten als datengetriebene Surrogatmodelle eine effiziente Alternative. Diese Modelle werden auf großen, vielfältigen Datensätzen vortrainiert, um allgemeine physikalische Muster zu lernen.

Das zentrale Problem: Die Anpassung (Fine-Tuning) dieser vortrainierten Modelle auf neue, ungesehene PDE-Klassen oder physikalische Regime ist schwierig, wenn nur wenig taskspezifische Daten verfügbar sind.

• Datenknappheit: Das Erstellen von gelabelten Trainingsdaten (Paare aus Quellterm und Lösung) mittels numerischer Solver ist teuer.
• Distribution Shift: Selbst bei ähnlichem physikalischem Verhalten führen Unterschiede in den Anfangs- oder Randbedingungen dazu, dass die Parameterübertragung versagt.
• Fehlende physikalische Konsistenz: Reine datengetriebene Fine-Tuning-Ansätze neigen dazu, statistisch wahrscheinliche, aber physikalisch inkonsistente oder unmögliche Ergebnisse zu liefern, wenn die Datenmenge gering ist.

Bisher wurde der Ansatz des Physics-Informed Machine Learning (PINN), bei dem die PDE-Reste direkt in die Verlustfunktion integriert werden, erfolgreich für das Training von Solvern genutzt, aber nicht systematisch für das Fine-Tuning von Foundation-Modellen untersucht.

2. Methodik

Die Autoren stellen einen Rahmen für Physics-Informed Fine-Tuning vor, der vortrainierte PDE-Foundation-Modelle (hier basierend auf POSEIDON) anpasst, indem physikalische Zwangsbedingungen direkt in den Fine-Tuning-Prozess integriert werden.

Kernkomponenten:

• Verlustfunktion: Anstatt nur den Fehler gegenüber gelabelten Ground-Truth-Lösungen zu minimieren, wird eine physik-informierte Verlustkomponente hinzugefügt. Diese besteht aus dem Residuum der PDE ($\|N_f(u)\|$) und den Randbedingungen ($\|B_f(u)\|$), evaluiert an Kollokationspunkten.
• Randbedingungen: Durch Zero-Padding am Rand des Domänenbereichs werden Dirichlet-Randbedingungen ($u=0$) implizit erzwungen, was weiche Strafterme in der Loss-Funktion überflüssig macht.
• Hybride Strategie: Ein neuartiger Ansatz kombiniert datengetriebene Verluste (mit wenigen gelabelten Beispielen) und physik-informierte Verluste. Dabei werden während des Trainings on-the-fly zusätzliche, ungelabelte Quellfunktionen (z. B. sinusförmige Wellen, Rauschen) generiert, um das Modell auf eine breitere Verteilung von Eingaben zu trainieren, ohne teure numerische Lösungen berechnen zu müssen.
• Architektur-Anpassung: Das POSEIDON-Modell (basierend auf einem skalierbaren Operator-Transformer) wird so angepasst, dass die Kern-Backbone-Parameter ($\hat{\theta}$) vom Vortraining übernommen werden, während Einbettungs- und Recovery-Parameter ($\tilde{\theta}$) neu initialisiert werden, um unterschiedliche Ein-/Ausgangskanäle zu handhaben.

Zielsetzung: Das Modell soll in der Lage sein, sich an neue physikalische Domänen anzupassen, ohne dass für jede neue PDE eine vollständige Neukalibrierung mit großen Datenmengen nötig ist.

3. Wichtige Beiträge

1. Erste systematische Untersuchung: Dies ist die erste Arbeit, die Physics-Informed Fine-Tuning explizit für datenbasierte PDE-Foundation-Modelle einführt.
2. Zero-Shot-Anpassung: Es wird gezeigt, dass Foundation-Modelle durch rein physik-informiertes Fine-Tuning (ohne gelabelte Lösungsdaten) an neue PDE-Familien angepasst werden können.
3. Hybride Strategie für Generalisierung: Die Kombination aus minimalen gelabelten Daten und physik-informierten Zwangsbedingungen (mit on-the-fly Augmentation) führt zu einer überlegenen Generalisierung auf Out-of-Distribution (OOD) Szenarien.
4. Daten-effizientes Paradigma: Die Arbeit etabliert einen Weg, der die Einfachheit von Vortrainingsdaten mit komplexer physikalischer Steuerung während des Fine-Tunings verbindet, was die Notwendigkeit teurer numerischer Solver-Lösungen reduziert.

4. Ergebnisse

Die Evaluation erfolgte am Beispiel der zweidimensionalen Poisson-Gleichung (als Downstream-Task) und der Helmholtz-Gleichung (im Anhang), im Vergleich zu FNO-Modellen, die von Grund auf neu trainiert wurden.

• Interpolationsleistung (gleiche Verteilung):

  • In datenarmen Szenarien ($M < 16$ gelabelte Samples) übertrumpfen die fine-getunten Foundation-Modelle (POSEIDON) die von Grund auf trainierten FNOs deutlich.
  • Physik-informierte FNOs zeigen in niedrigen bis mittleren Datenregimen bessere Ergebnisse als reine Daten-FNOs, da physikalische Constraints als Regularisierung wirken.
  • Der hybride Ansatz (POSEIDON Hybrid) erreicht bereits mit nur einem gelabelten Sample eine Leistung, für die der reine Daten-Ansatz mindestens 32 Samples benötigt.

• Extrapolationsleistung (Out-of-Distribution):

  • Bei extremen, ungesehenen Quellformen (z. B. Sinuswellen, Rastermuster), die stark von den Trainingsdaten (Gaussian Blobs) abweichen, versagen reine Daten-Modelle oft.
  • Physik-informierte Modelle zeigen hier eine höhere Stabilität, da physikalische Constraints als „Guardrails" fungieren.
  • Der hybride Ansatz erzielt die besten Ergebnisse: Durch das Training mit on-the-fly generierten, ungelabelten Mustern lernt das Modell die zugrundeliegende Physik besser und generalisiert besser auf OOD-Daten als Modelle, die nur auf den begrenzten gelabelten Daten trainiert wurden.

• Physikalische Konsistenz:

  • Während datengetriebene Modelle bei großen Datenmengen ($M=2048$) oft niedrigere Pixel-Fehler haben, erfüllen die physik-informierten Modelle die zugrundeliegenden PDEs (überprüft via Laplace-Residuum) deutlich besser. Sie lernen die Physik, nicht nur eine Bild-zu-Bild-Mapping-Funktion.

5. Bedeutung und Ausblick

Diese Arbeit stellt einen bedeutenden Schritt hin zu vertrauenswürdigen und dateneffizienten Surrogatmodellen für die wissenschaftliche Machine Learning dar.

• Skalierbarkeit: Der Ansatz reduziert den Bedarf an teuren numerischen Solver-Lösungen drastisch, was besonders in Bereichen relevant ist, wo Datenbeschaffung der Hauptengpass ist (z. B. Experimente, teure Simulationen).
• Physikalische Interpretierbarkeit: Durch die Integration physikalischer Gesetze in den Lernprozess werden Modelle transparenter und physikalisch plausibler.
• Zukunftsperspektiven: Die Autoren sehen Potenzial in der Anwendung auf komplexere, zeitabhängige PDEs, gekoppelte Multiphysik-Systeme und die Untersuchung von Physics-Informed Pre-Training, um Verzerrungen in den Vortrainingsdaten zu minimieren.

Zusammenfassend beweist das Paper, dass die Kombination aus Foundation-Modellen und Physics-Informed Learning ein leistungsfähiges Werkzeug ist, um die Lücke zwischen datengetriebener Effizienz und physikalischer Genauigkeit zu schließen.