📊 statistics

Towards a Physics Foundation Model

Dieses Paper stellt den General Physics Transformer (GPhyT) vor, ein Foundation Model, das auf 1,8 TB vielfältiger Simulationsdaten trainiert wurde und eine überlegene Multi-Domain-Performance sowie Zero-Shot-Generalisierung erreicht, indem es die zugrunde liegende Dynamik direkt aus dem Kontext ableitet, ohne auf vordefinierte Gleichungen angewiesen zu sein.

Ursprüngliche Autoren: Florian Wiesner, Zoë J. Gray, Matthias Wessling, Stephen Baek

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Florian Wiesner, Zoë J. Gray, Matthias Wessling, Stephen Baek

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Computer beizubringen, wie sich die Welt bewegt. Momentan müssen Sie, wenn Sie möchten, dass ein Computer simuliert, wie Wasser um ein Boot fließt, einen speziellen „Boot-Simulator“ bauen. Wenn Sie dann simulieren wollen, wie Wärme durch eine Wand fließt, müssen Sie einen völlig anderen „Wand-Simulator“ bauen. Wenn Sie eine Schockwelle einer Explosion simulieren wollen, benötigen Sie ein drittes, völlig anderes Programm.

Derzeit ist Physik-Simulationssoftware wie ein Werkzeugkasten, in dem jedes Werkzeug nur für eine bestimmte Aufgabe funktioniert. Wenn Sie eine Schraube festziehen wollen, können Sie den Hammer nicht benutzen.

Die große Idee: Der „Universelle Physik-Koch“
Dieses Paper stellt eine neue Art von künstlicher Intelligenz vor, die GPhyT (General Physics Transformer) heißt. Die Autoren wollen ein „Physik-Fundamentmodell“ erschaffen. Denken Sie dabei nicht an einen Werkzeugkasten mit separaten Werkzeugen, sondern an einen Universellen Koch.

In der Welt der Sprache haben wir „Fundamentmodelle“ (wie die KI, mit der Sie gerade sprechen), die ein Gedicht schreiben, Code debuggen oder einen Nachrichtenartikel zusammenfassen können, indem sie nur einige wenige Beispiele lesen. Sie müssen nicht für jedes neue Thema neu trainiert werden; sie lernen einfach den Kontext dessen, wonach Sie fragen.

Die Autoren fragten sich: Können wir einen „Universellen Koch“ für die Physik erschaffen? Können wir eine einzige KI auf einer massiven Vielfalt von physikalischen Simulationen trainieren, sodass sie vorhersagen kann, wie jedes beliebige System reagiert, indem sie nur wenige Schnappschüsse dessen betrachtet, was gerade passiert?

Wie sie es gemacht haben
Um diesen „Universellen Koch“ zu trainieren, haben sie ihm nicht nur ein einzelnes Rezept gegeben. Sie haben ihn mit einem massiven „Kochbuch“ gefüttert, das 1,8 Terabyte an Daten enthält. Das ist nicht nur eine Art von Suppe; es ist eine Mischung aus:

Fließendem Wasser (wie ein Fluss).
Gewaltsam zusammenprallender Luft (Schockwellen).
Aufsteigender und fallender Wärme (wie ein Topf mit kochendem Wasser).
Flüssigkeiten, die sich mit Festkörpern vermischen (wie Wasser, das um Felsen fließt).
Sogar Flüssigkeiten, die sich mit anderen Flüssigkeiten vermischen (wie Öl und Wasser).

Anstatt der KI die spezifischen mathematischen Gleichungen für jedes dieser Szenarien zu nennen (wie „nutze diese Formel für Wasser“ oder „nutze jene Formel für Luft“), ließen sie die KI eine kurze Sequenz von Bildern (Schnappschüssen) betrachten und die Regeln selbst herausfinden.

Die Geheimzutat: Der „Zeit-Ableitungs“-Trick
Die meisten KI-Modelle versuchen, das nächste Bild direkt zu erraten. Die Autoren fanden einen besseren Weg. Sie brachten ihr Modell bei, eher wie ein Tachometer als wie eine Kristallkugel zu agieren.

Der Tachometer (Neuronale Differenzierung): Die KI betrachtet den aktuellen Zustand und die jüngste Vergangenheit und anstatt die Zukunft zu erraten, berechnet sie, wie schnell sich die Dinge gerade ändern (die Änderungsrate).
Der Rechner (Numerische Integration): Sobald die KI die Änderungsrate kennt, nutzt ein Standard-Mathematikwerkzeug (das im System eingebaut ist) diese Geschwindigkeit, um den nächsten Schritt zu berechnen.

Dies ist vergleichbar mit der Lehre eines Fahrers, die Beschleunigung des Autos zu fühlen, anstatt nur zu raten, wo das Auto in 10 Sekunden sein wird. Dies macht das Modell über lange Zeiträume hinweg viel stabiler und genauer.

Was sie herausgefunden haben
Das Paper behauptet drei große Durchbrüche:

Ein Modell, um alle zu regieren: Das GPhyT-Modell wurde gegen andere Spitzen-Physik-KI-Modelle getestet. Es war nicht nur gut; es hat sie regelrecht deklassiert. In vielen Tests war es bei 7-mal genauer als das nächstbeste Modell. Es konnte Wasser, Hitze und Explosionen alle in demselben „Gehirn“ verarbeiten.
Die „Zero-Shot“-Magie: Dies ist der spannendste Teil. Das Team testete das Modell an physikalischen Situationen, die es während des Trainings noch nie gesehen hatte.
- Beispiel: Sie zeigten dem Modell eine Schockwelle, die auf eine Wand mit einer Form trifft, die es zuvor noch nie encountert hatte.
- Ergebnis: Das Modell rät nicht einfach nur zufällig, sondern leitet die Physik aus dem Kontext ab und erzeugt eine realistische Simulation. Es hat die Prinzipien der Physik gelernt, nicht nur die spezifischen Muster seiner Trainingsdaten.
Stabil bleiben: Die Vorhersage von Physik über einen langen Zeitraum ist schwierig, da sich kleine Fehler schnell aufsummieren (wie ein Schneeball, der einen Hang hinunterrollt). Obwohl das Modell noch nicht perfekt ist, blieb es wesentlich länger stabil und physikalisch plausibel als andere Modelle, die dazu neigten, in völligen Unsinn abzugleiten.

Das Fazit
Die Autoren kommen zu dem Schluss, dass wir erfolgreich den ersten Schritt in Richtung eines „Einmal trainieren, überall einsetzen“-Modells für die Physik gemacht haben. Genau wie ein Sprachmodell über jedes Thema schreiben kann, ohne neu trainiert zu werden, kann dieses neue Modell viele verschiedene physikalische Systeme simulieren, ohne dass für jedes eine neue Software benötigt wird.

Was es (noch) NICHT ist
Die Autoren sind sehr vorsichtig darin, was dies noch nicht ist:

Es ist kein Ersatz für die hochpräzisen mathematischen Solver, die heute von Ingenieuren verwendet werden. Es ist noch nicht genau genug, um eine Brücke oder ein Strahltriebwerk zu entwerfen.
Es arbeitet derzeit nur in 2D (flach), nicht in 3D (wie eine vollständige Videospielwelt).
Es ist auf Fluide und Wärme beschränkt; die Festkörpermechanik (wie das Biegen von Stahl) oder Chemie hat es noch nicht gelernt.

Kurz gesagt: Sie haben einen „Physik-Generalisten“ gebaut, der aus dem Kontext lernt, und damit bewiesen, dass eine einzige KI die grundlegenden Regeln verstehen kann, wie sich das Universum bewegt. Dies öffnet die Tür zu einer Zukunft, in der hochpräzise Simulationen für jeden zugänglich sind, nicht nur für Experten mit spezialisierter Software.

Technisches Resümee: Auf ein Physik-Fundamentmodell zu

1. Problemstellung

Aktuelle physikbewusste maschinelle Lernansätze (PAML), einschließlich Physics-Informed Neural Networks (PINNs), Neural Operators (NOs) und physikbewusster rekurrenter Faltungen, sind grundlegend auf die Lösung einzelner, eng gefasster physikalischer Systeme beschränkt. Während diese Modelle bei ihren spezifischen Aufgaben exzellente Leistungen erbringen, fehlt ihnen die Fähigkeit, auf neue zugrunde liegende Gleichungen, Randbedingungen oder Multi-Physik-Phänomene zu generalisieren, ohne dass ein umfangreiches Retraining oder Fine-Tuning erforderlich ist. Diese Spezialisierung verhindert, dass sie das „Einmal trainieren, überall einsetzen“-Paradigma erreichen, das von Large Language Models (LLMs) in der natürlichen Sprachverarbeitung etabliert wurde.

Die primäre Barriere für ein echtes Physik-Fundamentmodell (Physics Foundation Model, PFM) ist die immense Vielfalt physikalischer Phänomene gepaart mit den hohen Kosten und der Knappheit an Simulationsdaten. Ein universelles Modell muss in der Lage sein, extrem unterschiedliche Skalen zu vereinen (z. B. Mikrometer in der Mikrofluidik gegenüber Kilometern in der Wettervorhersage) und die zugrunde liegende Dynamik aus dem Kontext zu inferieren, anstatt sich auf explizite Systembeschreibungen (z. B. spezifische Gleichungen oder Materialeigenschaften) zu verlassen, was bei zunehmender Varietät der Probleme unpraktikabel wird.

2. Methodik: Der General Physics Transformer (GPhyT)

Um diese Einschränkungen zu adressieren, schlagen die Autoren den General Physics Transformer (GPhyT) vor, eine hybride Architektur, die darauf ausgelegt ist, die In-Context-Lernfähigkeiten von LLMs zu emulieren.

2.1. Architektur

GPhyT integriert eine Deep-Learning-Komponente in ein klassisches numerisches Framework:

Neuraler Differenzierer: Der Kern ist ein Transformer-basierter neuraler Differenzierer, der die zeitliche Dynamik eines Systems lernt, indem er die partielle zeitliche Ableitung ( $\frac{\partial X}{\partial t}$ $\frac{\partial X}{\partial t}$ ) des physikalischen Zustands $X$ $X$ (bestehend aus Feldern wie Druck, Temperatur und Geschwindigkeit) vorhersagt.
- Input-Verarbeitung: Das Modell erhält eine Sequenz vorangegangener Zustände (Zeitschritte) als „Prompt“. Diese werden in nicht überlappende spatiotemporale Patches („Tubelets“) tokenisiert.
- Explizite Ableitungen: Um die Auflösung scharfer Gradienten zu unterstützen, konkateniert das Modell erste räumliche ($dx, dy$) und zeitliche ($dt$) Ableitungen, die mittels zentraler Differenzen berechnet wurden, mit den ursprünglichen Input-Feldern.
- Attention-Mechanismus: Die Architektur verwendet einen vereinheitlichten spatiotemporalen Attention-Mechanismus über alle Zeit- und Raumdimensionen hinweg, um komplexe, nicht-separierbale Phänomene wie Turbulenzen und Schockwellen zu erfassen, und vermeidet so faktorisierte Ansätze, die die Expressivität einschränken könnten.
Numerischer Integrator: Anstatt den nächsten Zustand direkt vorherzusagen, sagt das Modell die zeitliche Ableitung voraus. Ein Standard-numerischer Integrator (in dieser Studie Forward Euler, obwohl auch andere wie Runge-Kutta anwendbar sind) extrapoliert dann den zukünftigen Zustand des Systems ( $X_{t+1}$ ) unter Verwendung der gelernten Ableitung.

2.2. Trainingsdaten und Strategie

Das Modell wird auf einem vielfältigen Korpus von 1,8 TB Simulationsdaten trainiert, der über 2,4 Millionen Snapshots aus sieben verschiedenen Datensätzen umfasst:

Datensätze: Scherströmung, Rayleigh–Bénard-Konvektion, Euler-Gleichungen (kompressible Strömung), Strömung um starre Hindernisse, thermische Strömung (Wärmeaustausch mit Festkörpern), Rayleigh–Bénard mit Hindernissen sowie Zweiphasenströmung in porösen Medien.
Datenaugmentation für In-Context-Lernen:
- Variable Zeitschritte: Die Simulationen werden mit variierenden Zeitschritten ( $\Delta t$ ) untersampelt, um das Modell zu zwingen, Zeitskalen aus dem Kontext zu inferieren, anstatt feste Frequenzen auswendig zu lernen.
- Pro-Datensatz-Normalisierung: Jeder Datensatz wird unabhängig normalisiert, um sehr unterschiedliche physikalische Skalen zu handhaben, was das Modell dazu zwingt, absolute Größenordnungen allein aus dem Input-Kontext zu inferieren.

3. Wesentliche Beiträge

Das Paper präsentiert drei kritische Durchbrüche, die zeigen, dass Fundamentmodell-Fähigkeiten für die Physik erreichbar sind:

Überlegene Multi-Physik-Performance: GPhyT übertrifft State-of-the-Art Multi-Physik-Architekturen (MPP, DPOT, Poseidon) um mehr als das 7-fache im Hinblick auf den normalisierten mittleren quadratischen Fehler (NMSE) über mehrere physikalische Domänen hinweg.
Zero-Shot-Generalisierung: Das Modell demonstriert die Fähigkeit zur Zero-Shot-Generalisierung auf völlig ungesehene physikalische Systeme (z. B. neue Randbedingungen, Überschallströmungen und turbulente radiative Schichten), indem es die Dynamik ausschließlich aus dem Input-Prompt inferiert, ohne Fine-Tuning.
Stabile Langzeitprognosen: Durch autoregressive Rollouts erreicht GPhyT stabilere Langzeitprognosen im Vergleich zu den Baselines und bewahrt die physikalische Plausibilität über längere Zeithorizonte.

4. Ergebnisse

Multi-Physik-Lernen: Auf einem Testset bekannter physikalischer Systeme erreichte GPhyT den niedrigsten medianen NMSE auf allen Datensätzen, außer beim Euler-Datensatz (wo es dennoch konkurrenzfähig blieb). Bemerkenswerterweise übertraf es spezialisierte Multi-Physik-Modelle und sogar eine Standard-UNet-Baseline.
Langzeitprognose: In autoregressiven Rollouts bis zu 24 Schritten wies GPhyT eine geringere Fehlerakkumulation auf als die meisten Baselines. Obwohl kein Modell derzeit die Präzision numerischer Löser erreicht, bewahrte GPhyT globale Dynamiken und die physikalische Plausibilität (z. B. Schockwellenstrukturen), wo andere Modelle Schwierigkeiten hatten, hochfrequente Details abzubilden.
In-Context-Lernen (Zero-Shot):
- Neue Randbedingungen: GPhyT konnte erfolgreich neue Randbedingungen (z. B. offene Grenzen) inferieren, die während des Trainings nicht vorhanden waren.
- Neue Physik: Das Modell wurde auf völlig ungesehenen Phänomenen getestet, einschließlich Überschallströmung um Hindernisse und turbulenter radiativer Schichten. Obwohl die Fehler bei bekannten Systemen höher waren, war GPhyT das einzige Modell, das physikalisch plausible Vorhersagen mit einem NMSE unter 1 (dem Schwellenwert für die Vorhersage des Bildmittels) lieferte, während andere Modelle divergierten oder vollständig versagten.

5. Bedeutung und Ansprüche

Die Autoren behaupten, dass diese Arbeit einen entscheidenden Schritt in Richtung eines universellen Physik-Fundamentmodells darstellt. Durch den Nachweis, dass ein einzelnes Modell allgemeine physikalische Prinzipien allein aus Daten lernen kann – indem es die zugrunde liegende Dynamik aus dem Kontext inferiert, ohne eine explizite Spezifikation der Gleichungen zu benötigen – ebnet GPhyT den Weg für ein „Einmal trainieren, überall einsetzen“-Paradigma für die Computerwissenschaften.

Das Paper betont, dass GPhyT numerische High-Fidelity-Solver für Ingenieursanwendungen (aufgrund verbleibender Lücken in der Langzeitstabilität und Präzision) noch nicht ersetzt, aber die Machbarkeit des Fundamentmodell-Paradigmas für die Physik etabliert. Diese Fähigkeit könnte den Zugang zu High-Fidelity-Simulationen demokratisieren und es Forschern und Ingenieuren ermöglichen, diverse physikalische Systeme zu simulieren, ohne die traditionellen Barrieren spezialisierter Solver-Entwicklung oder enormer Rechenressourcen.

Die Autoren räumen aktuelle Einschränkungen ein, darunter die Beschränkung auf 2D-Systeme, die Notwendigkeit verbesserter Langzeitstabilität und den aktuellen Fokus auf Fluiddynamik und Wärmetransport, wobei sie darauf hinweisen, dass zukünftige Arbeiten die 3D-Erweiterung, variable Auflösungen und breitere physikalische Domänen adressieren müssen.