💻 computer science

A Search‑Free Foundation Model for Symbolic Regression of Physical Laws

Das Paper stellt PISR vor, ein suchfreies Foundation-Modell, das ein physikinformiertes, kontrastiv ausgerichtetes Formel-Daten-Manifold sowie Flow Matching nutzt, um interpretierbare physikalische Gesetze schnell und präzise aus Daten zu rekonstruieren, wobei es bestehende Methoden sowohl in der Geschwindigkeit als auch in der strukturellen Genauigkeit über verschiedene wissenschaftliche und reale Benchmarks hinweg übertrifft.

Ursprüngliche Autoren: Chenxi He, Jingqiu Chen

Veröffentlicht 2026-07-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chenxi He, Jingqiu Chen

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstelle von Fingerabdrücken oder Fußabdrücken sind Ihre Hinweise Zahlen. In der Welt der Wissenschaft gibt es eine besondere Art von Rätsel, die man „symbolische Regression“ nennt. Das Ziel ist nicht nur vorherzusagen, was als Nächstes passiert (wie eine Wetter-App, die Regen vorhersagt), sondern die Regel zu finden, die erklärt, warum es passiert. Denken Sie daran, das exakte Rezept für einen Kuchen zu finden, indem man nur die Krümel probiert. Man möchte die genaue mathematische Formel entdecken – wie $E=mc^2$ oder die Gesetze der Schwerkraft – die die Natur verwendet.

Lange Zeit waren Computer schlecht darin. Sie sind großartig darin, Muster in Daten zu finden, aber sie liefern meistens eine „Black-Box“-Antwort: eine komplexe, unlesbare Maschine, die zwar funktioniert, aber einem die Geschichte dahinter nicht erzählt. Andere Methoden versuchen, das Rezept zu erraten, indem sie tausende zufällige Kombinationen gegen die Wand werfen, um zu sehen, was hängen bleibt, aber das ist langsam, klobig und bricht oft zusammen, wenn die Daten unordentlich sind. Die große Frage, die sich Wissenschaftler gestellt haben, war: Können wir einen Computer bauen, der nicht einfach nur zufällig rät, sondern die Form wissenschaftlicher Gesetze tatsächlich versteht, damit er sie schnell und korrekt finden kann, selbst in verrauschten, realen Daten?

Hier kommt eine neue Erfindung namens PISR (Physics-Informed Symbolic Regression) ins Spiel. Betrachten Sie PISR nicht als einen Detektiv, der hektisch eine Bibliothek durchsucht, sondern als einen Meisterkoch, der die gesamte Geschichte des Kochens auswendig kennt. Die Forscher hinter PISR erkannten, dass echte wissenschaftliche Gesetze nicht einfach nur zufällige Mathematik sind; sie leben in einer ganz bestimmten, organisierten Nachbarschaft innerhalb des riesigen Universums aller möglichen Gleichungen. Sie nennen diese Nachbarschaft die „Formel-Mannigfaltigkeit“ (formula manifold).

Anstatt jedes Mal die Antwort neu zu suchen, lernt PISR die „Landkarte“ dieser Nachbarschaft. Es nutzt einen cleveren Trick: Es trainiert auf einer massiven Sammlung bekannter Physik- und Mathematikgesetze und lernt, den „Vibe“ oder die „Gestalt“ eines echten Gesetzes zu erkennen. Wenn Sie ihm einen neuen Satz unordentlicher Daten geben (wie die chaotische Bewegung des Windes oder die Umlaufbahn eines fernen Sterns), fängt PISR nicht bei Null an. Es projiziert diese Daten sofort auf seine interne Landkarte und fragt: „Was sieht das aus wie?“ Dann nutzt es zwei Superkräfte, um die Antwort zu finden:

Flow Matching: Es lässt die Datenpunkte sanft in Richtung des nächstgelegenen bekannten Gesetzes auf der Karte „fließen“, wie ein Fluss, der den Weg zum Ozean findet.
Retrieval (Abruf): Es greift schnell auf die nächsten Nachbarn aus einer Bibliothek von 400.000 echten Formeln zu, die es bereits studiert hat.

Die Ergebnisse sind beeindruckend. In Tests fand PISR die korrekte mathematische Struktur physikalischer Gesetze in 51,3 % der Fälle bei einem anspruchsvollen Satz realer Physikprobleme und schlug damit alle anderen Methoden. Es war zudem etwa 2,4-mal schneller als die besten Konkurrenten. Aber die wahre Magie geschah, als die Forscher es mit Dingen testeten, die es noch nie zuvor gesehen hatte. PISR konnte berühmte Gesetze erfolgreich aus Rohdaten in Feldern wie Finanzen, Biologie und Astronomie rekonstruieren, einschließlich komplexer Turbulenzmuster oder der Beziehung zwischen der Helligkeit eines Sterns und seiner Temperatur.

Entscheidend ist, dass die Arbeit zeigt, dass PISR nicht nur Antworten auswendig lernt. Die Forscher haben bewiesen, dass sich echte wissenschaftliche Gesetze im „Gehirn“ des Computers (seinem mathematischen Raum) deutlich von zufälliger, unsinniger Mathematik unterscheiden. Es ist wie ein Raum, in dem alle echten Gesetze in einem ordentlichen, organisierten Kreis sitzen, während zufälliger Kauderwelsch weit entfernt verstreut ist. Da PISR weiß, dass dieser Kreis existiert, kann es das Kauderwelsch ignorieren und sich auf die bedeutungsvollen Muster konzentrieren.

Dies ist jedoch kein Zauberstab, der alles löst. Die Arbeit weist vorsichtig darauf hin, dass PISO für „geschlossene“ Gesetze (closed-form laws) konzipiert ist – Gleichungen, die man auf einem Blatt Papier aufschreiben kann. Es kann Gleichungen, die sich durch sich ändernde Raten über die Zeit definieren (wie Differentialgleichungen), derzeit nicht auf dieselbe Weise handhaben. Außerdem glänzt es zwar beim Finden von Gesetzen, die wie wissenschaftliche Formeln aussehen, hat aber Schwierigkeiten mit abstrakten mathematischen Problemen, die nicht den Regeln der Physik folgen, da es gelernt hat, solche „off-manifold“-Strukturen zu ignorieren.

Kurz gesagt, PISR stellt einen Wechsel von der „Brute-Force-Suche“ hin zur „intelligenten Mustererkennung“ dar. Es legt nahe, dass, wenn wir Computer lehren, die zugrunde liegende Struktur zu verstehen, nach der das Universum seine Regeln schreibt, wir diese Regeln aus unordentlichen Daten viel schneller und genauer als je zuvor rekonstruieren können. Die Forscher haben gezeigt, dass wissenschaftliche Gesetze eine spezielle, strukturierte Ecke des mathematischen Raums besetzen, und dass wir, indem wir lernen, diese Ecke zu navigieren, die Geheimnisse des Universums mit einem einzigen, schnellen Blick wiederentdecken können.

Technisches Resümee: Ein suchfreies Foundation-Modell für die symbolische Regression physikalischer Gesetze

1. Problemstellung

Die symbolische Regression (SR) zielt darauf ab, interpretierbare, geschlossene mathematische Gesetze aus Beobachtungsdaten zu gewinnen. Während dies zentral für die wissenschaftliche Entdeckung ist, stehen bestehende Methoden vor einem grundlegenden Kompromiss zwischen Genauigkeit und Geschwindigkeit:

Suchbasierte Methoden (z. B. Genetische Algorithmen, GPU-parallele Enumeration) sind genau bei sauberen, niedrigdimensionalen Daten, leiden aber unter hohen Rechenkosten, Sprödigkeit bei verrauschten Realdaten und der Notwendigkeit, den kombinatorischen Ausdrucksraum für jedes neue Problem neu zu explorieren.
End-to-End Deep-Learning-Methoden (z. B. Transformer) bieten Geschwindigkeit, behandeln SR jedoch typischerweise als Sequenz-Übersetzungsaufgabe. Sie lernen, die Datenverteilung zu modellieren, anstatt den zugrunde liegenden Raum der Formeln selbst, wodurch ihnen explizite Priors auf die Struktur physikalischer Gesetze fehlen. Folglich haben sie Schwierigkeiten mit dem diskreten, nicht-glatten und superexponentiell wachsenden Raum von Ausdrücken, der für die echte physikalische Entdeckung erforderlich ist.

Das Paper postuliert, dass aktuelle datengetriebene Algorithmen daran scheitern, über die strukturierten Relationen der realen Physik zu schlussfolgern, weil sie kein Modell des „Raums der Formeln“ kodieren, die sie vorhersagen.

2. Methodik: PISR (Physics-Informed Symbolic Regression)

Die Autoren schlagen PISR vor, ein suchfreies Foundation-Modell, das die symbolische Regression als ein Generierungsproblem innerhalb eines vortrainierten, kontrastiv ausgerichteten Formel-Daten-Manifolds umformuliert. Die Kernhypothese ist, dass reale physikalische Gesetze eine strukturierte, niedrigkomplexe Sub-Mannigfaltigkeit innerhalb des riesigen Raums aller möglichen Ausdrücke besetzen, die durch dimensionsanalytische Konsistenz und wiederkehrende kompositorische Motive geformt wird.

Architektur und Training

Gemeinsames latentes Manifold: PISR verwendet zwei Encoder, die über ein symmetrisches InfoNCE-Kontrastiv-Ziel (ähnlich wie CLIP) aufeinander abgestimmt sind:
1. Daten-Encoder ( $E_d$ ): Ein permutationsinvarianter Encoder (gepooltes Multi-Head-Attention mit 16 gelernten Seed-Tokens), der Punktwolken $\{(x_i, y_i)\}$ auf einen latenten Vektor $z_d$ abbildet.
2. Formel-Encoder ( $E_f$ ): Ein Graph-Neural-Encoder, der den abstrakten Syntaxbaum (AST) eines Ausdrucks auf einen latenten Vektor $z_f$ abbildet.
- Alignment: Während des Trainings werden eine Formel und die von ihr generierten Daten in den benachbarten Punkten des latenten Raums ( $\mathbb{R}^{640}}$ ) zusammengeführt, wodurch die Nähe als Stellvertreter für die funktionale Beziehung dient.
Strukturelle Supervision: Das Modell wird auf einem großen Physik-/Mathematik-Korpus (33,6 Mio. Ausdrücke) trainiert, der durch einen Physik-Wissensgraphen ergänzt wurde. Ein struktureller Verlustterm ( $L_{struct}$ ) erzwingt einen physik-informierten Prior über die Ausdrucksstruktur unter Verwendung von Eltern-Gesetzen, Vorbedingungen und Ableitungs-DAG-Kanten.
Modellskalierung: Das vollständige Modell umfasst etwa 0,4 Milliarden Parameter, einschließlich der Encoder, eines Flow-Matching-Feldes und eines Decoders.

Inferenz-Pipeline (Suchfrei)

PISR operiert in einem einzigen amortisierten Vorwärtsdurchlauf ohne pro-Instanz-basierte symbolische Suche:

Latente Generierung: Ein Flow-Matching-Feld (DiT-Stil) transportiert den Daten-Latinen $z_d$ hin zu Kandidaten-Formel-Latinen.
Retrieval: Eine Bibliothek von 400.000 realen Formel-Latinen ist indiziert. Die $k$ -nächsten Nachbarn von $z_d$ werden abgerufen, um eine nicht-parametrische Ergänzung zu den generierten Kandidaten zu liefern.
Konditionierte Dekodierung: Ein autoregressiver Decoder rendert sowohl die durch den Flow generierten als auch die abgerufenen Latente in Ausdrucks-Skelette (typisierte Tokens), konditioniert auf die Datenrepräsentation.
Selektion: Die freien Konstanten der Kandidatenausdrücke werden mittels nichtlinearer kleinsten Quadrate angepasst. Kandidaten werden ausschließlich nach dem gehaltenen Vorhersagefehler gerankt (es wird keine Komplexitätsstrafe angewendet, da physikalische Gesetze strukturell komplex sein können). Der am besten performende Ausdruck wird zurückgegeben.

3. Wichtigste Beiträge und Erkenntnisse

Die Formel-Manifold-Hypothese

Das Paper liefert empirische Belege dafür, dass reale physikalische Formeln im gelernten latenten Raum linear separierbar von zufälligen Ausdrücken sind.

Separabilität: Eine lineare Probe erreicht eine ROC-AUC von 94,4 % bei der Unterscheidung zwischen realen physikalischen Gesetzen und struktur-angepassten Zufallsausdrücken (unter Kontrolle von Operator-Frequenz und Länge).
Geometrie: Reale Gesetze bilden eine reichhaltige, ausgedehnte Struktur (Partizipationsverhältnis 21,5), die sich von Zufallsausdrücken (10,5) unterscheidet, was bestätigt, dass die „Gesetz-Region“ durch kompositorische Grammatik und nicht bloß durch eine kleinere Teilmenge definiert ist.
Dimensionsanalyse: Diese Separabilität ist im Buckingham- $\pi$ -Theorem begründet, welches gültige Gesetze auf dimensionslose Gruppen einschränkt und somit den Großteil der syntaktisch validen, aber physikalisch unmöglichen Ausdrücke eliminiert.

Benchmark-Leistung

PISR wurde auf drei Benchmarks gegen vier Baselines evaluiert: Genetische Programmierung (PySR), GPU-parallele Enumeration (PSE), ein domänenspezialisierter Transformer (PhyE2E) und latente generative SR (GenSR).

Real-Physics Benchmark (797 Aufgaben): PISR erreichte eine strukturelle Genauigkeit von 51,32 % und übertraf das nächstbeste Modell (PySR) um 7,66 Prozentpunkte.
Domänenübergreifende Generalisierung (270 Aufgaben): PSR erreichte 71,11 % Genauigkeit und übertraf PySR um 15,93 Punkte. Dies deutet darauf hin, dass das Modell die Struktur gesetzartiger Formeln gelernt hat und nicht nur die Physik-Verteilung, was den Transfer auf Finanzen, Ökonomie und Biologie ermöglicht.
Feynman-Gleichungen (119 Aufgaben): PISR erreichte 3,95 % Genauigkeit und übertraf die GPU-Enumerations-Baseline um 6,73 Punkte.
Effizienz: PISR ist etwa 2,4-mal schneller als genetische Programmierung und 2,5-mal schneller als GPU-Enumeration, da es nur einen einzigen Vorwärtsdurchlauf (~12,25s pro Aufgabe) benötigt, im Gegensatz zur iterativen Suche der Baselines.

Rekonstruktion komplexer Gesetze

PISR rekonstruierte einzigartig benannte Gesetze aus Rohdaten, bei denen alle Baselines versagten, insbesondere in Fällen mit:

Transzendentalen Funktionen: Korrekte Identifizierung von exponentiellen oder logarithmischen Formen, wo Baselines algebraische Surrogate (z. B. verschachtelte Potenzen oder rationale Approximationen) einsetzten.
Variablen Exponenten: Rekonstruktion von Formen mit variablen Exponenten (z. B. $x^n$ ), wo Transformer feste Exponenten einsetzten.
Spezifische Domänen: Erfolgreiche Rekonstruktion des Kolmogorov-Zwei-Drittel-Gesetzes aus Turbulenzdaten, der Stefan-Boltzmann-Relation aus Sternenkatalogen und des Reynolds-Spannungs-Abschlusses (erreichte $R^2 \approx 0,99$ , wo klassische Modelle versagten).

4. Bedeutung und Behauptungen

Das Paper behauptet, dass PISR einen Paradigmenwechsel vom „Suchen“ nach Gesetzen hin zum „Generieren“ von Gesetzen innerhalb eines physik-informierten Manifolds darstellt.

Induktiver Bias: Durch die Spezialisierung auf das Manifold gesetzartiger Formeln erreicht das Modell eine State-of-the-Art-Genauigkeit auf realen wissenschaftlichen Daten, während es gleichzeitig den „strukturfreien“ Bereich abstrakter Ausdrucksräume meidet (was ein Designmerkmal ist, kein Fehler).
Generalisierung: Das Modell zeigt, dass ein einzelnes, auf Physik trainiertes Foundation-Modell zu nicht-physikalischen wissenschaftlichen Domänen (z. B. Ökonomie, Biologie) generalisieren kann, da diese dieselbe „kompositorische Grammatik“ wissenschaftlicher Gesetze teilen.
Skalierbarkeit: Die suchfreie Architektur macht es computertechnisch machbar, groß angelegte Hypothesengenerierung und Validierung für offene Problemstellungen (z. B. Turbulenzmodellierung) zu versuchen, wodurch sich das Feld von der Rekonstruktion bekannter Gesetze zur Proposal neuer Gesetze bewegt.

Die Autoren betonen, dass der Erfolg des Modells auf der Hypothese beruht, dass wissenschaftliche Gesetze keine beliebigen Elemente des Ausdrucksraums sind, sondern eine strukturierte Sub-Mannigfaltigkeit besetzen, die durch dimensionsanalytische Konsistenz und physikalische Motive definiert ist. Dieser Prior ist entscheidend für den Umgang mit den verrauschten, dimensionsstrukturierten Daten, die für die reale Wissenschaft charakteristisch sind.