💻 computer science

A Search‑Free Foundation Model for Symbolic Regression of Physical Laws

Het artikel introduceert PISR, een zoekvrij fundatiemodel dat een natuurkundig geïnformeerd, contrastief uitgelijnd formule-data-manifold en flow matching benut om snel en nauwkeurig interpreteerbare natuurkundige wetten uit data te herleiden, waarbij het bestaande methoden overtreft in zowel snelheid als structurele nauwkeurigheid over diverse wetenschappelijke en real-world benchmarks.

Oorspronkelijke auteurs: Chenxi He, Jingqiu Chen

Gepubliceerd 2026-07-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chenxi He, Jingqiu Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van vingerafdrukken of voetstappen, zijn je aanwijzingen getallen. In de wereld van de wetenschap is er een speciaal soort puzzel genaamd "symbolische regressie". Het doel is niet alleen om te voorspellen wat er hierna gebeurt (zoals een weer-app die regen voorspelt), maar om de regel te vinden die verklaart waarom het gebeurt. Denk eraan als het proberen te ontdekken van het exacte recept voor een cake door alleen de kruimels te proeven. Je wilt de exacte wiskundige formule ontdekken—zoals $E=mc^2$ of de wetten van de zwaartekracht—die de natuur gebruikt.

Lange tijd waren computers hier erg slecht in. Ze zijn geweldig in het vinden van patronen in data, maar ze geven je meestal een "black box"-antwoord: een complexe, onleesbare machine die wel werkt, maar je niet het verhaal vertelt. Andere methoden proberen het recept te raden door duizenden willekeurige combinaties tegen de muur te gooien om te zien wat blijft plakken, maar dit is traag, onhandig en gaat vaak kapot wanneer de data rommelig is. De grote vraag die wetenschappers zich hebben gesteld is: Kunnen we een computer bouwen die niet alleen willekeurig gokt, maar de vorm van wetenschappelijke wetten daadwerkelijk begrijpt, zodat hij ze snel en correct kan vinden, zelfs in ruisige, echte data?

Dit is waar een nieuwe uitvinding genaamd PISR (Physics-Informed Symbolic Regression) om de hoek komt kijken. Zie PISR niet als een detective die koortsachtig door een bibliotheek zoekt, maar als een meesterkok die de hele geschiedenis van de kookkunst uit zijn hoofd kent. De onderzoekers achter PISR realiseerden zich dat echte natuurwetten niet zomaar willekeurige wiskunde zijn; ze leven in een specifieke, georganiseerde buurt binnen het enorme universum van alle mogelijke vergelijkingen. Ze noemen deze buurt de "formule-manifold".

In plaats van elke keer de zoektocht naar het antwoord opnieuw te beginnen, leert PISR de "kaart" van deze buurt kennen. Het gebruikt een slimme truc: het traint op een enorme collectie bekende natuurkundige en wiskundige wetten, waarbij het leert om de "vibe" of de "vorm" van een echte wet te herkennen. Wanneer je het een nieuwe set rommelige data geeft (zoals de chaotische beweging van de wind of de baan van een verre ster), begint PISR niet vanaf nul. Het projecteert die data onmiddellijk op zijn interne kaart en vraagt: "Waar lijkt dit op?" Het gebruikt vervolgens twee superkrachten om het antwoord te vinden:

Flow Matching: Het laat de datapunt voorzichtig "stromen" naar de dichtstbijzijnde bekende wet op de kaart, zoals een rivier die de weg naar de oceaan vindt.
Retrieval: Het grijpt snel de dichtstbijzijnde buren uit een bibliotheek van 400.000 echte formules die het al eerder heeft bestudeerd.

De resultaten zijn indrukwekkend. In tests vond PISR de correcte wiskundige structuur voor natuurkundige wetten in 51,3% van de gevallen op een uitdagende set van echte natuurkundige problemen, waarmee het alle andere methoden versloeg. Het was ook ongeveer 2,4 keer sneller dan de beste concurrenten. Maar de echte magie gebeurde toen de onderzoekers het testten op zaken die het nog nooit eerder had gezien. PISR slaagde erin om beroemde wetten te herstellen uit ruwe data in velden die zo verschillend waren als financiën, biologie en astronomie, inclusgens complexe turbulentiepatronen en de relatie tussen de helderheid van een ster en haar temperatuur.

Cruciaal is dat het paper aantoont dat PISR niet simpelweg antwoorden uit het hoofd leert. De onderzoekers bewezen dat in de "hersenen" van de computer (de wiskundige ruimte), echte wetenschappelijke wetten duidelijk gescheiden zijn van willekeurige, betekenisloze wiskunde. Het is alsof je een kamer hebt waar alle echte wetten in een nette, georganiseerde cirkel zitten, terwijl willekeurige onzin ver weg is verspreid. Omdat PISR weet dat deze cirkel bestaat, kan het de onzin negeren en zich concentreren op de betekenisvolle patronen.

Echter, dit is geen toverstaf die alles oplost. Het paper merkt zorgvuldig op dat PISR is ontworend voor "closed-form" wetten—vergelijkingen die je op een stuk papier kunt schrijven. Het kan momenteel vergelijkingen die veranderingstarieven over de tijd bevatten (zoals differentiaalvergelijkingen) niet op dezelfde manier aan. Ook worstelt het met abstracte wiskundige problemen die de regels van de natuurkunde niet volgen, omdat het heeft geleerd om die "off-manifold" structuren te negeren.

Kortom, P enters de verschuiving van "brute force zoeken" naar "slimme patroonherkenning". Het suggereert dat als we computers leren de onderliggende structuur te begrijpen van hoe het universum zijn regels schrijft, we die regels veel sneller en nauwkeuriger kunnen terugvinden uit rommelige data dan voorheen. De onderzoekers hebben aangetoond dat wetenschappelijke wetten een speciale, gestructureerde hoek van de wiskundige ruimte bezetten, en door te leren navigeren in die hoek, kunnen we de geheimen van het universum herontdekken met één enkele, snelle blik.

Technische Samenvatting: Een Zoekvrij Fundamenteel Model voor Symbolische Regressie van Natuurwetten

1. Probleemstelling

Symbolische Regressie (SR) streeft naar het terugwinnen van interpreteerbare, gesloten mathematische wetten uit observationele data. Hoewel dit centraal staat bij wetenschappelijke ontdekking, kampen bestaande methoden met een fundamentele afruil tussen nauwkeurigheid en snelheid:

Zoekgebaseerde methoden (bijv. Genetische Algoritmen, GPU-parallel enumeratie) zijn accuraat op schone, laagdimensionale data, maar lijden onder hoge computationele kosten, broosheid bij ruisige real-world data, en de noodzaak om de combinatorische expressieruimte voor elk nieuw probleem opnieuw te verkennen.
End-to-end deep learning methoden (bijv. transformers) bieden snelheid, maar behandelen SR doorgaans als een sequentie-translatie taak. Ze leren de datadistributie te modelleren in plaats van de onderliggende ruimte van formules, waardoor ze een expliciet gebrek hebben aan priors op de structuur van natuurwetten. Bij consequentie worstelen ze met de discrete, niet-gladde en super-exponentieel groeiende ruimte van expressies die vereist is voor echte fysieke ontdekking.

Het artikel stelt dat huidige datagestuurde algoritmen er niet in slagen te redeneren over de gestructureerde relaties van de echte fysica, omdat ze geen model coderen van de "ruimte van formules" die ze voorspellen.

2. Methodologie: PISR (Physics-Informed Symbolic Regression)

De auteurs stellen PISR voor, een zoekvrij fundamenteel model dat symbolische regressie herformuleert als een generatieprobleem binnen een vooraf getraind, contrastief uitgelijnd formule-data-manifold. De kernhypothese is dat echte natuurwetten een gestructureerde, laag-complexe sub-manifold bezetten binnen de enorme ruimte van alle mogelijke expressies, gevormd door dimensionale consistentie en terugkerende compositionele motieven.

Architectuur en Training

Gedeelde Latente Manifold: PISR maakt gebruik van twee encoders die uitgelijnd zijn via een symmetrische InfoNCE contrastieve objectief (CLIP-stijl):
1. Data Encoder ( $E_d$ ): Een permutatie-invariante encoder (gepoolde multi-head attention met 16 geleerde seed tokens) die puntenwolken $\{(x_i, y_i)\}$ mapt naar een latente vector $z_d$ .
2. Formula Encoder ( $E_f$ ): Een graph neural encoder die de abstracte syntaxboom (AST) van een expressie mapt naar een latente vector $z_f$ .
- Alignment: Tijdens de training wordt een formule en de data die deze genereert naar nabijgelegen punten in de latente ruimte ( $\mathbb{R}^{640}$ ) getrokken, waardoor nabijheid een proxy wordt voor de functionele relatie.
Structurele Supervisie: Het model wordt getraind op een grote natuurkunde/wiskunde corpus (33,6 miljoen expressies) aangevuld met een natuurkundige kennisgraaf. Een structurele verliesterm ( $L_{struct}$ ) dwingt een physics-informed prior af over de expressiestructuur, gebruikmakend van ouderwetten, preconditionen en afleidings-DAG-randen.
Model Schaal: Het volledige model bestaat uit ongeveer 0,4 miljard parameters, inclus inclusief de encoders, een flow-matching veld en een decoder.

Inferentie Pipeline (Zoekvrij)

PISR opereert in een enkele geamortiseerde forward pass zonder per-instantie symbolische zoektocht:

Latente Generatie: Een flow-matching veld (DiT-stijl) transporteert de data-latente $z_d$ naar kandidaat-formule-latenten.
Retrieval: Een bibliotheek van 400.000 real-formula latenten is geïndexeerd. De $k$ -nearest neighbors van $z_d$ worden opgehaald om een non-parametrische aanvulling te bieden op de gegenereerde kandidaten.
Conditioned Decoding: Een autoregressieve decoder rendert zowel de flow-gegenereerde als de opgehaalde latenten naar expressie-skeletten (getypeerde tokens), geconditioneerd op de datarepresentatie.
Selectie: De vrije constanten van kandidaat-expressies worden gefit via niet-lineaire kleinste kwadraten. Kandidaten worden uitsluitend gerangschikt op basis van held-out voorspellende fout (er wordt geen complexiteitsstraf toegepast, aangezien natuurwetten structureel complex kunnen zijn). De best presterende expressie wordt geretourneerd.

3. Belangrijkste Bijdragen en Bevindingen

De Formule-Manifold Hypothese

Het artikel levert empirisch bewijs dat echte natuurkundige formules lineair scheidbaar zijn van willekeurige expressies in de geleerde latente ruimte.

Scheidbaarheid: Een lineaire probe bereikt een ROC-AUC van 94,4% in het onderscheiden van echte natuurwetten van structureel gematchte willekeurige expressies (waarbij de frequentie van operatoren en lengte gecontroleerd wordt).
Geometrie: Echte wetten vormen een rijke, uitgebreide structuur (participatie ratio 21,5) die duidelijk verschilt van willekeurige expressies (10,5), wat bevestigt dat de "wet-regio" wordt gedefinieerd door een compositionele grammatica in plaats van louter een kleinere subset te zijn.
Dimensionale Analyse: Deze scheidbaarheid is gegrond in de Buckingham- $\pi$ stelling, die geldige wetten beperkt tot dimensieloze groepen, waardoor het overgrote deel van de syntactisch geldige maar fysiek onmogelijke expressies effectief wordt gepruned.

Benchmark Prestaties

PISR werd geëvalueerd op drie benchmarks tegen vier baselines: Genetic Programming (PySR), GPU-parallel enumeratie (PSE), een domeinspecifieke transformer (PhyE2E) en latente generatieve SR (GenSR).

Real-Physics Benchmark (797 taken): PISR bereikte 51,32% structurele nauwkeurigheid, waarmee het de op één na beste model (PySR) met 7,66 procentpunt versloeg.
Cross-Domain Generalisatie (270 taken): PISR bereikte 71,11% nauwkeurigheid, waarmee het PySR met 15,93 punten overtrof. Dit suggereert dat het model de structuur van wetmatige formules heeft geleerd in plaats van enkel de natuurkundige distributie, wat transfer naar financiën, economie en biologie mogelijk maakt.
Feynman Vergelijkingen (119 taken): PISR bereikte 39,50% nauwkeurigheid, waarmee het de GPU-enumeratie baseline met 6,73 punten leidde.
Efficiëntie: PISR is ongeveer 2,4× sneller dan genetische programmering en 2,5× sneller dan GPU-enumeratie, waarbij slechts een enkele forward pass (~12,25s per taak) nodig is in vergelijking met de iteratieve zoektocht van de baselines.

Herstel van Complexe Wetten

PيSR herstelde uniek benoemde wetten uit ruwe data waar alle baselines faalden, met name in gevallen die betrekking hebben op:

Transcendente functies: Het correct identificeren van exponentiële of logaritmische vormen waar baselines algebraïsche surrogaten gebruikten (bijv. geneste machten of rationale benaderingen).
Variabele exponenten: Het herstellen van vormen met variabele exponenten (bijv. $x^n$ ) waar transformers vaste exponenten vervingen.
Specifieke Domeinen: Het succesvol herstellen van de Kolmogorov twee-derde wet uit turbulentiedata, de Stefan–Boltzmann-relatie uit stellaire catalogi, en de Reynolds-stress closure (waarbij een $R^2 \approx 0,99$ werd bereikt waar klassieke modellen faalden).

4. Betekenis en Claims

Het artikel beweert dat PISR een paradigmaverschuiving vertegenwoordigt van het "zoeken" naar wetten naar het "genereren" ervan binnen een natuurkundig geïnformeerde manifold.

Inductieve Bias: Door te specialiseren in de manifold van wetmatige formules, bereikt het model een state-of-the-art nauwkeurigheid op echte wetenschappelijke data, terwijl het de "structuurvrije" regio van abstracte expressieruimtes vermijdt waar het slecht presteert (een kenmerk, geen fout, van het ontwerp).
Generalisatie: Het model laat zien dat een enkel op natuurkunde getraind fundamenteel model kan generaliseren naar niet-fysische wetenschappelijke domeinen (bijv. economie, biologie) omdat deze domeinen dezelfde "compositionele grammatica" van wetenschappelijke wetten delen.
Schaalbaarheid: De zoekvrije architectuur maakt het computationeel haalbaar om grootschalige hypothesegeneratie en -validatie te proberen voor open closure-problemen (bijv. turbulentiemodellering), waardoor het veld verschuift van het herstellen van bekende wetten naar het voorstellen van nieuwe wetten.

De auteurs benadrukken dat het succes van het model berust op de hypothese dat natuurwetten geen willekeurige elementen van de expressieruimte zijn, maar een gestructureerde sub-manifold bezetten die gedefinieerd wordt door dimensionale consistentie en fysieke motieven. Deze prior is doorslaggevend voor het omgaan met de ruisige, dimensionaal gestructureerde data die kenmerkend zijn voor de echte wereld.