🤖 machine learning

LLM-PDESR: Robust PDE Discovery via Subdomain Weighted Residuals and LLM-Guided Symbolic Hypothesis Generation

LLM-PDESR is een nieuw raamwerk dat door Large Language Models gestuurde symbolische hypothesegeneratie combineert met robuuste subdomein-gewogen residuen en $C^4$ -continue spline-differentiatie om nauwkeurig leidende partiële differentiaalvergelijkingen te ontdekken uit ruisgevoelige gegevens, waarbij het bestaande methoden aanzienlijk overtreft in structurele herstelcapaciteit en ruisbestendigheid.

Oorspronkelijke auteurs: Jinyang Du, Hao Ma, Xiaohu Shi, Bo Yang, Yanchun Liang, Heow Pueh Lee, Chunguo Wu

Gepubliceerd 2026-07-14

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jinyang Du, Hao Ma, Xiaohu Shi, Bo Yang, Yanchun Liang, Heow Pueh Lee, Chunguo Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen: een reeks luidruchtige, rommelige aanwijzingen (data) die zijn achtergelaten door een complex fysiek systeem, zoals een kolkende storm of een stromende rivier. Je doel is om het verborgen "regelboek" (de wiskundige vergelijking) te vinden dat verklaart hoe dat systeem beweegt.

Lange tijd probeerden detectives dit op te lossen door willekeurige combinaties van wiskundige symbolen te raden, zoals een aap die op een toetsenbord typt in de hoop een roman te schrijven. Dit wordt Symbolic Regression genoemd. Maar wat is het probleem? De "ruis" in de data (zoals statische elektriciteit op een radio) werkt als een grapjas. Wanneer de detectives probeerden te berekenen hoe snel dingen veranderden (afgeleiden) met oude methoden, explodeerde de ruis, waardoor de aanwijzingen eruitzagen als een vervormde, onmogelijke kaart. De detectives raakten verdwaald en joegen op valse leads die veelbelovend leken, maar eigenlijk wiskundige trucjes waren.

Maak kennis met LLM-PDESR, een nieuw detective-team dat een superintelligent AI-brein combineert met een zeer zorgvuldige, ruisbestendige vergrootglas.

Het Nieuwe Detective-team: Hoe het Werkt

In plaats van alleen maar willekeurige wiskunde te raden, gebruikt dit team een Large Language Model (LLM) — een type AI dat getraind is op enorme hoeveelheden wetenschappelijke boeken — om te fungeren als de "Ideeën-generator". Denk aan de LLM als een brilante natuurkundige die naar de rommelige data kan kijken en zegt: "Hm, misschien bevat de regel hier een kromming en daar een helling," en zo een lijst met mogelijke vergelijking-skeletten voorstelt.

Maar de LLM is niet perfect; het kan een wiskundige structuur voorstellen die er gaaf uitziet, maar die faalt wanneer je probeert deze te meten tegenover de rommelige data. Dat is waar het tweede deel van het team om de hoek komt kijken: de Ruisbestendige Evaluator.

De Smoothie Maker (Quintic Splines): In plaats van naar individuele, schokkerige datapunten te kijken (wat de ruis laat schreeuwen), mengt deze methode de data tot een gladde, continue curve met behulp van iets dat quintic splines wordt genoemd. Het is alsof je een hobbelige, rotsachtige weg omzet in een perfecte snelweg, zodat je de snelheid kunt meten zonder dat de auto uit elkaar trilt. Hierdoor kan het team afgeleiden (veranderingssnelheden) berekenen tot de 4e orde zonder dat de ruis de wiskunde verpest.
De Ruisfilter (Subdomain Weighted Residuals): In plaats van te controleren of de vergelijking op elk klein puntje klopt (waar de ruis het ergst is), controleert het team de vergelijking over kleine, overlappende gebieden. Ze gebruiken een speciale "testfunctie" (een gladde golfvorm) om de fouten te wegen. Dit werkt als een low-pass filter, dat van nature de hoogfrequente statische ruis blokkeert terwijl het het echte signaal behoudt. Het is als het luisteren naar een gesprek in een lawaaierige kamer door je te concentreren op het algemene ritme van de spraak, in plaats van op elk individueel gekraak van de microfoon.
De Pareto Coach: Zodra de LLM een vergelijking voorstelt en de Ruisbestendige Evaluator deze test, gebruikt het team een "Pareto-gestuurde feedbackloop". Stel je een coach voor die de LLM vertelt: "Die vergelijking is accuraat, maar hij is te ingewikkeld en vol met rommel. Probeer een simpelere te vinden die bijna net zo goed is." Dit houdt het uiteindelijke regelboek schoon en simpel, en voorkomt "vergelijking-bloat" (het toevoegen van onnodige termen om de ruis aan te passen).

De Grote Test: Werkt het?

Het team heeft hun nieuwe detective-methode door een reeks zware tests gehaald om te zien of het daadwerkelijk de waarheid vindt.

1. De Standaard Oefeningen (23 Canonieke Vergelijkingen)
Ze testten het systeem op 23 standaard natuurkundige vergelijkingen (zoals de beroemde Burgers-vergelijking) die goed bekend zijn in de wetenschap. Ze voegden verschillende niveaus van ruis toe, van 0% tot 20% (wat veel statische ruis is).

Het Resultaat: De nieuwe methode vond de juiste vergelijking 100% van de tijd wanneer er geen ruis was, en bleef ongelooflijk robuust, zelfs bij 20% ruis.
De Competitie: Andere methoden, zoals SGA-PDE, DISCOVER en WSINDy_PDE, begonnen slecht te presteren naarmate de ruis toenam. Ze vonden ofwel de vergelijking niet, of ze vonden de verkeerde. Eén methode, EqGPT, deed het redelijk, maar alleen omdat het extra stappen gebruikte om de data eerst op te schonen; LLM-PDESR kon de ruwe, rommelige data direct aan.

2. De "Nog Nooit Geziene" Uitdaging (5 Nieuwe Vergelijkingen)
Om te controleren of de AI niet gewoon antwoorden uit zijn trainingsdata aan het onthouden was, creëerden de onderzoekers 5 gloednieuwe, vreemde vergelijkingen die niet in enig tekstboek voorkomen. Deze bevatten onder andere:

Morphogenesis: Een model van hoe patronen ontstaan in de biologie met een lastige "rationale breuk" (een breuk met variabelen boven en onder).
Traffic Flow: Een model van auto's die vastlopen bij een flessenhals, waarbij scherpe, plotselinge veranderingen optreden.
Predator-Prey: Een systeem waarbij roofdieren prooien jagen op basis van de dichtheid van de prooi.
Het Resultaat:
- Voor Morphogenesis en het Predator-Prey systeem vond LLM-PDESR de exacte wiskundige structuur.
- Voor het Traffic Flow model liep de methode tegen een muur aan. De scherpe, plotselinge veranderingen (schokgolven) in de data waren te "stijf" voor de smoothing-methode om te verwerken, en de methode slaagde er niet in de exacte regel te vinden. Dit laat zien dat de methode grenzen heeft bij extreem grillige data.
- Voor de andere twee nieuwe vergelijkingen vond het een "gedeeltelijke" oplossing die de belangrijkste fysica vastlegde, zelfs als het een klein detail miste.
- Cruciaal: Alle andere methoden faalden volledig op deze nieuwe vergelijkingen. Ze raakten ofwel in loops, produceerden onzin, of konden de meerdere variabelen tegelijkertijd niet aan.

3. De Missie in de Werkelijkheid: De Atmosfeer
Ten slotte namen ze de methode mee uit het lab naar de echte wereld, gebruikmakend van ERA5-klimaatdata (een enorme dataset van de aardeweer). Ze wilden een simpele regel vinden om te verklaren hoe de wind in de atmosfeer beweegt.

De Ontdekking: De AI vond een nieuwe, interpreteerbare vergelijking genaamd 1D-CACE. Het was niet zomaar een willekeurige gok; het vond termen die fysiek zinvol waren, zoals hoe wind in de ene richting de wind in een andere richting duwt, en ontdekte zelfs speciale termen die fungeren als "closure" voor ontbrekende 3D-effecten (zoals de rotatie van de aarde).
Het Bewijs: Ze testten deze nieuwe regel op data van verschillende plaatsen en tijden (zoals van de Noordelijke Stille Oceaan naar de Zuidelijke Indische Oceaan, of van januari naar februari).
- Toen ze naar de Westelijke Pacific verhuisden, werkte de regel nog steeds met een nauwkeurigheid (R²) van 60,97%.
- Toen ze naar de Zuidelijke Indische Oceaan verhuisden (een compleet ander halfrond en seizoen), veerkrachtte het terug naar 72,54%.
- Dit bewijst dat de AI niet alleen het specifieke weer van één week heeft onthouden; het heeft de onderliggende, onveranderlijke wetten gevonden van hoe de atmosfeer beweegt.

Wat het Papier Uitsluit

De auteurs zijn heel duidelijk over wat deze methode niet is:

Het is geen toverstaf die elk probleem oplost. Het faalt expliciet bij vergelijkingen met extreme, bijna discontinue schokgolven (zoals het Traffic Flow voorbeeld), waar de wiskunde te "stijf" wordt voor de smoothing-techniek.
Het is geen methode die vertrouwt op "handgemaakte" lijsten van wiskundige termen (dictionaries) zoals oudere methoden. Die lijsten zijn te rigide en kunnen de vreemde, nieuwe vormen die de AI vond niet aan.
Het is geen black box. In tegenstelling tot deep learning-modellen die alleen getallen voorspellen zonder uit te leggen waarom, geeft deze methode een duidelijke, leesbare vergelijking terug.

Hoe Zeker Zijn We?

Het paper suggereert niet alleen dat dit werkt; ze hebben het uitgebreid gemeten.

Ze draaiden 23 standaardtests en 5 nieuwe tests met specifieke ruisniveaus.
Ze vergeleken hun resultaten met vier andere top-tier methoden met strikte metrieken zoals de "Structural Success Rate" (hebben ze de exacte vergelijking gevonden?) en de "Relative Coefficient Error" (hoe dicht zitten ze bij de getallen?).
De resultaten zijn gesimuleerd en gemeten op echte data (ERA5), maar de "perfecte" herstel van de nieuwe vergelijkingen is gebaseerd op synthetische data die specifiek voor deze test is gegenereerd.
De claim dat het "significant beter presteert" dan de huidige stand van zaken wordt ondersteund door de data: in de ruistests bleef de nieuwe methode nabij de 100% succes, terwijl anderen naar bijna 0% zakten.

Kortom, LLM-PDESR is een krachtig nieuw hulpmiddel dat een slimme AI gebruikt om de vorm van het regelboek te raden en een zorgvuldig wiskundig filter gebruikt om te controlen of de gok echt is, zelfs wanneer de data rommelig is. Het is een enorme stap voorwaarts, maar het worstelt nog steeds wanneer de data te grillig en chaotisch wordt.

Technische Samenvatting: LLM-PDESR

Probleemstelling

De ontdekking van sturende partiële differentiaalvergelijkingen (PDE's) uit ruisgevoelige observationele data blijft een fundamentele uitdaging in wetenschappelijk machine learning. Traditionele symbolische regressie (SR) methoden, variërend van sparse regressie tot genetische programmering, kampen met twee kritieke knelpunten:

Beperkingen in de zoekruimte: Ze hebben moeite om te schalen over enorme combinatorische hypotheseruimtes en missen de architecturale flexibiliteit om domeinspecifieke fysieke priors te integreren zonder te vertrouwen op rigide, handmatig ontworpen functielibraries.
Numerieke instabiliteit: De afhankelijkheid van puntgewijze evaluaties en discrete eindige verschilmethoden (finite difference, FD) voor het berekenen van afgeleiden versterkt inherent de hoogfrequente meetruis. Deze verstoring creëert misleidende fitnesslandschappen die optimalisatieprocessen ontsporen, waardoor algoritmen niet in staat zijn om ware fysieke mechanismen te onderscheiden van wiskundige artefacten.

Hoewel Large Language Models (LLMs) zijn opgekomen als veelbelovende motoren voor het genereren van fysiek plausibele structurele hypothesen, wordt hun uitbreiding naar complexe, tijdsafhankelijke PDE's momenteel gehinderd door precies dezelfde numerieke instabiliteiten. Het voeden van misleidende fitnessscores aan een LLM zorgt ervoor dat evolutionaire zoektochten falen.

Methodologie: LLM-PDESR

De auteurs stellen LLM-PDESR voor (Large Language Model-guided Partial Differential Equation Symbolic Regression), een end-to-end framework dat de structurele hypothesegeneratie van LLMs integreert met een wiskundig rigoureuze, ruisbestendige evaluatieomgeving. Het framework werkt via een gesloten loop-pipeline bestaande uit drie kernmodules:

1. LLM-gestuurde Hypothesegeneratie

De LLM fungeert als een geautomatiseerde structurele architect. Gegeven fysieke observaties (bijv. ruimtelijke coördinaten en veldvariabelen), genereert de LLM een populatie van kandidaat-uitvoerbare vergelijkingen die worden gerepresenteerd als Python Abstract Syntax Trees (AST's).

Restricties: Om syntactisch of fysiek ongeldige structuren te voorkomen, wordt de zoekruimte strikt begrensd door vooraf gedefinieerde restricties (bijv. het afdwingen van specifieke afgeleide-operatoren zoals d_dx(u, order)).
Output: De LLM genereert alleen symbolische skeletten, waarbij parametervariabelen (bijv. params[0]) worden gebruikt voor numerieke coëfficiënten, die later numeriek worden geoptimaliseerd.

2. Robuuste Parameteridentificatie

Om het knelpunt van afgeleidenruis op te lossen, vervangt het framework standaard FD-methoden door een continue, ruisbestendige numerieke pipeline:

Quintische Spline Smoothing: Het ruisgevoelige ruimtelijke veld wordt gereconstrueerd met behulp van $C^4$ continue quintische B-splines. Dit maakt analytische, ruisbestendige ruimtelijke differentiatie toe tot de vierde orde, waardoor de $O(\sigma/(\Delta x)^k)$ ruisversterking die inherent is aan discrete FD's wordt vermeden.
Subdomain Weighted Residuals (SWR): In plaats van puntgewijze Mean Squared Error (MSE), evalueert het framework de PDE-residuen door te integreren tegen gladde, compact ondersteunde testfuncties over gelokaliseerde subdomeinen. Deze formulering fungeert als een natuurlijke low-pass filter, die hoogfrequente ruis dempt vóór de foutberekening.
Optimalisatie: Parameters worden geoptimaliseerd met behulp van het quasi-Newton BFGS-algoritme om de geïntegreerde residuele loss te minimaliseren, wat zorgt voor betrouwbare convergentie op een gladgestreken fitnesslandschap.

3. Pareto-gestuurde Evaluatie en Selectie

Het framework modelleert de vergelijkingontdekking als een multi-objective optimalisatieprobleem, waarbij een balans wordt gezocht tussen voorspellende nauwkeurigheid (Score: $-MSE$) en structurele parsimonie (Complexiteit: AST-nodeaantal).

Feedback Loop: Een Pareto-front wordt bijgehouden om de trade-off tussen nauwkeurigheid en complexiteit te monitoren. De top 3 elite-oplossingen (hoogste score, laagste complexiteit en gebalanceerd) worden geserialiseerd en teruggevoerd in de LLM-prompt om iteratieve verfijning te sturen.
Geautomatiseerde Selectie: De uiteindelijke vergelijking wordt geselecteerd op basis van een logaritmische fouttolerantie, waarbij de eenvoudigste structuur binnen een orde van grootte van de globale minimale fout wordt gekozen, wat onfysische "bloat" effectief wegsnijdt.

Belangrijkste Bijdragen

Framework Integratie: De voorstel van LLM-PDESR, die de structurele generatie van LLM's koppelt aan continue numerieke optimalisatie en evolutionaire zoektochten om de ontdekking van PDE's te automatiseren.
Resolutie van Ruis: De oplossing van het afgeleidenruis-knelpunt via $C^4$ continue quintische splines en SWR-evaluaties. Dit mitigeert de verstoring van het fitnesslandschap, terwijl een Pareto-gestuurde feedbackloop de balans tussen nauwkeurigheid en parsimonie optimaliseert.
Rigoureuze Benchmarking: De introductie van een uitgebreide benchmark bestaande uit 23 canonieke PDE's en vijf structureel nieuwe vergelijkingen. Deze nieuwe vergelijkingen (bijv. Topography-Constrained Chemotaxis, Cross-Chemotactic Predator-Prey) zijn expliciet ontworpen om dataset-memorisatie te voorkomen en de capaciteit voor echte symbolische ontdekking te valideren.
Real-World Applicatie: De succesvolle extractie van een interpreteerbare 1D dynamische surrogaat (1D-CACE) direct uit ruisgevoelige ERA5 klimaat-reanalyse data, wat de capaciteit van het framework demonstreert om invariante dynamische mechanismen te vangen in complexe, real-world systemen.

Experimentele Resultaten

Het framework werd geëvalueerd tegen state-of-the-art methodologieën (SGA-PDE, DISCOVER, WSINDy_PDE, en EqGPT) over drie regimes:

Canonieke PDE's: Op 23 benchmark-PDE's met variërende ruisniveaus (0% tot 20%) behaalde LLM-PDESR een structurele succesrate van 100% bij 0% ruis en behield een consistent hoge robuustheid naarmate de ruis toenam. Concurrenten leden onder ernstige degradatie, waarbij velen niet tot convergentie kwamen onder ruisige condities.
Structureel Nieuwe Vergelijkingen: Op vijf vergelijkingen die ontworpen zijn als out-of-distribution (bijv. niet-polynomiale rationale breuken, hoge-orde nonlineariteiten, gekoppelde multivariate systemen), faalden traditionele baselines universeel of produceerden ze onfysische, overfitte expressies. LLM-PDESR slaagde erin de exacte wiskundige skeletten te herstellen voor Morphogenesis en het gekoppelde Predator-Prey systeem, en behaalde de laagste Mean Squared Error (MSE) over alle vijf de systemen, zelfs wanneer exacte symbolische herwinning slechts gedeeltelijk was.
Real-World Ontdekking (1D-CACE): Toegepast op de hourly wind velocity data van de ERA5-dataset, extraheerde het framework een gekoppelde atmosferische circulatie surrogaat.
- Generalisatie: Het ontdekte structurele skelet vertoonde een sterke out-of-distribution (OOD) generalisatie. Wanneer bevroren en opnieuw geoptimaliseerd voor verschillende spatiotemporele domeinen (bijv. Westelijk Pacifisch, Zuidelijk Indische Oceaan, en verschillende maanden), behield het model een hoge voorspellende getrouwheid ( $R^2$ variërend van 58% tot 76%), wat bevestigt dat het invariante dynamische mechanismen heeft gevangen in plaats van lokale statistische artefacten.
- Fysieke Interpretatie: De ontdekte termen, inclusief ruimtelijk afhankelijke closure-termen ($xv, xu$), bleken wiskundige proxies te zijn voor onopgeloste macroscopische achtergrondgradiënten (analoog aan de $\beta$ -plane benadering), in plaats van louter overfitting.

Betekenis en Claims

Het artikel claimt dat LLM-PDESR bestaande state-of-the-art methodologieën significant overtreft in structurele herwinning, ruisresistentie en het vermijden van spuriaal complex. Door de redeneerkracht van LLM's te integreren met een continue, ruisbestendige evaluatieomgeving, overwint het framework de beperkingen van discrete numerieke differentiatie die de ontdekking van PDE's historisch gezien hebben gehinderd.

De auteurs benadrukken dat het vermogen van het framework om structureel nieuwe vergelijkingen te ontdekken en te generaliseren over verschillende spatiotemporele regimes, de capaciteit voor echte symbolische ontdekking valideert in plaats van training-data memorisatie. De succesvolle toepassing op chaotische, real-world klimaatdata suggereert een pad voor het extraheren van interpreteerbare, reduced-order modellen uit complexe fysieke systemen waar traditionele methoden falen.

Erkende Beperkingen:
De auteurs merken op dat het framework momenteel moeite heeft met PDE's die extreme numerieke stijfheid of bijna discontinue shockfronts vertonen (bijv. verkeersstroom met ruimtelijke bottlenecks), waarbij steile gradiënten de SWR-integratie en BFGS-optimalisatie verstoren. Daarnaast introduceert de afhankelijkheid van iteratieve LLM-inferentie computationele overhead, en is de huidige implementatie beperkt tot 1D-systemen op gestructureerde grids. Toekomstig werk is gericht op het uitbreiden van het framework naar 2D/3D ongestructureerde grids en het optimaliseren van de computationele efficiëntie.