From Data to Laws: Neural Discovery of Conservation Laws Without False Positives

Dit paper introduceert NGCG, een neural-symbolische pipeline die conservatiewetten uit data nauwkeurig en zonder vals-positieven ontdekt door dynamica en invariantie te ontkoppelen, waardoor het superieur presteert op diverse chaotische en dissipatieve systemen.

De kern

Van Data naar Wetten: Hoe een AI de "Onzichtbare Regels" van het Universum Ontdekt (Zonder Foutjes)

Stel je voor dat je een ingewikkeld spelletje kijkt, zoals een potje biljart of een dansende menigte. Je ziet de ballen bewegen of de mensen dansen, maar je weet niet wat de regels zijn. Misschien is er een onzichtbare wet die zegt: "De totale energie blijft altijd gelijk" of "De som van de snelheid en de positie verandert nooit".

In de natuurkunde noemen we dit behoudswetten. Ze zijn de basis van hoe het universum werkt. Maar vaak weten we deze regels niet, of zijn ze zo complex dat we ze niet kunnen opschrijven. Wetenschappers proberen ze nu te vinden met data: ze kijken naar duizenden video's van bewegingen en hopen dat een computer de regel kan afleiden.

Het probleem? De meeste computers zijn slordig. Ze vinden soms regels die eruitzien als waarheid, maar eigenlijk helemaal niets betekenen. Ze vinden "spookregels" (foute positieven), vooral bij chaotische systemen zoals weer of de beweging van een dubbele slinger.

Dit paper introduceert NGCG (Neural-Guided Conservation-law Generator). Laten we uitleggen hoe dit werkt met een paar creatieve vergelijkingen.

1. De Grote Uitdaging: De "Slordige Detective"

Stel je voor dat je een detective bent die probeert een moord op te lossen door naar getuigen te kijken.

• De oude methoden: Ze kijken naar de getuigen, trekken een conclusie en roepen: "Ik heb het gevonden!" Maar vaak hebben ze een verkeerde conclusie getrokken omdat ze in een lokaal minimum zaten (een valstrik) of omdat ze een toevallige overeenkomst zagen als een wet.
• Het probleem met parameters: Soms veranderen de regels van het spel. Als de biljartballen zwaarder worden, verandert de beweging. Oude methoden raken dan in de war.
• Het probleem met "niet-polynomen": Sommige regels zijn niet simpel (zoals $x + y$), maar complex (zoals $\ln(x)$). Oude methoden zoeken alleen naar simpele regels en missen de complexe waarheid.

2. De Oplossing: NGCG als een Slimme Productie-lijn

NGCG is geen enkele detective, maar een productie-lijn met vier gespecialiseerde afdelingen. Ze werken samen om zeker te zijn dat de gevonden regel echt waar is.

Afdeling 1: De "Voorbereider" (Neural Dynamics)

Eerst leert een computer (een neurale net) hoe het systeem zich gedraagt. Het is alsof een student de bewegingen van de biljartballen bestudeert om te voorspellen waar ze als volgende zijn.

• Belangrijk: Deze student leert niet de regels van het spel. Hij leert alleen hoe de ballen bewegen. Hij wordt daarna "bevroren" en doet niet meer mee. Dit voorkomt dat hij de regels verward met de beweging.

Afdeling 2: De "Zoeker" (Multi-Restart Variance Minimizer)

Nu komt de echte zoektocht. We hebben een klein neurale netwerk dat een getal moet vinden dat nooit verandert terwijl de ballen bewegen.

• De truc: Stel je voor dat je 10 verschillende detectives tegelijkertijd het werk laat doen, elk met een andere startpositie.
• Waarom? Omdat de zoektocht vol zit met "valstrikken" (lokale minima). Als je maar één detective stuurt, kan hij vastlopen in een nep-regel. Door 10 detectives te sturen, kiezen we degene die het beste resultaat heeft. Dit zorgt ervoor dat we de echte, onzichtbare wet vinden, zelfs bij complexe systemen zoals de Lotka-Volterra (roofdier-prooi) modellen.

Afdeling 3: De "Vertaler" (Symbolic Extraction)

De zoektocht heeft een getal gevonden dat constant blijft, maar dat getal is nog een "zwarte doos" (een ingewikkelde computerformule). We willen de regel in mensentaal (wiskunde).

• Speciale gereedschappen: Afhankelijk van het type spel gebruikt NGCG een ander gereedschap:
  • Voor simpele systemen gebruikt hij een Lasso (een soort filter) om de beste simpele formule te vinden.
  • Voor systemen met logaritmen (zoals roofdier-prooi) gebruikt hij een Log-Basis Lasso (een speciaal filter voor logaritmen).
  • Voor PDE's (grote stromen zoals wind of vloeistoffen) gebruikt hij expliciete kandidaten.
  • Als dat niet werkt, gebruikt hij PySR (een genetisch algoritme dat als een evolutionair proces nieuwe formules "ontwikkelt" tot de beste versie).
• Dit zorgt ervoor dat ze niet alleen simpele regels vinden, maar ook de complexe, logaritmische wetten die andere methoden missen.

Afdeling 4: De "Kritische Keurmeester" (Strict Gate & Diversity Filter)

Dit is het belangrijkste deel om geen fouten te maken.

• De Strikte Poort: Als een regel niet voldoende constant is (binnen een heel kleine marge), wordt hij direct weggegooid.
• De Diversiteitsfilter (De "Niet-Triviale" Test): Stel je voor dat een detective zegt: "De regel is: 'Het getal is altijd 5'." Dat is wel constant, maar het is een saaie, nutteloze regel. Een echte wet moet variëren tussen verschillende scenario's.
  • Als de regel op alle verschillende situaties precies hetzelfde getal geeft (bijvoorbeeld altijd 0,0001), is het waarschijnlijk een toevalstreffer of een fout.
  • De filter checkt: "Verandert deze regel als ik de startomstandigheden verander?" Als het antwoord nee is, wordt de regel verworpen.
  • Resultaat: NGCG zegt op systemen zonder regels gewoon: "Geen wet gevonden." Andere methoden roepen daar vaak foute regels.

3. Wat hebben ze bewezen?

De auteurs hebben hun methode getest op 9 verschillende systemen:

1. Met echte regels: (zoals een veer, een dubbele slinger, en roofdier-prooi).
   • Resultaat: NGCG vond op 100% van de gevallen de juiste wet. Geen enkele andere methode deed dit perfect. Ze vonden zelfs de complexe logaritmische wet van de roofdier-prooi, waar anderen faalden.
2. Zonder regels: (zoals het chaotische Lorenz-systeem of een dubbele slinger).
   • Resultaat: NGCG zei correct: "Geen wet gevonden." Geen enkele valse regel. Andere methoden (zoals HNN) gaven hier vaak foute regels, omdat ze dachten dat ze iets hadden gevonden.

4. Waarom is dit zo cool?

• Robuust: Het werkt zelfs als de data ruis bevat (zoals een wazige camera).
• Efficiënt: Het heeft maar weinig data nodig (soms 50 tot 100 trajecten).
• Snel: Het duurt minder dan een minuut per systeem op een gewone computer.
• Kieskeurig: Het geeft je niet één antwoord, maar een lijst met opties. Je kunt kiezen: "Wil je een heel simpele regel die 99% goed is, of een complexe regel die 99,99% goed is?" (Dit noemen ze de Pareto-grens).

Conclusie

NGCG is als een super-slome detective die nooit moe wordt, nooit in een valstrik terechtkomt, en altijd eerst twijfelt voordat hij een arrestatie doet. Door de zoektocht te splitsen in verschillende stappen en een strenge keurmeester te hebben, vinden ze de echte wetten van de natuur zonder de "spookregels" die andere AI's vaak vinden.

Het is een grote stap voorwaarts in het begrijpen van de wereld door alleen naar data te kijken, zonder dat we van tevoren weten hoe de regels eruitzien.

Technische samenvatting

Probleemstelling

Behoudswetten (grootheden die constant blijven langs de trajecten van een dynamisch systeem) zijn fundamenteel voor het begrijpen van fysische fenomenen. Het ontdekken van deze wetten puur uit data blijft echter uitdagend vanwege vier kritieke beperkingen in bestaande methoden:

1. Parameter-variatie: Veel methoden falen wanneer systeemparameters (zoals massa of veerconstante) variëren tussen verschillende trajecten, wat vaak voorkomt in real-world toepassingen.
2. Niet-polynomiale invarianten: Methoden die gebaseerd zijn op sparseregressie (zoals SINDy) hebben moeite met niet-polynomiale functies, zoals logaritmische invarianten (bijv. in het Lotka-Volterra model).
3. Lokale minima en valse positieven: Methoden die direct de variantie minimaliseren, kunnen vastlopen in slechte lokale minima. Op chaotische systemen zonder echte behoudswetten genereren ze vaak "spurious near-constants" (toevallige bijna-constanten) die ten onrechte als wetten worden geclaimd.
4. Beperkte benchmarks: Bestaande evaluaties zijn vaak beperkt tot een handvol systemen, waardoor generalisatie en robuustheid moeilijk te beoordelen zijn.

Methodologie: NGCG (Neural-Guided Conservation-law Generator)

De auteurs introduceren NGCG, een neuraal-symbolische pijplijn die dynamisch leren ontkoppelt van het ontdekken van invarianten. De architectuur bestaat uit vier decouplende stadia:

1. Stadium 1: Neuraal Dynamisch Model
   Een eenvoudig MLP (Multi-Layer Perceptron) wordt getraind om de dynamica van het systeem te voorspellen. Dit model wordt na training "bevroren" en dient alleen als referentie; het wordt niet gebruikt voor de daadwerkelijke ontdekking van behoudswetten om interferentie te voorkomen.

2. Stadium 2: Multi-Restart Variantie-minimalisatie
   Een klein neuraal netwerk $\phi$ wordt getraind om een scalair te outputten dat bijna constant is langs elk traject.

   • Verliesfunctie: Een genormaliseerde variantie-verliesfunctie die intra-traject variantie minimaliseert en de triviale oplossing (altijd constant) straft.
   • Multi-Restart: Om lokale minima te vermijden, wordt het netwerk 10 keer onafhankelijk getraind met verschillende initialisaties. Het model met de laagste validatie-constantheid wordt geselecteerd.

3. Stadium 3: Systeem-specifieke Symbolische Extractie
   Afhankelijk van het type systeem worden specifieke technieken gebruikt om een gesloten-formule uitdrukking te extraheren uit de voorspellingen van $\phi$:

   • Polynomial Lasso: Voor systemen met polynomiale invarianten (bijv. massa-veer), wordt de eigenvector van de kleinste eigenwaarde van de covariantiematrix gebruikt om een lineaire combinatie van monomen te vinden.
   • Log-basis Lasso: Specifiek voor het Lotka-Volterra-systeem, waarbij een basis van $\{x, y, \ln(x), \ln(y)\}$ wordt gebruikt.
   • Expliciete PDE-kandidaten: Voor partiële differentiaalvergelijkingen (PDE's) worden bekende grootheden (zoals ruimtelijke gemiddelden) als kandidaten toegevoegd.
   • PySR Fallback: Voor overige gevallen wordt PySR (een genetisch programmeringsinstrument voor symbolische regressie) gebruikt met een rijke operatorset.

4. Stadium 4: Strict Verification Gate en Diversiteitsfilter
   Om valse positieven te elimineren worden twee filters toegepast:

   • Strict Constancy Gate: Alleen kandidaten met een test-constantheid onder een drempel ($\tau = 0.01$) worden overwogen.
   • Diversiteitsfilter: Een echte behoudswet moet variëren tussen trajecten met verschillende parameters of beginvoorwaarden. Als de ratio tussen inter-traject variatie en intra-traject fluctuatie te laag is (drempel $\rho > 10$), wordt de kandidaat verworpen als een triviale constante.

Belangrijkste Resultaten

De methode is geëvalueerd op een benchmark van negen diverse dynamische systemen (ODE's, Hamiltoniaanse systemen, chaotische systemen, en PDE's), inclusief systemen met en zonder behoudswetten.

• Perfecte Ontdekking: NGCG bereikt een Discovery Rate (DR) van 1.0, een False Discovery Rate (FDR) van 0.0 en een F1-score van 1.0 op alle vier de systemen met echte behoudswetten.
• Uniek Succes: Het is de enige methode die succesvol de logaritmische behoudswet van het Lotka-Volterra-systeem ontdekt. Andere methoden (zoals HNN, SINDy, IRAS) falen hier.
• Geen Valse Positieven: Op de vijf systemen zonder behoudswetten (o.a. Lorenz-systeem, dubbele slinger, Burgers-vergelijking) geeft NGCG correct "geen wet" weer. Methoden zoals Hamiltonian Neural Networks (HNN) produceren hier vaak valse positieven.
• Nauwkeurigheid: De geïdentificeerde wetten hebben een constantheid die 2 tot 3 orde van grootte lager is dan de beste bestaande baselines.
• Robuustheid: De methode blijft stabiel bij ruis ($\sigma = 0.1$), vereist slechts 50-100 trajecten voor succesvolle ontdekking, en is ongevoelig voor hyperparameterkeuzes.
• Efficiëntie: De runtime is minder dan één minuut per systeem op één GPU.

Significantie en Bijdrage

Dit paper biedt een nieuwe standaard voor data-gedreven ontdekking van behoudswetten door een evenwicht te vinden tussen nauwkeurigheid en interpretabiliteit.

1. Eliminatie van Valse Positieven: De combinatie van een strikte constantheidsgate en een diversiteitsfilter lost het probleem op van "spurious invariants" op chaotische systemen, een veelvoorkomend probleem bij eerdere methoden.
2. Omgaan met Complexiteit: Door systeem-specifieke extractiemethoden (zoals log-basis Lasso) te combineren met een generieke fallback (PySR), kan NGCG zowel polynomiale als niet-polynomiale (logaritmische) invarianten ontdekken, zelfs bij variërende parameters.
3. Decoupling: Het ontkoppelen van dynamisch leren en invarianten-ontdekking verhoogt de stabiliteit en voorkomt dat fouten in het dynamische model de zoektocht naar wetten beïnvloeden.
4. Pareto-analyse: De methode levert een reeks kandidaat-uitdrukkingen op, waardoor gebruikers kunnen kiezen tussen complexiteit en nauwkeurigheid (interpreteerbaarheid vs. precisie).

Kortom, NGCG bewijst dat een zorgvuldig geïntegreerde neuraal-symbolische aanpak superieur is aan bestaande methoden voor het betrouwbaar en interpreteerbaar ontdekken van fundamentele natuurwetten uit data.