Learned variable-support priors accelerate symbolic regression of physical laws

Technische Samenvatting: Learned Variable-Support Priors voor Symbolische Regressie

Probleemstelling
Symbolische regressie (SR) streeft naar het ontdekken van interpreteerbare natuurkundige wetten door de ruimte van wiskundige expressies te doorzoeken om een compacte formule te vinden die bij geobserveerde data past. Hoewel SR voordelen biedt ten opzichte van black-box voorspellers—zoals dimensionale consistentie en extrapolatievermogen—wordt het geconfronteerd met een fundamenteel combinatorisch obstakel. Het aantal kandidaat-expressiebomen groeit exponentieel met het aantal invoervariabelen en beschikbare operatoren. In fysische toepassingen maken leidende wetten doorgaans slechts een kleine subset van gemeten variabelen en een beperkte set operatoren gebruik, maar standaard solvers moeten een enorme zoekruimte verkennen die veel irrelevante takken bevat. Deze inefficiëntie leidt tot slechte schaalbaarheid, vooral wanneer datasets veel "distractor"-kolommen (irrelevante variabelen) bevatten, wat ervoor zorgt dat solvers ofwel er niet in slagen de ware wet te vinden, ofwel convergeren naar spurious, overfitte expressies.

Methodologie: DenoisedSR
De auteurs stellen DenoisedSR voor, een solver-agnostische, geleerde front-end die ontworpen is om SR te versnellen door een "support prior" te voorspellen—een subset van invoervariabelen (en optioneel operatoren) die waarschijnlijk deel uitmaken van de leidende wet. In plaats van te proberen de volledige vergelijking direct te decoderen (wat vaak leidt tot structurele fouten), verkleint DenoisedSR de zoekruimte voordat de backend-solver begint.

De systeemarchitectuur bestaat uit:

1. Ensemble Predictor: Een combinatie van een Graph-Attention Network (GAT) en een Random Forest (RF) model.
   • De GAT opereert op een graaf waar knopen de invoerkolommen vertegenwoordigen. Kenmerken van knopen zijn statistische momenten, correlatie met de doelvariabele, monotoniciteit en dimensionale beschrijvingen. Randen coderen een co-occurrence prior die is geleerd uit een kennisgraaf van fysische wetten, waardoor het model kan redeneren over welke variabelen gezamenlijk een plausibele wet ondersteunen.
   • De RF scoort kolommen op basis van per-kolom statistieken.
   • De uiteindelijke score is een gewogen som: $s(col) = RF(col) + \sigma(GAT(col))$.
2. Drempelwaarde (Thresholding): Variabelen worden behouden als hun score een lage drempelwaarde ($\tau = 0.10$) overschrijdt, waarbij prioriteit wordt gegeven aan een hoge recall om te garanderen dat de ware wet bereikbaar blijft.
3. Operator Prior (Optioneel): Een analoge GAT-model voorspelt een subset van relevante operatoren op basis van fysische variabelenamen (bijv. het associëren van $\theta$ met trigonometrische functies).
4. Integratie: De voorspelde support-set wordt doorgegeven aan een conventionele SR-backend (bijv. PySR, gplearn, of GPU-gebaseerde enumeratie), die de uiteindelijke zoektocht uitvoert over de gereduceerde variabele- en operator-set.

Belangrijkste Bijdragen

• Solver-Agnostische Versnelling: De methode fungeert als een pre-processing laag die elke boomzoek- of enumeratie-backend verbetert zonder de interne logica van de solver te wijzigen.
• High-Recall Filtering: Het model bereikt een recall van $\ge 0.96$ op externe fysica-benchmarks, wat effectief garandeert dat ware variabelen zelden worden verwijderd, terwijl het aantal kandidaat-kolommen aanzienlijk wordt verminderd.
• Onderscheid van Dimensionaliteitsreductie: De auteurs laten zien dat de prestatiewinst voortkomt uit geleide zoekinstructies in plaats van louter dimensionaliteitsreductie, wat wordt gevalideerd door controles met willekeurige support-sets van dezelfde grootte.

Resultaten
Het paper evalueert DenoisedSR over vier externe benchmarks (AI-Feynman, Strogatz, Nguyen, en SRSD-Feynman) en drie structureel verschillende backends (PySR, gpleam, en PSE).

• Variabele Herstel (Variable Recovery): Op de AI-Feynman benchmark (118 vergelijkingen) bereikt het ensemble een perfect herstel (1.000), waarbij alle ware variabelen worden teruggevonden. Het presteert beter dan vijf klassieke feature selectors (Pearson/Spearman correlatie, Mutual Information, Random Forest Importance, Lasso), die ware variabelen missen in 30–80% van de gevallen, zelfs met oracle-kennis van het aantal variabelen. Het model blijft robuust tegen labelruis tot 30% relatieve Gaussische ruis.
• Backend Prestaties (PySR): Onder een vaste budget van 10 seconden, verhoogt het aanleveren van de variabele-prior aan PySR de recovery rate van de exacte wet van $42 \pm 13\%$ naar een seed-stabiele $60 \pm 0\%$. De gemiddelde held-out $R^2$ verbetert van $0.906$ naar $0.980$. De kandidaat-kolomset wordt met 85% verminderd (van ~23 naar ~3.4 kolommen) en de zoekvocabulaire wordt gehalveerd.
• Schaalbaarheid met Distractors: Het prestatieverschil tussen geleide en ongeleide zoektochten wordt monotoon groter naarmate het aantal distractor-kolommen toeneemt (van 5 naar 30). Terwijl de volledige PySR-recovery significant daalt met meer distractoren, behoudt DenoisedSR een stabiele recovery rate van ~61–62%.
• Tijd-tot-Oplossing (Time-to-Solution): Door irrelevante takken weg te snijden, versnelt DenoisedSR de tijd-tot-oplossing met wel 6$\times$ voor niet-triviale formules, met een mediane versnelling van ~1.5$\times$. Front-end inferentie voegt slechts ~40 ms per taak toe.
• Generalisatie naar Andere Backends:
  • gplearn (Klassieke GP): Exact herstel verbetert van 3.3% naar 17.8%.
  • PSE (GPU Parallel Enumeration): Exact herstel springt van 0% naar 40%, aangezien de prior ervoor zorgt dat de sampler informatieve subsets van variabelen trekt.
• Black-Box Data: Op 24 PMLB/SRBench black-box taken verbetert DenoisedSR de gemiddelde held-out $R^2$ aanzienlijk vergeleken met volledige zoektochten, terwijl een random-support controle de prestaties verslechtert, wat de waarde van observatie-geconditioneerde begeleiding bevestigt.
• Beperkingen in Specifieke Regimes: Op de SRSD-Feynman benchmark, die weinig fysisch plausibele dummy-variabelen bevat, is de prior grotendeels neutraal. Dit bevestigt dat de methode het meest effectief is wanneer de ratio van distractor-tenenteije ware variabelen hoog is.

Betekenis en Claims
Het paper claimt dat geleerde support priors een "high-leverage, low-risk interventie" vormen voor symbolische regressie. Door de moeilijke taak van variabele selectie te ontkoppelen van het proces van vergelijking ontdekken, stelt DenoisedSR bestaande solvers in staat om efficiënter en betrouwbaarder te opereren. De auteurs benadrukken dat hoewel de neurale front-end nog niet betrouwbaar variabelen aan specifieke posities in een expressie kan toewijzen (de "assignment gap"), het succesvol identificeert welke grootheden ertoe doen. Deze aanpak complementeert bestaande physics-aware priors en dimensionale analyse, en biedt een praktisch pad naar snellere en robuustere ontdekking van natuurwetten zonder dat end-to-end neurale vergelijking generatie vereist is. De methode wordt gepresenteerd als onmiddellijk bruikbaar voor het verbeteren van huidige solvers, waarbij een faalmodus die empirisch veilig is (hoge recall zorgt ervoor dat de ware wet niet wordt uitgesloten).