🤖 machine learning

When Good Equations Get Bad Scores: Improving Symbolic Regression Through Better Parameter Optimization

Dit artikel introduceert SAGE-Fit, een plug-and-play framework dat gebruikmaakt van structurele en semantische priors van symbolische expressies om de "Goede Structuur, Slechte Score"-knelpunt in Symbolische Regressie te doorbreken, waardoor de parameteroptimalisatie en de algehele zoekprestaties aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Boxiao Wang, Kai Li, Zhiwei Chen, Yang Huang, Runxiang Wang, Ziwen Zhang, Yifan Zhang, Jian Cheng

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Boxiao Wang, Kai Li, Zhiwei Chen, Yang Huang, Runxiang Wang, Ziwen Zhang, Yifan Zhang, Jian Cheng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen. Je hebt een stapel aanwijzingen (data) en je moet de geheime regel (een vergelijking) vinden die uitlegt hoe die aanwijzingen bij elkaar passen. Dit is wat Symbolische Regressie doet: het probeert de verborgen wiskundige wetten van de natuur uit data te ontdekken.

Echter, het artikel stelt dat de meeste detectives een gebrekkige strategie gebruiken. Ze zijn uitstekend in het raden van de vorm van de regel, maar slecht in het controleren of die vorm daadwerkelijk werkt.

Hier is de uiteenzetting van het probleem en de oplossing van het artikel, met behulp van eenvoudige analogieën.

Het Probleem: "Goede Vorm, Slechte Score"

Beschouw het werk van de detective als een tweestapsproces:

De Buitenste Lus (De Architect): Dit deel raadt de structuur van de vergelijking. Het is als het schetsen van een blauwdruk voor een huis. "Misschien is het dak een driehoek? Misschien zijn de muren van baksteen?"
De Binnenste Lus (De Bouwer): Zodra de blauwdruk is getekend, probeert dit deel de werkelijke getallen (parameters) erin te passen om te zien of het huis overeind blijft. Het is als proberen de spijkers in te slaan en het beton te mengen om te matchen met de schets.

Het Gebrek:
Het artikel stelt dat de "Architect" zeer slim is geworden, maar dat de "Bouwer" nog steeds een goedkoop, snel en onhandig gereedschap gebruikt (standaard wiskundige oplosprogramma's zoals BFGS).

Omdat de wiskunde erbij ongelooflijk complex is (als een landschap vol met diepe valleien en scherpe pieken), blijft de onhandige bouwer vaak vastzitten in een klein gat. Ze kijken naar een perfecte blauwdruk (een correcte vergelijkingstructuur) en zeggen: "Dit is een verschrikkelijk huis!" puur omdat ze de constructie niet goed hebben kunnen afmaken.

Het artikel noemt dit het "Goede Structuur, Slechte Score"-probleem. De detective verwerpt het juiste antwoord omdat de bouwer er niet in slaagde te bewijzen dat het werkt, waardoor het zoeken de verkeerde kant op gaat.

De Oplossing: SAGE-Fit

De auteurs stellen een nieuwe, super-slimme bouwer voor genaamd SAGE-Fit. In plaats van de vergelijking als een zwarte doos te behandelen, begrijpt SAGE-Fit de "taal" van de vergelijking. Het gebruikt drie speciale trucs om het bouwproces te repareren:

1. De "Scheiding"-truc (Structuur-bewust)

Stel je voor dat je een complex speelgoed in elkaar zet. Sommige onderdelen zijn makkelijk in te klikken (lineair), terwijl andere een precieze draaiing vereisen (niet-lineair).

Oude manier: De bouwer probeert elk onderdeel tegelijk te draaien en te draaien, raakt in de war en blijft steken.
SAGE-Fit: Het kijkt naar de blauwdruk, identificeert de makkelijke onderdelen en klikt ze perfect in met een eenvoudig, automatisch gereedschap. Hierdoor blijven alleen de lastige, draaiende onderdelen over waar de bouwer zich op moet concentreren. Dit maakt de taak veel kleiner en eenvoudiger.

2. De "Kaart"-truc (Semantisch geleid)

Stel je voor dat je de beste plek probeert te vinden om een kampvuur op te zetten in een bos.

Oude manier: De bouwer kiest willekeurige plekken op basis van coördinaten (bijvoorbeeld "5 stappen Noord, 3 stappen Oost"). Maar in dit bos kan "5 stappen Noord" dezelfde plek zijn als "5 stappen Noord + 360 graden" (een cirkel). De bouwer verspillen tijd door dezelfde plek keer op keer te controleren.
SAGE-Fit: In plaats van naar coördinaten te kijken, kijkt het naar het eigenlijke vuur. Het vraagt: "Geeft deze plek een warme, heldere vlam?" Het kiest startplekken die verschillende soorten vuur produceren. Dit zorgt ervoor dat de bouwer echt verschillende gebieden van het bos verkent en de valstrik vermijdt om dezelfde plek twee keer te controleren.

3. De "Rolballetje"-truc (Geprojecteerd Gauss-Newton)

Zodra de bouwer een paar goede startplekken heeft, moet hij de absolute beste plek vinden (de bodem van de vallei).

Oude manier: De bouwer rolt een balletje de heuvel af, maar de heuvel is zo hobbelig dat het balletje vast komt te zitten in kleine kuilen.
SAGE-Fit: Het gebruikt een speciale, gebogen helling die precies weet hoe de heuvel eruitziet. Het leidt het balletje soepel en snel naar de allerbodem van de diepste vallei, zodat het elke keer de best mogelijke aanpassing vindt.

De Resultaten

De auteurs hebben deze nieuwe bouwer (SAGE-Fit) getest door hem in te pluggen bij verschillende bestaande detective-teams (verschillende AI-systemen).

Het Resultaat: Toen de teams SAGE-Fit gebruikten, vonden ze veel vaker de juiste "geheime regels".
Het Bewijs: Ze ontdekten dat in sommige gevallen de oude bouwers bijna 50% tot 65% van de juiste antwoorden weggooiden, puur omdat ze ze niet goed konden bouwen. SAGE-Fit redde deze "goede" antwoorden, waardoor de detectives het mysterie konden oplossen.

Samenvatting

Het artikel bedenkt geen nieuwe manier om de vergelijking te raden; het bedenkt een veel betere manier om te controleren of de gok juist is. Door het unieke vorm van wiskundige vergelijkingen te begrijpen, zorgt SAGE-Fit ervoor dat goede ideeën niet worden weggegooid vanwege slechte wiskunde, wat leidt tot een snellere en nauwkeurigere ontdekking van wetenschappelijke wetten.

Technische Samenvatting: Wanneer Goede Vergelijkingen Slechte Scores Krijgen

Probleemstelling

Symbolische Regressie (SR) heeft tot doel interpreteerbare wiskundige vergelijkingen te ontdekken uit observationele data. De meeste moderne SR-methoden opereren binnen een twee-niveau optimalisatiekader: een buitenste lus zoekt naar discrete vergelijkingstructuren (bijv. expressiebomen), terwijl een binnenste lus de continue parameters (constanten, coëfficiënten) optimaliseert voor een gegeven structuur.

Het artikel identificeert een kritieke knelpunt dat wordt aangeduid als "Goede Structuur, Slechte Score". In dit fenomeen krijgen structureel correcte vergelijkingen slechte fit-scores omdat de parameteroptimalisatie in de binnenste lus faalt om het globale minimum te vinden. Deze mislukking vloeit voort uit:

Niet-convexe Landschappen: Geneste niet-lineaire operatoren (bijv. exponentiële functies, trigonometrische functies) creëren sterk niet-convexe verliesoppervlakken met talrijke lokale minima, vaak beschreven als een "Naald-in-een-Bassin"-topologie.
Onvoldoende Oplossers: Huidige SR-systemen vertrouwen op snelle, generieke lokale oplossers (bijv. BFGS, Nelder-Mead) die gevoelig zijn voor initialisatie. Deze oplossers convergeren vaak naar suboptimale lokale minima of stagneren op vlakke plateaus, waardoor correcte structuren onterecht lage scores krijgen.
Misleiding van de Zoekruimte: De buitenste lus, misleid door deze slechte scores, verwijdert veelbelovende kandidaten, wat convergentie naar de ware natuurwet verhindert en rekenkracht verspillen.

De auteurs betogen dat het knelpunt is verschoven van het genereren van geldige structuren naar het accuraat evalueren ervan.

Methodologie: SAGE-Fit

Om dit aan te pakken, stellen de auteurs SAGE-Fit (Structure-Aware and Semantics-Guided Evaluator for Symbolic Regression) voor, een unificerend parameterpassend kader ontworpen als een plug-and-play-module. SAGE-Fit maakt gebruik van twee "native priors" die inherent zijn aan symbolische expressies: algebraïsche structuur en functionele semantiek.

Het kader bestaat uit drie geïntegreerde modules:

1. Structure-bewuste Dimensionaliteitsreductie (Module 1)

Concept: Maakt gebruik van de algebraïsche structurele prior. Niet alle parameters in een vergelijking zijn niet-lineair; sommige zijn conditioneel lineair (bijv. amplitudes in $a \sin(bx+c)$ ).
Mechanisme: Het systeem parseert de Abstract Syntax Tree (AST) van de kandidaatvergelijking om conditioneel lineaire parameters te identificeren. Het maakt gebruik van Variable Projection (VarPro) om deze lineaire parameters ( $\alpha$ ) deterministisch te ontkoppelen van de niet-lineaire parameters ( $\beta$ ).
Effect: Voor elke vaste set niet-lineaire parameters $\beta$ worden de optimale lineaire parameters $\alpha^*$ in gesloten vorm opgelost via lineaire kleinste-kwadratenmethode. Dit vouwt de hoogdimensionale gemengde zoekruimte in tot een lagerdimensionale, puur niet-lineaire variëteit, waardoor schijnbare lineaire-naar-niet-lineaire koppelingen die tot slechte conditienummers leiden, worden geëlimineerd.

2. Semantiek-gestuurde Initialisatie (Module 2)

Concept: Maakt gebruik van de functionele semantische prior. Afstand in de parameterruimte is misleidend (bijv. $\sin(x)$ en $\sin(x+2\pi)$ hebben verschillende parameters maar identieke functies). Willekeurige parameterstalen leiden tot "bassin-collaps", waarbij meerdere startpunten convergeren naar hetzelfde lokale minimum.
Mechanisme: De auteurs introduceren Function-Space Farthest-Point Sampling (FS-FPS).
1. Genereer een overbemonsterde set van kandidaat-parametervectoren.
2. Map deze vectoren naar hun voorspelde outputvectoren (functionele vingerafdrukken) op de trainingsdata.
3. Selecteer een diverse set startpunten die maximaal gescheiden zijn in de functieruimte (genormaliseerde Euclidische afstand van outputs), in plaats van in de parameterruimte.
Effect: Dit zorgt ervoor dat meerdere startpunten werkelijk verschillende attractorbassins verkennen, wat het risico op het missen van het globale optimum door slechte initialisatie aanzienlijk verkleint.

3. SR-gespecialiseerde Lokale Aantrekkingskracht (Module 3)

Concept: Zelfs op de gereduceerde variëteit blijft het landschap niet-convex. Standaard gradiëntafdaal is inefficiënt.
Mechanisme: SAGE-Fit maakt gebruik van een Geprojecteerde Gauss-Newton-methode met Trust Region Reflective (TRF) demping. De Jacobiaan wordt impliciet berekend, rekening houdend met de afhankelijkheid van de lineaire parameters van de niet-lineaire parameters.
Effect: Dit biedt krommingsbewuste afdaal op de irreduceerbare niet-lineaire variëteit, wat snelle convergentie naar het globale optimum mogelijk maakt vanuit de hoogwaardige zaden die door Module 2 worden geleverd.

Belangrijkste Bijdragen

Diagnose van het Knelpunt: Het artikel biedt een analyse op landschapsniveau die SR-optimalisatiefouten karakteriseert als "Naald-in-een-Bassin"-topologieën voor correcte structuren en diverse, instabiele gedragingen voor gedeeltelijk correcte structuren.
SAGE-Fit Kader: Een nieuw, plug-and-play-evaluator die structurele priors (via VarPro) en semantische priors (via FS-FPS) integreert om de beperkingen van generieke optimalisatoren te overwinnen.
Empirische Validatie: Uitgebreide experimenten over diverse SR-paradigma's (Genetische Programmering, Versterkingsleren en op LLM gebaseerde zoektochten) tonen aan dat het upgraden van de optimalisator in de binnenste lus op zichzelf de prestaties aanzienlijk verbetert zonder de zoeklogica van de buitenste lus te wijzigen.

Experimentele Resultaten

De auteurs evalueerden SAGE-Fit op het LSR-Synth-dataset (128 vergelijking-ontdekkingsproblemen) over vier domeinen: Chemie, Biologie, Fysica en Materiaalkunde. Ze testten het als vervanging voor de optimalisator in de binnenste lus in vier basissystemen: PySR, uDSR, LaSR en LLM-SR.

Symbolische Nauwkeurigheid (SA): De "Plus"-varianten (baselines + SAGE-Fit) presteerden consequent beter dan de baselines. Bijvoorbeeld, PySR+ verhoogde de Symbolische Nauwkeurigheid van 2,78% naar 8,33% (een 3-voudige verbetering), en uDSR+ behaalde de hoogste SA van 13,89% op het LSR-Synth-dataset.
Numerieke Fideliteit: De "Plus"-varianten toonden significante verbeteringen in Nauwkeurigheid tot Tolerantie ( $Acc_{0.1}$ ) en Genormaliseerde Gemiddelde Kwantfout (NMSE), wat aangeeft dat de zoektocht werd geleid naar structureel superieure vormen in plaats van alleen maar beter passende incorrecte vergelijkingen.
Analyse van Evaluator-Fideliteit:
- Verliespercentage: In LLM-SR-trajecten veroorzaakte de originele evaluator een "verliespercentage" van maximaal 61,79% in Materiaalkunde, wat betekent dat veelbelovende kandidaten werden verworpen vanwege slechte passing. SAGE-Fit verlaagde dit aanzienlijk.
- Kandidaat-niveau Analyse: Op de Structure-Progress Bank (een benchmark van 200 tussentijdse kandidaten) verlaagde SAGE-Fit het percentage "gemiste vooruitgang" van 51,5% (met standaard multi-start BFGS) naar 8,0%.
- Log-ratio Verbetering: Het vervangen van de originele evaluator door SAGE-Fit resulteerde in mediane log-ratio-verbeteringen in NMSE van 1,91 (Biologie), 1,59 (Chemie), 0,69 (Fysica) en 5,67 (Materiaalkunde), wat foutreducties van ordes van grootte in sommige domeinen aangeeft.

Betekenis en Beweringen

Het artikel beweert dat de fideliteit van de evaluator in de binnenste lus een groot knelpunt is in gesloten-lus symbolische regressie, met name voor op LLM-geleide benaderingen. De betekenis van dit werk ligt in het aantonen dat:

Optimalisatie in de binnenste lus een zelfstandig hefboompunt is: Het verbeteren van parameterpassing op zichzelf kan bestaande SR-systemen aanzienlijk versterken zonder complexe wijzigingen in de symbolische zoeklogica (bijv. nieuwe evolutionaire operatoren of LLM-prompten) te vereisen.
Priors ertoe doen: Het behandelen van symbolische expressies als zwarte dozen negeert kritieke algebraïsche en semantische informatie. Het expliciet benutten van deze priors lost het fenomeen "Goede Structuur, Slechte Score" op.
Universele Verbetering: De aanpak is "plug-and-play" en verbetert universeel de prestaties van diverse SR-systemen (van evolutionair tot op LLM gebaseerd) door ervoor te zorgen dat structureel correcte kandidaten niet voortijdig worden verworpen door optimalisatiefouten.

De auteurs concluderen dat door de "Naald-in-een-Bassin"-pathologie te mitigeren en bassin-collaps te voorkomen, SAGE-Fit SR-systemen in staat stelt hun volledige potentieel te realiseren bij het ontdekken van complexe natuurwetten.