🤖 machine learning

InsightSR: Refining Symbolic Regression Search Spaces via Parallel Semantic and Structural LLM Guidance

InsightSR is een nieuw symbolisch regressiekader dat de PySR genetic programming engine verbetert door gebruik te maken van Large Language Models om de zoekruimte iteratief te verfijnen door middel van semantische en structurele sturing, waarbij staat van de kunst nauwkeurigheid en generalisatie wordt bereikt door de constructie van diepe expressiebomen te transformeren naar de assemblage van ondiepe bomen over semantisch geïnformeerde kenmerken.

Oorspronkelijke auteurs: Yating Ling, Wenjing Cun, Zhitang Chen

Gepubliceerd 2026-08-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yating Ling, Wenjing Cun, Zhitang Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Wetenschap heeft altijd vertrouwd op een eenvoudig, krachtig idee: dat het complexe gedrag van de natuurlijke wereld beschreven kan worden door beknopte wiskundige wetten. Wanneer een natuurkundige naar een vallende appel of een planetaire baan kijkt, ziet hij niet alleen beweging; hij zoekt naar de verborgen vergelijking die deze beheerst. Deze zoektocht naar de onderliggende formule wordt symbolische regressie genoemd. In tegenstelling tot standaard computermodellen die patronen leren door miljoenen interne knoppen aan te passen om de data te laten passen, probeert symbolische regressie de werkelijke vergelijking zelf te formuleren, gebruikmakend van bekende wiskundige bouwstenen zoals optelling, vermenigvuldiging en trigonometrische functies. Het doel is om een regel te vinden die niet alleen nauwkeurig is, maar ook eenvoudig genoeg om door een mens gelezen en begrepen te worden. Het vinden van deze regels is echter ongelooflijk moeilijk. Het aantal mogelijke wiskundige combinaties groeit zo snel dat het een enorme, chaotische oceaan van mogelijkheden wordt. De meeste computercodes raken verdwaald in deze oceaan, waarbij ze formules produceren die perfect bij de data passen maar fysiek geen zin hebben, of ze falen simpelweg om de ware wet te vinden omdat de zoekruimte te groot is om volledig te verkennen.

Een team onderzoekers heeft een nieuwe aanpak ontwikkeld om deze chaos te navigeren, waarbij de ruwe zoekkracht van evolutionaire algoritmen wordt gecombineerd met het redeneervermogen van grote taalmodellen. Hun systeem, genaamd InsightSR, vraagt de computer niet om direct het uiteindelijke antwoord te raden. In plaats daarvan gebruikt het het taalmodel als een gids om de zoektocht zelf vorm te geven. Stel je een team ontdekkingsreizigers voor die probeert een specifiek pad door een dicht, onontgonnen bos te vinden. Bij de oude methode zouden de ontdekkingsreizigers willekeurig ronddwalen, in de hoop op een toevallige ontmoeting met het juiste pad. Bij deze nieuwe methode fungeert het taalmodel als een ervaren gids die het algemene terrein kent. Het loopt het pad niet voor hen, maar het vertelt hen welke richtingen fysiek onmogelijk zijn en suggereert welke hulpmiddelen nuttig kunnen zijn voor de reis.

Het systeem werkt door de begeleiding te splitsen in twee complementaire stromen. De eerste stroom richt zich op het "skelet" van de vergelijking. Het taalmodel kijkt naar de fysieke eenheden van de data — zoals of een variabele tijd, afstand of massa vertegenwoordigt — en stelt basisstructuren voor die dimensionaal consistent moeten zijn. Dit betekent dat het elke wiskundige combinatie uitsluit die de wetten van de fysica zou schenden, zoals het optellen van een tijdmeting bij een afstand. Door de zoektocht te voorzien van deze fysiek plausibele startpunten, vermijdt het systeem het verspillen van tijd aan miljarden onmogelijke formules. De tweede stroom richt zich op de ingrediënten zelf. Het taalmodel suggereert nieuwe manieren om de ruwe data te transformeren, zoals het kwadrateren van een variabele of het nemen van de sinus ervan, gebaseerd op patronen die het in eerdere pogingen heeft gezien. Deze nieuwe kenmerken worden toegevoegd aan de pool van ingrediënten die beschikbaar zijn voor de zoekmachine. Na verloop van tijd wordt de pool van ingrediënten rijker, waardoor het systeem complexe relaties kan opbouwen met behulp van eenvoudige, ondiepe combinaties in plaats van te proberen diepe, verstrengelde bomen van ruwe data te construeren.

Dit proces is geen eenmalige gok, maar een continue lus van verfijning. Nadat de computer een reeks kandidaat-vergelijkingen heeft gegenereerd, evalueert het taalmodel deze. Het controleert niet alleen hoe goed ze bij de cijfers passen, maar ook hoe nuttig de nieuwe kenmerken waren en of de structuur logisch is. Deze feedback wordt opgeslagen in een dynamische kennisbank die de volgende ronde van zoeken informeert. Het systeem leert van zijn eigen successen en mislukkingen, waardoor de zoektocht geleidelijk wordt vernauwd naar de meest veelbelovende oplossingen. Dit creëert een zelfcorrigerende cyclus waarbij de zoektocht met elke iteratie gerichter en efficiënter wordt.

De onderzoekers hebben deze methode getest op drie verschillende soorten uitdagingen. Eerst gebruikten ze een benchmark van 100 beroemde natuurkundige vergelijkingen, variërend van klassieke mechanica tot kwantumtheorie. In deze test slaagde het systeem erin om 95% van de tijd de exacte originele formule te herstellen, wat een significante verbetering is ten opzicht van eerdere methoden. Het presteerde ook uitzonderlijk goed op een bredere set wetenschappelijke problemen die chemie, biologie en materiaalkunde beslaan, waarbij een nauwkeurigheid van meer dan 80% werd behaald bij taken met complexe transformaties. Ten slotte testte het team het systeem op real-world data, zoals de trillingen van een oscillator en de groeipatronen van bacteriën. In deze scenario's vond het systeem niet alleen nauwkeurige formules, maar behield het ook zijn prestaties wanneer het werd getest op data die het nog nooit eerder had gezien, wat een sterk vermogen tot generalisatie aantoont.

De resultaten suggeren dat door een taalmodel als een begeleidende laag rond een traditionele zoekmachine te plaatsen, het mogelijk is om de dubbele uitdagingen van de enorme zoekruimte en de noodzaak voor fysieke consistentie te overwinnen. Het systeem vervangt de evolutionaire zoektocht niet; het verfijnt deze, waardoor een blinde, willekeurige exploratie wordt omgezet in een doelgerichte, geleide ontdekking. Door de last te verschuiven van het construeren van diepe, complexe bomen van ruwe variabelen naar het assembleren van eenvoudige combinaties uit een rijke, vooraf verrijkte set kenmerken, maakt de methode de ontdekking van wetenschappelijke wetten efficiënter en betrouwbaarder. Deze aanpak biedt een praktisch pad voorwaarts voor geautomatiseerde wetenschappelijke ontdekking, waarbij wordt aangetoond dat de combinatie van mensachtige redenering en machinegestuurd zoeken de verborgen wiskundige wetten kan onthullen die onze wereld beheersen.

Technische Samenvatting: InsightSR

Probleemstelling

Symbolische Regressie (SR) beoogt parsimonieuze, interpreteerbare wiskundige wetten te ontdekken direct uit observationele data. Het vakgebied wordt echter geconfronteerd met twee primaire uitdagingen:

Combinatorische Explosie: De zoekruimte van kandidaat-expressies groeit exponentieel met de complexiteit, waardoor het optimalisatieprobleem inherent NP-hard is.
Fysische Consistentie: Puur datagedreven methoden leveren vaak expressies op met een hoge numerieke nauwkeurigheid die fundamentele fysische principes schenden (bijv. dimensionale consistentie) of de parsimonie missen die vereist is voor wetenschappelijke interpretatie.

Bestaande benaderingen, inclus\n_bij Genetic Programming (GP), Monte Carlo Tree Search (MCTS) en neuro-symbolische methoden (bijv. Deep Reinforcement Learning, Transformers), worstelen met een lage sample-efficiëntie, overfitting onder ruis en een gebrek aan dynamisch redeneren over fysische beperkingen. Hoewel recente pogingen Large Language Models (LLMs) hebben geïntegreerd om wetenschappelijke priors te benutten, worden deze vaak beperkt door een hoge inferentie-overhead en het gebruik van LLM-begeleiding langs slechts één dimensie (ofwel structurele generatie ofwel feature-transformatie), waardoor ze er niet in slagen de synergie tussen de twee uit te buiten.

Methodologie: InsightSR Framework

InsightSR pakt deze beperkingen aan door LLMs te implementeren als een sturende laag rond de PySR genetic programming engine. In plaats van te vertrouwen op de LLM om direct de uiteindelijke expressies te genereren, gebruikt InsightSR de LLM om de zoekruimte zelf progressief te transformeren via een vierfasige iteratieve lus:

1. Contextuele Initialisatie en Eenheidssynthese

Het framework lost eerst de fysische dimensies van variabelen op. Het extraheert dimensionale informatie uit metadata en probleembeschrijvingen. Voor ambigue variabelen leidt een LLM de waarschijnlijke dimensies af op basis van de semantische context. Deze toewijzing van eenheden blijft als harde beperking bestaan gedurende de ontdekkingslus, wat dimensionale homogeniteit waarborgt en fysisch inconsistente kandidaten vroegtijdig elimineert.

2. Parallelle Begeleidingsstrategie

De kerninnovatie is een tweeledige benadering waarbij de LLM gelijktijdig de zoektocht stuurt in twee complementaire dimensies:

Semantisch Seed Pad (Top-Down): De LLM stelt dimensionaal consistente functionele skeletten voor op basis van de context van het probleem en de eenheidsbeperkingen. Deze skeletten dienen als "fysisch geïnformeerde seeds" voor de evolutionaire zoektocht. De LLM controleert de topologieën van kandidaten op dimensionale consistentie voordat ze de populatie binnengaan en voorziet in per-operator complexiteitsbiases om de GP-engine te sturen naar fysisch plausibele combinaties van operatoren.
Structureel Feature Pad (Bottom-Up): De LLM adviseert niet-lineaire feature-transformaties (bijv. machtswet-termen, transcendentale mappingen) op basis van de context van het probleem en de prestatiegeschiedenis van voorgaande generaties. Deze transformaties worden toegevoegd aan de inputmatrix ( $X_{aug}$ ) en accumuleren over generaties heen. Dit verschuift de zoeklast van het construeren van diepe expressie-bomen over ruwe variabelen naar het assembleren van ondiepe combinaties over een rijke, semantisch geïnformeerde feature-set.

3. Zoeken met PySR

De gesynthetiseerde begeleiding (seeds, operator-biases en geaugmenteerde features) stuurt een gemodificeerde PySR-engine aan. Een mechanisme voor het bijsturen van de complexiteit past de structurele straf van expressie-bomen aan: operatoren die door de LLM worden aanbevolen ontvangen een negatieve bias (complexiteitskorting), terwijl fysisch onwaarschijnlijke operatoren worden gestraft. Een warmstart-mechanisme behoudt het beste kandidaat-lid uit de vorige generatie als een elitair lid van de nieuwe populatie.

4. Meerdimensionale Evaluatie en Strategische Feedback

Na elke generatie fungeert de LLM als een post-generatie criticus. Het evalueert Pareto-optimale kandidaten op basis van numerieke nauwkeurigheid, fysische interpreteerbaarheid en feature-utiliteit. Deze beoordelingen worden opgeslagen in een dynamische kennisbank, die de volgende iteratie informeert door seed-expressies te verfijnen, operator-biases aan te passen en feature-transformaties te prioriteren. Dit creëert een gesloten lus van zelfcorrigerende verfijning.

Belangrijkste Bijdragen

Semantisch Seed Pad: Een mechanisme dat gebruikmaakt van domeinkennis-bewuste LLMs om dimensionaal consistente functionele skeletten voor te stellen. Dit elimineert de zoekruimte van fysisch inconsistente expressies voordat de numerieke fitting begint en stuurt de zoektocht naar plausibele combinaties van operatoren.
Structureel Feature Pad: Een complementair pad waarbij de LLM niet-lineaire feature-transformaties aanbeveelt die over iteraties heen accumuleren. Dit vermindert de structurele diepte die de symbolische engine moet oplossen, waardoor de zoektocht verschuift van diepe boomconstructie naar ondiepe assemblage over een verrijkte basis.
Gesloten-lus Iteratieve Verfijning: Een leer-van-resultaten mechanisme waarbij de LLM kandidaten over meerdere dimensies evalueert en een kennisbank bijwerkt. Dit transformeert symbolische ontdekking van open-ended generatie naar een iteratief, zelfcorrigerend proces dat convergeert naar optimale symbolische vormen.

Experimentele Resultaten

InsightSR werd geëvalueerd op drie benchmarks:

Feynman Benchmark (100 natuurkundige vergelijkingen): Bereikte een exacte herstelratio van 95% en een gemiddelde $R^2$ van 0,9999, waarmee het de huidige stand van de techniek (state-of-the-art) binnen GP en neuro-symbolische methoden aanzienlijk overtrof. Het demonstreerde robuustheid tegen matige ruis, waarbij een hoge nauwkeurigheid behouden bleef, zelfs bij een ruisniveau van 0,001.
LLM-SRBench (Cross-domein taken): Bereikte een nauwkeurigheid van 80,18% ( $Acc_{0.1}$ ) op de LSR-Transform taak, een significante verbetering ten opzichte van de vorige beste (LaSR met 50,45%). De methode vertoonde consistente prestaties over de domeinen Chemie, Biologie, Natuurkunde en Materiaalkunde.
Real-World Datasets: Op datasets zoals Oscillator 1/2, E. coli en Stress-Strain behaalde InsightSR de laagste genormaliseerde gemiddelde kwadratische fout (NMSE) in de meeste testgevallen, waarbij het vaak de vorige best presterende methoden met meerdere grootheden verbeterde. Cruciaal is dat het een sterke out-of-distribution (OOD) generalisatie behield, waarbij het de overfitting vermeed die gebruikelijk is bij puur neurale methoden.

Betekenis en Claims

Het artikel beweert dat InsightSR een praktisch en effectief pad biedt naar geautomatiseerde wetenschappelijke ontdekking door strategisch LLM-redenering te integreren met gevestigde evolutionaire zoekalgoritmen. De betekenis ligt in:

Synergetische Begeleiding: Het succesvol combineren van top-down semantische beperkingen met bottom-up feature engineering om zowel de combinatorische explosie van de zoekruimte als de moeilijkheid van het handhaven van fysische consistentie aan te pakken.
Efficiëntie en Parsimonie: Door de zoektocht te verschuiven van diepe bomen over ruwe variabelen naar ondiepe combinaties over verrijkte features, vermindert het framework de structurele complexiteit die de engine moet oplossen aanzienlijk.
Zelfcorrigerende Ontdekking: Het gesloten-lus feedbackmechanisme stelt het systeem in staat om te leren van zowel succesvolle patronen als faalmodi, waardoor de zoektocht progressief wordt vernauwd naar fysisch betekenisvolle expressies zonder te vertrouwen op hard-coded beperkingen die de adaptiviteit beperken.

De auteurs merken op dat hoewel het framework de zoekefficiëntie verbetert, de afhankelijkheid van initiële metadata suggereert dat er een potentiële gevoeligheid is voor probleembeschrijvingen, met name wanneer de semantiek van variabelen ambigu is. Toekomstig werk kan multimodale priors verkennen om initialisatie te verfijnen en de robuustheid te vergroten in afwezigheid van expliciete tekstuele metadata.