🤖 machine learning

LLM-ACES: Closed-Loop Discovery of Dynamical Systems with LLM-Guided Adaptive Search

Het artikel introduceert LLM-ACES, een closed-loop framework dat large language models inzet om adaptieve data-acquisitie en symbolische hypotheseconstructie te sturen, waarmee het bestaande methoden aanzienlijk overtreft in het accuraat en efficiënt herstellen van de onderliggende gewone differentiaalvergelijkingen uit beperkte, ruisgevoelige data.

Oorspronkelijke auteurs: Nikhil Abhyankar, Sha Li, Sanchit Kabra, Naren Ramakrishnan, Yulia Gel, Chandan K. Reddy

Gepubliceerd 2026-06-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nikhil Abhyankar, Sha Li, Sanchit Kabra, Naren Ramakrishnan, Yulia Gel, Chandan K. Reddy

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert de geheime regels van een mysterieuze machine te ontrafelen. Je kunt de tandwielen van de machine zien draaien en zien hoe ze bewegen, maar je kent de wiskundige formule niet die ze aanstuurt. Dit is de uitdaging waar wetenschappers voor staan wanneer ze proberen de "governing equations" (sturende vergelijkingen) van natuurlijke systemen te ontdekken, zoals de verspreiding van een virus of de baan van een planeet.

Dit artikel introduceert een nieuwe methode genaamd LLM-ACES (LLM-guided Active Closed-loop Equation Search). Zie dit als een super-slim detective-team dat niet alleen naar de machine kijkt, maar ook actief vragen stelt om de regels sneller en nauwkeuriger te ontdekken dan wie dan ook.

Zo werkt het, onderverdeeld in eenvoudige stappen:

1. Het Probleem: De "Blinde Vlek"

Meestal proberen wetenschappers de regels te raden door naar een vaste set gegevens te kijken (zoals een video-opname van de machine). Het probleem is dat als je de machine slechts een korte tijd of vanuit één specifieke hoek bekijkt, veel verschillende regelboeken de situatie kunnen verklaren.

Analogie: Stel je voor dat je een auto in een rechte lijn ziet rijden. Je zou kunnen raden dat de bestuurder gewoon het gaspedaal indrukt. Maar als je alleen die ene rechte lijn hebt gezien, kun je niet weten of de auto ook een stuur of remmen heeft. Je moet de auto een bocht zien maken of zien stoppen om de volledige regels te kennen.
Het Probleem: Oude methoden blijven vaak hangen in het raden van de verkeerde regels omdat ze alleen kijken naar de gegevens die ze al hebben. Ze vinden misschien een formule die perfect past bij de video, maar die faalt zodra de omstandigheden veranderen.

2. De Oplossing: De "Slimme Detective" (LLM-ACES)

LLM-ACES verandert het spel door gebruik te maken van een Large Language Model (LLM) — een type AI dat veel weet over wiskunde en wetenschap — als gids. In plaats van alleen het uiteindelijke antwoord te raden, helpt de AI bij het ontwerpen van de zoektocht naar het antwoord.

Het proces verloopt in een lus, zoals een spelletje "warm of koud":

Stap A: De AI bepaalt de spelregels
De AI bekijkt het probleem en stelt een "menu" voor van mogelijke wiskundige ingrediënten (zoals optellen, vermenigvuldigen, sinusgolven of exponentiële functies) die waarschijnlijk deel uitmaken van de oplossing. De AI schrijft nog niet de definitieve vergelijking, maar verkleint het zoekgebied om het proces slimmer te maken.
- Metafoor: In plaats van een naald in een hooiberg te zoeken, vertelt de AI je: "De naald zit waarschijnlijk in deze specifieke stapel hooi en is waarschijnlijk gemaakt van staal."
Stap B: Het team doet voorspellingen
Het systeem genereert verschillende kandidaat-vergelijkingen op basis van dat menu. Sommige zijn simpel, andere complex.
- Metafoor: Het team schrijft 5 verschillende theorieën op over hoe de auto werkt.
Stap C: De "Meningsverschil"-test (Het geheime ingrediënt)
Dit is het belangrijkste deel. Het systeem kijkt naar alle 5 de theorieën en vraagt: "Waar verschillen deze theorieën het meest van elkaar?"
- Als Theorie A zegt dat de auto hard zal gaan en Theorie B zegt dat de auto zal stoppen, dan weet het systeem dat dit specifieke moment de beste plek is om de auto te testen.
- Analogie: Als je vrienden ruzie maken over of een brug een vrachtwagen of een motorfiets kan dragen, dan is de slimste zaak om direct een zware vrachtwagen over de brug te rijden. Die test zal onmiddellijk laten zien wie er gelijk heeft.
- Het systeem vraagt vervolgens aan de "Oracle" (een simulator of een echt experiment) om de machine onder die specifieke omstandigheden te laten draaien om nieuwe gegevens te verkrijgen.
Stap D: De Feedback-lus
De nieuwe gegevens worden teruggekoppeld aan het team. De theorieën die fout waren, worden weggegooid of gecorrigeerd. De theorieën die juist waren, worden sterker. De AI werkt vervolgens het "menu" met ingrediënten bij voor de volgende ronde.
- Resultaat: Het team wordt slimmer met elke test, waardoor het snel de enige ware set regels vindt.

3. Waarom het beter is

Het artikel testte deze methode op 122 verschillende wiskundige systemen (zoals weer modellen of chemische reacties) en vergeleek het met de beste bestaande methoden.

Nauwkeurigheid: LLM-ACES vond de correcte wiskundige formules veel vaker dan de andere methoden. Terwijl andere methoden misschien de getallen goed kregen voor de specifieke gegevens die ze zagen, kregen ze de structuur van de formule vaak fout. LLM-ACES kreeg de structuur wel goed.
Efficiëntie: Het had 10 keer minder data nodig om het juiste antwoord te vinden. Het hoefde de machine niet urenlang te observeren; het wist precies welk kort fragment het moest bekijken om het mysterie op te lossen.
Robuustheid: Zelfs wanneer de gegevens ruis bevatten (zoals een trillende video), kon LLM-ACES nog steeds de ware regels vinden, terwijl andere methoden in de war raakten en nepregels bedachten om de ruis te verklaren.

Samenvatting

Kortom, LLM-ACES is een systeem dat AI gebruikt om niet alleen de wetten van de natuur te raden, maar om de experimenten te ontwerpen die nodig zijn om ze te bewijzen. Het behandelt wetenschappelijke ontdekking als een gesprek: het doet een voorspelling, stelt een specifieke vraag om die voorspelling te testen, leert van het antwoord en herhaalt het proces. Hierdoor kan het de ware "geheime regels" van complexe systemen sneller, met minder data en met grotere nauwkeurigheid vinden dan eerdere methoden.

Technische Samenvatting: LLM-ACES

Probleemstelling

Het terugwinnen van de sturende gewone differentiaalvergelijkingen (ODE's) uit data is een fundamentele uitdaging bij het modelleren van dynamische systemen. Bestaande benaderingen kaderen dit doorgaans als een statisch inferentieprobleem over vaste datasets, waarbij wordt aangenomen dat geobserveerde trajecten voldoende informatief zijn. Echter, dynamische systemen evolueren vaak over grote toestandsruimten waar beperkte data ertoe kunnen leiden dat structureel verschillende vergelijkingen observationeel ononderscheidbaar zijn. Dit leidt tot "identificeerbaarheidsgaten", waarbij een kandidaatvergelijking de geobserveerde data goed past, maar onjuist gedrag voorspelt onder nieuwe beginvoorwaarden of over langere tijdshorizonten. Huidige methoden slagen er niet in om de volledige closed-loop natuur van ontdekking aan te pakken: ze zoeken ofwel naar vergelijkingen op statische data (passief), of zij verwerven data zonder gestructureerde symbolische hypothesen te gebruiken om experimentatie te sturen.

Methodologie: LLM-ACES

De auteurs stellen LLM-ACES voor (LLM-guided Active Closed-loop Equation Search), een framework dat de constructie van symbolische hypothesen en adaptieve data-acquisitie gezamenlijk optimaliseert. De kerninzicht is dat de symbolische hypotheseruimte en de verworven dataset via iteratieve feedback met elkaar moeten co-evolueren.

1. LLM-gestuurde Hypothesegeneratie

In plaats van Large Language Models (LLMs) direct de definitieve vergelijkingen te laten produceren, gebruikt LLM-ACES een LLM ( $\pi_\theta$ ) om operator-prioris te genereren.

Proces: In elke iteratie ontvangt de LLM taakmetadata, beschikbare operator-vocabularies en een experience buffer met feedback van vorige iteraties.
Output: De LLM genereert een set van $K$ operator-prioris (restricties op unaire en binaire operatoren, bijv. $\sin, \cos, +, \times$ ). Deze prioris definiëren beperkte symbolische subruimten binnen de grotere hypotheseruimte.
Strategie: Eén prior maakt gebruik van hoogpresterende operatorpatronen uit de experience buffer (exploitatie), terwijl andere structureel verschillende composities verkennen (exploratie).
Fitting: Een symbolische regressie-backend (bijv. PySR) past kandidaatvergelijkingen binnen deze beperkte subruimten aan om de voorspellingsfout en complexiteit te minimaliseren.

2. Hypothese-gestuurde Data-acquisitie

Het framework maakt gebruik van een predictive-divergence-driven acquisitiestrategie om identificeerbaarheidsgaten te dichten.

Divergentiemetriek: Het systeem berekent de gemiddelde paarsgewijze voorspellings-discrepantie (Normalized Mean Squared Error) tussen de rollouts van de huidige kandidaatpopulatie over een voorspellingshorizon.
Selectie: Nieuwe beginvoorwaarden worden geselecteerd door deze divergentie te maximaliseren. Het doel is om regio's in de toestandsruimte te bevragen waar concurrerende dynamische hypothesen het meest van mening verschillen.
Feedbackloop: De nieuw verworven trajecten worden toegevoegd aan de dataset. Alle kandidaten worden opnieuw geëvalueerd, en de experience buffer wordt bijgewerkt met hoogpresterende (versterkende effectieve operatoren) en laagpresterende (ontmoedigende spookstructuren) kandidaten. Dit verfijnt de hypotheseruimte voor de volgende iteratie.

3. Implementatie

Het framework wordt geïmplementeerd met LLM-backbones (GPT-4o-mini en Qwen-3-32B) en een SciPy-gebaseerde ODE-solver voor de oracle. Het werkt in een closed loop waarbij de LLM de zoekruimte stuurt, de regressie-backend vergelijkingen past, en de onenigheid onder kandidaten de acquisitie van nieuwe data aanstuurt.

Belangrijkste Bijdragen

Closed-Loop Vergelijking-ontdekking: Een verenigd framework dat LLM-gestuurde symbolische hypotheseconstructie koppelt aan adaptieve traject-acquisitie, waardoor de hypotheseruimte en de dataset kunnen co-evolueren.
LLM-geïnduceerde Symbolische Zoekruimten: Het gebruik van LLM's om domeininformatieve operator-prioris te construeren die symbolische regressie beperken, waardoor het ontwerp van de hypotheseruimte wordt ontkoppeld van de vergelijking-fitting.
Divergentie-gestuurde Data-acquisitie: Een strategie die beginvoorwaarden selecteert door de voorspellings-divergentie tussen kandidaten te maximaliseren, wat direct mikt op regio's waar concurrerende hypothesen het moeilijkst te onderscheiden zijn.
Empirische Verbeteringen: Gedemonstreerde superieure prestaties in reconstructie, generalisatie en out-of-distribution settings vergeleken met passieve en actieve baselines.

Experimentele Resultaten

De methode werd geëvalueerd op 122 ODE-systemen verspreid over ODEBench (63 systemen) en ODEBase (59 systemen).

Prestatie-metrieken: Het paper rapporteert Normalized Mean Squared Error (NMSE), symbolische nauwkeurigheid en expressiecomplexiteit.
Nauwkeurigheid: LLM-ACES behaalde de laagste mediane NMSE in alle settings (reconstructie, generalisatie en out-of-distribution), waarbij het state-of-the-art baselines (inclusief SINDy, PySR, ODEFormer, LLM-ODE en actieve methoden zoals Bayesian Optimization) met meerdere ordes van grootte overtrof.
- ODEBench: Mediane NMSE van $1.33 \times 10^{-17}$ (Reconstructie) met GPT-4o-mini.
- ODEBase: Mediane NMSE van $3.70 \times 10^{-15}$ (Reconstructie) met Qwen-3-32B.
Symbolische Nauwkeurigheid: LLM-ACES behaalde de hoogste symbolische nauwkeurigheid, waarbij de correcte functionele vorm werd hersteld in 46,2% van de ODEBench-gevallen (GPT-4o-mini) en 52,4% van de ODEBase-gevallen (Qwen-3-32B).
Sample Efficiëntie: LLM-ACES presteerde beter dan baselines, zelfs wanneer concurrerende methoden werden voorzien van aanzienlijk grotere data-budgetten (tot 10x meer samples). Het behaalde betere prestaties met slechts één tiende van de data die andere methoden vereisten.
Robuustheid: De feedback-gestuurde acquisitie maakte de methode robuust tegen ruis en voorkwam het herstel van spooktermen die lokaal goed passen bij de data, maar er niet in slagen de ware sturende relaties te vatten.

Betekenis en Claims

Het paper claimt dat LLM-ACES een fundamentele beperking in de huidige wetenschappelijke ontdekking aanpakt: de scheiding tussen vergelijking-zoektocht en dataverzameling. Door ontdekking te behandelen als een actief inferentieproces waarbij hypothesen de data-acquisitie sturen, lost het framework de identificeerbaarheidsgaten op die statische methoden niet kunnen overwinnen.

Wetenschappelijke Impact: De resultaten suggereren dat vergelijking-ontdekking niet moet worden gezien als een statisch regressieprobleem, maar als een iteratief proces waarbij hypothesen en observaties elkaar continu informeren.
Rol van LLM's: Het paper benadrukt dat LLM's het meest effectief zijn niet als directe vergelijking-generatoren, maar als instrumenten om gestructureerde zoekruimten te induceren en te redeneren over de compositie van operatoren op basis van data-gedreven feedback.
Beperkingen: De auteurs merken op dat het huidige framework zich richt op autonome ODE-systemen en toegang vereist tot een simulator of een experimentele oracle. Het kan aanpassing vereisen voor PDE's, stochastische dynamica, of situaties waarin data-acquisitie duur of veiligheidsgevoelig is. Daarnaast is de prestatie gevoelig voor de keuze van de LLM-backbone en prompt engineering.

Het werk concludeert dat de integratie van foundation models met gestructureerde prioris en adaptieve experimentatie een meer interpreteerbare, data-efficiënte en betrouwbare wetenschappelijke ontdekking mogelijk maakt.