🤖 machine learning

SciML Agents: Write the Solver, Not the Solution

Dit paper introduceert een nieuwe benadering waarbij Large Language Models fungeren als agents die in plaats van oplossingen direct te voorspellen, Python-code genereren om ODE-problemen op te lossen met gevestigde numerieke methoden, en valideert deze aanpak via twee nieuwe benchmarks die aantonen dat goed geprompte en eventueel fijngetuneerde modellen betrouwbare resultaten kunnen leveren.

Oorspronkelijke auteurs: Saarth Gaonkar, Xiang Zheng, Haocheng Xi, Rishabh Tiwari, Kurt Keutzer, Dmitriy Morozov, Michael W. Mahoney, Amir Gholami

Gepubliceerd 2026-04-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Saarth Gaonkar, Xiang Zheng, Haocheng Xi, Rishabh Tiwari, Kurt Keutzer, Dmitriy Morozov, Michael W. Mahoney, Amir Gholami

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, slimme robot hebt die alles kan lezen en schrijven: een Grote Taalmodel (LLM). Tot nu toe hebben wetenschappers geprobeerd deze robot te leren om de antwoorden op moeilijke natuurkundeproblemen direct te voorspellen. Het is alsof je de robot vraagt: "Hoe valt deze appel?" en hij moet raden waar hij landt. Dat werkt vaak niet goed; de robot raakt in de war en de antwoorden zijn onnauwkeurig.

De auteurs van dit paper zeggen: "Wacht even! Waarom laten we de robot niet het recept schrijven in plaats van het eten zelf te proeven?"

In plaats van de robot te laten raden, laten we hem code schrijven die gebruikmaakt van de beste, oudste en meest betrouwbare wiskundige gereedschappen die mensen in de afgelopen 50 jaar hebben bedacht.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Gokker" vs. De "Architect"

Stel je voor dat je een auto wilt bouwen.

De oude manier (Neurale Netwerken): Je geeft de robot een foto van de auto en vraagt hem om de blauwdruk te tekenen. Hij probeert te raden hoe de wielen eruitzien. Soms lukt het, maar vaak ziet de auto eruit als een klont klei.
De nieuwe manier (SciML Agents): Je geeft de robot de opdracht: "Schrijf een instructieboekje voor een machine die deze auto bouwt." De robot hoeft de auto niet zelf te bouwen; hij moet alleen de juiste gereedschappen kiezen (de juiste schroevendraaier, de juiste lijm) en de stappen beschrijven.

De robot is nu een architect die een bouwplan maakt voor een ervaren vakman (de numerieke solver).

2. De Uitdaging: De "Valstrikken"

Wiskundige problemen (zoals bewegende objecten of stromend water) kunnen er op het eerste gezicht heel gevaarlijk uitzien.

De Valstrik: Stel, een probleem heeft een getal van 50.000 in de formule. Voor een mens is dat een groot getal, en voor een computer lijkt dat vaak "gevaarlijk" of "stijf" (stiff). Een stijf probleem is alsof je een auto moet parkeren op een ijsbaan: als je te snel gaat (te grote stappen), vlieg je er af. Je hebt een heel voorzichtig, duur systeem nodig (een impliciete solver).
De Truc: Soms is dat getal van 50.000 een valstrik! Als je de formule even goed bekijkt (wiskundig vereenvoudigt), blijkt dat het getal wegvalt en het probleem eigenlijk heel rustig en veilig is. Dan kun je gewoon een snelle, simpele auto gebruiken (een expliciete solver).

Het probleem: De oude robots (LLMs) keken alleen naar het grote getal en dachten: "Oh, groot getal = gevaarlijk!" en kozen het dure, trage systeem. Ze gaven toe aan de oppervlakkige schijn.

3. De Oplossing: Twee Nieuwe Tests

De auteurs hebben twee nieuwe tests bedacht om te zien of de robot echt slim is of alleen maar raadt:

De "Misleidende" Test: Hierin zitten problemen die er gevaarlijk uitzien, maar die na een beetje wiskundig "schoonmaken" veilig blijken. De robot moet kunnen zien door de schijn.
De "ODE-1000" Test: Een enorme lijst van 1.000 verschillende problemen. De robot moet code schrijven die:
1. Werkt (geen fouten).
2. Het juiste gereedschap kiest (niet de dure motor op een fiets zetten).
3. Het juiste antwoord geeft.

4. Wat hebben ze ontdekt?

Ze hebben gekeken naar verschillende robots (van kleine tot gigantische modellen) en hoe je ze aanstuurt.

De "Gids" (Prompting): Als je de robot alleen vraagt "Los dit op", maakt hij vaak fouten. Maar als je zegt: "Kijk eerst goed naar de formule, vereenvoudig de getallen, en denk stap voor stap na voordat je kiest welk gereedschap je gebruikt," dan gaat het veel beter.
- Vergelijking: Het is alsof je een student vraagt: "Wat is 2+2?" (antwoord: 4). Maar als je zegt: "Trek eerst de vingers uit je zak, tel ze op, en schrijf dan het antwoord," krijgt hij het altijd goed.
Oude vs. Nieuwe Robots:
- Oude/Kleine robots: Deze hebben veel hulp nodig. Zonder "gids" of speciale training (fine-tuning) maken ze veel fouten. Ze zijn als een leerling die nog moet leren lezen.
- Nieuwe/Grote robots: Deze zijn zo slim dat ze de "gids" bijna niet meer nodig hebben. Ze begrijpen de context vanzelf. Ze zijn als een ervaren ingenieur die de instructies direct snapt.

5. De Conclusie

Dit paper laat zien dat we AI niet hoeven te gebruiken om wiskunde te raden, maar om wiskundige experts te worden die het juiste gereedschap kiezen.

Als we de AI goed instrueren (met de juiste "gids"), kunnen ze code schrijven die net zo goed werkt als die van een menselijke wetenschapper. Ze hoeven niet het antwoord te "leren", ze hoeven alleen maar te weten hoe je het antwoord berekent.

Kort samengevat:
In plaats van een robot te trainen om de oplossing te dromen, trainen we hem om de recepten te schrijven voor de beste koks ter wereld. En met de juiste instructies, kunnen deze robots zelfs de beste koks overtreffen door het perfecte recept te kiezen voor elke situatie.

Titel: SciML Agents: Schrijf de Oplosser, Niet de Oplossing

Auteurs: Saarth Gaonkar et al. (UC Berkeley, LBNL, ICSI)

1. Probleemstelling

Recente ontwikkelingen in wetenschappelijk machine learning (SciML) richten zich vaak op het direct voorspellen van oplossingen voor wetenschappelijke taken (zoals het oplossen van differentiaalvergelijkingen) met behulp van neurale netwerken (bijv. Physics-Informed Neural Networks, Neural ODEs). Hoewel deze methoden krachtig zijn, blijkt het bereiken van hoge nauwkeurigheid en robuustheid vaak uitdagend te zijn.

Het paper stelt een alternatieve visie voor: in plaats van dat een AI-model de oplossing zelf leert te voorspellen, kan een Large Language Model (LLM) worden ingezet om code te genereren die gebruikmaakt van decennia aan bewezen numerieke algoritmen. De uitdaging ligt hier niet in het leren van de oplossing, maar in het nemen van gebiedsgerichte numerieke beslissingen. Een LLM moet in staat zijn om, gegeven een natuurlijke taalbeschrijving van een systeem (bijv. een ODE), code te schrijven die:

Syntactisch correct is en uitvoerbaar.
Wetenschappelijk adequaat is (bijv. het kiezen van de juiste solver voor stijve vs. niet-stijve problemen, het instellen van juiste toleranties en het waarborgen van stabiliteit).

Er bestaat op dit moment geen standaard benchmark om deze specifieke vaardigheid van LLM's voor wetenschappelijk computing te meten.

2. Methodologie

De auteurs introduceren een nieuwe aanpak waarbij LLM's fungeren als "SciML Agents". De methodologie omvat het creëren van twee nieuwe datasets en het evalueren van diverse modellen onder verschillende omstandigheden.

A. Nieuwe Datasets

Diagnostische Dataset (Symbolic-Equivalence):
- Doel: Testen of modellen werkelijk wiskundig redeneren of slechts oppervlakkige patronen matchen.
- Opbouw: Bevat "misleidende" ODE-problemen die eruitzien alsof ze stijf zijn (bijv. door grote coëfficiënten), maar die algebraïsch kunnen worden vereenvoudigd tot niet-stijve vormen (via trigonometrische identiteiten, inverse functies of algebraïsche uitbreidingen).
- Taal: Het model moet de juiste solver kiezen (expliciet voor niet-stijf, impliciet voor stijf). De juiste keuze is altijd een expliciete methode na vereenvoudiging.
ODE-1000 Benchmark:
- Opbouw: Een dataset van 1.000 diverse ODE-taken, gegenereerd met GPT-4.1, variërend van stijf tot niet-stijf, met verschillende ordes en tijdsintervallen.
- Validatie: Elke gegenereerde oplossing wordt gecontroleerd op syntactische geldigheid en numerieke nauwkeurigheid (relatieve $L_2$ -fout < 0,01 ten opzichte van een analytische oplossing via SymPy).

B. Evaluatie-Setup

Modellen: Een breed scala aan open-source (Llama-serie, Qwen-serie) en gesloten bronmodellen (GPT-4.1), variërend in grootte (0.6B tot 405B parameters) en generatie (oud vs. nieuw/instructievolgend).
Prompting Strategieën:
- Ongestuurd (Unguided): Minimale instructies.
- Gestuurd (Guided): Instructies die stap-voor-stap redenering, algebraïsche vereenvoudiging en domeinspecifieke heuristieken (bijv. over eigenwaarden en stijfheid) afdwingen.
Fine-tuning: Supervised Fine-Tuning (SFT) op de ODE-1000 dataset voor kleinere modellen om hun prestaties te verbeteren.

3. Belangrijkste Bijdragen

Evaluatie van Robuustheid in Symbolisch Redeneren: Het paper toont aan dat oudere modellen vaak vastlopen in oppervlakkige patronen (grote coëfficiënten = stijf), terwijl nieuwere modellen beter in staat zijn tot echte algebraïsche vereenvoudiging.
ODE-1000 Benchmark: De introductie van de eerste uitgebreide benchmark die specifiek de wetenschappelijke geldigheid (niet alleen syntaxis) van gegenereerde code meet voor ODE-oplossingen.
Prompting vs. Fine-tuning: Een empirische analyse die laat zien dat:
- Nieuwe, grote instructievolgende modellen (zoals Qwen3) met zorgvuldige prompting (zonder fine-tuning) al zeer hoge nauwkeurigheid bereiken.
- Kleinere of oudere modellen aanzienlijk profiteren van fine-tuning om zowel syntaxisfouten als numerieke fouten te verminderen.

4. Resultaten

Diagnostische Dataset:
- Nieuwe modellen (bijv. Qwen3, GPT-4.1) behalen met een "guided prompt" tot 100% nauwkeurigheid op de misleidende taken.
- Het activeren van een "thinking mode" (stap-voor-stap redeneren) verbetert de prestaties aanzienlijk, vooral bij kleinere modellen (bijv. Qwen3-0.6B steeg van 37% naar 76% op algebraïsche taken).
- Oudere modellen (Llama2, Llama3) presteerden slecht zonder specifieke instructies en hadden moeite met het onderscheiden van schijnbare versus echte stijfheid.
ODE-1000 Benchmark:
- Uitvoerbaarheid: Fine-tuning verhoogde de code-executie rate voor kleine modellen drastisch (bijv. Qwen3-0.6B van 27% naar 97%).
- Numerieke Nauwkeurigheid: Fine-tuning verlaagde de relatieve $L_2$ -fout aanzienlijk en verhoogde het percentage succesvolle runs met lage fouten.
- Conclusie: Voor grote, moderne modellen is zorgvuldige prompting vaak voldoende om near-perfecte resultaten te behalen. Voor kleinere modellen is fine-tuning essentieel om betrouwbare SciML-agents te creëren.

5. Betekenis en Conclusie

Het paper demonstreert dat LLM's effectief kunnen fungeren als brug tussen natuurlijke taalbeschrijvingen en gevestigde numerieke oplossers. In plaats van te proberen de oplossing zelf te leren (wat vaak instabiel is), kunnen ze worden getraind om de juiste numerieke strategie te selecteren en de code te schrijven.

Praktische Implicatie: Dit biedt een haalbaar pad voor het bouwen van gespecialiseerde SciML-agents die betrouwbaar eenvoudige ODE-problemen kunnen oplossen.
Toekomstperspectief: De auteurs plannen om de benchmarks uit te breiden naar complexere regimes (PDE's, chaotische systemen, randwaardeproblemen) en de agenten te versterken met tools voor symbolische vereenvoudiging en stabiliteitscontroles.

De code en benchmarks zijn open-source beschikbaar gesteld, wat een fundamentele stap is voor het evalueren van wetenschappelijke codegeneratie verder dan louter syntactische correctheid.