🤖 machine learning

GAE: Graph-Augmented Evolution for Scientific Discovery via Reinforcement Optimization

Het artikel presenteert GAE, een nieuw raamwerk dat evolutionaire programmaz zoektocht voor wetenschappelijke ontdekking verbetert door grafische neurale netwerken te integreren voor structuurbewuste programma-representatie, reinforcement learning voor gerichte selectie van ouders en mutaties, en online GRPO fine-tuning om LLM-mutatieoperatoren dynamisch af te stemmen op hoogwaardige structurele bewerkingen, waardoor staat-van-de-kunst prestaties worden bereikt bij het ontdekken van gesloten vorm fysische vergelijkingen.

Oorspronkelijke auteurs: Xuanzhou Chen, Taoli Cheng

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xuanzhou Chen, Taoli Cheng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij de perfecte natuurkundige vergelijking kan schrijven om de beweging van een wiebelende, stuiterende veer te verklaren. Je hebt een superintelligente robot-schrijver (een Large Language Model, of LLM), maar die is een beetje als het gooien met dartpijlen in een donkere kamer: soms raakt hij de roos, maar meestal gooit hij gewoon willekeurig met pijlen.

Lange tijd probeerden wetenschappers deze robot te helpen door hem te laten raden, te controleren of de gok goed was, en de beste varianten te bewaren. Maar het paper "GAE: Graph-Augmented Evolution for Scientific Discovery" wijst erop dat deze oude methode drie grote problemen heeft, alsof je een doolhof probeert te navigeren met een blinddoek op, een kaart die alleen zegt "je bent fout" zonder te vertellen hoe dichtbij je was, en een kompas dat nooit wordt bijgewerkt.

De Drie Grote Problemen (en waarom de oude manier faalt)
Ten eerste, de "blinddoek". De oude methoden kozen volledig willekeurig welke eerdere vergelijkingen verbeterd moesten worden, puur kijkend naar de eindscore. Ze keken niet naar de vorm van de vergelijking. Het is alsof je een recept kiest om te verbeteren, enkel omdat de vorige keer de smaak oké was, zonder te beseffen dat de nieuwe versie meer zout nodig heeft en niet meer suiker.

Ten tweede, de "slechte kaart". Wanneer de robot een nieuwe vergelijking probeert, moet de computer een enorme, trage simulatie draaien om te zien of het werkt. Als de nieuwe vergelijking bijna goed is maar net niet helemaal, gooit het oude systeem deze gewoon weg. Het is alsof een docent een leerling een "onvoldoende" geeft omdat hij 99% van de wiskunde goed had, terwijl de docent de nuance negeert dat hij er ongelooflijk dichtbij zat. Dit verspilt alle kleine aanwijzingen over hoe men beter kan worden.

Ten derde, de "vastgelopen kompas". De manier waarop de robot nieuwe vergelijkingen raadt, verandert nooit. Hij blijft dezelfde oude trucjes gebruiken, zelfs als hij leert dat die trucjes niet goed werken voor dit specifieke puzzeltje.

De GAE-oplossing: Een Slim, Zelfverbeterend Team
De auteurs van dit paper hebben een nieuw systeem gebouwd genaamd GAE (Graph-Augmented Evolution) om deze drie problemen op te lossen. Ze hebben het oude systeem niet alleen een beetje aangepast; ze hebben de robot een brein, een coach en een manier gegeven om on the fly te leren.

Het "Vormveranderende" Brein (De Graaf): In plaats van de vergelijking alleen als tekst te lezen, verandert GAE elke vergelijking in een kleurrijke, 3D-kaart van hoe de wiskundige onderdelen met elkaar verbonden zijn (een "computation graph"). Hierdoor kan het systeem de structuur "zien". Het is alsof je naar een Lego-kasteel kijkt en precies ziet welke blokjes de toren omhoog houden, in plaats van alleen het voltooide kasteel te zien.
De "Slimme Coach" (De RL Meta-Controller): Dit is een speciale AI-coach die de "Vormveranderende" kaarten observeert. In plaats van een ouder-vergelijking willekeurig te kiezen, kijkt de coach naar de kaart en zegt: "Hé, deze vergelijking lijkt structureel op de vergelijking die de vorige keer het beste werkte. Laten we die eens aanpassen." Het begeleidt de robot om wijzigingen aan te brengen die waarschijnlijker zullen werken, waardoor willekeurig raden verandert in een gerichte zoektocht.
De "Directe Tutor" (Online Fine-Tuning): Dit is het coolste deel. Elke keer dat de robot een reeks nieuwe vergelijkingen probeert, werkt het systeem het brein van de robot direct bij. Als de robot een goede gok heeft gedaan, zegt het systeem: "Doe daar meer van!" Als de robot een slechte gok heeft gedaan, zegt het: "Stop daarmee." Het is alsof de robot leert om betere natuurkundige vergelijkingen te schrijven terwijl hij ze daadwerkelijk aan het zoeken is, in plaats van pas aan het einde van de dag te gaan studeren.

De Grote Test: De Wiebelende Veer
Om te zien of dit nieuwe systeem echt werkt, hebben de auteurs het aan een test onderworpen: het vinden van de exacte wiskundige formule voor een "niet-lineaire gedempte oscillator". Denk aan een veer die niet alleen op en neer stuitert, maar die ook zwaarder wordt naarmate hij beweegt, op vreemde manieren vertraagt en wordt beïnvloed door externe krachten. Dit is een zeer complex, rommelig natuurkundig probleem uit de echte wereld.

Ze vergeleken GAE met andere topmethoden, inclusief methoden die dezelfde superintelligente robot-schrijver gebruiken, maar dan zonder het nieuwe coachesysteem.

Het resultaat: GAE won niet alleen; het verpletterde de concurrentie. In deze simulaties vond GAE vergelijkingen die ongelooflijk nauwkeurig waren.
De cijfers: Het paper rapporteert de fout aan de hand van een getal genaamd "log10 NMSE". Hoe lager, hoe beter. De beste eerdere methoden (zoals OpenEvolve) behaalden scores rond de -3,14 of -5,87. GAE vond echter een oplossing met een score van -7,24 (en zelfs -7,45 op lastige, onbekende testdata).
Wat betekent dit? Een score van -7,24 betekent dat de fout ongeveer 5,7 × 10⁻⁸ is. Dat is een minuscuul klein getal. Het betekent dat de vergelijking die GAE vond, bijna een perfecte match is met de echte natuurkunde van de veer.

De "Magische" Vergelijking
De beste vergelijking die GAE vond, was niet zomaar een simpele lijn. Het was een complexe, prachtige formule die het volgende bevatte:

Lineaire krachten (de basisbeweging).
Kwadratische en kubische krachten (de vreemde, niet-lineaire bewegingen).
Snelheidsafhankelijke demping (hoe de veer vertraagt).
Tijdafhankelijke krachten (de externe duwtjes).
En zelfs lastige interactietermen waarbij positie, snelheid en tijd met elkaar mengen.

De auteurs toonden aan dat deze vergelijking fysiek zinvol is. Het identificeerde correct dat de veer een "lineaire herstellende kracht" heeft (hij wil terug naar het midden), "kubische niet-lineariteit" (hij wordt op een specifieke manier stijver) en "kwadratische weerstand" (luchtweerstand die de beweging tegenwerkt).

Wat GAE NIET is
Het is belangrijk om te weten wat dit paper niet beweert. De auteurs zijn voorzichtig en geven aan dat deze methode afhankelijk is van een specifieke manier van naar code kijken (de "Abstract Syntax Trees" van Python). Als je dit exacte systeem op een andere programmeertaal zou willen gebruiken zonder het "Vormveranderende" brein aan te passen, zou het niet direct werken. Ook, hoewel de resultaten geweldig zijn, zijn ze gebaseerd op computersimulaties van een specifiek natuurkundig probleem. Het paper suggereert dat dit een krachtige nieuwe richting is, maar beweert niet dat het al álle wetenschappelijke ontdekkingsproblemen heeft opgelost.

De Kernboodschap
Kortom, GAE verandert het chaotische, willekeurige proces van wetenschappelijke ontdekking in een gefocuste, zelfverbeterende reis. Door de AI een manier te geven om de structuur van zijn ideeën te "zien", een coach om de beste startpunten te kiezen, en een manier om te leren van elke poging, ontdekte het een bijna perfecte natuurkundige vergelijking die andere methoden misten. Het is een stap naar een toekomst waarin AI niet alleen gokt, maar echt leert hoe de wetten van de natuur ontdekt moeten worden.

Technische Samenvatting: GAE (Graph-Augmented Evolution for Scientific Discovery via Reinforcement Optimization)

1. Probleemstelling

Het artikel behandelt de beperkingen van de huidige door Large Language Models (LLM) gestuurde evolutionaire zoektocht in geautomatiseerde wetenschappelijke ontdekking. Hoewel frameworks zoals FunSearch en AlphaEvolve succes hebben getoond bij het ontdekken van nieuwe algoritmen en wiskundige objecten, identificeren de auteurs drie fundamentele knelpunten die effectieve zoektochten in complexe programmaruimtes belemmeren:

Beloningsschaarsheid (Reward Sparsity): Bij programmazoektocht (bijv. symbolische regressie) vereist de fitness-evaluatie volledige executie of numerieke integratie. Het zoekproces ontvangt doorgaans slechts een binair signaal (verbetering of geen verbetering) op basis van de vraag of een kindprogramma de huidige incumbent strikt overtreft in een specifie factische cel van een MAP-Elites archief. Dit negeert fijnmazige relationele informatie over programma's die structureel betekenisvol of bijna optimaal zijn, waardoor de populatie wordt gereduceerd tot een schaarse sequentie van verbeteringsgebeurtenissen.
Ongeïnformeerde Ouderselectie: Bestaande methoden selecteren vaak ouders op basis van fitness-rangorde met een willekeurige diversiteit, waarbij de populatie wordt behandeld als een ongestructureerde verzameling programma's. Dit negeert de substantiële structurele informatie binnen de populatie. Zonder gebruik te maken van lokale structurele gelijkenis, induceren kleine mutaties onvoorspelbare gedragsveranderingen, waardoor het zoekproces verandert in een grotendeels stochastische exploratie in plaats van een geleide verfijning.
Statische Mutatie-operators: In huidige benaderingen is de LLM die verantwoordelijk is voor het genereren van code-mutaties constant gedurende het hele zoekproces. Het systeem samplet uit een statische, vooraf getrainde distributie van structurele transformaties, ongeacht de geaccumuleerde zoekervaring, en faalt hierdoor in het aanpassen van de mutatiestrategie aan de specifieke behoeften van de evoluerende populatie.

2. Methodologie: Het GAE-framework

De auteurs stellen GAE (Graph-Augmented Evolution) voor, een framework dat deze knelpunten oplost via een nauw gekoppelde, driepil architectuur gebouwd op de OpenEvolve-backbone. Het systeem werkt door stochastische zoektocht te transformeren naar een gerichte, zelfverbeterende traject.

A. Relational Graph Neural Network (GNN) Encoder

In plaats van programma's als ruwe tekst te behandelen, parseert GAE elk kandidaatprogramma naar een getypeerde computationele graaf met behulp van statische Abstract Syntax Tree (AST) analyse.

Graafrepresentatie: Knopen vertegenwoordigen wiskundige operaties of variabelen, en randen coderen de datastroom.
Embedding: Een relationele GNN verwerkt deze grafen om structureel bewuste embeddings ( $z \in \mathbb{R}^d$ ) te produceren.
Online Fine-tuning: De encoder is voorgetraind op synthetische programma's met proxy-scores en wordt continu bijgetraind tijdens de evolutie. Elke $K$ generaties wordt deze bijgewerkt via een Mean Squared Error (MSE) loss om de embeddings te regresseren tegen de geobserveerde evaluatiebeloningen, waardoor het model de evoluerende distributie van hoog-fitte programma's kan volgen.

B. RL-geoptimaliseerde Meta-Controller (Discrete SAC)

Om ongeïnformeerde ouderselectie en statische mutatierichtingen aan te pakken, gebruikt GAE een Discrete Soft Actor-Critic (SAC) meta-controller.

Toestand (State): De toestand is de GNN-embedding van het geselecteerde ouderprogramma.
Actie (Action): De actieruimte bestaat uit discrete tupels die een type mutatie, een doel-node ID en een argumentindex coderen.
Beleid (Policy): De controller leert een beleid om de optimale mutatierichting te selecteren op basis van de structurele embedding van de ouder en de beloningsgeschiedenis.
Beloningssignaal: De controller wordt getraind op een samengestelde beloning bestaande uit:
1. Taakscore: De afgeknipte (clipped) fitness van het beste kind.
2. Nieuwigheid (Novelty): De afstand van de embedding van het kind tot de huidige populatie (stimuleert exploratie).
3. Complexiteitsstraf (Complexity Penalty): Een straf voor excessieve aantallen AST-knopen.
  Dit stelt het systeem in staat om dynamisch optimale ouders en mutatierichtingen te selecteren in plaats van te vertrouwen op blind sampling.

C. Online GRPO Fine-tuning Loop

Om de statische mutatie-operator te overwinnen, implementeert GAE een online Group Relative Policy Optimization (GRPO) loop om de LLM-mutatie-operator tijdens de testtijd bij te trainen.

Proces: Voor een geselecteerde ouder genereert de LLM een groep van $G$ kinderen.
Advantage Berekening: De advantage voor elk kind wordt berekend relatief aan de werkelijke geëvalueerde score van de ouder ( $R_{child} - R_{parent}$ ), genormaliseerd door de standaarddeviatie van de groep.
Update: De LLM-gewichten worden bijgewerkt met een PPO-clip surrogate objectief met een KL-penalty tegen een referentiemodel. Dit stemt de generatiedistributie van het model af op hoog-fitte structurele edities zonder de evolutionaire loop te onderbreken.

3. Belangrijkste Bijdragen

Verenigde Oplossing voor Knelpunten: GAE is het eerste framework dat tegelijkertijd beloningsschaarsheid, ongeïnformeerde ouderselectie en statische mutatie-operators aanpakt binnen één enkele evolutionaire loop.
Structuurbewuste Evolutie: Door een relationele GNN te gebruiken om programma's te parsen naar getypeerde computationele grafen, stelt het framework het zoekproces in staat om gebruik te maken van lokale structurele gelijkenis, waardoor mutaties worden gestuurd naar consistente functionele verfijningen.
Adaptief Mutatiebeleid: De integratie van een online GRPO-loop maakt de mutatie-operator (LLM) in staat tot zelfverbetering tijdens de zoektocht, waarbij de generatiedistributie wordt aangepast aan de specifieke structurele edities die nodig zijn voor een hoge fitness.
Discrete SAC Meta-Controller: De introductie van een geleerde selector die taakverbetering, nieugheid en complexiteit balanceert, zorgt ervoor dat de zoektocht gericht en divers blijft.

4. Experimentele Resultaten

De auteurs evalueerden GAE op de Nonlinear Oscillators taak uit de LLM-SR benchmark, een uitdagend probleem in symbolische regressie dat complexe nietlineaire differentiaalvergelijkingen omvat.

Prestaties: GAE presteert consequent gelijk aan of beter dan statische LLM-gestuurde baselines (OpenEvolve, PACEvolve, ShinkaEvolve) en niet-LLM baselines (uDSR).
- In-Distribution (ID): GAE bereikte een gemiddelde log10 NMSE van -6.87 en een best van -7.24, wat significant beter is dan OpenEvolve (Qwen: -3.88) en PACEvolve (-5.80).
- Out-of-Distribution (OOD): GAE demonstreerde superieure generalisatie met een beste log10 NMSE van -7.45, vergeleken met -6.10 voor PACEvolve.
Efficiëntie: De methode ontdekte binnen 150 iteraties een bijna exacte symbolische vorm van de doelvergelijking, waarbij snelle verbetering in de eerste 20 iteraties zichtbaar was, gevolgd door gestage winsten.
Ontdekkingen: Het beste door GAE ontdekte programma identificeerde correct lineaire herstellende krachten, kwadratische/kubische/quartische nietlineariteiten, snelheid-afhankelijke demping en tijd-afhankelijke forcering, met een compacte structuur vergeleken met de complexere en minder nauwkeurige outputs van de baselines.

5. Betekenis en Claims

De paper claimt dat GAE een fundamentele methodologische vooruitgang vertegenwoordigt in LLM-gestuurde evolutionaire algoritmen. Door een dynamisch, structuurbewust paradigma te introduceren dat wordt gedreven door relationele graaf-encoders en online reinforcement optimalisatie, transformeert het framework de evolutionaire zoektocht van een grotendeels stochastisch proces naar een gerichte, zelfverbeterende traject.

De auteurs positioneren dit werk als essentieel voor het opschalen van AI om zeer complexe wetenschappelijke problemen aan te pakken waarbij de zoekruimtes enorm zijn en evaluaties computationeel duur zijn. De directe impact wordt gedemonstreerd door het vermogen om interpreteerbare, gesloten vorm wiskundige modellen te ontdekken uit complexe observationele data. Het artikel concludeert dat deze methodologie de technische basis legt voor meer uitgebreide wetenschappelijke agent-systemen die in staat zijn complexe, veelzijdige problemen op te lossen in de theoretische fysica, vloeistofdynamica en complexe systeemtechniek.

Erkende Beperkingen:
De auteurs merken op dat de methode steunt op graafrepresentaties afgeleid van Python AST's, wat domeinspecifieke inductieve biases codeert. Het uitbreiden naar andere talen of domeinen vereist het herontwerpen van node-types en relaties. Daarnaast hangt het voordeel van graaf-gestuurde policy learning af van een evaluatieregime dat kostbaar genoeg is om de overhead van de GNN en reinforcement optimalisatie te rechtvaardigen.