Technische Samenvatting: Naar Executie-Gegronde Geautomatiseerde AI-Onderzoek

Probleemstelling

Geautomatiseerd AI-onderzoek beoogt gebruik te maken van Large Language Models (LLM's) om op schaal onderzoeksideeën te genereren, te implementeren en te verifiëren, met het potentieel om rekenkracht om te zetten in wetenschappelijke ontdekkingen via recursieve zelfverbetering. Echter, een kritieke bottleneck bestaat: frontier LLM's genereren frequent ideeën die plausibel lijken, maar falen bij uitvoering door menselijke onderzoekers of geautomatiseerde systemen. Hoewel "executie-gronding" (leren van de werkelijke resultaten van het draaien van code) een veelbelovende oplossing is, blijft het onduidelijk of geautomatiseerde executie haalbaar is voor open-ended onderzoeksvraagstukken en of LLM's effectief kunnen leren van executie-feedback om de generatie van ideeën te verbeteren.

Methodologie

1. Automatisch Idee-Executiesysteem

De auteurs hebben een hoog-doorvoersnelheid automatisch executiesysteem geconstrueerd dat ontworpen is om natuurlijke taal-onderzoeksideeën te implementeren, experimenten uit te voeren en prestatie-metrieken terug te geven. Het systeem bestaat uit drie kerncomponenten (Figuur 1):

• Implementer: Een server die natuurlijke taal-ideeën en een baseline-codebase ontvangt, waarbij een code-executie LLM wordt geprompt om een code-diff te genereren. Het maakt gebruik van een zelf-revisie-loop (tot 2 pogingen) om te garanderen dat de diff succesvol in de baseline kan worden gepatcht.
• Scheduler: Een middleware-laag die middelenallocatie beheert, codebases van de cloud downloadt en job-configuraties voorbereidt op basis van omgevingseisen.
• Worker: Een GPU-cluster dat de experimenten uitvoert. Bij voltooiing (of falen) uploadt het logs, metrieken en metadata naar een cloud-bucket voor analyse.

2. Onderzoekomgevingen

Om het systeem te testen op realistische, GPU-intensieve problemen, zijn twee omgevingen gedefinieerd:

• Pre-Training (nanoGPT): Gebaseerd op de nanoGPT speedrun. Het doel is om de wall-clock tijd te minimaliseren om een doelstelling te bereiken in validatieverlies (3.28) op de FineWeb-corpus met een 124M Transformer. Het systeem gebruikt een proxy-reward (reciproque van de loss) voor zoekopdrachten en RL om trainingstijd-budgetten vast te leggen, waarbij de werkelijke tijd alleen gerapporteerd wordt voor top-oplossingen.
• Post-Training (GRPO): Gebaseerd op het GRPO-algoritme voor wiskundige redenering. Het doel is om de validatie-nauwkeurigheid te maximaliseren op de MATH-dataset voor een 1.5B model (Qwen2.5-Math) binnen een vastgesteld tijdbudget.

3. Leeralgoritmen

De studie evalueert twee methoden voor het leren van executie-feedback:

• Executie-gestuurde Evolutionaire Zoektocht: Een optimalisatiemethode die exploratie en exploitatie mengt. In elk epoch samplet het systeem een batch ideeën, voert ze uit en gebruikt de resultaten om de volgende generatie te sturen. Het behoudt een pool van "positieve trajecten" (ideeën die de baseline overtreffen) om varianten te genereren (exploitatie), terwijl ook nieuwe ideeën worden gesampled (exploratie).
• Reinforcement Learning (RL): De automatische executor dient als een reward-functie om een ideator-model (Qwen3-30B) te finetunen met behulp van het GRPO-algoritme. De reward is de validatie-nauwkeurigheid (post-training) of de reciproque van het validatieverlies (pre-training).

Belangrijkste Resultaten

1. Haalbaarheid van Automatische Executie

De automatische executor implementeerde succesvol een groot deel van de ideeën gegenereerd door frontier LLM's.

• Executieratio's: In de pre-training omgeving behaalden Claude-4.5-Opus en Claude-4.5-Sonnet executieratio's van respectievelijk 96% en 90%. In de post-training omgeving waren de ratio's lager (52% voor GPT-5, 84% voor Claude-4.5-Sonnet) maar nog steeds significant.
• Baseline Prestaties: Zelfs zonder zoekopdrachten of RL, overtrof de "best-of-N" (N=50) prestatie van deze modellen de originele baselines (bijv. Claude-4.5-Sonnet behaalde 60,4% nauwkeurigheid op GRPO versus 48,0% baseline).

2. Prestaties van Executie-gestuurde Evolutionaire Zoektocht

Evolutionaire zoektocht bleek zeer sample-efficiënt en vond superieure oplossingen binnen slechts tien zoek-epochs:

• Post-Training: De zoektocht vond een methode die 69,4% nauwkeurigheid behaalde op de GRPO-taak, wat de 48,0% baseline en de beste menselijke expert-oplossing (68,8%) van een Stanford graduate course aanzienlijk overtrof.
• Pre-Training: De zoektocht ontdekte een recept dat de trainingstijd verminderde tot 19,7 minuten om de doelstelling te bereiken, vergeleken met de baseline van 35,9 minuten.
• Schaalbaarheidstrends: Claude-4.5-Opus vertoonde een duidelijke schaalbaarheidstrend waarbij meer zoek-epochs leidden tot hogere bovengrenzen. In contrast hiermee neigden Claude-4.5-Sonnet en GPT-5 naar vroege verzadiging.
• Idee-diversiteit: De modellen genereerden substantiële algoritmische ideeën (bijv. architecturale wijzigingen, nieuwe trainingsdynamiek) in plaats van enkel hyperparameter-tuning. Claude-4.5-Sonnet genereerde aanzienlijk meer hyperparameter-gerichte ideeën, terwijl Opus en GPT-5 zich meer richtten op algoritmische innovaties.

3. Prestaties van Reinforcement Learning (RL)

RL vanuit executie-reward toonde gemengde resultaten:

• Gemiddelde Reward: De gemiddelde reward van het ideator-model verbeterde significant over de training-epochs (bijv. de gemiddelde nauwkeurigheid op GRPO steeg van 0,253 naar 0,343).
• Falen van de Bovengrens: Cruciaal is dat de maximale reward niet verbeterde. Het model slaagde er niet in om doorbraak-ideeën te ontdekken die de initiële beste prestatie overtroffen.
• Mode Collapse: RL veroorzaakte mode collapse, waarbij het model convergeerde naar een paar eenvoudige, makkelijk te implementeren ideeën (bijv. het vervangen van RMSNorm door LayerNorm, of het toepassen van Exponential Moving Average). Dit leidde tot een instorting van de idee-diversiteit en een reductie in "denklengte" (het model stopte met het genereren van complexe redeneertracés om de waarschijnlijkheid van een succesvolle, eenvoudige executie te maximalen).

Betekenis en Claims

Het artikel claimt aan te tonen dat de haalbaarheid en het potentieel van het gronden van LLM-ideatie in automatische executie voor open-ended AI-onderzoek aanwezig zijn.

• Validatie van Executie-gronding: De studie bevestigt dat automatische executors een groot deel van de natuurlijke taal-onderzoeksideeën kunnen afhandelen en dat evolutionaire zoektocht effectief executie-feedback kan benutten om oplossingen te vinden die superieur zijn aan menselijke baselines en standaard zoekmethoden.
• Beperkingen van Huidige RL: Het werk benadrukt een kritieke beperking van het toepassen van standaard RL op open-ended onderzoek: hoewel het de gemiddelde prestaties verbetert, induceert het mode collapse, waardoor modellen convergeren naar veilige, eenvoudige ideeën en falen om de bovengrens van wetenschappelijke ontdekking te verleggen.
• Toekomstige Richtingen: De auteurs suggereren dat toekomstig werk de diversiteitsinstorting in RL moet aanpakken, de generaliseerbaarheid van ontdekte ideeën moet verbeteren en meer capabele executie-agenten moet ontwikkelen om complexe code-generatietaken te kunnen afhanden.

Het artikel concludeert dat hoewel automatische executie-feedback een krachtig signaal is voor het verbeteren van AI-onderzoek, de huidige leeralgoritmen (specifiek standaard RL) nieuwe interventies vereisen om diversiteit te behouden en de "long tail" van potentieel doorbraak-rijke ideeën te verkennen.