Toward Autonomous Long-Horizon Engineering for ML Research

Titel: Toward Autonomous Long-Horizon Engineering for ML Research

Auteurs: Guoxin Chen et al. (Renmin University of China, AweAI Team)
Datum: 15 april 2026

---

1. Het Probleem: Autonomie op Lange Termijn in ML-Onderzoek

Het paper adresseert de uitdaging van autonome engineering voor machine learning (ML) onderzoek op lange termijn. Hoewel AI-agenten al succesvol zijn in het genereren van ideeën of het synthetiseren van literatuur, blijft het uitvoeren van een volledig onderzoekscyclus (van paper naar reproduceerbaar experiment) over een periode van uren of dagen extreem moeilijk.

De kernproblemen zijn:

• Onduidelijke specificaties: Research papers missen vaak implementatiedetails, waardoor agenten deze moeten afleiden uit context.
• Systeemopzet: Het vereist het configureren van omgevingen, het downloaden van datasets en het integreren van resources.
• Vertraagde en verwarde feedback: Experimentele resultaten komen pas later binnen en fouten kunnen vele oorzaken hebben (implementatie, data, infrastructuur).
• Continuïteit van staat (State Continuity): De grootste uitdaging is het behouden van de projectstatus over meerdere iteraties heen. Agenten verliezen vaak de context van eerdere beslissingen, wat leidt tot herhaling van fouten of gebrek aan coherentie in de lange termijn planning.

Huidige systemen presteren slecht op benchmarks zoals PaperBench, waar zelfs de beste agenten slechts een fractie van de prestaties van menselijke PhD-studenten halen.

---

2. Methodologie: AiScientist

De auteurs introduceren AiScientist, een systeem dat is ontworpen op het principe dat sterke prestaties op lange termijn twee elementen vereisen: gestructureerde orkestratie en duurzame staat-continuïteit.

A. Architectuur: "Thin Control over Thick State"

AiScientist scheidt controle (de beslissingen) van de staat (de projectgegevens):

• Thin Control (Dunne Controle): Een top-level Orchestrator houdt slechts een compacte context bij. Deze werkt met beknopte samenvattingen van de voortgang en een "workspace map" (een index van bestanden), in plaats van de volledige projectgeschiedenis in het geheugen te houden.
• Thick State (Dikke Staat): Alle gedetailleerde informatie (analyses, code, logs, experimentele resultaten) wordt opgeslagen in een gedeelde, toegangsbeperkte werkruimte. Deze bestanden dienen als het "systeem van record".

B. File-as-Bus Protocol

In plaats van dat agenten hun voortgang doorgeven via verliesgevoelige conversaties (chat-handoffs), gebruiken ze een File-as-Bus protocol:

• Agenten communiceren via bestanden in een gedeelde werkruimte.
• Bestanden zoals paper_analysis/, submission/, en agent/ (met logs en plannen) worden permanent bijgehouden.
• Agenten "her-gronden" (re-ground) zich op deze bestanden wanneer ze een taak starten, in plaats van te vertrouwen op wat er in het conversatievenster staat. Dit zorgt voor duurzaamheid en traceerbaarheid.

C. Hiërarchische Orkestratie (Agent-as-Tool)

Het systeem gebruikt een hiërarchisch team van agenten:

• Tier 0 (Orchestrator): Beheert de planning, prioriteit en delegering. Het ziet de "grote lijn" en roept specialisten aan als tools.
• Tier 1 (Specialisten): Gespecialiseerde agenten voor specifieke fasen:
  • Paper Comprehension: Analyseert de paper en extraheert details.
  • Prioritization: Maakt een uitvoerbaar plan.
  • Implementation: Schrijft code en zet omgevingen op.
  • Experimentation: Voert experimenten uit, diagnoseert fouten en valideert resultaten.
• Tier 2 (Sub-agenten): Worden tijdelijk opgestart door specialisten voor zeer specifieke taken (bijv. het downloaden van een specifiek dataset of het analyseren van een algoritme).

Dit ontwerp zorgt voor progressieve onthulling: agenten lezen alleen de bestanden die relevant zijn voor hun huidige taak, wat de contextbelasting beperkt terwijl de volledige projectgeschiedenis bewaard blijft.

---

3. Belangrijkste Bijdragen

1. AiScientist Systeem: Een volledig autonoom systeem dat de hele cyclus van ML-onderzoek aankan: van het interpreteren van papers tot het iteratief verbeteren van experimenten.
2. File-as-Bus Ontwerp: Een nieuwe coördinatiemethode die staat-continuïteit garandeert via duurzame artefacten (bestanden) in plaats van conversaties, gecombineerd met een hiërarchische orkestratie.
3. Empirisch Bewijs: Uitgebreide evaluaties tonen aan dat duurzame staat-continuïteit de kritieke factor is voor succes op lange termijn, meer dan alleen maar meer interactie of complexere redeneermodellen.

---

4. Resultaten

AiScientist werd getest op twee complementaire benchmarks:

• PaperBench (Reproductie van papers):

  • AiScientist bereikte een gemiddelde score van 33,73, een verbetering van +11,15 punten ten opzichte van de beste bestaande baseline (IterativeAgent).
  • Het systeem verkleinde de kloof met menselijke experts (die op 41% scoren) aanzienlijk.
  • Het was ook aanzienlijk kostenefficiënter dan baselines (bijv. $12,20 vs $54,90 per taak met GLM-5).

• MLE-Bench Lite (Competitie-achtige ML taken):

  • AiScientist behaalde 81,82% "Any Medal" (kans op een medaille in een competitie), wat de beste prestatie is in de vergelijking.
  • Dit is een verbetering van +18,18 punten ten opzichte van de sterkste baseline (ML-Master 2.0).

Ablatiestudies (Wat werkt er echt?)

De auteurs toonden aan dat de prestaties sterk afhankelijk zijn van hun ontwerpprincipes:

• Zonder File-as-Bus: De prestaties daalden drastisch (PaperBench -6,41 punten; MLE-Bench -31,82 punten). Dit bewijst dat het behoud van projectstatus via bestanden cruciaal is, vooral voor latere iteraties en verfijning.
• Zonder Hiërarchie (Simpelere Agenten): Simpele agenten zonder hiërarchische orkestratie presteerden significant slechter, wat aantoont dat gespecialiseerde rollen essentieel zijn voor complexe taken.

---

5. Betekenis en Conclusie

Dit paper stelt dat ML-onderzoek op lange termijn een systeemprobleem is, geen lokaal redeneerprobleem. De grootste bottleneck is niet het vermogen van een LLM om in één keer een oplossing te vinden, maar het vermogen om coherentie te behouden over duizenden stappen en verschillende fasen heen.

Kerninzichten:

• Duurzame staat is koning: Het gebruik van bestanden als communicatiemedium (File-as-Bus) is effectiever dan conversaties voor lange-termijn taken.
• Orkestratie is noodzakelijk: Een hiërarchische structuur die werk verdeelt over gespecialiseerde agenten, is superieur aan een enkele agent die alles probeert te doen.
• Toekomstperspectief: AiScientist demonstreert dat autonome AI-systemen binnenkort in staat kunnen zijn om complexe wetenschappelijke ontdekkingen zelfstandig te doorlopen, wat de snelheid van wetenschappelijke vooruitgang in de AI-sector aanzienlijk kan versnellen.