EvoScientist: Towards Multi-Agent Evolving AI Scientists for End-to-End Scientific Discovery

Dit paper introduceert EvoScientist, een evoluerend multi-agentkader dat door middel van persistente geheugens en zelfevolutie de kwaliteit van wetenschappelijke ideeën en de succesratio van code-uitvoering verbetert, waardoor het bestaande statische AI-systemen voor end-to-end wetenschappelijke ontdekking overtreft.

De kern

Stel je voor dat wetenschap doen een beetje lijkt op het bouwen van een enorme, complexe stad. Normaal gesproken heb je daar een team van experts voor nodig: iemand die de plannen tekent (de onderzoeker), iemand die de bouwput regelt en de stenen legt (de ingenieur), en een projectmanager die zorgt dat iedereen niet dezelfde fouten maakt.

Het probleem met de huidige "AI-wetenschappers" is dat ze vaak werken als een robot die een vast script afloopt. Als ze een fout maken, vergeten ze het de volgende keer. Ze bouwen dus keer op keer dezelfde muur die instort, of ze vergeten een heel nieuw straatje dat misschien wel de toekomst van de stad was.

EvoScientist is de oplossing van Huawei voor dit probleem. Het is een nieuw systeem dat zich lerend en evoluerend gedraagt, alsof het een team is dat echt ervaring opdoet.

Hier is hoe het werkt, vertaald naar alledaagse analogieën:

1. Het Team: Drie Specialisten

In plaats van één robot die alles doet, heeft EvoScientist drie gespecialiseerde personages:

• De Ontwerper (Researcher Agent): Dit is de dromer. Hij bedenkt nieuwe ideeën voor de stad. Maar hij doet dit niet zomaar; hij kijkt eerst in een groot geheugenboek om te zien welke ideeën in het verleden goed werkten en welke ideeën tot een puinhoop leidden.
• De Bouwer (Engineer Agent): Dit is de uitvoerder. Hij pakt het idee van de Ontwerper en probeert het te bouwen (in dit geval: code schrijven en experimenten draaien). Ook hij kijkt in zijn eigen geheugenboek. Als hij in het verleden een machine heeft gebouwd die altijd vastliep, probeert hij die fout nu te voorkomen.
• De Leraar (Evolution Manager Agent): Dit is de slimme coach. Na elke poging (of mislukking) pakt deze agent de resultaten, leest hij wat er misging, en schrijft hij nieuwe regels in de geheugenboeken van de Ontwerper en de Bouwer. Hij zorgt dat het team slimmer wordt met elke ronde.

2. Twee Onuitwisbare Geheugens

Het geheim van EvoScientist zit in twee specifieke "geheugenboeken" die nooit worden gewist:

• Het Idee-Geheugen: Hierin staat niet alleen wat er goed ging, maar vooral ook wat niet werkte. Stel, de Ontwerper bedacht 10 keer een brug over een rivier, maar 9 keer stortte hij in. In dit geheugen staat nu: "Pas op! Bruggen van dit type over deze rivier werken niet." Zo hoeft hij die fout nooit meer te maken.
• Het Bouw-Geheugen: Hierin staan de slimme trucs voor het bouwen zelf. Bijvoorbeeld: "Als je deze machine leert, gebruik dan altijd deze specifieke instellingen, anders crasht hij."

3. Het Resultaat: Een Team dat Beter Wordt

Bij de meeste AI-systemen begint elke nieuwe taak bij nul. Bij EvoScientist begint het team waar het vorige keer stopte.

• Vroeger: Een AI probeerde een idee, het faalde, en de volgende keer probeerde hij exact hetzelfde idee weer.
• Nu met EvoScientist: De AI denkt: "Ah, ik heb dit al eens geprobeerd en het faalde. Laten we een ander pad proberen." Of: "Ik heb een fout in de code gevonden, laten we die fixen en onthouden voor de volgende keer."

De Proef op de Som

De auteurs van het paper hebben dit systeem getest door te laten zien dat EvoScientist in staat was om volledige wetenschappelijke papers te schrijven en te publiceren.

• Ze stuurden 6 papers in voor een groot congres (ICAIS 2025).
• Alle 6 werden geaccepteerd!
• Zelfs wonnen ze prijzen, waaronder de "Best Paper Award".

Waarom is dit belangrijk?

Stel je voor dat je een speler bent in een videospel.

• Een oude AI is als een speler die elke keer opnieuw begint bij level 1, zonder te onthouden waar de valkuilen zaten.
• EvoScientist is als een speler die een dagboek bijhoudt. Hij onthoudt: "Bij level 3 moet ik linksaf, niet rechtsaf, want daar viel ik in een afgrond." Hierdoor wordt hij naarmate de tijd vordert steeds sneller en slimmer.

Kortom: EvoScientist is geen statische machine die alleen maar instructies uitvoert. Het is een levend, lerend team dat door zijn eigen ervaringen groeit, fouten leert te vermijden en uiteindelijk betere wetenschappelijke ontdekkingen doet dan mensen of statische AI's alleen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "EvoScientist: Towards Multi-Agent Evolving AI Scientists for End-to-End Scientific Discovery" in het Nederlands.

Probleemstelling

De huidige staat van de kunst (SOTA) voor AI-wetenschappers, die Large Language Models (LLMs) gebruiken voor end-to-end wetenschappelijke ontdekking, lijdt aan een fundamenteel tekort: het gebrek aan adaptief leren. Bestaande systemen vertrouwen doorgaans op statische, handmatig ontworpen pijplijnen. Agenten voeren taken uit (zoals idee-generatie en code-uitvoering) zonder hun strategieën aan te passen op basis van eerdere interacties, successen of mislukkingen.

Dit leidt tot drie kritieke inefficiënties:

1. Systemen herhalen systematisch eerdere mislukte experimenten.
2. Veelbelovende onderzoeksrichtingen worden over het hoofd gezien.
3. Er wordt tijd en middelen verspild aan onhaalbare ideeën.

Er is een dringende behoefte aan systemen die interactiegeschiedenis niet als afval zien, maar als een "first-class resource" gebruiken om hun idee-generatie en code-uitvoering continu te verbeteren.

Methodologie: Het EvoScientist Framework

EvoScientist is een zelf-evoluerend multi-agent systeem dat wetenschappelijke ontdekking modelleert als een leerproces. Het systeem bestaat uit drie gespecialiseerde agenten en twee persistente geheugenmodules.

1. Agenten

• Researcher Agent (RA): Verantwoordelijk voor het genereren van wetenschappelijke ideeën en het uitwerken van deze ideeën tot volledige onderzoeksvoorstellen. De RA gebruikt een Idea Tree Search (voorstel-beoordeling-verfijning) gebaseerd op literatuur en opgehaalde kennis uit het geheugen.
• Engineer Agent (EA): Voert de experimenten uit door code te genereren, te debuggen en te draaien. De EA gebruikt een Experiment Tree Search over vier fasen (initiële implementatie, hyperparameter-tuning, voorgestelde methode, en ablatiestudies) om uitvoerbare en betrouwbare code te produceren.
• Evolution Manager Agent (EMA): Het "hersenen" van het evoluerende systeem. De EMA distilleert inzichten uit de interactiegeschiedenis van de RA en EA en werkt de persistente geheugens bij.

2. Persistente Geheugenmodules

Het kerninnovatiepunt is het gebruik van twee specifieke geheugens die worden opgehaald bij elke nieuwe taak:

• Ideation Memory ($M_I$):
  • Inhoud: Samenvattingen van veelbelovende onderzoeksrichtingen (gebaseerd op top-ideeën) én gedetailleerde registraties van mislukte richtingen (geïdentificeerd tijdens validatie).
  • Doel: De RA helpt om te voorkomen dat het systeem in dezelfde valkuilen trapt en om te focussen op haalbare, originele richtingen.
• Experimentation Memory ($M_E$):
  • Inhoud: Effectieve strategieën voor data-verwerking en modeltraining, afgeleid van code-zoektrajecten en de best presterende implementaties.
  • Doel: De EA helpt om fouten in code te diagnosticeren en herbruikbare implementatiestrategieën toe te passen, waardoor de succesratio van code-uitvoering stijgt.

3. Evolutiemechanismen

Het systeem evolueert via drie mechanismen die door de EMA worden aangestuurd:

1. Idea Direction Evolution: Het samenvatten van succesvolle richtingen uit de top-ideeën.
2. Idea Validation Evolution: Het analyseren van mislukte experimenten om te bepalen waarom een idee faalde (bijv. onhaalbare aannames) en dit te registreren als een "niet te herhalen" patroon.
3. Experiment Strategy Evolution: Het distilleren van technische strategieën (data-pipelines, training loops) uit succesvolle code-trajecten.

Belangrijkste Bijdragen

1. EvoScientist Architectuur: Een nieuw framework met drie gespecialiseerde agenten en twee persistente geheugens dat end-to-end wetenschappelijke ontdekking mogelijk maakt met continu lerend vermogen.
2. Zelf-Evoluerende Mechanismen: De introductie van drie specifieke evolutiemethoden (richting, validatie, en strategie) die het systeem in staat stellen om van eerdere uitkomsten te leren, in plaats van elke taak als een "koud start" probleem te behandelen.
3. Empirisch Bewijs: Het leveren van bewijs dat EvoScientist superieur is aan bestaande systemen in zowel de kwaliteit van ideeën als de betrouwbaarheid van code-uitvoering.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op drie niveaus:

• Ideegeneratie:

  • EvoScientist presteerde significant beter dan 7 state-of-the-art systemen (zowel open-source zoals AI Scientist-v2 en Virtual Scientist, als commerciële systemen zoals Hypogenic en Novix).
  • Meting: Hogere scores in novelty (originaliteit), feasibility (haalbaarheid), relevance (relevantie) en clarity (duidelijkheid), beoordeeld door zowel LLM-judges als menselijke experts (PhD-niveau).
  • De winst is vooral groot in haalbaarheid en originaliteit, dankzij het gebruik van het ideatiegeheugen.

• Code-uitvoering:

  • Door het gebruik van experiment-strategie-evolutie steeg de execution success rate (het percentage code dat succesvol draait) van gemiddeld 34,39% naar 44,56%.
  • Dit toont aan dat het systeem effectief leert van eerdere fouten in code-generatie en debugging.

• End-to-End Wetenschappelijke Ontdekking:

  • In een echte evaluatie genereerde EvoScientist 6 volledige onderzoeksartikelen die werden ingediend bij de International Conference on AI Scientists (ICAIS 2025).
  • Resultaat: Alle 6 artikelen werden geaccepteerd.
  • Prijzen: Eén artikel won de Best Paper Award en een ander ontving de AI Reviewer's Appraisal Award.
  • Reviewers prezen de methodologische originaliteit en de robuuste experimentele validatie, hoewel er nog ruimte is voor verbetering in theoretische formalisering (een menselijke taak).

Betekenis en Impact

EvoScientist markeert een verschuiving van statische AI-wetenschappers naar adaptieve, lerende systemen. De belangrijkste implicaties zijn:

• Efficiëntie: Het verminderen van de tijd en middelen die worden verspild aan het herhalen van bekende mislukkingen.
• Schaalbaarheid: Het bewijzen dat multi-agent systemen met persistente geheugens complexe, end-to-end taken kunnen voltooien die eerder alleen door menselijke teams mogelijk waren.
• Toekomstperspectief: Het systeem fungeert als een krachtige "decision support" voor menselijke onderzoekers. Het levert empirische bewijzen en testbare hypotheses ("het wat"), terwijl de diepere theoretische interpretatie ("het waarom") nog steeds menselijke expertise vereist.

De studie benadrukt dat de toekomst van AI-gedreven wetenschap niet ligt in het perfectioneren van een enkele taak, maar in het creëren van systemen die collectief geheugen hebben en continu evolueren door ervaring.