🤖 AI

AutoScientists: Self-Organizing Agent Teams for Long-Running Scientific Experimentation

Het artikel introduceert AutoScientists, een gedecentraliseerd team van AI-agenten dat zich zelf organiseert om autonoom langdurige wetenschappelijke experimenten uit te voeren via iteratieve hypothesevorming en kritiek, en dat aanzienlijk beter presteert dan bestaande single-agent- en gecentraliseerde benaderingen op het gebied van biomedisch machine learning, optimalisatie van taalkundige modellen en voorspelling van eiwitfitheid.

Oorspronkelijke auteurs: Shanghua Gao, Ada Fang, Marinka Zitnik

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shanghua Gao, Ada Fang, Marinka Zitnik

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een enorm, ongelooflijk complex raadsel op te lossen. In het verleden zou je misschien één zeer slimme detective hebben ingehuurd om het op te lossen. Deze detective zou een stuk bekijken, raden waar het hoort, het proberen, en als het niet paste, zou hij het opnieuw proberen. Hij zou dit één voor één doen, alleen.

Het artikel introduceert AutoScientists, wat het spel volledig verandert. In plaats van één detective huurt u een team van 9 AI-agenten in dat samenwerkt als een dynamisch onderzoekslaboratorium.

Hier is hoe het werkt, met eenvoudige analogieën:

1. Het "Zelforganiserende" Team

De meeste AI-systemen werken als een strenge militaire commandoketen: een generaal (een centrale planner) vertelt de soldaten precies wat ze moeten doen. Als de generaal een slecht plan maakt, faalt het hele team.

AutoScientists is meer als een groep briljante wetenschappers in een koffiehuis. Ze hebben geen baas die hen vertelt wat ze moeten doen. In plaats daarvan:

Ze kijken allemaal naar een gedeeld whiteboard (de "Gedeelde Status") dat de huidige beste oplossing, mislukte pogingen en nieuwe ideeën vermeldt.
Ze vormen spontaan teams rond de meest veelbelovende ideeën.
Als een team op een doodlopende weg terechtkomt (zoals het proberen om een vierkante pen in een rond gat te steken), blijven ze er niet op hameren. Ze praten met de groep, erkennen dat het idee uitgeput is, en herorganiseren zich om een volledig andere aanpak te proberen.

2. De Regels "Kritiek voordat je uitgeeft"

In veel AI-experimenten probeert de computer een nieuw idee, voert een simulatie uit, en realiseert zich daarna dat het tijdverspilling was. Dit is als een kaartje kopen voor een concert, bij de locatie aankomen en dan pas merken dat de show is geannuleerd.

AutoScientists heeft een Reviewcomité. Voordat er dure computertijd wordt besteed aan het uitvoeren van een experiment:

Een agent plaatst een voorstel op het "Onderzoeksforum".
De andere agenten fungeren als peer reviewers. Ze zeggen: "Wacht, dat idee ziet er zwak uit," of "We hebben iets soortgelijks vorige week geprobeerd en het mislukte."
Dit filtert slechte ideeën eruit voordat de computer überhaupt aan het werk gaat, waardoor tijd en energie worden bespaard.

3. Het "Doodlopende Weg-Register"

Stel je een team ontdekkingsreizigers voor dat een grot in kaart brengt. Als een ontdekkingsreiziger in een kuil valt, vergeten ze het niet zomaar. Ze markeren de plek op de kaart zodat niemand anders erin valt.

AutoScientists houdt een Doodlopende Weg-Register bij. Het onthoudt elk mislukt experiment en waarom het mislukte. Dit voorkomt dat het team tijd verspillen door dezelfde fouten te herhalen. Het helpt hen ook te beseffen wanneer ze vastzitten in een "lokaal optimum" (een kleine heuvel die eruitziet als een berg) en moedigt hen aan om naar een ander deel van de kaart te springen om een hogere top te vinden.

4. De Resultaten: Het Solo-Detective Verslaan

De auteurs hebben dit team getest tegen de "beste solo-detective" (een systeem genaamd Autoresearch) en andere AI-agenten in drie belangrijke gebieden:

Biomedische Machine Learning (BioML-Bench): Denk hierbij aan een gigantisch examen met 24 verschillende medische raadsels (zoals het voorspellen van de effectiviteit van medicijnen of het analyseren van celafbeeldingen).
- Het Resultaat: Het AutoScientists-team scoorde gemiddeld hoger dan elke andere AI. Ze waren bijzonder goed in Medicijnontwikkeling, waar ze betere oplossingen vonden dan de systemen met één agent.
Trainen van AI-modellen (GPT-optimalisatie): Dit is als proberen een taalmodel slimmer te maken door zijn instellingen te bijsturen.
- Het Resultaat: Het team bereikte een hoog prestatieniveau 1,9 keer sneller dan de solo-detective. Nog indrukwekkender: toen de solo-detective vastliep en geen verbeteringen meer kon vinden, bleef het AutoScientists-team nieuwe, betere aanpassingen vinden.
Proteïne-engineering (ProteinGym): Dit houdt in dat je voorspelt hoe het veranderen van de structuur van een eiwit zijn functie beïnvloedt.
- Het Resultaat: Beginnend met de beste bestaande methode (Kermut), ontdekte het team een nieuwe manier om gegevens te combineren die de voorspellingsnauwkeurigheid met 12,5% verbeterde op een specifieke test, en met 6,5% over de hele benchmark.

De Conclusie

Het artikel beweert dat AutoScientists beter is op het gebied van langetermijnwetenschappelijke ontdekking omdat het nabootst hoe menselijke onderzoeksteams eigenlijk werken: ze debatteren, ze delen mislukkingen, ze schakelen over wanneer ze vastzitten, en ze vertrouwen niet op één baas die hen vertelt wat ze als volgende moeten doen.

Belangrijke Opmerking: Het artikel stelt expliciet dat dit systeem is ontworpen om het proces van ontdekking te versnellen (het vinden van betere modellen en hypothesen). Het beweert niet dat deze AI-agenten menselijke wetenschappers kunnen vervangen voor klinische beslissingen, noch claimt het dat de modellen die ze hebben gevonden klaar zijn om te worden gebruikt als medicijnen of behandelingen in ziekenhuizen zonder menselijke toetsing. De "Impact Statement" waarschuwt dat deze outputs door experts moeten worden gevalideerd voordat ze worden gebruikt in echte biologie of geneeskunde.

Technische Samenvatting: AUTOSCIENTISTS

Probleemstelling

Wetenschappelijk onderzoek is van nature iteratief en omvat cycli van hypothesevorming, experimentontwerp, uitvoering en herziening. Hoewel AI-agenten delen van dit proces zijn gaan automatiseren, volgen bestaande aanpakken doorgaans een enkele onderzoeksrichting of vertrouwen op een centrale planner met vaste doelen. Deze systemen worstelen met het handhaven van parallelle exploratie, het aanpassen aan veranderende experimentele bewijslast, of het behoud van kennis over mislukte richtingen tijdens langlopende experimenten. Huidige multi-agent-systemen coördineren vaak via rigide structuren (bijvoorbeeld een planner die een probleem decomposeert of agenten die convergeren via stemming), uitgaande van het idee dat de zoekruimte aanvankelijk in stabiele richtingen kan worden opgedeeld. Echter, bij langlopend wetenschappelijk experimenteren verschuiven productieve richtingen naarmate bewijs zich ophoopt, en hypothesen die aanvankelijk veelbelovend leken, kunnen ophouden met verbeteringen op te leveren.

Methodologie: AUTOSCIENTISTS

De auteurs introduceren AUTOSCIENTISTS, een gedecentraliseerd team van AI-agenten ontworpen voor langlopend computationeel wetenschappelijk experimenteren. In tegenstelling tot eerdere systemen die vertrouwen op centrale coördinatoren of vaste decomposities, opereert AUTOSCIENTISTS zonder centrale orkestator, waardoor agenten zich kunnen zelforganiseren op basis van een gedeelde experimentele staat.

Kernarchitectuur

Het systeem deployeert $n$ langlopende Large Language Model (LLM)-agenten die interne staat handhaven tijdens het zoekproces. Het systeem wisselt af tussen twee fasen:

Discussie en Zelforganisatie: Agenten analyseren de taak, het huidige kampioenmodel ( $p^*$ ) en eerdere forumberichten. Zij stellen onderzoeksrichtingen voor, bekritiseren voorstellen en organiseren zich in teams ( $T_1, \dots, T_K$ ). Dit proces is dynamisch; als een team stopt met het produceren van verbeteringen, starten agenten een nieuwe discussiefase om teams te herorganiseren, te samenvoegen, te splitsen of te laten vervallen op basis van opkomende hypothesen.
Parallelle Uitvoering: Teams voeren experimenten parallel uit. Elk team bestaat uit twee gespecialiseerde rollen:
- Analist-agenten: Handhaven zoekkennis, auditen niet-geteste parameters, rangschikken onderzoeksrichtingen op empirisch effectgrootte en stellen experimenten voor aan een teamwachtrij. Zij zorgen voor diversiteit in voorstellen en prioriteren onderverkende richtingen.
- Experiment-agenten: Claimen experimenten uit de wachtrij, passen codewijzigingen toe op het kampioen, trainen modellen en registreren uitkomsten.

Gedeelde Staat en Coördinatie

Coördinatie vindt plaats via een gedeelde staat $S$ die voor alle agenten toegankelijk is, bestaande uit:

Kampioen ( $p^*$ ): Het huidige beste model met volledige hyperparameters en instructies voor reproduktie.
Experimentlog ( $L$ ): Een registratie van elk voltooid experiment, inclusief uitkomsten, metriek-delta's en trainingsdiagnostiek.
Gedeeld Forum ( $F$ ): Een gestructureerde ruimte voor het debatteren van voorstellen, aankondigen van resultaten en delen van mechanistische analyses.
Team-lokale Staat: Per-team experimentwachtrijen ( $Q_k$ ) en doodlopende-register ( $D_k$ ) om mislukte richtingen te volgen en redundante exploratie te vermijden.

Ruisbewuste Validatie

Om "kampioensverontreiniging" te voorkomen (het promoten van modellen op basis van stochastische ruis), hanteert het systeem een ruisbewuste poort. Verbeteringen binnen de empirisch gemeten ruisband worden bevestigd op een tweede willekeurige seed voordat ze worden gepromoveerd tot kampioen. Dit zorgt ervoor dat alleen robuuste verbeteringen de zoektrajectie bepalen.

Belangrijkste Bijdragen

Zelforganiserende Agententeams: Een nieuw kader waarin agenten onafhankelijk een gedeelde experimentele staat interpreteren en beslissen welke hypothesen ze willen nastreven. Teams vormen zich dynamisch door interactie in plaats van externe toewijzing, waardoor onderzoeksrichtingen op natuurlijke wijze kunnen ontstaan en evolueren.
Kritiek voor Uitvoering: Agenten plaatsen voorstellen op een gedeeld forum waar collega's zwakke ideeën bekritiseren en filteren voordat rekenkracht wordt ingezet, wat redundante exploratie vermindert.
Duurzame Verbetering: Het systeem is ontworpen om ook na het plateau van single-agent-baselines nog steeds productieve modificaties te identificeren, door uitgeputte richtingen te laten vervallen en zich te herorganiseren rond nieuwe hypothesen.
Uitgebreide Artifactgeneratie: Naast het uiteindelijke model produceert het systeem een modelkaart en een rapport met onderzoeksbevindingen, waarin de evolutie van hypothesen, verlaten richtingen en het experimentele zoekproces worden gedocumenteerd.

Experimentele Resultaten

De auteurs evalueerden AUTOSCIENTISTS over drie domeinen onder gelijkgestemde experimentele budgetten:

1. Biomedisch Machine Learning (BioML-Bench)

Scope: 24 end-to-end taken die variëren van biomedische beeldvorming, geneesmiddelenontdekking, proteïne-engineering tot single-cell omics.
Prestatie: AUTOSCIENTISTS behaalde een gemiddeld leaderboard-percentiel van 74,4% over alle 24 taken, wat 8,33 procentpunten beter is dan de sterkste vorige agent (Autoresearch).
Domeinspecifieke details: De meest significante winsten werden waargenomen bij geneesmiddelenontdekking, waar het gemiddelde leaderboard-percentiel steeg van 46,16% (Autoresearch) naar 64,52%. Bij proteïne-engineering behaalde AUTOSCIENTISTS de topprestatie (96,97%) maar met een betere gemiddelde rang.

2. GPT-trainingsoptimalisatie

Scope: Optimaliseren van de training van een GPT nanochat-model met validatie bits-per-byte (val_bpb) als metriek.
Efficiëntie: Uitgaande van dezelfde baseline bereikte AUTOSCIENTISTS een doel-val_bpb van ~0,978 in 34 experimenten, terwijl Autoresearch 65 experimenten vereiste (een 1,9× snelheidswinst).
Duurzame Ontdekking: Bij start vanuit een kampioen gevonden door AUTOSCIENTISTS (val_bpb = 0,9777), ontdekte het systeem 7 geaccepteerde verbeteringen over 93 experimenten. Daarentegen vond de single-agent Autoresearch-aanpak 0 verbeteringen over 100 experimenten, waarbij herhaaldelijk richtingen nabij lokale optima werden verstoord.

3. Proteïne-fitheidspredictie (ProteinGym)

Scope: Uitbreiden van de Kermut Gaussian-process-methode voor voorspelling van effecten van proteïnevarianten.
Prestatie: Op de ACE2–Spike-bindingsassay verbeterde AUTOSCIENTISTS de Spearman-correlatie ( $\rho$ ) van 0,747 (Kermut) naar 0,840 (+12,5%).
Generalisatie: De ontdekte methode, bevroren en zonder modificatie toegepast op de volledige ProteinGym-benchmark met 217 assays, verbeterde de officiële gemiddelde Spearman $\rho$ van 0,657 naar 0,700 (+6,5%), waarmee het alle andere supervised baselines overtrof.

Ablatiestudies

De auteurs voerden ablaties uit om de bijdrage van systeemcomponenten te isoleren:

Geen Analist: Het verwijderen van analist-agenten degradeerde de prestaties op TDC-hERG aanzienlijk, wat wijst op het belang van geleide voorstelgeneratie.
Geen Kruisagent-feedback: Het uitschakelen van commentaar en kritiek schaadde de prestaties op Human Plasma-Proteïnebinding, wat de waarde van collectieve filtering benadrukt.
Geen Zelforganisatie: Het vastzetten van teamstructuren verhinderde aanpassing aan stagnatie, wat leidde tot de grootste degradatie in GPT-trainingsoptimalisatie.
Onafhankelijke Agenten: Het verwijderen van gedeelde staat en coördinatie leidde tot de ernstigste prestatiedalingen (bijvoorbeeld Cell-Cell Communicatie), wat aantoont dat geïsoleerde agenten werk dupliceren en convergeren naar incompatibele lokale optima.

Betekenis en Claims

Het artikel claimt dat AUTOSCIENTISTS een kritieke beperking van bestaande AI-agenten aanpakt: het onvermogen om experimentele zoektochten vol te houden naarmate bewijs zich ophoopt en productieve richtingen veranderen. Door teams van agenten in staat te stellen de ontwerpruimte te verkennen en samen te werken zonder centrale planner, verbetert het systeem de efficiëntie van experimentele zoektochten onder vaste rekenbudgetten.

De auteurs benadrukken dat AUTOSCIENTISTS langlopend experimenteren transformeert in een collectief zoekproces. Belangrijke voordelen zijn:

Efficiënt Gebruik van Middelen: Agenten evalueren voorstellen voor uitvoering en delen kennis over mislukkingen om doodlopende wegen te vermijden.
Aanpasbaarheid: Het systeem kan teams herorganiseren wanneer vooruitgang stagneert, waardoor het ook na het plateau van individuele agenten nog steeds productieve modificaties kan identificeren.
Transparantie: Het systeem genereert een volledig verslag van het zoekproces, inclusief mislukte richtingen en mechanistische analyses, wat reproduceerbaarheid en wetenschappelijk inzicht faciliteert.

Het werk wordt gepresenteerd als een stap naar autonome wetenschappelijke ontdekking, met name in computationele biomedische en wetenschappelijke ML-omgevingen waar experimentele iteratie kostbaar is. De auteurs merken op dat hoewel het systeem de ontdekking van modelkeuzes versnelt, outputs niet als klinisch handelbaar moeten worden beschouwd zonder expertreview en onafhankelijke validatie.