🤖 AI

EvoDS: Self-Evolving Autonomous Data Science Agent with Skill Learning and Context Management

Het artikel introduceert EvoDS, een zelf evoluerende autonome data science-agent die gebruikmaakt van agentic reinforcement learning om dynamisch nieuwe vaardigheden te verwerven en op adaptieve wijze langetermijncontext te beheren, waardoor het bestaande state-of-the-art agents in meerfasige data science-taken aanzienlijk overtreft terwijl tokenlimiet-fouten worden geëlimineerd.

Oorspronkelijke auteurs: Zherui Yang, Fan Liu, Yansong Ning, Hao Liu

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zherui Yang, Fan Liu, Yansong Ning, Hao Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar zeer vergeetachtige assistent hebt die probeert een complexe puzzel op te lossen. Deze assistent is een AI, en de puzzel is een data science-project (zoals het voorspellen van aandelenkoersen of het analyseren van medische gegevens).

Het paper introduceert EvoDS, een nieuw soort AI-assistent die slimmer wordt naarmate de tijd verstrijkt en nooit overweldigd raakt door te veel informatie. Zo werkt het, eenvoudig uitgelegd:

Het Probleem: De "Overweldigde Stagiair"

Bestaande AI-assistenten voor data science zijn als stagiairs die een vaste lijst met gereedschappen hebben (een hamer, een schroevendraaier, een moersleutel), maar geen nieuwe kunnen uitvinden.

Ze kunnen geen nieuwe trucjes leren: Als ze een probleem tegenkomen dat hun gereedschap niet kan oplossen, blijven ze gewoon met hun hoofd tegen de muur slaan door steeds dezelfde oude dingen te proberen. Ze bewaren hun "eureka-momenten" niet voor later.
Ze raken verdwaald in de ruis: Data-projecten bevatten lange gesprekken, veel code en vele tussenstappen. Bestaande assistenten proberen alles te onthouden. Uiteindelijk wordt hun geheugen zo vol (zoals een browser met 1.000 tabbladen open) dat ze de belangrijkste delen vergeten of crashen omdat de ruimte op is.

De Oplossing: Het "Zelfverbeterende Team"

EvoDS is als een zelfverbeterende projectmanager die een team van specialisten aanstuurt. Het lost de twee problemen hierboven op met drie hoofdonderwerpen:

1. De "Groeibare Gereedschapskist" (Autonome Vaardigheidsverwerving)

Stel je voor dat je assistent een lek probeert te repareren, maar hij heeft alleen een moersleutel. In plaats van op te geven, zegt hij: "Ik heb een specifieke pleister nodig voor deze pijp." Hij verzint dan een nieuw hulpmiddel (een aangepaste pleister), test of het werkt, en voegt het toe aan zijn permanente gereedschapskist.

Hoe het werkt: Als de AI een probleem tegenkomt dat het niet kan oplossen met de huidige gereedschappen, schrijft het zijn eigen nieuwe code (een nieuwe "vaardigheid") om het probleem op te lossen. Als die nieuwe code werkt, slaat het deze op. De volgende keer dat een soortgelijk probleem zich voordoet, gebruikt het het nieuwe hulpmiddel in plaats van opnieuw te beginnen. Het bouwt letterlijk zijn eigen vaardigheden op terwijl het bezig is.

2. De "Slimme Samenvatter" (Adaptieve Contextcompressie)

Stel je voor dat je een roman schrijft, maar je mag slechts de laatste 10 pagina's in je hoofd houden. Als het verhaal te lang wordt, moet je meestal het begin verwijderen.

Hoe het werkt: EvoDS verwijdert niet zomaar willekeurig oude pagina's. In plaats daarvan heeft het een speciale "Samenvatter" die de oude pagina's leest en een samenvatting van één paragraaf schrijft van wat er het belangrijkst is (de plotwendingen en de doelen van de personages), terwijl de saaie details worden weggegooid. Dit houdt het "werkgeheugen" van de AI schoon en gefocust op het doel, zodat het nooit het hoofdpunt van het project vergeet, zelfs niet na honderden stappen.

3. De "Manager en Specialisten" (Hiërarchisch Multi-Agent Systeem)

In plaats van één gigantisch brein dat alles probeert te doen (data opschonen, modellen bouwen, grafieken tekenen en fouten herstellen tegelijkertijd), verdeelt EvoDS het werk.

De Manager: Een hooggeplaatste baas die naar het grote plaatje kijkt en beslist wie wat moet doen.
De Specialisten: Een team van experts (een "Cleaner", een "Modeler", een "Visualizer"). Elke expert richt zich alleen op zijn specifieken taak.
Waarom dit helpt: Het is als een bouwplaats. Je vraagt de elektricien niet om de stenen te leggen. Door elke agent een kleine, specifieke taak te geven, raakt de "Manager" niet in de war door te veel details, en kunnen de specialisten sneller werken zonder de draad kwijt te raken.

Hoe het beter wordt (De Training)

Het paper legt uit dat EvoDS leert via een proces dat vergelijkbaar is met oefening en feedback:

Supervised Learning (SFT): Eerst kijkt het naar een "leraar" (een zeer slimme AI) die problemen oplost om de basis te leren.
Reinforcement Learning (RL): Daarna begint het zelf het werk te doen. Als het een probleem goed oplost, krijgt het een "beloning". Als het tijd verspilt of het geheugen vol laat lopen, krijgt het een "straf". In de loop van de tijd leert het efficiënt te zijn, nieuwe hulpmiddelen te creëren wanneer dat nodig is, en zijn geschiedenis perfect samen te vatten.

De Resultaten

De auteurs hebben EvoDS getest op vier verschillende data science-uitdagingen.

Het won: Het presteerde aanzienlijk beter (gemiddeld ongeveer 29% beter) dan andere top open-source AI-agents.
Het crashte niet: Terwijl andere AI's vaak faalden omdat ze geen geheugen meer hadden (een "out-of-token" fout), kon EvoDS de lange, complexe taken uitvoeren zonder te crashen.
Het leerde: Wanneer de AI een probleem oploste met behulp van een nieuw hulpmiddel dat het zelf had uitgevonden, onthield het dat hulpmiddel en gebruikte het succesvol bij toekomstige, verschillende problemen.

In een Notendop

EvoDS is een AI-data scientist die niet alleen een script volgt. Het is als een nieuwsgierige leerling die, wanneer hij vastloopt, een nieuw hulpmiddel uitvindt om het probleem op te lossen, dat hulpmiddel bewaart voor later, en constant zijn lange werkdag samenvat zodat hij het doel nooit uit het oog verliest. Dit stelt het in staat om complexe, langdurige projecten aan te pakken waar andere AI's simpelweg te in de war raken om te voltooien.

Technische Samenvatting: EvoDS

Probleemstelling

Hoewel Large Language Model (LLM) agents de geautomatiseerde data science hebben gevorderd, kampen bestaande benaderingen met twee fundamentele beperkingen:

Statische Actiesets: Huidige agents vertrouwen op vooraf gedefinieerde workflows en vaste actieruimtes. Ze behandelen tools als statische primitieven in plaats van leerbare capaciteiten, waardoor agents herhaaldelijk oplossingen moeten herontdekken via trial-and-error in plaats van succesvolle gedragingen te abstraheren tot herbruikbare vaardigheden.
Tekortkomingen in Contextbeheer: Data science-workflows vereisen inherent langdurige, iteratieve redenering. Bestaande agents missen principiële mechanismen om de snel groeiende context te beheren die voortvloeit uit tussenliggende artefacten, evoluerende vaardigheden en executielogs. Dit leidt tot "lost-in-the-middle"-fenomenen, een verslechterde redeneerprestatie en uitval door token-limieten, wat systematische ervaringaccumulatie verhindert.

De kernonderzoeksvraag die wordt behandeld is of autonome data science-agents zo ontworpen kunnen worden dat ze niet alleen taken uitvoeren, maar ook open einde exploratieve analyse ondersteunen en systematisch ervaring accumuleren over iteraties en taken heen.

Methodologie

De auteurs stellen EvoDS voor, een zelf-evoluerende autonome data science-agent die vaardigheidsverwerving en contextregulatie integreert binnen een hiërarchische multi-agent architectuur. Het framework wordt geoptimaliseerd via een tweestaps trainingsschema bestaande uit Supervised Fine-Tuning (SFT) en Agentic Reinforcement Learning (RL).

1. Hiërarchische Multi-Agent Architectuur

EvoDS deelt complexe data science-workflows op in atomaire subtaken die worden beheerd door gespecialiseerde agents:

Manager Agent: Fungeert als de globale controller, verantwoordelijk voor hoogwaardige redenering, taakdecompositie en coördinatie. Het onderhoudt globaal geheugen (taakdoelstellingen) en interacteert met de omgeving met behulp van een minimale set tools.
Gespecialiseerde Sub-Agents: Omvatten een Cleaner, Featurizer, Modeler, Visualizer en Debugger. Elke agent opereert binnen een gelokaliseerde actieruimte ( $A_i$ ) specifiek voor zijn domein en onderhoudt lokaal geheugen voor subtaak-specifieke context.
Interactie: De Manager delegeert subtaken aan sub-agents. Sub-agents voeren operaties uit en retourneren resultaten. Deze decompositie vermindert de redeneercomplexiteit en lokaliseert langdurige executiecontexten.

2. Autonome Vaardigheidsverwerving (ASA)

Om zelf-evolutie mogelijk te maken, introduceert EvoDS een mechanisme waarbij agents uitvoerbare vaardigheden synthetiseren, valideren en hergebruiken ( $a = \langle n, d, c \rangle$ , waarbij $n$ de naam is, $d$ de beschrijving en $c$ de code). Het proces omvat vier stadia:

Synthese: Wanneer een subtaak de bestaande capaciteiten overstijgt, genereert de agent een nieuwe uitvoerbare vaardigheid via prompting.
Verificatie: De gesynthetiseerde vaardigheid wordt uitgevoerd om te waarborgen dat deze geldige outputs produceert.
Caching: Gevalideerde vaardigheden worden opgeslagen in een repository voor gesynthetiseerde vaardigheden ( $\Delta A_i$ ).
Expansie: Om actieruimte-opzwelling te voorkomen, worden vaardigheden pas permanent toegevoegd aan de actieruimte van de agent als hun generatie-aantal een drempelwaarde overschrijdt ( $\tau=3$ ), wat ervoor zorgt dat alleen veelgebruikte, hoogwaardige vaardigheden worden behouden.

3. Adaptieve Contextcompressie (ACC)

Om contextgroei te beheren, hanteert EvoDS een compressiestrategie op twee niveaus:

Sub-Agent Niveau: Sub-agents distilleren ruwe executieresultaten tot beknopte samenvattingen, geconditioneerd op de globale taakdoelstelling, waarbij onnodige details worden gefilterd voordat de resultaten naar de Manager worden geretourneerd.
Manager Niveau: In tegen tegenover passieve truncatie beschikt de Manager Agent over een speciale samenvattings-tool. Het bepaalt adaptief wanneer de context gecomprimeerd moet worden op basis van de huidige redeneerstatus en de taakdoelstellingen, waarbij cruciale informatie behouden blijft terwijl irrelevante ruis wordt onderdrukt.

4. Agentic Optimalisatie

EvoDS wordt getraind met behulp van een tweestaps framework:

SFT (Stabiele Initialisatie): Een teacher-model (DeepSeek-V3.1) genereert trajecten voor zowel de Manager als de sub-agents. Deze trajecten (hoofd- en sub-trajecten) worden gebruikt om gecoördineerd gedrag te initialiseren.
Joint Reinforcement Learning (RL): Het systeem gebruikt Group Relative Policy Optimization (GRPO) om taakprestaties, vaardigheidsverwerving en contextbeheer gezamenlijk te optimaliseren.
- Beloningen: Sub-agents ontvangen regelgebaseerde beloningen voor het voltooien van subtaken. De Manager ontvangt een hybride beloning ( $R_{main}$ ) die de kwaliteit van de oplossing ( $R_{outcome}$ ), de efficiëntie van subtaakvoltooiing, en straffen voor excessieve contextlengte ( $P_{context}$ ) en interactierondes ( $P_{turn}$ ) in evenwicht brengt.
- Doelstelling: De trainingsdoelstelling stemt overeen met een informatie-bottleneck principe, waarbij de taak-irrelevante informatie wordt geminimaliseerd terwijl cruciale signalen behouden blijven.

Belangrijkste Bijdragen

EvoDS Framework: Een zelf-evoluerende agent die Autonome Vaardigheidsverwerving en Adaptieve Contextcompressie verenigt binnen een hiërarchisch multi-agent systeem, wat progressieve vaardigheidsexpansie en actieve langetermijn-contextcontrole mogelijk maakt.
Trainingsschema: Een tweestaps multi-agent trainingsstrategie (SFT + Joint RL) die tegelijkertijd taakuitvoering, vaardigheidsleren en contextregulatie optimaliseert, waardoor de agent kan verbeteren met ervaring terwijl deze robuust blijft onder token-beperkingen.
Theoretische Inzichten:
- Bewijs dat de hiërarchische architectuur de waarschijnlijkheid van fouten bij het selecteren van tools vermindert in vergelijking met platte frameworks door grote beslissingsruimtes te deconstrueren.
- Demonstratie dat het optimalisatie-doel van de Manager gelijk is aan een Information Bottleneck-probleem, wat de balans tussen efficiëntie en beslissingskwaliteit theoretisch rechtvaardigt.
Empirische Prestaties: Uitgebreide experimenten tonen significante verbeteringen aan ten opzichte van state-of-the-art open-source agents.

Experimentele Resultaten

De auteurs evalueerden EvoDS op vier benchmarks: DABench, DA-Code, ScienceAgentBench (SAB), en MLE-Dojo.

Prestaties: EvoDS presteerde beter dan de sterkste open-source baseline (DataMind-14B) met gemiddeld 28,9% (9,5% absolute verbetering), ondanks het gebruik van een kleiner model-backbone (Qwen3-8B). Het behaalde de op één na beste gemiddelde prestatie overall, slechts ingehaald door ReAct met de propriëtaire o4-mini backbone.
Robuustheid bij Lange-Horizon Taken: EvoDS elimineerde out-of-token failures over alle benchmarks, terwijl baselines zonder contextcompressie vaak de token-limieten overschreden, vooral bij complexe taken zoals MLE-Dojo.
Vaardigheidshergebruik: Experimenten toonden aan dat gesynthetiseerde vaardigheden effectief konden worden hergebruikt over taken heen. De "w/ reuse" variant presteerde 2,9% beter op DA-Code en 9,3% op ScienceAgentBench vergeleken met de "w/o reuse" variant, met een cross-task hergebruikpercentage van 69% voor gesynthetiseerde vaardigheden.
Ablatie-studies: Het verwijderen van een kerncomponent (RL, hiërarchische structuur, ASA of ACC) resulteerde in een degradatie van de prestaties. Opvallend genoeg leidde het verwijderen van ACC tot de meest ernstige daling in prestaties en een hoog aantal token-limiet-fouten.

Betekenis en Claims

Het artikel claimt dat EvoDS een belangrijke stap vormt naar schaalbare, adaptieve en autonome data science-systemen. Door verder te gaan dan statische workflows, demonstreert EvoDS dat agents:

Ervaring Accumuleren: Succesvolle probleemoplossingsprocedures systematisch omzetten in persistente, herbruikbare vaardigheden.
Complexiteit Beheren: Langdurige contexten effectief reguleren via adaptieve compressie, wat betrouwbare executie in meerstaps-pipelines mogelijk maakt zonder uitputting van tokens.
De Kloof Overbruggen: De prestatiekloof tussen open-source en propriëtaire foundation models verkleinen door middel van architecturale design en effectieve trainingsstrategieën in plaats van enkel te vertrouwen op model schaal.

De auteurs erkennen dat hoewel EvoDS uitblinkt in procedurele automatisering en vaardigheidsaccumulatie, de prestaties op taken die diepe domeinkennis vereisen (bijv. complexe wetenschappelijke ontdekking) nog steeds beperkt worden door de kennis van het onderliggende foundation model, wat suggereert dat toekomstig werk zich moet richten op het integreren van sterkere externe domeinkennis.