🤖 AI

EvoDS: Self-Evolving Autonomous Data Science Agent with Skill Learning and Context Management

Das Papier stellt EvoDS vor, einen selbstentwickelnden autonomen Data-Science-Agenten, der agentenbasiertes Reinforcement Learning nutzt, um dynamisch neue Fähigkeiten zu erwerben und den Langzeitkontext adaptiv zu verwalten, wodurch er bestehende State-of-the-Art-Agenten bei mehrstufigen Data-Science-Aufgaben signifikant übertrifft und gleichzeitig Token-Limit-Fehler eliminiert.

Ursprüngliche Autoren: Zherui Yang, Fan Liu, Yansong Ning, Hao Liu

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zherui Yang, Fan Liu, Yansong Ning, Hao Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, aber sehr vergesslichen Assistenten, der versucht, ein komplexes Rätsel zu lösen. Dieser Assistent ist eine KI, und das Rätsel ist ein Data-Science-Projekt (wie etwa die Vorhersage von Aktienkursen oder die Analyse medizinischer Daten).

Das Papier stellt EvoDS vor, eine neue Art von KI-Assistenten, der mit der Zeit klüger wird und niemals von zu vielen Informationen überwältigt wird. So funktioniert es, einfach erklärt:

Das Problem: Der „überforderte Praktikant“

Bestehende KI-Assistenten für Data Science sind wie Praktikanten, die eine feste Liste von Werkzeugen haben (einen Hammer, einen Schraubendreher, einen Schraubenschlüssel), aber keine neuen erfinden können.

Sie können keine neuen Tricks lernen: Wenn sie auf ein Problem stoßen, das ihre Werkzeuge nicht lösen können, rennen sie einfach immer wieder gegen die Wand und versuchen dieselben alten Dinge immer und immer wieder. Sie bewahren ihre „Aha!“-Momente nicht für später auf.
Sie gehen im Rauschen verloren: Data-Science-Projekte beinhalten lange Konversationen, viel Code und viele Zwischenschritte. Bestehende Assistenten versuchen, sich an alles zu erinnern. Irgendwann wird ihr Gedächtnis so voll (wie ein Browser mit 1.000 offenen Tabs), dass sie die wichtigsten Teile vergessen oder abstürzen, weil ihnen der Platz ausgeht.

Die Lösung: Das „selbstentwickelnde Team“

EvoDS ist wie ein selbstverbessernder Projektmanager, der ein Team von Spezialisten leitet. Es löst die beiden oben genannten Probleme mit drei Hauptideen:

1. Die „Werkzeugkiste, die wächst“ (Autonome Kompetenzentwicklung)

Stellen Sie sich vor, Ihr Assistent versucht, ein Leck zu reparieren, hat aber nur einen Schraubenschlüssel. Anstatt aufzugeben, sagt er: „Ich brauche ein spezielles Flickenmaterial für dieses Rohr.“ Er erfindet dann ein neues Werkzeug (einen maßgeschneiderten Flicken), testet es, um sicherzustellen, dass es funktioniert, und fügt es seiner permanenten Werkzeugkiste hinzu.

Wie es funktioniert: Wenn die KI auf ein Problem stößt, das sie mit ihren aktuellen Werkzeugen nicht lösen kann, schreibt sie ihren eigenen neuen Code (eine neue „Fähigkeit“), um das Problem zu beheben. Wenn dieser neue Code funktioniert, speichert sie ihn ab. Wenn ein ähnliches Problem das nächste Mal auftritt, nutzt sie das neue Werkzeug, anstatt von vorne zu beginnen. Sie baut buchstäblich ihr eigenes Können während der Arbeit auf.

2. Der „Intelligente Zusammenfasser“ (Adaptive Kontext-Kompression)

Stellen Sie sich vor, Sie schreiben einen Roman, dürfen sich aber nur die letzten 10 Seiten im Kopf behalten. Wenn die Geschichte zu lang wird, müssen Sie normalerweise den Anfang löschen.

Wie es funktioniert: EvoDS löscht alte Seiten nicht wahllos. Stattdessen hat es einen speziellen „Zusammenfasser“, der die alten Seiten liest und eine einparagrafige Zusammenfassung schreibt, die das Wichtigste enthält (die Wendungen der Handlung und die Ziele der Charaktere), während die langweiligen Details verworfen werden. Dies hält das „Arbeitsgedächtnis“ der KI sauber und fokussiert auf das Ziel, sodass sie auch nach hunderten von Schritten den Kern des Projekts nicht vergisst.

3. „Manager und Spezialisten“ (Hierarchisches Multi-Agenten-System)

Anstatt eines riesigen Gehirns, das alles gleichzeitig versucht zu machen (Daten bereinigen, Modelle bauen, Diagramme zeichnen und Fehler beheben), teilt EvoDS die Arbeit auf.

Der Manager: Ein übergeordneter Chef, der den Blick auf das große Ganze hat und entscheidet, wer was zu tun hat.
Die Spezialisten: Ein Team von Experten (ein „Reiniger“, ein „Modellierer“, ein „Visualisierer“). Jeder von ihnen konzentriert sich nur auf seine spezifische Aufgabe.
Warum das hilft: Es ist wie auf einer Baustelle. Man bittet den Elektriker nicht, die Ziegel zu legen. Indem jedem Agenten eine kleine, spezifische Aufgabe zugewiesen wird, wird der „Manager“ nicht durch zu viele Details verwirrt, und die Spezialisten können schneller arbeiten, ohne den Überblick zu verlieren.

Wie es besser wird (Das Training)

Das Papier erklärt, dass EvoDS durch einen Prozess lernt, der dem von Übung und Feedback ähnlich ist:

Überwachtes Lernen (SFT): Zuerst beobachtet es einen „Lehrer“ (eine sehr intelligente KI), der Probleme löst, um die Grundlagen zu lernen.
Bestärkendes Lernen (RL): Dann beginnt es, die Arbeit selbstständig auszuführen. Wenn es ein Problem gut löst, erhält es eine „Belohnung“. Wenn es Zeit verschwendet oder zu wenig Speicherplatz verbraucht, erhält es eine „Strafe“. Mit der Zeit lernt es, effizient zu sein, neue Werkzeuge zu erstellen, wenn nötig, und seine Historie perfekt zusammenzufassen.

Die Ergebnisse

Die Autoren haben EvoDS bei vier verschiedenen Data-Science-Herausforderungen getestet.

Es hat gewonnen: Es schnitt signifikant besser ab (im Durchschnitt etwa 29 % besser) als andere führende Open-Source-KI-Agenten.
Es ist nicht abgestürzt: Während andere KIs oft scheiterten, weil ihnen der Speicherplatz ausging (ein sogenannter „Out-of-Token“-Fehler), bewältigte EvoDS die langen, komplexen Aufgaben ohne Absturz.
Es hat gelernt: Als die KI ein Problem mithilfe eines neu erfundenen Werkzeugs löste, erinnerte sie sich an dieses Werkzeug und setzte es erfolgreich bei zukünftigen, unterschiedlichen Problemen ein.

Zusammenfassend

EvoDS ist ein KI-Data-Scientist, der nicht nur einem Skript folgt. Es ist wie ein neugieriger Lehrling, der, wenn er feststeckt, ein neues Werkzeug erfindet, um ein Problem zu lösen, dieses Werkzeug für später speichert und ständig seinen langen Arbeitstag zusammenfasst, damit er nie das Ziel aus den Augen verliert. Dies ermöglicht es ihm, komplexe, langfristige Projekte anzugehen, an denen andere KIs schlichtweg zu verwirrt sind, um sie abzuschließen.

Technisches Resümee: EvoDS

Problemstellung

Während LLM-Agenten (Large Language Model Agents) die automatisierte Datenwissenschaft vorangebracht haben, stehen bestehende Ansätze vor zwei fundamentalen Einschränkungen:

Statische Aktionssets: Aktuelle Agenten verlassen sich auf vordefinierte Workflows und feste Aktionsräume. Sie behandeln Werkzeuge als statische Primitivfunktionen statt als lernbare Fähigkeiten, was Agenten dazu zwingt, Lösungen wiederholt durch Trial-and-Error neu zu entdecken, anstatt erfolgreiche Verhaltensweisen in wiederverwendbare Skills zu abstrahieren.
Defizite im Kontextmanagement: Data-Science-Workflows erfordern inhärent langfristige, iterative Denkprozesse. Bestehende Agenten verfügen über keine prinzipienbasierten Mechanismen, um den rasant wachsenden Kontext aus Zwischenartefakten, evolvierenden Skills und Ausführungsprotokollen zu verwalten. Dies führt zum „Lost-in-the-Middle“-Phänomen, degradiert die Reasoning-Leistung und verursacht Out-of-Token-Fehler, was eine systematische Erfahrungskumulation verhindert.

Die zentrale Forschungsfrage lautet, ob autonome Data-Science-Agenten so konzipiert werden können, dass sie nicht nur Aufgaben ausführen, sondern auch eine offene explorative Analyse unterstützen und systematisch Erfahrungen über Iterationen und Aufgaben hinweg akkumulieren können.

Methodik

Die Autoren schlagen EvoDS vor, einen selbst-evolvierenden autonomen Data-Science-Agenten, der Skill-Akquisition und Kontextregulierung innerhalb einer hierarchischen Multi-Agenten-Architektur integriert. Das Framework wird über ein zweistufiges Trainingsschema mittels Supervised Fine-Tuning (SFT) und Agentic Reinforcement Learning (RL) optimiert.

1. Hierarchische Multi-Agenten-Architektur

EvoDS zerlegt komplexe Data-Science-Workflows in atomare Subtasks, die von spezialisierten Agenten verwaltet werden:

Manager Agent: Fungiert als globaler Controller, verantwortlich für High-Level-Reasoning, Task-Dekomposition und Koordination. Er pflegt das globale Gedächtnis (Aufgabenziele) und interagiert mit der Umgebung über einen minimalen Satz an Werkzeugen.
Spezialisierte Sub-Agenten: Umfassen Cleaner, Featurizer, Modeler, Visualizer und Debugger. Jeder operiert innerhalb eines domänenspezifischen lokalen Aktionsraums ( $A_i$ ) und pflegt ein lokales Gedächtnis für den kontextbezogenen Subtask-Kontext.
Interaktion: Der Manager delegiert Subtasks an die Sub-Agenten. Die Sub-Agenten führen Operationen aus und geben Ergebnisse zurück. Diese Dekomposition reduziert die Komplexität des Reasonings und lokalisiert die langen Ausführungskontexte.

2. Autonome Skill-Akquisition (ASA)

Um Selbst-Evolution zu ermöglichen, führt EvoDS einen Mechanismus ein, mit dem Agenten ausführbare Skills synthetisieren, validieren und wiederverwenden ( $a = \langle n, d, c \rangle$ , wobei $n$ der Name, $d$ die Beschreibung und $c$ der Code ist). Der Prozess umfasst vier Stufen:

Synthese: Wenn ein Subtask die bestehenden Fähigkeiten übersteigt, generiert der Agent einen neuen ausführbaren Skill via Prompting.
Verifizierung: Der synthetisierte Skill wird ausgeführt, um sicherzustellen, dass er valide Ausgaben produziert.
Caching: Validierte Skills werden in einem Repository für synthetisierte Skills ( $\Delta A_i$ ) gespeichert.
Expansion: Um eine Aufblähung des Aktionsraums zu verhindern, werden Skills erst dann dauerhaft zum Aktionsraum des Agenten hinzugefügt, wenn ihre Generierungsanzahl einen Schwellenwert ( $\tau=3$ ) überschreitet; dies stellt sicher, dass nur häufig genutzte, qualitativ hochwertige Skills beibehalten werden.

3. Adaptive Kontextkompression (ACC)

Zur Verwaltung des Kontextwachstums nutzt EvoDS eine zweistufige Kompressionsstrategie:

Sub-Agenten-Ebene: Sub-Agenten destillieren rohe Ausführungsergebnisse in prägnante Zusammenfassungen, die unter Berücksichtigung des globalen Aufgabenobjektivs konditioniert sind, wodurch unnötige Details gefiltert werden, bevor die Ergebnisse an den Manager zurückgegeben werden.
Manager-Ebene: Im Gegensatz zur passiven Trunkierung verfügt der Manager Agent über ein dediziertes Summarization-Tool. Er bestimmt adaptiv, wann der Kontext komprimiert werden muss, basierend auf dem aktuellen Reasoning-Zustand und den Aufgabenobjektiven, wodurch kritische Informationen bewahrt und irrelevanter Lärm unterdrückt wird.

4. Agentic Optimization

EvoDS wird mittels eines zweistufigen Frameworks trainiert:

SFT (Stabile Initialisierung): Ein Teacher-Modell (DeepSeek-V3.1) generiert Trajektorien sowohl für den Manager als auch für die Sub-Agenten. Diese Trajektorien (Haupt- und Sub-Trajektorien) werden verwendet, um koordiniertes Verhalten zu initialisieren.
Joint Reinforcement Learning (RL): Das System nutzt Group Relative Policy Optimization (GRPO), um Task-Performance, Skill-Akquisition und Kontextmanagement gemeinsam zu optimieren.
- Belohnungen: Sub-Agenten erhalten regelbasierte Belohnungen für den Abschluss von Subtasks. Der Manager erhält eine hybride Belohnung ( $R_{main}$ ), die die Lösungsqualität ( $R_{outcome}$ ), die Effizienz der Subtask-Abschließung sowie Strafen für übermäßige Kontextlänge ( $P_{context}$ ) und Interaktionsschritte ( $P_{turn}$ ) ausbalanciert.
- Zielsetzung: Das Trainingsziel richtet sich an einem Information-Bottleneck-Prinzip aus, welches die Minimierung von aufgabenirrelevanten Informationen bei gleichzeitiger Bewahrung kritischer Signale anstrebt.

Zentrale Beiträge

EvoDS Framework: Ein selbst-evolvierender Agent, der Autonome Skill-Akquisition und Adaptive Kontextkompression innerhalb eines hierarchischen Multi-Agenten-Systems vereint und so progressive Skill-Expansion sowie aktive langfristige Kontextkontrolle ermöglicht.
Trainingsschema: Eine zweistufige Multi-Agenten-Trainingsstrategie (SFT + Joint RL), die Task-Ausführung, Skill-Lernen und Kontextregulierung simultan optimiert, wodurch der Agent mit Erfahrung lernt und gleichzeitig unter Token-Beschränkungen robust bleibt.
Theoretische Erkenntnisse:
- Beweis, dass die hierarchische Architektur die Wahrscheinlichkeit von Tool-Selektionsfehlern im Vergleich zu Flat-Frameworks durch die Dekomposition großer Entscheidungsräume reduziert.
- Demonstration, dass das Optimierungsziel des Managers äquivalent zu einem Information-Bottleneck-Problem ist, was die Balance zwischen Effizienz und Entscheidungsqualität theoretisch rechtfertigt.
Empirische Leistung: Umfangreiche Experimente zeigen signifikante Verbesserungen gegenüber führenden Open-Source-Agenten.

Experimentelle Ergebnisse

Die Autoren evaluierten EvoDS auf vier Benchmarks: DABench, DA-Code, ScienceAgentBench (SAB) und MLE-Dojo.

Performance: EvoDS übertraf den stärksten Open-Source-Baseline (DataMind-14B) um durchschnittlich 28,9 % (9,5 % absolute Verbesserung), obwohl es ein kleineres Modell-Backbone (Qwen3-8B) verwendet. Es erreichte die zweitbeste durchschnittliche Performance insgesamt, übertroffen nur von ReAct mit dem proprietären o4-mini Backbone.
Robustheit bei Langzeit-Horizonten: EvoDS eliminierte Out-of-Token-Fehler über alle Benchmarks hinweg, während Baselines ohne Kontextkompression häufig die Token-Limits überschritten, insbesondere bei komplexen Aufgaben wie MLE-Dojo.
Skill-Wiederverwendung: Experimente zeigten, dass synthetisierte Skills effektiv über Aufgaben hinweg wiederverwendet werden konnten. Die Variante „w/ reuse“ (mit Wiederverwendung) übertraf „w/o reuse“ (ohate Wiederverwendung) um 2,9 % auf DA-Code und um 9,3 % auf ScienceAgentBench, mit einer Cross-Task-Wiederverwendungsrate von 69 % für synthetisierte Skills.
Ablationsstudien: Das Entfernen einer Kernkomponente (RL, hierarchische Struktur, ASA oder ACC) führte zu einer Leistungsdegradation. Insbesondere das Entfernen von ACC führte zum schwerwiegendsten Leistungsabfall und einer hohen Rate an Token-Limit-Fehlern.

Bedeutung und Ansprüche

Das Paper behauptet, dass EvoDS einen bedeutenden Schritt in Richtung skalierbarer, adaptiver und autonomer Data-Science-Systeme darstellt. Durch die Abkehr von statischen Workflows demonstriert EvoDS, dass Agenten:

Erfahrung akkumulieren können: Erfolgreiche Problemlösungsverfahren systematisch in persistente, wiederverwendbare Skills umwandeln.
Komplexität managen können: Langfristige Kontexte durch adaptive Kompression effektiv regulieren, was eine zuverlässige Ausführung in mehrstufigen Pipelines ohne Token-Erschöpfung ermöglicht.
Die Lücke schließen: Die Performance-Lücke zwischen Open-Source- und proprietären Foundation-Modellen durch architektonisches Design und effektive Trainingsstrategien statt allein durch Modellgröße verringern.

Die Autoren räumen ein, dass EvoDS zwar exzellent in der prozeduralen Automatisierung und Skill-Akkumulation ist, seine Leistung bei Aufgaben, die tiefes Domänenwissen erfordern (z. B. komplexe wissenschaftliche Entdeckungen), jedoch durch das Wissen des zugrunde liegenden Foundation-Modells begrenzt bleibt. Dies legt nahe, dass zukünftige Arbeiten auf die Integration stärkeren externen Domänenwissens fokussieren sollten.