🤖 AI

DSWorld: A Data Science World Model for Efficient Autonomous Agents

Dieses Paper führt DSWorld ein, ein neuartiges Framework, das ein Data-Science-Weltmodell nutzt, um die Ergebnisse von Operationen vor deren Ausführung vorherzusagen, wodurch das Training und die Inferenz autonomer Agenten durch eine Kombination aus strukturierter Zustandsmodellierung, kostenbewusstem Routing und reflektierendem Reinforcement Learning signifikant beschleunigt und die Rechenkosten reduziert werden.

Ursprüngliche Autoren: Zherui Yang, Fan Liu, Hao Liu

Veröffentlicht 2026-07-20

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zherui Yang, Fan Liu, Hao Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der ein Rätsel löst, aber jedes Mal, wenn Sie eine Vermutung darüber haben, wer der Täter ist, müssen Sie in eine andere Stadt reisen, in ein bestimmtes Haus einbrechen und jede einzelne Schublade durchsuchen, um zu sehen, ob Ihre Vermutung richtig war. Wenn Sie falsch liegen, müssen Sie zusammenpacken, zurückfahren und ein neues Haus versuchen. Genau so arbeiten aktuelle „autonome Data-Science-Agenten“. Dies sind intelligente Computerprogramme, die darauf ausgelegt sind, komplexe Datenprobleme zu lösen, wie etwa die Vorhersage von Aktienkursen oder die Diagnose von Krankheiten. Im Moment müssen sie, um herauszufinden, ob eine neue Idee (oder eine „Aktion“) funktionieren wird, tatsächlich den Code ausführen, warten, bis der Computer die Zahlen berechnet hat, und dann das Ergebnis sehen. Dieser Prozess ist wie der Detektiv, der für jede Vermutung in eine neue Stadt fährt: Er kostet eine enorme Menge an Zeit und Rechenleistung und verbraucht oft Stunden, nur um festzustellen, dass eine Idee eine Sackgasse war.

Die große Frage, die sich Wissenschaftler stellen, ist: Können diese Agenten lernen, das Ergebnis zu „imaginieren“, bevor sie die eigentliche Arbeit verrichten? Denken Sie an einen Schachspieler, der in seinem Kopf zehn Züge im Voraus visualisieren kann, ohne ein einziges Stück auf dem Brett zu bewegen. Wenn ein Computer das Ergebnis eines Dateneperiments vorhersagen könnte, ohne den teuren Code tatsächlich auszuführen, könnte er in der Zeit, die er derzeit benötigt, um eine einzige Idee auszuprobieren, tausende Ideen testen. Dieses Paper mit dem Titel „DSWorld“ stellt ein neues Werkzeug vor, das darauf abzielt, diesen Data Scientists diese Superkraft der Vorstellungskraft zu verleihen, damit sie die langen, teuren Fahrten überspringen und statlich in ihrem eigenen Geist nach der besten Lösung suchen können.

Das „Kristallpendel“ für Data Scientists

Die Autoren dieses Papers, Zherui Yang, Fan Liu und Hao Liu von der The Hong Kong University of Science and Technology (Guangzhou), haben etwas entwickelt, das sie DSWorld nennen. Sie können sich DSWorld als ein „Kristallpendel“ vorstellen, das speziell für die Welt der Data Science trainiert wurde. Anstatt den Computer tatsächlich ein Programm ausführen zu lassen, um zu sehen, was passiert, betrachtet DSWorld die aktuelle Situation und die vorgeschlagene Aktion und sagt dann den zukünftigen Zustand der Daten voraus.

So funktioniert der Zaubertrick, in einfache Schritte unterteilt:

1. Der „State“-Schnappschuss
Zuerst macht das System ein Bild der aktuellen Datenwelt. Es betrachtet nicht nur die Rohzahlen; es ordnet sie in eine ordentliche, strukturierte Geschichte ein, die beinhaltet, was die Aufgabe ist, wie die Daten aussehen und was bisher passiert ist. Dies ist der „State“ (Zustand).

2. Die „Router“-Entscheidung
Wenn der Agent eine Aktion ausführen möchte (wie „Daten bereinigen“ oder „ein Modell trainieren“), entscheidet ein intelligenter Verkehrspolizist namens Router, wie er damit umgeht.

Die einfachen Dinge: Wenn die Aktion einfach und schnell ist (wie das Überprüfen einer Liste), schickt der Router sie an einen Compiler, um sie real auszuführen. Dies stellt sicher, dass die Grundlagen zu 100 % korrekt sind.
Die schwierigen Dinge: Wenn die Aktion schwer und langsam ist (wie das Trainieren eines massiven KI-Modells), schickt der Router sie an den Simulator. Hier glänzt DSWorld. Anstatt Stunden zu warten, bis der Computer das Modell trainiert hat, nutzt der Simulator ein „Large Language Model“ (ein sehr intelligentes KI-Gehirn), um vorherzusagen, was das Ergebnis wäre. Es ist wie das Erraten des Ausgangs eines Marathons, indem man das Trainingsprotokoll des Läufers betrachtet, anstatt darauf zu warten, dass er das Rennen tatsächlich beendet.

3. Aus Fehlern lernen (Der „Reflective“-Teil)
Um sicherzustellen, dass dieses Kristallpendel genau ist, haben die Autoren es nicht einfach nur raten lassen. Sie haben es mit einer speziellen Methode namens Reflective World Model Optimization gelehrt. Stellen Sie sich einen Studenten vor, der eine Übungsprüfung macht. Wenn er eine Frage falsch beantwortet, geht er nicht einfach weiter; er schaut sich an, war Warum er falsch lag, schreibt eine Notiz über den Fehler und versucht dann, die Frage erneut korrekt zu beantworten. DSWorld macht dasselbe. Es sagt ein Ergebnis voraus, prüft, ob es mit der Realität übereinstimmt, und wenn es falsch ist, „reflektiert“ es über den Fehler, um seine nächste Vermutung zu verfeinern. Dieser Prozess hilft dem System, mit jedem Versuch besser darin zu werden, die Zukunft vorherzusagen.

4. Die Trainingsdaten
Um DSWorld beizubringen, wie das geht, benötigten die Forscher eine riesige Bibliothek an Beispielen. Da reale Datenexperimente teuer und selten sind, bauten sie einen massiven Datensatz namens DSWorld-8K auf. Sie sammelten echte Beispiele von Data Scientists bei der Arbeit und nutzten dann KI, um tausende weitere zu synthetisieren, wodurch eine Bibliothek von 8.000 verschiedenen „Was-wäre-wenn“-Szenarien entstand. Sie fügten diesen Beispielen sogar „Chain-of-Thought“-Erklärungen hinzu, die wie Schritt-für-Schritt-Lernhilfen funktionieren und die Logik dahinter erklären, warum eine bestimmte Aktion zu einem bestimmten Ergebnis führt.

Was sie herausgefunden haben

Die Ergebnisse des Tests von DSWorld sind recht beeindruckend, obwohl die Autoren vorsichtig darauf hinweisen, dass dies Erkenntnisse aus ihren spezifischen Experimenten und Simulationen sind.

Geschwindigkeit ist die Superkraft: Das auffälligste Ergebnis ist die enorme Beschleunigung. Wenn es zum Trainieren anderer KI-Agenten verwendet wurde, beschleunigte DSWorld den Prozess um etwa das 14-fache. Wenn es dazu verwendet wurde, Agenten bei der Entscheidungsfindung (Inferenz) zu helfen, machte es sie 3- bis 6-mal schneller. Das bedeutet, dass eine Aufgabe, die früher Stunden dauerte, potenziell in Minuten erledigt werden kann.
Genauigkeit ist entscheidend: Geschwindigkeit ist nutzlos, wenn die Vorhersagen falsch sind. Das Paper zeigt, dass DSWorld sehr gut darin ist, vorherzusagen, was passieren wird. Bei Aufgaben, bei denen es vorhersagen musste, ob Code erfolgreich ausgeführt wird oder welche Art von Fehler auftreten könnte, übertraf es die stärksten existierenden KI-Modelle (wie GPT-4o und o4-mini) um durchschnittlich 35,6 %.
Es opfert die Qualität nicht: Obwohl es die schwere Arbeit überspringt, erbrachten die mit DSWorld trainierten Agenten immer noch eine ebenso gute Leistung wie jene, die auf die alte, langsame Weise trainiert wurden. In der Tat schnitten sie in einigen Tests sogar etwas besser ab, was darauf hindeutet, dass das Training durch „Imagination“ den Agenten half, die Muster der Data Science effektiver zu lernen.

Was dies bedeutet (und was es nicht bedeutet)

Das Paper legt nahe, dass DSWorld ein praktisches Framework ist, das Geschwindigkeit und Genauigkeit erfolgreich ausbalanciert. Es beweist, dass man nicht immer den teuren Code ausführen muss, um zu wissen, was passieren wird; manchmal reicht ein gut trainiertes „Vorstellungsvermögen“ aus, um den Weg zu weisen.

Die Autoren sind jedoch ehrlich über die Grenzen. Sie geben zu, dass sich DSWorld derzeit auf die internen Schritte der Data Science konzentriert und noch nicht alle möglichen externen Werkzeuge handhaben kann, die ein Agent nutzen könnte. Sie merken auch an, dass das System, da es auf der zugrunde liegenden KI basiert, die Vorhersagen trifft, in sehr komplexen oder ungewöhnlichen Situationen immer noch Fehler machen kann. Das „Kristallpendel“ ist mächtig, aber nicht perfekt.

Letztendlich bietet dieses Paper einen neuen Weg, um über autonome Data Science nachzudenken. Anstatt mit teurer Rechenleistung jede Idee durch Brute-Force zu testen, schlägt DSWorld vor, dass wir – indem wir ein Modell bauen, das versteht, wie sich Datenumgebungen verändern – Agenten erlauben können, Lösungen zuerst zu „träumen“. Dies spart massive Mengen an Zeit und Energie und findet dennoch die besten Antworten. Es ist ein Wechsel von „probiere alles aus und sieh, was hängen bleibt“ zu „denke es durch, dann probiere das Beste aus“.

Technisches Resümee: DSWorld

Problemstellung

Autonome Data-Science-Agenten haben starke Fähigkeiten in Aufgaben demonstriert, die von explorativer Datenanalyse bis hin zu prädiktiver Modellierung reichen. Aktuelle State-of-the-Art-Agenten (z. B. ML-Master, AIDE) verlassen sich jedoch stark auf Test-Time-Scaling-Strategien, die auf iterativen Trial-and-Error-Workflows basieren. Diese Workflows werden durch kostspielige analytische Berechnungen gebremst, einschließlich Datenverarbeitung, Modelltraining, Evaluierung und Workflow-Aktualisierungen. In bestehenden Systemen wird der Großteil der Ausführungszeit für Berechnungen statt für das Reasoning des Agenten aufgewendet; so verbringt ML-Master beispielsweise über 86 % seiner Zeit allein mit dem Modelltraining. Dieser Rechenaufwand begrenzt die Effizienz und Skalierbarkeit autonomer Data-Science-Systeme erheblich.

Die zentrale Herausforderung besteht darin, dass es keinen Mechanismus gibt, mit dem Agenten die Auswirkungen von Data-Science-Operationen antizipieren können, bevor sie eine kostspielige Ausführung in der realen Welt durchführen.

Methodik: DSWorld-Framework

Das Paper stellt DSWorld vor, ein praktisches Framework für ein Data Science World Model. Dieses Modell behandelt die Data-Science-Ausführungsumgebung als eine „Welt“, die modelliert werden muss, indem es Zustandsübergänge in Abhängigkeit vom aktuellen Workflow-Zustand und den Kandidaten-Operationen vorhersagt.

1. Kernkomponenten

Das DSWorld-Framework ( $W = \{SC, R, C, S\}$ ) besteht aus vier Hauptkomponenten:

State Constructor (SC): Ein regelbasiertes Programm, das rohe Ausführungsumgebungen in strukturierte Zustandsrepräsentationen ( $S_t$ ) transformiert. Diese Zustände kapseln Aufgabenbeschreibungen, Datensatzstatistiken, Datenvorschauen, Ausführungsumgebungen, Historien, Zwischenergebnisse und Fehlermeldungen.
Router (R): Ein Entscheidungsmodul, das bestimmt, ob eine Aktion des Agenten ( $A_t$ ) eine schwere Berechnung erfordert. Es kodiert die Aktion und den aktuellen Zustand, um die Anfrage entweder an einen Compiler (für leichte, präzise Ausführung) oder einen Simulator (für rechenintensive Operationen) zu routen.
Compiler (C): Führt leichte Aktionen (z. B. einfache Datenmanipulation) direkt in der realen Umgebung aus, um Genauigkeit zu gewährleisten.
LLM-basierter Simulator (S): Sagt den nächsten Umgebungszustand ( $\hat{S}_{t+1}$ $\hat{S}_{t + 1}$ ) für rechenintensive Aktionen (z. B. groß angelegtes Modelltraining) voraus, ohne eine tatsächliche Ausführung durchzuführen. Er sagt Ausführungsergebnisse, Fehler und Leistungssignale voraus.
- Robustheit: Ein Timeout-Mechanismus leitet Compiler-Ausführungen, die einen Schwellenwert überschreiten, an den Simulator um, um ein Aufhängen des Systems zu verhindern.

2. Optimierungsstrategie

Um den Simulator effektiv zu trainieren, schlagen die Autoren eine zweistufige Post-Training-Strategie vor:

Supervised Fine-Tuning (SFT): Initialisiert das Modell mithilfe eines Datensatzes von Übergangstrajektorien ( $S, A, S'$ ).
Reflective World Model Optimization: Eine Reinforcement-Learning-Strategie (RL) unter Verwendung von Group Relative Policy Optimization (GRPO).
- Das Modell sagt zuerst einen nächsten Zustand ( $\hat{S}'$ ) voraus.
- Es generiert anschließend Reflexions-Feedback ( $f$ ), indem es die Vorhersage mit der Grundwahrheit (Ground Truth) vergleicht, um fehlende oder inkonsistente Elemente zu identifizieren.
- Das Modell verfeinert seine Vorhersage ( $\hat{S}'_r$ ) unter Berücksichtigung dieses Feedbacks.
- Die Zielfunktion optimiert sowohl die ursprüngliche als auch die verfeinerte Vorhersage unter Verwendung einer Belohnungsfunktion, welche den Ausführungsstatus, die Ausgaben, die Fehlerinformationen und die Aufgabenleistung bewertet.

3. Datenerstellung (DSWorld-8K)

Aufgrund der Knappheit an groß angelegten Übergangsdaten für autonome Data Science haben die Autoren DSWorld-8K konstruiert, einen Datensatz mit 8.000 Stichproben:

Real-World-Erfassung: Authentische Übergangstrajektorien, die von realen autonomen Agenten bei realen Aufgaben gesammelt wurden, ergänzt durch durch LLMs synthetisierte Chain-of-Thought (CoT)-Argumentationsketten.
Synthetische Pipeline: Um die Datengenerierung zu skalieren, nutzten die Autoren den MMTU-Benchmark (60k+ Tabellen), um diverse Umgebungzustände zu synthetisieren. Sie konstruierten Bibliotheken von Datenoperationen und Ausführungsfehlern, um vielfältige Aktionen zu generieren. Die ausgeführten Aktionen wurden gegen die Grundwahrheit verifiziert, und nur valide Stichproben wurden zusammen mit synthetisierten CoT-Trajektorien, die die Übergangsdynamik erklären, beibehalten.

Zentrale Beiträge

Konzeptdefinition: Einführung des Data Science World Model, eines Übergangsmodells, das darauf ausgelegt ist, die Auswirkungen von Data-Science-Operationen ohne kostspielige Echtzeit-Berechnungen vorherzusagen.
Framework-Vorschlag: Entwicklung von DSWorld, einem hybriden Framework, das strukturierte Zustandskonstruktion, kostenbewusstes Routing, reale Ausführung für leichte Aufgaben und LLM-basierte Simulation für rechenintensive Aufgaben kombiniert.
Optimierungsstrategie: Vorschlag der Reflective World Model Optimization, einer fehlerbewussten RL-Strategie, die die Vorhersage von Übergängen durch iterative Verfeinerung und Reflexion verbessert.
Datensatz-Erstellung: Entwicklung einer skalierbaren Synthese-Pipeline, die zum DSWorld-8K-Datensatz führt, einem groß angelegten Datensatz von Übergangstrajektorien mit Erklärungen zur Argumentation.

Experimentelle Ergebnisse

Die Autoren evaluierten DSWorld bei Aufgaben zur Vorhersage von Übergängen sowie als Simulator für das Training und die Inferenz von Agenten.

Leistung der Übergangsvorhersage:
- DSWorld übertraf den stärksten LLM-Baseline-Modell (o4-mini) im Durchschnitt um 35,6 % bei Aufgaben zur Übergangsvorhersage.
- Es erzielte signifikante Gewinne bei ausführungsbezogenen Aufgaben (Vorhersage des Ausführungserfolgs, Vorhersage des Fehlertyps usw.) mit Verbesserungen zwischen 33,4 % und 71,5 % gegenüber den Baselines.
- Das Modell zeigte eine starke Generalisierung über verschiedene Betriebsumgebungen (Ubuntu, CentOS, Windows) hinweg.
Effizienz des Agenten-Trainings:
- Als Trainingsumgebung für RL-basierte Agenten beschleunigte DSWorld das Training um etwa das 14-Fache im Vergleich zur realen Ausführung (Compiler), während es eine wettbewerbsfähige Downstream-Performance (Medaillenraten und Scores auf MLE-Bench Lite) beibehielt.
- Mit DSWorld trainierte Agenten übertrafen jene, die mit einem reinen LLM-Simulator (DeepSeek 3.2) trainiert wurden, und blieben wettbewerbsfähig gegenüber jenen, die auf realer Ausführung trainiert wurden, obwohl sie ein kleineres Backbone-Modell verwendeten (Qwen3-8B vs. Qwen3-14B).
Effizienz der Agenten-Inferenz:
- Für suchbasierte Agenten (AIDE, ML-Master, AutoMLGen) beschleunigte DSWorld die Inferenz um das 3- bis 6-Fache im Vergleich zur realen Ausführung.
- Im Gegensatz zur direkten LLM-Simulation, die aufgrund von Halluzinationen unter schwerer Leistungsdegradation litt, behielt DSWorld eine hohe Suchqualität bei, indem es präzises Ausführungsfeedback lieferte.

Bedeutung und Ansprüche

Das Paper behauptet, dass DSWorld einen kritischen Engpass in der autonomen Data Science adressiert: den Trade-off zwischen Reasoning-Effizienz und Rechenkosten. Durch die Fähigkeit der Agenten, die Ergebnisse von Data-Science-Operationen zu „imaginieren“, ermöglicht DSWorld:

Skalierbarkeit: Drastische Reduktion des Zeit- und Rechenressourcenbedarfs sowohl beim Training als auch bei der Inferenz.
Performance: Beibehaltung einer hohen Qualität der Agentenleistung trotz der Nutzung von Simulation.
Machbarkeit: Die Fähigkeit, Agenten auf komplexen, langfristigen Aufgaben zu trainieren, die aufgrund der Kosten wiederholter realer Ausführungen andernfalls prohibitiv teuer wären.

Die Autoren positionieren DSWorld nicht als Ersatz für die reale Ausführung, sondern als notwendige Komponente für effiziente, groß angelegte autonome Data-Science-Workflows, die es Agenten ermöglichen, Kandidatenlösungen innerhalb praktischer Zeit- und Ressourcenbeschränkungen gründlicher zu explorieren.

Limitationen

Das Paper räumt mehrere Limitationen ein:

Das aktuelle Modell konzentriert sich auf interne Data-Science-Übergänge und modelliert nicht explizit externe Tool-Call-Übergänge.
Die Vorhersagequalität ist durch die Fähigkeiten des zugrunde liegenden LLM-Simulators begrenzt, der in hochkomplexen Szenarien immer noch Ungenauigkeiten produzieren kann.
Synthetische Trajektorien können, obwohl sie verifiziert wurden, eine Verteilungslücke (Distribution Gap) im Vergleich zu realen autonomen Workflows aufweisen, was die Generalisierung beeinflussen könnte.