Technisches Resümee: DSAgentBench

Problemstellung

Echte Data Science umfasst komplexe, langfristige Workflows, die von Datenbereinigung über Exploration und Modellierung bis hin zu Visualisierung und Validierung reichen. Diese Aufgaben erfordern den koordinierten Einsatz vielfältiger Werkzeuge – einschließlich Notebooks, IDEs, Terminals, Browser und Datenbanken – innerhalb eines funktionierenden Betriebssystems. Während jüngste Fortschritte bei Large Language Models (LLMs) bereits Fähigkeiten in der Generierung von Code oder der Durchführung isolierter analytischer Aufgaben demonstriert haben, versagen bestehende Benchmarks darin, zu bewerten, ob Agenten autonom vollständige End-to-End-Data-Science-Workflows in realistischen Computerumgebungen ausführen können.

Aktuelle Benchmarks fallen in zwei Kategorien: solche, die die Codegenerierung isoliert bewerten (z. B. DS-1000, DSEval), ohne eine Systeminteraktion zu erfordern, und solche, die die allgemeine Computersteuerung bewerten (z. B. OSWorld, WebArena), ohne die domänenspezifische analytische Argumentation zu prüfen. Folglich mangelt es an Evaluationsframeworks, die die Fähigkeit eines Agenten testen, Dateisysteme zu navigieren, Abhängigkeiten zu verwalten, Fehler zu interpretieren und Analysen basierend auf Zwischenergebnissen innerhalb einer realen OS-Umgebung zu verfeinern.

Methodik

Benchmark-Konstruktion (DSAgentBench)

Die Autoren führen DSAgentBench ein, den ersten Benchmark, der darauf ausgelegt ist, autonome Data-Science-Workflows innerhalb echter Betriebssysteme zu bewerten. Der Benchmark besteht aus 275 vielfältigen, von Menschen verfassten Aufgaben, die den gesamten Data-Science-Lebenszyklus abdecken.

• Aufgabenformulierung: Aufgaben sind als Tupel $(C_i, I_i, V_i)$ definiert, wobei $C_i$ die initiale Systemkonfiguration (Datensätze, Dateistruktur, installierte Bibliotheken), $I_i$ eine natürliche Sprachinstruktion und $V_i$ ein deterministischer Python-Evaluator ist.
• Datenbeschaffung: Die Datensätze stammen aus heterogenen realen Quellen, darunter Kaggle, OpenML, GitHub, SQLite-Datenbanken und Web-APIs. Die Daten umfassen tabellarische (95,3 %), Bild- (3,6 %) und Textmodalitäten (1,1 %).
• Aufwegkategorien: Die Aufgaben sind in sechs Fähigkeitskategorien unterteilt: Datenerfassung, Explorative Datenanalyse (EDA), Feature Engineering, Modellierung, Evaluation/Deployment sowie Visualisierung/Berichterstattung.
• Evaluationsprotokoll: Im Gegensatz zu Benchmarks, die die Codeausführung bewerten, verwendet DSAgentBench deterministische Evaluatoren, die die analytische Korrektheit, die Qualität der visuellen Ausgabe und die Modellleistung verifizieren. Eine Aufgabe gilt als erfolgreich, wenn nur die finalen Ausgaben des Agenten die Kriterien des Evaluators erfüllen (Score $\ge 0,95$).
• Konstruktionspipeline: Der Benchmark wurde durch einen dreistufigen Prozess erstellt: Beschaffung von Datensätzen, kollaborative Aufgaben-/Evaluator-Gestaltung durch Experten (wobei LLMs nur zur Verfeinerung eingesetzt wurden) und duale Annotator-Verifizierung, um Reproduzierbarkeit und technische Korrektheit zu gewährleisten.

Architektur der Umgebung

DSAgentBench erweitert das OSWorld-Framework, um eine realistische Ausführungsumgebung zu schaffen:

• OS: Ubuntu mit vorinstalliertem Python und Data-Science-Bibliotheken.
• Werkzeuge: Visual Studio Code, Jupyter Notebook, Chrome und Zugriff auf Kaggle/OpenML-APIs.
• Beobachtungsraum: Agenten erhalten entweder einen 1920×1080 Screenshot oder eine hybride Screenshot + Accessibility Tree (A11y) Modalität, die strukturierte UI-Metadaten (Rollen, Begrenzungsrahmen, Interaktionszustände) bereitstellt.
• Aktionsraum: Agenten interagieren über GUI-Aktionen (Mausklicks, Tastatureingaben) und Meta-Aktionen (WAIT, DONE, FAIL). Die Umgebung erfasst Zustandsübergänge nach jeder Aktion.

Evaluierte Modelle

Die Autoren evaluierten 15 Closed-Source- und Open-Source-Agenten, darunter:

• Closed-source: GPT-4o, GPT-5 (und mini), O4-mini, Claude Sonnet 4/4.5/4.6, Gemini 2.5 Pro und OpenAI's Computer Agent.
• Open-source: UI-TARS (2B/7B), GUI-OWL-7B, OpenCUA-72B und Hybrid-Modelle (Jedi gepaart mit GPT-4o).

Zentrale Ergebnisse

Gesamtleistung

Die Experimente zeigen eine erhebliche Kapazitätslücke zwischen aktuellen agentischen Systemen und den Anforderungen realer Data-Science-Workflows auf:

• Stärkster Agent: Claude-4.6-Sonnet erreichte mit 56,70 % die höchste Erfolgsquote bei Aufgaben unter der Screenshot + A11y Tree Einstellung.
• Andere Closed-Source-Modelle: Die Leistung sank bei anderen Modellen signifikant, wobei GPT-5 bei 29,81 % lag und andere (GPT-4o, Gemini-2.5-Pro) um die 20 % pendelten.
• Open-Source-Modelle: Alle Open-Source-Agenten erreichten weniger als 1 % Erfolg und scheiterten häufig an der Werkzeugorchestrierung, der OS-Verankerung (Grounding) und der mehrstufigen Argumentation.
• Human Baseline: Menschliche Experten erreichten eine Erfolgsquote von 85,09 %, was die verbleibende Lücke selbst für die stärksten KI-Agenten verdeutlicht.

Ablationsstudie und Fehleranalyse

• Aufgabenkomplexität: Die Leistung sinkt monoton mit zunehmender Schwierigkeit. „Harte“ Aufgaben (5+ Schritte) bleiben am anspruchsvollsten. Mehrstufige Workflows (56,7 % der Aufgaben) sind aufgrund der Notwendigkeit der Zustandsbehaltung und Fehlerreparatur signifikant schwieriger als einstufige Aufgaben.
• Werkzeugnutzung: In Jupyter Notebooks ausgeführte Aufgaben schnitten besser ab als in VS Code, was primtär auf weniger Terminal- und umweltbezogene Fehler zurückzuführen ist.
• Beobachtungsmodalität: Das Hinzufügen von A11y-Tree-Informationen verbesserte die Leistung im Allgemeinen, was darauf hindeutet, dass strukturierte UI-Metadaten das Grounding unterstützen, wenngleich die Gewinne je nach Modell variierten.
• Fehlermodi:
  • Open-source-Agenten scheiterten fast ausschließlich (97–98 %) aufgrund von Grounding-Fehlern (Unfähigkeit, Instruktionen mit dem Desktop-Zustand in Einklang zu bringen).
  • Stärkere Closed-Source-Agenten zeigten gemischte Fehler, einschließlich Terminal-Fehlern, Mängeln in der Codegenerierung und Defiziten in der Argumentation.
  • Temporale Struktur: Open-source- und schwächere Modelle scheiterten oft frühzeitig (Unfähigkeit, Terminals zu öffnen), während stärkere Modelle dazu neigten, in späteren Phasen nach längerer, ineffektiver Exploration zu scheitern.
• Budget-Sensitivität: Eine Erhöhung des Interaktionsbudgets von 15 auf 50 Schritte brachte nur marginale Gewinne (24,54 % $\to$ 25,81 %), was darauf hindeutet, dass die Fehler nicht primär auf Schrittlimits, sondern auf grundlegende Probleme in Planung und Argumentation zurückzuführen sind.

Bedeutung und Ansprüche

Das Paper positioniert DSAgentBench als eine fundamentale Ressource für die Entwicklung fundierter, verifizierbarer und autonomer Data-Science-Agenten. Die primären Beiträge sind:

1. Erster Real-OS-Benchmark: Es ist der erste Benchmark, der autonome Data-Science-Workflows innerhalb eines funktionierenden Betriebssystems evaluiert und den gesamten Lebenszyklus von der Datenerfassung bis zur Validierung abdeckt.
2. Ausführungsbasierte Evaluation: Es verschiebt das Evaluationsparadigma von der „Codekorrektheit“ zur „analytischen Korrektheit“, indem es verlangt, dass Agenten valide Artefakte (Visualisierungen, Modelle, Berichte) produzieren, die durch deterministische Skripte verifiziert werden.
3. Aufzeigen der Lücke: Die Ergebnisse legen eine signifikante Einschränkung aktueller agentischer Systeme offen und zeigen, dass selbst die stärksten Modelle mit der Koordination von Werkzeugen, der langfristigen Argumentation und dem OS-Grounding kämpfen, die für reale Data Science erforderlich sind.
4. Zukünftige Ausrichtung: Durch die Identifizierung spezifischer Fehlermodi (Grounding, Planung, Werkzeugorchestrierung) bietet der Benchmark eine klare Roadmap für die zukünftige Forschung mit dem Ziel, Agenten zu entwickeln, die reale Data-Science-Aufgaben bewältigen können.

Die Autoren stellen den Benchmark unter https://github.com/vis-nlp/DSAgentBench zur Verfügung, um die weitere Forschung in diesem Bereich zu fördern.