Technische Samenvatting: DSAgentBench

Probleemstelling

Echte data science omvat complexe, langdurige workflows die variëren van data wrangling en exploratie tot modellering, visualisatie en validatie. Deze taken vereisen het gecoördineerd gebruik van diverse tools—waaronder notebooks, IDE's, terminals, browsers en databases—binnen een functioneel besturingssysteem. Hoewel recente vooruitgang in Large Language Models (LLM's) heeft aangetoond dat zij in staat zijn tot het genereren van code of het uitvoeren van geïsoleerde analytische taken, schieten bestaande benchmarks tekort in het evalueren of agenten autonoom volledige end-to-end data-science workflows kunnen uitvoeren in realistische computermilieus.

Huidige benchmarks vallen uiteen in twee categorieën: die de codegeneratie in isolatie evalueren (bijv. DS-1000, DSEval) zonder systeeminteractie te vereisen, en die algemene computercontrole evalueren (bijv. OSWorld, WebArena) zonder specifieke analytische redenering te beoordelen. Bij consequent ontbreekt er daarmee een evaluatiekader om de bekwaamheid van een agent te testen in het navigeren door bestandssystemen, het beheren van afhankelijkheden, het interpreteren van fouten en het verfijnen van analyses op basis van tussenliggende outputs binnen een echt OS-milieu.

Methodologie

Benchmark Constructie (DSAgentBench)

De auteurs introduceren DSAgentBench, de eerste benchmark die is ontworpen om autonome data-science workflows binnen echte besturingssystemen te evalueren. De benchmark bestaat uit 275 diverse, door mensen geschreven taken die de gehele data-science levenscyclus beslaan.

• Taakformulering: Taken worden gedefinieerd als tupels $(C_i, I_i, V_i)$, waarbij $C_i$ de initiële systeemconfiguratie is (datasets, bestandsstructuur, geïnstalleerde bibliotheken), $I_i$ een instructie in natuurlijke taal is, en $V_i$ een deterministische Python-evaluator is.
• Databronnen: Datasets zijn afkomstig van heterogene, echte bronnen, waaronder Kaggle, OpenML, GitHub, SQLite-databases en web-API's. De data bevat verschillende modaliteiten: tabulair (95,3%), afbeelding (3,6%) en tekst (1,1%).
• Taakcategorieën: Taken zijn georganiseerd in zes capaciteitscategorieën: Data Acquisitie, Exploratieve Data Analyse (EDA), Feature Engineering, Modellering, Evaluatie/Deployment, en Visualisatie/Rapportage.
• Evaluatieprotocol: In tegenstelling tot benchmarks die de uitvoering van code scoren, maakt DSAgentBench gebruik van deterministische evaluatoren die de analytische correctheid, de kwaliteit van de visuele output en de modelprestaties verifiëren. Een taak wordt pas als succesvol beschouwd als de uiteindelijke outputs van de agent voldoen aan de criteria van de evaluator (score $\ge 0,95$).
• Constructie Pipeline: De benchmark is gebouwd via een driefasig proces: het sourcen van datasets, collaboratief ontwerp van taken/evaluatoren door menselijke experts (waarbij LLM's alleen werden gebruikt voor verfijning), en verificatie door dubbele annotatoren om reproduceerbaarheid en technische correctheid te waarborgen.

Omgevingsarchitectuur

DSAgentBench breidt het OSWorld-framework uit om een realistische executie-omgeving te creëren:

• OS: Ubuntu met vooraf geïnstalleerde Python en data-science bibliotheken.
• Tools: Visual Studio Code, Jupyter Notebook, Chrome, en toegang tot Kaggle/OpenML API's.
• Observatieruimte: Agents ontvangen ofwel een 1920×1080 screenshot of een hybride Screenshot + Accessibility Tree (A11y) modaliteit, die gestructureerde UI-metadata levert (rollen, bounding boxes, interactiestaten).
• Actieruimte: Agents interageren via GUI-acties (muisklikken, toetsenbordinvoer) en meta-acties (WAIT, DONE, FAIL). De omgeving legt de statusovergangen vast na elke actie.

Geëvalueerde Modellen

De auteurs hebben 15 closed- en open-source agents geëvalueerd, waaronder:

• Closed-source: GPT-4o, GPT-5 (en mini), O4-mini, Claude Sonnet 4/4.5/4.6, Gemini 2.5 Pro, en OpenAI's Computer Agent.
• Open-source: UI-TARS (2B/7B), GUI-OWL-7B, OpenCUA-72B, en hybride modellen (Jedi gekoppeld aan GPT-4o).

Belangrijkste Resultaten

Algemene Prestaties

De experimenten onthullen een aanzienlijke capaciteitskloof tussen huidige agentische systemen en de eisen van echte data-science workflows:

• Sterkste Agent: Claude-4.6-Sonnet behaalde de hoogste prestaties met 56,70% taaksucces onder de Screenshot + A11y Tree instelling.
• Andere Closed-Source Modellen: De prestaties daalden aanzienlijk voor andere modellen, waarbij GPT-5 op 29,81% zat en anderen (GPT-4o, Gemini-2.5-Pro) rond de 20% schommelden.
• Open-Source Modellen: Alle open-source agents behaalden minder dan 1% succes, en faalden frequent bij tool-orchestratie, OS-grounding en meerstapsredeneren.
• Menselijke Baseline: Menselijke experts behaalden een succesratio van 85,09%, wat de resterende kloof benadrukt, zelfs voor de sterkste AI-agents.

Ablatie en Foutanalyse

• Taakcomplexiteit: Prestaties nemen monotoon af met de moeilijkheidsgraad. "Hard" taken (5+ stappen) blijven het meest uitdagend. Meerstaps-workflows (56,7% van de taken) zijn aanzienlijk moeilder dan enkelstaps-taken vanwege de noodzaak voor statusbehoud en foutherstel.
• Toolgebruik: Taken uitgevoerd in Jupyter Notebooks presteerden beter dan die in VS Code, grotendeels vanwege minder terminal- en omgevingsgerelateerde fouten.
• Observatiemodaliteit: Het toevoegen van A11y tree-informatie verbeterde de prestaties over het algemeen, wat suggereert dat gestructureerde UI-metadata helpt bij grounding, hoewel de winst per model varieerde.
• Foutmodi:
  • Open-source agents faalden bijna uitsluitend (97–98%) door grounding-fouten (het onvermogen om instructies af te stemmen op de desktopstatus).
  • Sterkere closed-source agents vertoonden gemengde fouten, inclusionele terminalfouten, fouten in codegeneratie en tekortkomingen in redenering.
  • Temporele Structuur: Open-source en zwakkere modellen faalden vaak vroegtijdig (niet in staat om terminals te openen), terwijl sterkere modellen de neiging hadden om in latere stadia te falen na langdurige, ineffectieve exploratie.
• Budgetgevoeligheid: Het verhogen van het interactiebudget van 15 naar 50 stappen leverde slechts marginale winst op (24,54% $\to$ 25,81%), wat aangeeft dat fouten niet primair worden veroorzaakt door staplimieten, maar door fundamentele problemen in planning en redenering.

Betekenis en Claims

Het artikel positioneert DSAgentBench als een fundamentele bron voor de ontwikkeling van gegronde, verifieerbare en autonome data-science agents. De primaire bijdragen zijn:

1. Eerste Real-OS Benchmark: Het is de eerste benchmark die autonome data-science workflows binnen een functionerend besturingssysteem evalueert, de volledige levenscyclus bespannend van data-acquisitie tot validatie.
2. Executie-gebaseerde Evaluatie: Het verschuift het evaluatieparadigma van "coderectheid" naar "analytische correctheid", waarbij van agents wordt vereist dat zij geldige artefacten (visualisaties, modellen, rapporten) produceren die door deterministische scripts worden geverifieerd.
3. Het Blootleggen van de Kloof: De resultaten leggen een significante beperking bloot in huidige agentische systemen, door aan te tonen dat zelfs de sterkste modellen moeite hebben met de coördinatie van tools, langdurige redenering en OS-grounding die nodig zijn voor echte data science.
4. Toekomstige Richting: Door specifieke foutmodi (grounding, planning, tool-orchestratie) te identificeren, biedt de benchmark een duidelijk pad voor toekomstig onderzoek gericht op het bouwen van agents die in staat zijn tot echte data-science taken.

De auteurs stellen de benchmark beschikbaar op https://github.com/vis-nlp/DSAgentBench om verdere research in dit domein te faciliteren.