기술 요약: DSAgentBench

문제 정의

실제 데이터 과학은 데이터 정제, 탐색, 모델링, 시각화 및 검증에 이르는 복잡하고 장기적인 워크플로우를 수반합니다. 이러한 작업에는 기능하는 운영 체제 내에서 노트북, IDE, 터미널, 브라우저, 데이터베이스와 같은 다양한 도구의 조율된 사용이 필요합니다. 최근 대규모 언어 모델(LLM)의 발전은 코드 생성이나 고립된 분석 작업을 수행하는 능력을 입증했지만, 기존 벤치마크는 에이전트가 실제 컴퓨팅 환경 내에서 완전한 엔드 투 엔드(end-to-end) 데이터 과학 워크플로우를 자율적으로 실행할 수 있는지 평가하는 데 실패하고 있습니다.

현재의 벤치마크는 두 가지 범주로 나뉩니다. 하나는 시스템 상호작용을 요구하지 않고 코드 생성만을 평가하는 것(예: DS-1000, DSEval)이며, 다른 하나는 도메인 특화적인 분석적 추론을 평가하지 않고 일반적인 컴퓨터 제어를 평가하는 것(예: OSWorld, WebArena)입니다. 결과적으로, 에이전트가 실제 OS 환경 내에서 파일 시스템을 탐색하고, 종속성을 관리하며, 중간 출력물에 기반하여 분석을 해석하고 개선할 수 있는 능력을 테스트하는 평가 프레임워크가 부족한 실정입니다.

방법론

벤치마크 구축 (DSAgentBench)

저자들은 실제 운영 체제 내부에서 자율적인 데이터 과학 워크플로우를 평가하기 위해 설계된 최초의 벤치마크인 DSAgentBench를 소개합니다. 이 벤치마크는 전체 데이터 과학 라이프사이클을 아우르는 275개의 다양하고 인간이 작성한 태스크로 구성됩니다.

• 태스크 정식화: 태스크는 튜플 $(C_i, I_i, V_i)$로 정의됩니다. 여기서 $C_i$는 초기 시스템 구성(데이터셋, 파일 구조, 설치된 라이브러리), $I_i$는 자연어 지시문, $V_i$는 결정론적 파이썬 평가기입니다.
• 데이터 소싱: 데이터셋은 Kaggle, OpenML, GitHub, SQLite 데이터베이스, 웹 API를 포함한 이질적인 실제 소스에서 추출되었습니다. 데이터에는 표 형식(95.3%), 이미지(3.6%), 텍text(1.1%) 모달리티가 포함됩니다.
• 태스크 카테고리: 태스크는 데이터 획득(Data Acquisition), 탐색적 데이터 분석(EDA), 피처 엔지니어링(Feature Engineering), 모델링(Modeling), 평가/배포(Evaluation/Deployment), 시각화/리포팅(Visualization/Reporting)의 6가지 역량 카테고리로 분류됩니다.
• 평가 프로토콜: 코드 실행을 점수화하는 벤치마크와 달리, DSAgentBench는 분석적 정확성, 시각적 출력 품질 및 모델 성능을 검증하는 **결정론적 평가기(deterministic evaluators)**를 채택합니다. 에이전트의 최종 출력이 평가기의 기준(점수 $\ge 0.95$)을 충족하는 경우에만 태스크가 성공한 것으로 간주됩니다.
• 구축 파이프라인: 벤치마크는 3단계 과정을 통해 구축되었습니다: 데이터셋 소싱, 인간 전문가에 의한 협업적 태스크/평가기 설계(LLM은 정교화 용도로만 사용), 그리고 재현성과 기술적 정확성을 보장하기 위한 이중 검증자(dual-annotator) 검증 단계입니다.

환경 아키텍처

DSAgentBench는 OSWorld 프레임워크를 확장하여 현실적인 실행 환경을 구축합니다:

• OS: Python과 데이터 과학 라이브러리가 사전 설치된 Ubuntu.
• 도구: Visual Studio Code, Jupyter Notebook, Chrome, 그리고 Kaggle/OpenML API 접근 권한.
• 관측 공간(Observation Space): 에이전트는 1920×1080 스크린샷 또는 구조화된 UI 메타데이터(역할, 경계 상자, 상호작용 상태)를 제공하는 하이브리드 스크린샷 + 접근성 트리(Accessibility Tree, A11y) 모달리티를 받습니다.
• 행동 공간(Action Space): 에이전트는 GUI 동작(마우스 클릭, 키보드 입력)과 메타 동작(WAIT, DONE, FAIL)을 통해 상호작용합니다. 환경은 각 동작 후의 상태 전이를 캡처합니다.

평가된 모델들

저자들은 다음을 포함한 15개의 폐쇄형 및 오픈 소스 에이전트를 평가했습니다:

• 폐쇄형 소스: GPT-4o, GPT-5 (및 mini), O4-mini, Claude Sonnet 4/4.5/4.6, Gemini 2.5 Pro, 그리고 OpenAI의 Computer Agent.
• 오픈 소스: UI-TARS (2B/7B), GUI-OWL-7B, OpenCUA-72B, 그리고 하이브리드 모델 (Jedi와 GPT-4o의 결합).

주요 결과

전반적인 성능

실험 결과, 현재의 에이전트 시스템과 실제 데이터 과학 워크플로우의 요구 사항 사이에는 상당한 능력 격차가 있음이 드러났습니다:

• 가장 강력한 에이전트: Claude-4.6-Sonnet이 스크린샷 + A11y 트리 설정에서 **56.70%**의 태스크 성공률을 기록하며 가장 높은 성능을 달성했습니다.
• 기타 폐쇄형 소스 모델: 다른 모델들의 성능은 크게 떨어졌으며, GPT-5는 29.81%, 기타 모델(GPT-4o, Gemini-2.5-Pro)은 20% 수준에 머물렀습니다.
• 오픈 소스 모델: 모든 오픈 소스 에이전트는 1% 미만의 성공률을 보였으며, 도구 오케스트레이션, OS 그라운딩(grounding), 다단계 추론 단계에서 빈번하게 실패했습니다.
• 인간 베이스라인: 인간 전문가는 **85.09%**의 성공률을 달성하여, 가장 강력한 AI 에이전트조차 여전히 극복해야 할 격차가 있음을 보여주었습니다.

절제 실험(Ablation) 및 오류 분석

• 태스크 복잡도: 난이도가 높아짐에 따라 성능이 단조 감소합니다. "어려운(Hard)" 태스크(5단계 이상)가 가장 까다로운 것으로 나타났습니다. 다단계 워크플로우(태스크의 56.7%)는 상태 유지 및 오류 복구가 필요하기 때문에 단일 단계 태스크보다 훨씬 더 어려웠습니다.
• 도구 사용: Jupyter Notebook에서 실행된 태스크가 VS Code에서 실행된 태스크보다 성능이 좋았는데, 이는 주로 터미널 및 환경 관련 실패가 적었기 때문입니다.
• 관측 모달리티: A11y 트리 정보를 추가하면 일반적으로 성능이 향상되었으며, 이는 구조화된 UI 메타데이터가 그라운딩을 돕는다는 것을 시사하지만, 모델마다 이득의 정도는 달랐습니다.
• 실패 모드:
  • 오픈 소스 에이전트는 거의 예외 없이(97~98%) 그라운딩 오류(명령어와 데스크톱 상태를 일치시키지 못함)로 인해 실패했습니다.
  • 더 강력한 폐쇄형 소스 에이전트는 터미널 오류, 코드 생성 결함, 추론 결핍 등 혼합된 실패 양상을 보였습니다.
  • 시간적 구조: 오픈 소스 및 약한 모델들은 주로 초기에 실패(터미널을 열지 못함)한 반면, 더 강력한 모델들은 장기간의 비효적인 탐색 후에 후기 단계에서 실패하는 경 경향을 보였습니다.
• 예산 민감도: 상호작용 예산을 15단계에서 50단계로 늘려도 성과가 미미했습니다 (24.54% $\to$ 25.81%). 이는 실패의 원인이 주로 단계 제한 때문이 아니라 계획 및 추론의 근본적인 문제임을 나타냅니다.

의의 및 주장

이 논문은 DSAgentBench를 근거 있고 검증 가능한 자율 데이터 과학 에이전트를 개발하기 위한 기초 자원으로 포지셔닝합니다. 주요 기여는 다음과 같습니다:

1. 최초의 실제 OS 벤치마크: 데이터 획득부터 검증까지 전체 라이프사이클을 다루며, 기능하는 운영 체제 내부에서 자율적인 데이터 과학 워크플로우를 평가하는 최초의 벤치마크입니다.
2. 실행 기반 평가: 평가 패러다임을 "코드의 정확성"에서 "분석적 정확성"으로 전환하여, 에이전트가 결정론적 스크립트에 의해 검증되는 유효한 산출물(시각화, 모델, 보고서)을 생성하도록 요구합니다.
3. 격차의 규명: 현재의 에이전트 시스템이 가진 심각한 한계를 노출하며, 가장 강력한 모델조차 실제 데이터 과학에 필요한 도구 조율, 장기적 추론, OS 그라운딩에 어려움을 겪는다는 것을 입증했습니다.
4. 미래 방향 제시: 구체적인 실패 모드(그라운딩, 계획, 도구 오케스트레이션)를 식별함으로써, 실제 세계의 데이터 과학 과업을 수행할 수 있는 에이전트를 구축하기 위한 명확한 연구 로드맵을 제공합니다.

저자들은 추가 연구를 촉진하기 위해 벤치마크를 https://github.com/vis-nlp/DSAgentBench에 공개하였습니다.