WebDS: An End-to-End Benchmark for Web-based Data Science

이 논문은 기존 벤치마크의 한계를 극복하고 현실적인 웹 기반 데이터 과학 워크플로우를 평가하기 위해 다양한 웹사이트와 복잡한 도구 사용 능력을 요구하는 새로운 엔드투엔드 벤치마크인 'WebDS'를 제안하고, 현재 최첨단 LLM 에이전트와 인간 간에 큰 성능 격차가 있음을 입증합니다.

핵심

🕵️‍♂️ WebDS: "디지털 탐정"을 위한 극한 미션

1. 기존 테스트는 왜 부족했을까? (과거의 상황)

지금까지 AI 에이전트 (웹을 돌아다니는 로봇) 를 테스트할 때는 주로 두 가지 방식만 썼습니다.

• 웹 서핑 테스트: "레드디에 글 써줘"나 "아마존에서 장바구니에 물건을 담으" 같은 단순한 명령을 내리는 거죠. 마치 어린이가 장난감 가게에서 장난감을 고르는 것처럼 단순합니다.
• 데이터 분석 테스트: 미리 정리된 엑셀 파일이나 데이터베이스만 주고 "이 숫자의 평균을 구해"라고 시키는 거죠. 이는 교과서 문제집만 푸는 것과 비슷합니다.

하지만 현실의 데이터 과학자들은 어떻게 일할까요?

"인터넷에 흩어진 뉴스, 정부 통계, 블로그 글들을 찾아서, 서로 다른 포맷 (이미지, 표, 텍스트) 으로 된 정보를 모으고, 이를 정리해서 최종 보고서를 써줘."

이건 미스터리 소설을 읽고, 여러 증거를 모아서 범인을 찾아낸 뒤, 법정에서 변론을 하는 것처럼 복잡합니다. 기존 테스트는 이 '극한 미션'을 제대로 평가하지 못했습니다.

2. WebDS 란 무엇인가? (새로운 기준)

연구팀은 WebDS라는 새로운 시험지를 만들었습니다.

• 구성: 29 개의 다양한 웹사이트 (정부 통계, 뉴스, 쇼핑몰 등) 에서 870 개의 미션을 준비했습니다.
• 미션 예시: "2022 년 10 월 19 일 기준, 인종별 대학생 등록 인수를 조사하고, 국가 인구 통계와 비교해서 대학의 다양성 정책에 어떤 영향을 줄지 분석한 보고서를 써줘."
• 특징: AI 는 단순히 링크를 클릭하는 게 아니라, 데이터를 다운로드하고, 엑셀로 정리하고, 통계 프로그램을 실행하고, 최종적으로 글을 써야 합니다.

3. 결과는 어땠을까? (AI vs 인간)

이 시험지를 최신 AI (GPT-4o 등) 에게 풀어보게 했더니 결과가 충격적이었습니다.

• 기존 시험지 (WebVoyager 등): AI 가 80% 이상을 성공했습니다. (마치 수학 문제집을 잘 푼 학생)
• WebDS (실전 미션): AI 의 성공률은 **13%~22%**에 불과했습니다. (마치 실전 전쟁에 나가서 당황한 학생)
• 인간: 일반인은 같은 조건에서 **90%**를 성공했습니다.

결론: AI 는 "문제집"은 잘 풀지만, "실전"에서는 완전히 무너집니다.

4. 왜 AI 는 실패했을까? (실패 원인 분석)

연구팀은 AI 가 왜 실패했는지 자세히 분석했습니다. 주요 원인은 다음과 같습니다.

• 👻 환각 (Groundedness): AI 는 정답이 적힌 문서를 실제로 보았음에도 불구하고, 내용을 잘못 읽거나 아예 잊어버리고 엉뚱한 답을 냅니다. (예: 문서에 "12% 증가"라고 써있는데, AI 는 "감소했다"고 말함)
• 🔄 반복의 함정 (Repetitive Behavior): 검색 필터를 적용했는데 안 되면, AI 는 그 필터를 수십 번이나 똑같이 누릅니다. "이건 안 되는구나"라고 깨닫지 못합니다.
• 🚧 길 찾기 실수 (Navigation): "미국 교통협회"를 찾으려는데 이름이 비슷한 "미국 물리치료협회"로 잘못 들어갑니다.
• 🛠️ 도구 사용 실패: 데이터를 분석하려면 파이썬 코드를 짜야 하는데, 그걸 제대로 못 쓰거나, 코드를 짜는 대신 구글에 검색해서 엉뚱한 답을 구해옵니다.

5. 이 연구의 의미는 무엇일까?

이 논문은 **"AI 가 웹에서 일할 수 있는 진짜 시기는 아직 멀었다"**고 경고합니다.

• 현재 상태: AI 는 단순한 '비서' 수준은 넘었지만, 복잡한 '데이터 분석가'가 되려면 아직 갈 길이 멉니다.
• 미래 전망: WebDS 는 AI 개발자들이 앞으로 어떤 능력을 키워야 하는지 (정보를 정확히 이해하는 능력, 실패를 인지하고 전략을 바꾸는 능력 등) 보여주는 나침반이 될 것입니다.

📝 한 줄 요약

"지금까지 AI 는 '문제집'만 잘 풀었는데, WebDS 라는 '실전 미션'을 주니 10 점 만점에 2 점도 못 받았습니다. AI 가 진짜 데이터 분석가가 되려면, 단순한 계산 능력보다 '현실 세계를 이해하고 유연하게 대처하는 능력'이 훨씬 더 필요합니다."

기술 요약

1. 문제 정의 (Problem)

기존의 웹 에이전트 벤치마크와 데이터 과학 벤치마크는 현실적인 데이터 과학 워크플로우를 평가하는 데 한계가 있습니다.

• 기존 웹 에이전트 벤치마크의 한계: WebVoyager, WebArena 등 기존 벤치마크는 주로 단순한 웹 탐색 (검색, 구매, 글 작성 등) 에 초점을 맞추고 있습니다. 이들은 복잡한 데이터 조작, 다중 소스 통합, 분석적 추론, 그리고 도구 사용 능력을 충분히 평가하지 못합니다. 또한, 실시간 웹사이트를 사용하는 경우 재현성이 떨어지고, 단순한 이진 (성공/실패) 평가 지표는 에이전트의 세부적인 행동 패턴을 놓칩니다.
• 기존 데이터 과학 벤치마크의 한계: SQuAD, HotpotQA, Spider 등 기존 벤치마크는 정형화된 데이터셋 (CSV, SQL) 이나 고정된 구조에 의존합니다. 현실의 데이터 과학 작업은 웹을 통해 비정형 데이터를 수집하고, 여러 웹사이트를 오가며 정보를 종합한 후 분석 및 시각화하는 '종단간 (End-to-End)' 프로세스를 포함하지만, 이러한 흐름을 평가하는 벤치마크는 부재했습니다.
• 핵심 문제: 현대의 데이터 과학 작업은 비정형/정형 데이터가 혼재된 복잡한 웹 환경에서 다단계 탐색, 도구 사용, 그리고 심층적인 분석이 요구되는데, 이를 평가할 수 있는 현실적이고 포괄적인 벤치마크가 없다는 점입니다.

2. 방법론 (Methodology)

저자들은 WebDS라는 새로운 벤치마크를 제안하며, 이는 29 개의 다양한 웹사이트에서 수집된 870 개의 인간 작성 태스크로 구성됩니다.

A. 벤치마크 설계 및 태스크 구성

• 도메인 및 웹사이트: 경제, 인구통계, 음악, 관광, 고등교육, 과학 연구, 스포츠, 정책, 에너지/기후, 건강 등 10 개의 고위험 (high-stakes) 도메인을 아우르는 29 개의 웹사이트 (CDC, FRED, Reddit, ArXiv 등) 를 선정했습니다.
• 태스크 유형:
  • 질문 응답 (QA): 데이터 기반의 답변 생성.
  • 행동 기반 (Action-Based): 데이터 분석 후 Reddit 에 글 작성, 데이터 다운로드 등 하위 작업 수행.
  • 복잡성: 단일 홉 (Single-hop) vs. 다중 홉 (Multi-hop), 정형 데이터 vs. 비정형 텍스트/이미지, 도구 사용 (Python, SQL 등) 필요 여부.
  • 난이도: 단순 검색 (Easy), 단일 사이트 내 복합 작업 (Medium), 다중 사이트 및 도구 사용이 필요한 고난도 작업 (Hard) 으로 분류.
• 태스크 생성: 8 명의 어노테이터가 인터뷰를 기반으로 태스크를 작성하고, 2 차 검수를 통해 해결 가능성과 명확성을 검증했습니다.

B. 평가 체계 (Evaluation Regime)

재현성과 현실성을 동시에 확보하기 위해 두 가지 트랙을 제공합니다.

1. WebDS-live: 실제 라이브 웹사이트에서 에이전트가 작업을 수행. (웹사이트 변경에 따른 동적 환경 반영)
2. WebDS-dockerized: 벤치마크 구축 시점의 웹사이트 상태를 Docker 컨테이너로 고정. (완전한 재현성 및 장기적 비교 평가 가능)

C. 평가 지표 (Metrics)

• 이진 평가 (Automated): 정답이 명확한 경우 성공/실패 판정.
• 주관적 평가 (LLM-as-a-Judge): 전체 행동 궤적 (Trajectory) 을 분석하여 1~5 점으로 점수화. 단순 최종 결과뿐만 아니라 탐색 과정, 도구 사용, 추론의 질을 평가합니다.
• 세분화된 분석: 도메인별, 태스크 속성별 (다중 홉, 도구 사용 등), 난이도별 성능을 세밀하게 측정합니다.

3. 주요 기여 (Key Contributions)

1. 포괄적인 태스크 스위트 (Comprehensive Task Suite): 10 개 도메인, 29 개 웹사이트, 870 개의 태스크로 구성된 대규모 벤치마크. 정형/비정형 데이터, 다중 사이트 탐색, 도구 사용, 행동 기반 작업을 모두 포함하는 최초의 벤치마크입니다.
2. 현실적인 종단간 평가 (Realistic End-to-End Evaluation): 데이터 수집, 정제, 분석, 시각화, 보고서 작성까지의 전체 데이터 과학 파이프라인을 시뮬레이션합니다. 이를 통해 에이전트의 일관된 성능 유지 능력을 평가합니다.
3. 재현성 있고 세분화된 평가 (Reproducible & Fine-Grained Evaluation): Docker 기반의 고정된 환경과 라이브 환경을 병행하여 재현성을 보장하며, 단순 성공/실패를 넘어 하위 태스크 완료도, 도구 사용 정확도, 추론 질 등을 세밀하게 진단합니다.

4. 실험 결과 (Results)

최신 SOTA(최첨단) 모델들을 WebDS 에서 평가한 결과는 기존 벤치마크에서의 높은 성능과 대조적으로 매우 부진했습니다.

• 성능 저하:
  • BrowserUse (GPT-4o): WebVoyager 에서 80% 이상의 성공률을 보였으나, WebDS 에서는 12.9% 로 급감했습니다.
  • AgentOccam: WebArena 에서 45.7% 성공률을 기록했으나, WebDS 에서는 4.8% 에 그쳤습니다.
  • 모델 크기 영향: GPT-4o 와 GPT-4o-mini, Qwen2.5-72B 간의 성능 차이가 크지 않아, 단순히 모델 용량 (Capacity) 을 늘리는 것만으로는 해결되지 않음을 시사합니다.
• 인간 - 에이전트 간극 (Human-Agent Gap):
  • 인간 평가자는 동일한 조건에서 약 90% 의 성공률을 기록했습니다.
  • 이는 현재 최강의 에이전트 (약 13~22% 성공률) 와 인간 사이에 75% 이상의 큰 격차가 존재함을 의미합니다.
• 실패 원인 분석 (Failure Analysis):
  • Groundedness (40.2%): 에이전트가 정보를 찾았음에도 불구하고 핵심 숫자나 사실을 잘못 읽거나, 할루시네이션을 일으켜 잘못된 결론을 도출함.
  • Query Interpretation (28.8%): 사용자의 의도 (예: 구체적인 수치 요구 vs. 일반적 설명) 를 오해함.
  • Effort Allocation (12.6%): 복잡한 작업에 비해 노력 배분이 부족하거나, 초기 데이터 소스 실패 시 신뢰할 수 없는 대체 소스로 쉽게 넘어감 (Shortcut-taking).
  • Failed Repetition: UI 피드백을 무시하고 실패한 행동을 반복하는 루프에 갇힘.

5. 의의 및 결론 (Significance)

• 새로운 도전 과제 제시: WebDS 는 웹 에이전트 개발의 새로운 최전선 (Next Frontier) 으로, 단순한 탐색을 넘어 복잡한 데이터 과학 워크플로우를 수행할 수 있는 능력을 평가하는 기준을 마련했습니다.
• 현실적 한계 규명: 현재의 LLM 기반 에이전트는 장거리 (Long-horizon) 작업에서 일관된 추론과 환경 상호작용 제어에 심각한 결함을 가지고 있음을 정량적으로 증명했습니다.
• 향후 연구 방향: 모델의 규모 확장보다는 정보의 Grounding(근거 확립), UI 피드백 처리, 전략적 노력 배분, 그리고 루프 방지 메커니즘 등 에이전트의 제어 및 상호작용 정밀도 향상이 필요함을 시사합니다.
• 벤치마크의 지속성: Docker 기반의 고정 환경과 확장 가능한 태스크 생성 워크플로우를 통해, 시간이 지나도 웹사이트 구조가 변하더라도 벤치마크의 유효성과 재현성을 유지할 수 있도록 설계되었습니다.

요약하자면, WebDS 는 웹 기반 데이터 과학의 복잡성을 정면으로 다루며, 현재 AI 에이전트 기술이 실제 업무 환경에 적용되기 위해 넘어야 할 거대한 장벽을 구체적으로 보여주고 있습니다.