Benchmarking AI Performance on End-to-End Data Science Projects

1. 문제 정의 (Problem)

• 현황: 데이터 과학은 코딩, 통계, 데이터 관리, 시각화, 커뮤니케이션, 윤리적 판단 등 다양한 기술과 비기술적 역량이 통합된 워크플로우입니다.
• 한계: 기존 AI 벤치마크 (예: HumanEval, SWE-bench 등) 는 주로 코드 생성, 특정 통계 작업, 또는 고립된 과제의 성능을 평가하는 데 집중하고 있습니다.
• 핵심 문제: 실제 데이터 과학 업무는 질문 형성, 데이터 수집, 정제, 분석, 시각화, 보고서 작성 등 종단간 (End-to-End) 통합 워크플로우를 요구합니다. 이러한 통합적 맥락과 판단력 (Judgment) 이 필요한 과제를 평가하는 체계적인 벤치마크가 부재했습니다.
• 목표: 생성형 AI 모델이 실제 데이터 과학 프로젝트 (학부 수준) 를 종단간 수행할 수 있는지, 그리고 그 한계는 어디인지 체계적으로 평가하는 것입니다.

2. 방법론 (Methodology)

A. 벤치마크 구축 (Benchmark Construction)

• 데이터셋: 토론토 대학교 학부생들이 작성한 40 개의 종단간 데이터 과학 프로젝트를 수집하여 익명화했습니다.
• 과제 내용: 오픈 데이터 토론토 (Open Data Toronto) 의 데이터를 사용하여 Python 으로 분석 코드를 작성하고, 재현 가능한 리포지토리 (GitHub) 와 학술지 형식의 논문 (Quarto 문서) 을 제출하는 과제입니다.
• 평가 기준 (Rubric): 2 명의 인간 전문가가 17 개 카테고리 (총 45 점) 로 프로젝트를 평가했습니다.
  • 6 가지 평가 유형: 재현성 (Reproducibility), 프레젠테이션 (Presentation), 분석 (Analysis), 그래프 (Graphs), 인용 (Referencing), 글쓰기 (Writing).
  • 기준점: 학부생의 A-/B+ 수준을 80 점 (36 점) 으로 설정하여 AI 의 성적을 비교했습니다.

B. 자동 채점 파이프라인 개발 (Automated Grading Pipeline)

• LLM-as-a-Judge: 확장 가능한 평가를 위해 생성형 AI 를 채점자 (Judge) 로 활용했습니다.
• 모델: 기본 채점 모델로 Claude Sonnet 4.5를 사용했으며, GPT-5.2 를 사용하여 검증했습니다.
• 프로세스:
  1. 각 프로젝트의 17 개 카테고리를 개별적으로 평가하기 위해 API 호출을 분리했습니다.
  2. 재현성 평가에는 전체 코드베이스, 글쓰기 평가에는 원고 소스, 그래프 평가에는 렌더링된 PDF 이미지 등을 입력했습니다.
  3. 인간 채점 결과와 자동 채점 결과의 일관성을 검증하여 편향을 최소화했습니다.

C. AI 모델 평가 (Model Evaluation)

• 대상 모델: 7 개의 최신 생성형 AI 모델 (Claude Opus 4.6, GPT-5.2, Gemini 3 Flash/Pro, Grok-4, Llama 4, GPT-4o).
• 실험 설계: 각 모델에게 5 개의 프로젝트를 생성하도록 지시했습니다.
• 생성 파이프라인: 9 단계로 구성된 워크플로우를 따르도록 프롬프트했습니다.
  1. 계획 (데이터셋 선택, 연구 질문)
  2. 다운로드 (Python 스크립트 작성)
  3. 정제 (데이터 클리닝)
  4. 테스트 (pytest/pydantic 기반)
  5. 요구사항 관리 (uv/pyproject.toml)
  6. 인용 (BibTeX 생성)
  7. 시각화 (Quarto 기반 그래프 생성)
  8. 논문 작성 (Quarto 문서)
  9. README 작성

3. 주요 결과 (Key Results)

A. 전체 성능 (Overall Performance)

• 성능 순위:
  1. Claude Opus 4.6: 85% (38/45 점) - 학부생 A-/B+ 기준 (80%) 을 상회.
  2. GPT-5.2: 82% (37/45 점).
  3. Gemini 3 Flash: 78% (35/45 점).
  4. Grok-4: 70%.
  5. Gemini 3 Pro: 59%.
  6. Llama 4: 51%.
  7. GPT-4o (구형): 32% - 여러 카테고리에서 0 점 기록.
• 결론: 최신 모델 (Claude Opus 4.6, GPT-5.2 등) 은 숙련된 학부생 수준의 성능을 보였으나, 구형 모델이나 일부 모델은 현저히 낮았습니다.

B. 카테고리별 성능 차이

• 강점 (구조화된 작업): 제목 작성, 테스트 스위트 구성, 저자/날짜/저장소 정보 기입 등 템플릿을 따르는 작업에서는 대부분의 모델이 높은 점수를 받았습니다.
• 약점 (판단과 종합이 필요한 작업):
  • 측정 (Measurement): 실제 현상이 데이터 엔트리가 되는 과정을 설명하는 데 어려움을 겪었습니다.
  • 초록 (Abstract) 및 서론/논의 (Discussion): 핵심 내용을 간결하게 요약하거나 맥락을 부여하는 데 한계가 있었습니다.
  • 인용 (Referencing): BibTeX 형식 오류, 잘못된 인용 (예: "matplotlib2023?" 과 같은 플레이스홀더 생성) 이 빈번했습니다.
  • 교차 참조 (Cross-references): Quarto 문법 이해 부족으로 점수가 낮았습니다.

4. 주요 기여 (Key Contributions)

1. 새로운 벤치마크: 데이터 과학의 '코드 생성'이 아닌 '종단간 워크플로우'를 평가하는 40 개 프로젝트 기반의 새로운 벤치마크를 제시했습니다.
2. 자동 채점 시스템: 인간 전문가의 평가와 유사한 정확도를 가진 LLM 기반 자동 채점 파이프라인을 개발하고 검증했습니다.
3. 모델 간 비교 분석: 최신 AI 모델들이 실제 데이터 과학 업무에서 어느 수준까지 도달했는지, 그리고 어떤 영역 (판단력, 맥락 이해) 에서 여전히 인간 감독이 필요한지에 대한 실증적 데이터를 제공했습니다.

5. 의의 및 시사점 (Significance)

• 현실적 기대치: 최신 AI 모델은 입문급 데이터 과학자 (Entry-level) 가 수행하는 일상적이고 구조화된 작업을 대체할 수 있는 잠재력을 보였습니다.
• 검증의 필요성: 그러나 측정 방법론, 인용, 추상화, 논의 등 판단과 맥락 이해가 필요한 영역에서는 여전히 오류가 발생하므로, 실제 배포 시에는 인간의 검증 (Human-in-the-loop) 이 필수적입니다.
• 비즈니스 영향: AI 를 데이터 과학 업무에 도입하려는 조직은 모델의 성능을 맹신하기보다는 구체적인 벤치마크 평가를 통해 검증해야 하며, 특히 하위 모델의 자동화 배포는 리스크가 큽니다.
• 향후 연구: 도메인 특화 벤치마크의 필요성과 인간과 AI 의 협업 (Human-AI Collaboration) 에 대한 연구가 요구됩니다.

요약: 본 연구는 AI 가 데이터 과학의 '코드'는 잘 작성하지만, '의사결정과 맥락'이 필요한 부분에서는 여전히 인간과 차이가 있음을 입증했습니다. 최신 모델은 숙련된 초급자를 대체할 수 있을 만큼 발전했으나, 완전한 자율성은 위험하므로 검증이 동반되어야 함을 강조합니다.