AgentDS 기술 보고서 요약: 도메인 특화 데이터 과학에서의 인간-AI 협업 벤치마킹

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 과 AI 에이전트의 발전으로 데이터 과학 워크플로우의 자동화가 가속화되고 있습니다. 그러나 도메인 특화 (Domain-specific) 데이터 과학 작업에서 AI 에이전트가 인간 전문가의 성능을 얼마나 따라잡을 수 있는지, 그리고 인간 전문성이 여전히 어떤 측면에서 우위를 점하는지에 대해서는 명확한 실증적 근거가 부족했습니다.

기존의 AI 에이전트 벤치마크는 주로 범용 코드 생성이나 정형 데이터 (Tabular data) 기반의 일반적 파이프라인 실행에 초점을 맞추고 있어, 실제 산업 현장에서 요구되는 도메인 지식, 비정형 데이터 (이미지, 텍스트 등) 통합, 그리고 복잡한 맥락적 추론 능력을 평가하기에는 한계가 있었습니다. 본 연구는 "완전한 자동화"가 가능한지, 아니면 인간과 AI 의 협업이 필수적인지를 규명하기 위해 AgentDS라는 새로운 벤치마크와 경진대회를 설계했습니다.

2. 방법론 (Methodology)

2.1 AgentDS 벤치마크 설계

AgentDS 는 6 개 산업 분야 (상업, 식품 생산, 의료, 보험, 제조, 소매 은행) 에 걸쳐 17 개의 도전 과제로 구성되었습니다. 벤치마크의 핵심 설계 철학은 다음과 같습니다.

• 도메인 특화 복잡성: 범용 알고리즘만으로는 낮은 성능을 보이도록 설계되었으며, 각 컨텍스트에 맞는 특징 공학 (Feature Engineering) 과 도메인 지식이 필수적입니다.
• 멀티모달 통합: 예측 대상이 포함된 주 테이블 데이터 외에도 이미지 (제품 사진, 차량 상태 등), 텍스트 (고객 리뷰, 임상 기록), 구조화 파일 (JSON, PDF) 등 다양한 모달리티를 제공하여 현실적인 데이터 과학 과제를 재현합니다.
• 현실적 타당성: 데이터는 합성되었으나, 실제 산업 데이터의 상관관계와 제약 조건을 충실히 반영하여 생성되었습니다.

2.2 데이터 생성 및 평가 프레임워크

• 데이터 생성: 예측 목표에 영향을 미치는 잠재 변수를 이미지 등 추가 모달리티로 변환하여, 도메인 지식이 없는 모델이 이를 효과적으로 활용하지 못하도록 설계했습니다.
• 평가 지표: 각 과제의 도메인별 지표 (RMSE, Macro-F1, NDCG 등) 를 사용하며, 다양한 척도를 비교하기 위해 Quantile Scoring(0~1 정규화 점수) 방식을 도입했습니다.
• 경진대회 운영: 2025 년 10 월, 29 개 팀 (80 명 참가자) 이 10 일간 참여했습니다. 참가자는 자유롭게 AI 도구를 사용할 수 있었으며, 이를 통해 인간-AI 협업과 AI 단독 수행을 비교했습니다.

2.3 AI-only Baseline (비교 대상)

인간 참가자의 성과와 비교하기 위해 두 가지 AI 만의 기준선을 설정했습니다.

1. 직접 프롬프팅 (GPT-4o): ChatGPT 인터페이스를 통해 한 번의 프롬프트로 전체 코드를 생성하게 함.
2. 에이전트 코딩 (Claude Code): 자율적으로 코드를 작성, 실행, 수정하며 반복하는 에이전트 방식 (10 분 시간 제한).

3. 주요 기여 (Key Contributions)

1. 최초의 도메인 특화 데이터 과학 벤치마크: 6 개 산업, 17 개 과제를 아우르며 멀티모달 데이터와 도메인 지식을 필수로 요구하는 체계적인 평가 프레임워크를 제시했습니다.
2. 인간-AI 협업 vs. AI 자동화 비교 분석: 대규모 경진대회를 통해 인간 전문가, AI 에이전트 단독, 그리고 인간-AI 협업의 성능을 정량적으로 비교했습니다.
3. 실증적 통찰 도출: 현재 AI 에이전트의 한계와 인간 전문성의不可替代성 (Irreplaceability) 을 구체적인 사례와 데이터를 통해 입증했습니다.

4. 주요 결과 (Results)

4.1 AI 에이전트의 도메인 추론 한계

• 성능 저조: GPT-4o 기반의 직접 프롬프팅 baseline 은 전체 29 개 팀 중 17 위 (점수 0.143, 중앙값 0.156 미만) 에 그쳤습니다.
• 멀티모달 활용 실패: 이미지나 텍스트 등 추가 모달리티가 필요한 과제에서 AI 는 시각적 특징을 추출하거나 도메인 규칙을 적용하는 데 실패했습니다.
• 범용 파이프라인 의존: AI 는 표준적인 전처리와 Gradient Boosting 같은 범용 모델을 선호하여, 도메인 특화 인사이트가 필요한 복잡한 과제에서는 성능이 급격히 떨어졌습니다.

4.2 인간 전문성의 필수성

• 전략적 문제 진단: 인간은 모델의 구조적 결함 (데이터 분포 변화, 과적합 등) 을 진단하고 해결책을 제시하는 역할을 수행했습니다.
• 도메인 지식 주입: 임상 프로토콜, 비즈니스 규칙 등 데이터 분포만으로는 유추할 수 없는 지식을 특징 공학을 통해 모델에 주입했습니다.
• AI 제안 필터링: AI 가 제안한 복잡한 특징 공학 파이프라인이 오히려 성능을 저하시키는 경우를 인간이 식별하고 이를 폐기하거나 수정했습니다.

4.3 인간-AI 협업의 우월성

• 최고 성능의 원천: 대회에서 가장 우수한 성과를 낸 팀들은 인간의 전략적 판단 + AI 의 구현 가속화를 결합한 협업 방식을 채택했습니다.
• 상호 보완적 역할: 인간은 문제 정의, 가설 수립, 결과 해석을 담당하고, AI 는 코드 작성, 실험 반복, 데이터 로딩 등 반복 작업을 수행했습니다.
• 성능 비교: Claude Code 기반의 에이전트 baseline 은 GPT-4o 보다 성능이 향상되어 10 위 (점수 0.458) 를 기록했으나, 여전히 최상위 인간-AI 협업 팀들의 성과에는 미치지 못했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 **"데이터 과학의 완전한 자동화"**라는 서사에 도전하며, 도메인 특화 작업에서는 인간 전문성이 여전히 핵심 요소임을 강조합니다.

• 미래 방향: AI 의 발전 방향은 인간을 대체하는 완전 자율 에이전트가 아니라, 인간의 추론과 도메인 지식을 보완하고 증강 (Augment) 하는 효과적인 인간-AI 협업 시스템을 설계하는 데 있어야 합니다.
• 실무적 시사점: 데이터 과학 프로젝트에서 AI 는 강력한 도구이지만, 최종적인 의사결정, 전략적 판단, 그리고 도메인 지식의 통합은 인간 전문가의 역할이 필수적입니다.
• 지속적 연구: AgentDS 는 지속적인 벤치마크로서, AI 시스템의 진화와 함께 인간-AI 협업 패턴의 최적화를 연구하는 기반을 제공합니다.

결론적으로, AgentDS 는 도메인 특화 데이터 과학에서 AI 의 현재 한계를 명확히 보여주며, 성공적인 AI 도입을 위해서는 인간의 전문성과 AI 의 계산 능력을 효과적으로 결합하는 협업 워크플로우가 필수적임을 입증했습니다.