DARE-bench: Evaluating Modeling and Instruction Fidelity of LLMs in Data Science

이 논문은 기계 학습 모델링과 데이터 과학 지시 따르기 능력을 정확하게 평가하고 대규모 학습 데이터를 제공하는 새로운 벤치마크인 DARE-bench 를 제안하며, 이를 통해 기존 모델의 한계를 드러내고 파인튜닝을 통한 성능 향상 가능성을 입증합니다.

핵심

🎓 1. 왜 이 연구가 필요했을까요? (문제 상황)

지금까지 인공지능 (AI) 이 데이터 분석을 할 때, 우리는 **"정답이 맞는지"**만 확인했습니다. 마치 수학 시험에서 결과 숫자만 채점하고, 풀이 과정이 엉망이었는지, 계산 실수가 있었는지는 무시하는 것과 비슷합니다.

하지만 현실에서는 AI 가 **지시 사항을 정확히 따르는지 (Instruction Fidelity)**와 **과정의 정확성 (Process Fidelity)**이 훨씬 중요합니다.

• 비유: "요리해 줘"라고 했을 때, AI 가 "불을 너무 세게 켜서 타버렸지만, 맛은 괜찮네?"라고 하면 안 됩니다. "재료를 다듬고, 불 조절을 잘해서, 요리 순서대로 만들어야" 합니다.

기존 시험지들은 이 '과정'을 제대로 평가하지 못했고, AI 를 가르칠 좋은 데이터도 부족했습니다.

🏗️ 2. DARE-bench 란 무엇인가요? (해결책)

저자들은 **Kaggle(데이터 과학 대회 사이트)**에 있는 6,300 개의 실제 데이터 문제를 가져와서, AI 가 직접 코드를 짜고 실행해 볼 수 있는 **'완벽한 훈련장'**을 만들었습니다.

이 훈련장의 특징은 다음과 같습니다:

• 📝 지시사항 따라하기 (Instruction Following):
  • 상황: "이 데이터를 이렇게 정제하고, 저렇게 분석해"라고 아주 구체적인 지시를 줍니다.
  • 평가: AI 가 지시대로 정확히 따라 했는지, 실수 없이 끝까지 수행했는지 확인합니다. (예: "A 를 먼저 하고 B 를 해라"라고 했을 때, B 를 먼저 하면 감점!)
• 📊 모델링 실력 테스트 (ML Modeling):
  • 상황: "이 데이터로 미래를 예측해 줘"라고만 합니다.
  • 평가: AI 가 어떤 방법을 쓰든 상관없으니, 최종 예측 결과가 얼마나 정확한지 봅니다.

이 모든 과정은 사람이 일일이 채점하는 게 아니라, 컴퓨터가 자동으로 정답과 비교해서 점수를 매깁니다. 그래서 편견 없이 공정하고, 누구나 똑같은 결과를 얻을 수 있습니다.

🏃‍♂️ 3. 실험 결과: AI 들은 어땠나요?

저자들은 최신 AI 모델들 (GPT 시리즈, Claude, Qwen 등) 을 이 시험지에 풀어보게 했습니다. 결과는 놀라웠습니다.

• 현실: 아무리 똑똑한 AI 라도, 데이터 과학이라는 복잡한 미로에서는 혼란을 겪었습니다.
  • 지시사항을 무시하고 제멋대로 코드를 짜거나,
  • 파일 이름을 잘못 불러서 실행이 멈추거나,
  • 시간 예측 같은 복잡한 문제에서는 아예 엉뚱한 답을 내놓기도 했습니다.
  • 비유: "명품 자동차 (최고급 AI) 를 몰았지만, 운전면허 시험 (데이터 과학) 에서 핸들을 잘못 꺾어 구석에 박은 꼴"이었습니다.

🚀 4. 훈련의 마법: DARE-bench 로 가르치니?

여기서 이 논문의 가장 큰 성과가 나옵니다. 이 'DARE-bench' 데이터를 가지고 AI 를 **재교육 (Fine-tuning)**시켰습니다.

• 결과: AI 의 실력이 비약적으로 향상되었습니다.
  • 어떤 모델은 점수가 1.8 배나 올랐고,
  • 작은 모델은 8 배 이상이나 점수가 뛸 정도로 성장했습니다.
• 비유: "어설픈 운전사가 DARE-bench 라는 운전 학원에서 6,300 번의 실전 훈련을 받으니, 이제 F1 레이서처럼 안전하게 운전하게 되었다"는 뜻입니다.

💡 5. 핵심 요약 (한 줄 정리)

"지금까지 AI 는 데이터 과학이라는 복잡한 요리에서 '맛'만 보고 채점받았는데, DARE-bench 는 '손질부터 불 조절, 플레이팅까지' 모든 과정을 꼼꼼히 평가하고 훈련시켜주는 최고의 요리 학교입니다."

🔮 결론 및 미래

이 연구는 AI 가 단순히 코드를 짜는 것을 넘어, 실제 데이터 과학자처럼 복잡한 업무를 수행할 수 있게 되기 위한 중요한 첫걸음입니다. 앞으로 이 훈련 데이터를 통해 AI 가 더 똑똑하고, 실수 없이, 인간의 지시를 정확히 따르는 '데이터 과학 전문가'로 성장할 것으로 기대됩니다.

이 모든 데이터와 코드는 공개되어 있어, 누구나 이 '운전 학원'을 이용할 수 있습니다.

기술 요약

DARE-BENCH: 데이터 과학에서 LLM 의 모델링 및 지시 충실도 평가에 대한 기술적 요약

이 논문은 DARE-Bench(Datascience Agentic REasoning bench) 라는 새로운 벤치마크를 소개하며, 대규모 언어 모델 (LLM) 이 복잡한 데이터 과학 (DS) 작업에서 지시 사항 (Instruction) 을 얼마나 충실히 따르고, 기계 학습 (ML) 모델링을 얼마나 정확하게 수행하는지 평가하기 위한 프레임워크를 제시합니다.

1. 문제 정의 (Problem)

기존의 데이터 과학 관련 벤치마크는 다음과 같은 두 가지 주요 한계를 가지고 있습니다:

1. 프로세스 인식 평가의 부재: 대부분의 벤치마크는 최종 답변의 정확성만 평가할 뿐, 모델이 지시 사항을 얼마나 정확하게 따랐는지 (Instruction Adherence) 나 작업 과정의 충실도 (Process Fidelity) 를 측정하지 못합니다.
2. 정확하게 레이블링된 학습 데이터의 부족: 고품질의 실행 가능한 데이터 과학 프로세스 추적 (traces) 이 부족하여, 모델의 성능을 향상시키기 위한 대규모 학습 데이터 확보가 어렵습니다.

또한, 기존 벤치마크는 인간 평가자나 다른 모델 기반의 판정자에 의존하는 경우가 많아 객관성과 재현성이 떨어지며, 특히 시계열 예측과 같은 복잡한 도메인을 다루는 데 한계가 있었습니다.

2. 방법론 (Methodology)

2.1 DARE-Bench 의 구성

DARE-Bench 는 Kaggle 에서 파생된 6,300 개의 작업으로 구성되어 있으며, 크게 두 가지 검증 가능한 작업 유형 (Task Families) 으로 나뉩니다:

• **지시 따르기 **(Instruction Following, IF) 참조 솔루션 코드를 실행하여 생성된 'Ground Truth'와 모델의 출력을 비교합니다. 모델은 주어진 지시 사항 (예: 특정 전처리 단계, 모델 파라미터 설정) 을 엄격히 따라야 하며, 이를 통해 프로세스 충실도를 평가합니다.
• **ML 모델링 **(ML Modeling, MM) 모델이 최종 예측 정확도 (Accuracy, F1, R2 등) 를 극대화하도록 자유도를 부여합니다. 이는 실제 데이터 과학 업무에서 결과 중심의 과제를 시뮬레이션합니다.

작업 유형 분류:

• Classification & Regression: IF(지시 충실도) 와 MM(모델링 성능) 변형.
• Time-Series Forecasting:
  • **XF **(eXogenous Features) 외생 변수를 포함한 예측.
  • **CF **(Canonical Forecasting) 테스트 세트에서 외생 변수를 제한하여 고전적인 시계열 예측 환경 구성.

2.2 데이터 수집 및 파이프라인

• 자동화 파이프라인: Kaggle 데이터셋을 크롤링하고, LLM 을 활용하여 작업 설계, 타겟 열 식별, 데이터 분할, 노이즈 주입 (IF 작업용) 등을 자동화합니다.
• 검증 가능한 Ground Truth:
  • IF 작업: 참조 코드를 샌드박스 환경에서 실행하여 결정론적 (Deterministic) 인 결과를 생성합니다.
  • MM 작업: 데이터셋의 실제 레이블을 Ground Truth 로 사용합니다.
• 실행 환경: 모델은 샌드박스 내에서 코드를 실행하며, 시간 제한 (최대 200 초) 및 상호작용 턴 수 제한 (최대 5 턴) 을 두어 현실적인 제약 조건을 반영합니다.

2.3 평가 지표

• IF 작업: 예측 결과가 참조 출력과 정확히 일치하는지 여부 (Binary 0/1 Accuracy).
• MM 작업: 분류는 Macro-F1, 회귀 및 시계열은 Clip 된 $R^2$ (0~1 사이로 제한) 를 사용합니다.

3. 주요 기여 (Key Contributions)

1. 최대 규모의 검증 가능한 데이터 과학 벤치마크: 6,300 개의 Kaggle 기반 작업으로, 기존 벤치마크 (DS-1000, MLE-bench 등) 보다 훨씬 광범위한 도메인과 작업 수를 제공합니다.
2. 지시 충실도와 모델링 성능의 분리 평가: 모델이 지시 사항을 얼마나 잘 따르는지 (Process) 와 최종 예측이 얼마나 정확한지 (Outcome) 를 동시에 평가할 수 있는 이중 구조를 도입했습니다.
3. 학습 가능한 데이터셋 제공: 벤치마크 자체가 대규모 학습 데이터 (Training Set) 로 활용 가능하도록 설계되었습니다. 이를 통해 SFT(Supervised Fine-Tuning) 및 RL(Reinforcement Learning) 을 통한 모델 향상을 입증했습니다.
4. 재현성 있는 평가: 인간 평가 없이 실행 가능한 코드와 자동화된 검증 시스템을 통해 객관적이고 재현 가능한 평가를 보장합니다.

4. 실험 결과 (Results)

4.1 베이스라인 모델 성능

최신 LLM 들조차 DARE-Bench 에서 낮은 성능을 보였습니다:

• Qwen3-32B: 총점 23.25 (지시 따르기 및 모델링 모두에서 실패).
• Qwen3-4B: 총점 4.39 (시계열 CF 작업에서 0 점).
• gpt-o4-mini: 상대적으로 가장 좋았으나, 특히 시계열 예측 (Time-Series-CF) 에서 9.67 점으로 여전히 취약했습니다.
• 주요 실패 원인: 도구 인수 전달 오류, 지시 사항 무시 (예: 랜덤 시드 설정 누락), 취약한 전처리 로직, 복잡한 시계열 형식 오류 등.

4.2 파인튜닝 효과 (Fine-tuning Impact)

DARE-Bench 학습 데이터를 활용한 파인튜닝은 모델 성능을 획기적으로 개선시켰습니다:

• **SFT **(Supervised Fine-Tuning) Qwen3-32B 의 총점이 23.25 에서 42.42 로 1.83 배 향상되었습니다.
• **RL **(Reinforcement Learning) Qwen3-4B 의 경우, RL 을 적용한 결과 총점이 4.39 에서 37.40 으로 8 배 이상 급증했습니다.
• 성능 분석: 파인튜닝은 모델이 코드를 실행하는 능력뿐만 아니라, 데이터 과학 도메인 특유의 논리적 추론 능력까지 향상시켰습니다.

4.3 외부 검증

DSBench 와 같은 다른 벤치마크에서도 DARE-Bench 로 파인튜닝된 모델이 기존 베이스라인보다 우수한 성능을 보이며, 범용성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 데이터 과학 에이전트의 새로운 표준: DARE-Bench 는 단순한 코드 생성 능력을 넘어, 복잡한 다단계 데이터 과학 워크플로우를 수행하는 에이전트의 능력을 평가하는 새로운 표준을 제시합니다.
• 학습과 평가의 통합: 기존에는 평가용 벤치마크와 학습용 데이터셋이 분리되어 있었으나, DARE-Bench 는 양쪽 역할을 동시에 수행하여 모델 개발 사이클을 가속화합니다.
• 실무 적용 가능성: 현실적인 제약 (시간, 토큰, 도구 사용) 하에서 모델이 어떻게 실패하는지 분석함으로써, 실제 데이터 과학 업무에 투입될 LLM 에이전트의 신뢰성을 높이는 데 기여합니다.

이 연구는 LLM 이 데이터 과학 분야에서 진정한 전문가 수준 (Expert-level) 의 에이전트로 성장하기 위해서는 지시 충실도와 모델링 정확도를 동시에 강화할 수 있는 고품질의 훈련 데이터와 엄격한 평가 체계가 필수적임을 강조합니다.