TML-Bench: Benchmark for Data Science Agents on Tabular ML Tasks

이 논문은 Kaggle 스타일의 Tabular ML 태스크에 대한 자율 코딩 에이전트의 성능을 평가하기 위해 TML-Bench 벤치마크를 제안하고, 다양한 오픈소스 LLM 모델에 대해 시간 제한과 반복 실행 조건 하에서의 성공률 및 성능 변이성을 분석했습니다.

핵심

🍳 TML-bench: AI 요리사들의 '실전 요리 대회'

1. 배경: 왜 이 대회가 필요한가요?

지금까지 AI 코딩 모델들은 "이 문제를 풀어봐"라고 하나씩 던져주면 아주 잘 풀었습니다. 하지만 현실 세계에서는 시간 제한이 있고, 한 번만 잘하는 게 아니라 매번 잘해야 하며, 실수 없이 결과물을 제출해야 합니다.

이 논문은 AI들이 Kaggle(데이터 과학 경진대회) 같은 곳에서 실제 데이터를 가지고 얼마나 잘 요리하는지, 그리고 시간이 부족할 때도 당황하지 않고 요리를 끝낼 수 있는지 테스트했습니다.

2. 실험 방식: 어떻게 대회를 치렀나요?

이 대회는 매우 엄격하고 공정하게 진행되었습니다.

• 4 가지 미션 (요리 종목): 4 개의 서로 다른 데이터 요리 과제 (예: 은행 고객 이탈 예측, 발걸음 수 예측 등) 를 준비했습니다.
• 3 가지 시간 제한 (시간 제한):
  • 240 초 (4 분): "초고속 요리" (재빨리 기본 요리를 해야 함)
  • 600 초 (10 분): "일반 요리"
  • 1200 초 (20 분): "정성 요리" (시간이 좀 더 주어짐)
• 5 번의 도전: 각 AI 는 같은 과제를 5 번씩 반복했습니다. 운 좋게 한 번만 잘하는 게 아니라, 5 번 중 3 번 이상 꾸준히 잘해야 진짜 실력자로 인정받습니다.
• 엄격한 규칙:
  • 인터넷 차단: AI 는 요리하는 동안 인터넷을 쓸 수 없습니다. (다른 사람의 레시피를 훔쳐볼 수 없음)
  • 비밀 점수: AI 는 자신의 요리를 평가받을 때, 정답을 모른 채로 점수를 받습니다. (AI 가 정답을 미리 알면 안 됨)

3. 주요 결과: 누가 이겼나요?

10 개의 오픈소스 AI 모델이 참가했는데, 결과는 다음과 같습니다.

• 🏆 최강자: MiniMax-M2.1-TEE
  • 이 모델이 4 개 종목 모두에서 가장 좋은 평균 점수를 받았습니다.
  • 단순히 한 번 잘한 게 아니라, 시간이 걸리든 짧든 꾸준히 좋은 결과를 냈습니다.
• ⏱️ 시간이 많을수록 잘해요:
  • 대부분의 AI 는 시간이 4 분에서 20 분으로 늘어나면 요리 실력이 좋아졌습니다. 하지만 어떤 AI 는 시간이 늘어도 별 차이가 없었습니다.
• 🎲 실력 편차:
  • 어떤 AI 는 5 번 요리할 때마다 맛이 일정했지만, 어떤 AI 는 5 번 중 2 번은 실패하거나 맛이 너무 달랐습니다. 이 논문은 **"일관성"**을 매우 중요하게 평가했습니다.

4. 이 연구의 핵심 메시지 (왜 중요한가요?)

이 논문은 AI 에게 **"한 번의 행운"**을 묻지 않습니다.

• 신뢰성 (Reliability): "운 좋게 한 번 잘하는 AI"보다는 "매번 실패 없이 잘하는 AI"가 현실에서 더 쓸모 있습니다.
• 공정한 비교: 모든 AI 에게 같은 시간, 같은 지시사항을 주어 공평하게 비교했습니다.
• 실제 적용: 이 실험은 AI 가 실제로 업무에 투입될 때, 시간이 부족하거나 데이터가 복잡해도 안정적으로 일할 수 있는지를 미리 확인하는 '안전 테스트' 역할을 합니다.

📝 한 줄 요약

"이 논문은 AI 요리사들이 시간 제한 속에서도 5 번 연속으로 실패 없이 맛있는 요리를 만들어낼 수 있는지, 그 '실전 능력'과 '신뢰도'를 엄격하게 테스트한 보고서입니다. 그리고 그중에서 MiniMax-M2.1-TEE 가 가장 꾸준한 실력자였습니다."

이 실험은 앞으로 AI 를 업무에 쓸 때, "한 번 잘하면 끝"이 아니라 **"언제나 믿고 맡길 수 있는가"**를 판단하는 기준이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: Kaggle 스타일의 태블러 (Tabular) 머신러닝 작업은 데이터 로딩, 특징 공학, 모델 학습, 평가, 반복, 제출 파일 생성 등 일련의 엔드 - 투 - 엔드 (End-to-End) 워크플로우를 요구합니다.
• 문제점: 기존 벤치마크들은 종종 고립된 코딩 작업만 테스트하거나, 단일 최상의 시도 (Best Attempt) 에만 의존하여 에이전트의 **실제 신뢰성 (Reliability)**과 시간 제약 하의 안정성을 충분히 평가하지 못했습니다.
• 목표: Kaggle 스타일 태블러 작업에서 자율 코딩 에이전트의 성능을 평가하고, 특히 **시간 제약 (Time Budget)**과 비공개 홀드아웃 (Private Holdout) 점수를 기반으로 한 신뢰할 수 있는 벤치마크 프로토콜을 확립하는 것입니다.

2. 방법론 (Methodology)

2.1 벤치마크 구성 (Suite & Protocol)

• 작업 범위: 4 개의 Kaggle 경쟁 대회 (Tabular ML 작업) 를 대상으로 합니다.
• 시간 예산 (Time Budgets): 각 작업에 대해 3 가지 시간 제한을 적용합니다.
  • 240 초, 600 초, 1200 초 (1200 초 설정은 XGBoost 중심의 지시문을 사용합니다).
• 실행 횟수: 각 모델은 각 작업과 시간 예산 조합에서 5 회 실행되며, 성공적인 실행 (유효한 제출 및 점수 획득) 이 5 회 모두 이루어져야 데이터에 포함됩니다.
• 평가 지표:
  • 비공개 홀드아웃 점수: 에이전트가 접근할 수 없는 숨겨진 레이블 (Private Holdout) 을 사용하여 점수를 산정합니다.
  • 성공률: 유효한 제출을 생성한 실행의 비율.
  • 안정성: 5 회 실행 간의 점수 변동성 (IQR 등).

2.2 오염 방지 및 통제 (Contamination Controls)

• 인터넷 차단: 벤치마크 실행 중 인터넷 접근을 차단하여 외부 정보 유입을 방지합니다.
• 지식 컷오프 (Knowledge Cutoff): 평가된 모델들의 사전 학습 지식 컷오프 날짜가 테스트된 Kaggle 대회 시작 날짜 (2025 년 10 월 말) 보다 앞서야 합니다. 이는 모델이 대회 데이터를 이미 알고 있을 가능성을 배제합니다.
• 고정된 지시문: 모든 실행에 동일한 지시문 템플릿을 사용하여 일관성을 유지합니다.

2.3 평가 환경 및 도구

• Kilo Code 하네스: 각 실행은 격리된 워크스페이스에서 수행되며, 시간 제한을 강제하고 제출 형식을 검증합니다.
• 점수 정규화: 서로 다른 대회 (AUC, RMSE 등) 와 방향성 (높을수록 좋음 vs 낮을수록 좋음) 을 비교 가능하게 하기 위해, 각 (대회, 예산) 설정 내에서 Min-Max 정규화를 적용하여 0.0~1.0 범위로 변환합니다.

3. 주요 기여 (Key Contributions)

1. 엄격한 벤치마크 프로토콜: 결정론적 준비, 엄격한 제출 검증, 비공개 홀드아웃 점수를 포함하는 Kaggle 스타일 태블러 작업용 벤치마크 도입.
2. 재현 가능한 보고 정책: 고정된 지시문, 5 회 실행의 중앙값 (Median) 집계, 명시적인 커버리지 요구사항을 통한 재현성 확보.
3. 저비용 및 접근성: 개별 연구자도 실행 가능한 저비용 평가 환경 (전체 스위트 실행 비용 약 $10 수준) 및 오프라인 실행 지원.
4. 신뢰성과 성능의 동시 평가: 단일 최상위 성능뿐만 아니라, 실행 간 변동성 (Stability) 과 성공률 (Reliability) 을 함께 분석하는 프레임워크 제공.

4. 주요 결과 (Results)

4.1 종합 성능 (Aggregate Performance)

• 최고 성능 모델: MiniMax-M2.1-TEE가 4 개 대회 모두에서 가장 높은 종합 성능 점수를 기록했습니다.
• 시간 예산의 영향: 일반적으로 시간 예산이 증가할수록 (240s → 1200s) 평균 성능이 향상되었습니다.
• 모델별 차이: 일부 모델은 시간 증가에 따라 성능이 크게 개선되는 반면, 다른 모델은 상대적으로 평탄한 곡선을 보였습니다.

4.2 신뢰성 및 안정성 (Reliability & Stability)

• 성공률 차이: 강력한 성능을 보이는 모델들 사이에서도 실행 성공률에 유의미한 차이가 존재했습니다.
• 변동성: 일부 모델은 특정 설정에서 큰 점수 변동성 (높은 IQR) 을 보였습니다. 예를 들어, GLM 4.7 Flash 는 1200 초 설정에서 불안정성이 크게 관찰되었습니다.
• 단일 실행의 위험: 단일 예산이나 단일 실행 결과만으로는 모델의 능력을 정확히 판단하기 어렵고, 반복 실행을 통한 중앙값 추정이 필수적입니다.

4.3 확장성 (Scaling)

• 40 개의 모델×대회 조합 중 57.5%(23 개) 가 시간 예산 증가에 따라 성능이 악화되지 않는 단조 증가 (Monotone) 패턴을 보였습니다.
• 그러나 개별 모델 수준에서는 노이즈가 존재하여, 안정적인 스케일링 곡선을 얻기 위해서는 더 많은 실행 횟수가 필요할 수 있음이 지적되었습니다.

5. 의의 및 한계 (Significance & Limitations)

의의

• 실무적 가치: Kaggle 과 같은 실제 데이터 과학 작업에서 에이전트가 '운'에 의한 한 번의 성공이 아니라, 시간 제약 하에서도 일관되고 신뢰할 수 있는 결과를 낼 수 있는지를 평가하는 기준을 마련했습니다.
• 비교 가능성: 서로 다른 평가 지표 (AUC, RMSE 등) 와 시간 제약을 가진 작업들을 정규화를 통해 비교 가능한 리더보드로 통합했습니다.
• 오픈 소스: 코드와 자료 (GitHub) 를 공개하여 연구 커뮤니티의 재현과 검증을 장려합니다.

한계

• 토큰 계수 부재: 현재 실행 로그에 토큰 소비량이 포함되어 있지 않아, 효율성 (Token Efficiency) 분석은 차기 버전으로 미루어졌습니다.
• 실행 횟수: 개별 모델의 스케일링 곡선을 분석할 때 5 회 실행만으로는 노이즈가 발생할 수 있어, 더 많은 실행 횟수가 필요할 수 있습니다.
• 지시문과 시간의 결합: 1200 초 설정은 다른 시간대 (240s, 600s) 와 다른 지시문 (XGBoost 중심) 을 사용하므로, 시간 증가 효과와 지시문 변경 효과를 완전히 분리하기는 어렵습니다.

결론

TML-bench 는 데이터 과학 에이전트의 능력을 평가할 때 **성능 (Performance)**뿐만 아니라 **신뢰성 (Reliability)**과 **안정성 (Stability)**을 중시하는 새로운 패러다임을 제시합니다. 특히 MiniMax-M2.1-TEE 와 같은 모델이 다양한 시간 제약 하에서 우수한 성능을 입증한 점은, 자율 에이전트가 실제 산업 환경의 제한된 시간 내에 태블러 ML 작업을 해결할 수 있음을 시사합니다.