ML2B: Benchmarking LLMs on Cross-Lingual ML Pipeline Generation

기술 요약: 교차 언어 ML 파이프라인 생성을 위한 LLM 벤치마킹으로서의 ML2B

문제 정의

MLE-Bench 및 DA-Code와 같은 현재의 대규모 언어 모델(LLM) 코드 생성 벤치마크는 영어 작업 설명에 국한되어 있습니다. 그러나 머신러닝 연구는 전 세계적으로 이루어지므로, 모델은 다양한 언어로 된 문제 설명을 해석하는 동시에 실행 가능한 코드를 생성할 수 있어야 합니다. 기존 벤치마크는 엔드 투 엔드(end-to-end) ML 파이프라인 생성에 있어 교차 언어적 강건성(cross-lingual robustness)을 측정하는 데 실패하고 있습니다. 또한, 많은 벤치마크가 데이터 누출(data leakage) 문제를 겪고 있는데, 이는 벤치마크에 포함된 테스트 데이터나 솔루션이 LLM의 학습 코퍼스에 이미 존재하여 성능 지표가 부풀려지는 현상을 의미합니다. 영어 이외의 언어로 진행되는 ML 파이프라인 생성에 대한 체계적인 평가, 특히 자원 가용성(고자원 언어 vs 저자원 언어)이 복잡한 다단계 엔지니어링 작업에서 모델 성능과 어떻게 상관관계를 갖는지에 대한 연구가 매우 부족한 실정입니다.

방법론

저자들은 다양한 언어의 자연어 설명을 바탕으로 완전한 ML 파이프라인을 생성하는 능력을 평가하기 위해 설계된 벤치마크인 ML2B를 소개합니다. 이 방법론은 네 가지 핵심 축을 포함합니다:

1. 데이터셋 구축:

   • 범위: 본 벤치마크는 표 형식(tabular), 텍ade, 이미지 도메인을 아우르는 35개의 캐글(Kaggle) 경진대회로 구성됩니다.
   • 언어: 작업 설명, 도메인, 데이터 카드를 14개 언어(아랍어, 벨라루스어, 중국어, 프랑스어, 이탈리아어, 일본어, 카자흐어, 폴란드어, 루마니아어, 러시아어, 스페인어, 터키어, 우크라이나어)로 번역하여 490개의 '작업-언어 쌍(task-language pairs)'을 생성했습니다.
   • 번역 품질: 번득은 GPT-4o를 사용하여 수행되었으며, ML 전문 지식을 갖춘 원어민 연구자들에 의해 검증되었습니다. 품질은 역번역 BLEU 점수(평균 >0.35)와 의미 보존에 대한 상호 검토자 일치도(Gwet's AC1 >0.80)를 통해 확인되었습니다.
   • 비공개 경진대회: 데이터 누출을 완화하기 위해 35개 중 10개의 경진대회는 "비공개(private)"로 설정되었습니다. 즉, 공개적으로 사용 가능한 솔루션 코드, 포럼 토론 또는 유의미한 웹 인덱싱이 존재하지 않아 LLM 학습 데이터에 포함될 가능성을 낮췄습니다.

2. 평가 인프라:

   • 격리된 실행: 평가는 네트워크가 격리된 Docker 컨테이너 내에서 수행됩니다. 에이전트 런타임은 코드 생성을 위해 인터넷 접속이 가능하지만, 채점 컨테이너는 필수적인 ML 리소스(HuggingFace, PyTorch, S3)로만 접근할 수 있도록 포워드 프록시(forward proxy)를 통해 제한되며, Kaggle 및 GitHub에 대한 접근은 차단되어 런타임 중에 솔루션을 검색하는 것을 방지합니다.
   • 제출 형식: 표준 캐글 제출 방식(단일 파일)과 달리, ML2B는 두 가지 형식을 사용합니다:
     • MONO_PREDICT: 예측값을 반환하는 단일 함수.
     • MODULAR_PREDICT: train, prepare_val, predict 함수를 분리한 모듈형 형식. 이 구조는 전처리 누출(예: 테스트 세트의 통계치를 사용하여 테스트 데이터를 정규화하는 것)을 줄이기 위해 설계되었습니다.
   • 정적 누출 탐지: 제출된 코드에서 잠재적인 데이터 누출을 탐지하기 위해 정적 분석 도구가 사용되며, 훈련 데이터와 예측 데이터가 함께 처리되는 사례를 식착합니다.

3. 지표 및 베이스라인:

   • 베이스라인: 각 경진대회에 대해 두 가지 베이스라인을 설정했습니다: LLM 지원 수동 베이스라인(Gemini 3 Pro를 이용한 반복 개발)과 AutoGluon을 이용한 알고리즘 베이스라인입니다.
   • 성능 측정: 모델의 오차율을 베이스라인과 비교하는 성능 비율($r_p$)을 사용합니다. 저자들은 모델이 베이스라인을 충족하거나 약간 상회하는 영역을 강조하여, 간헐적인 성공을 보이는 모델과 일관된 성과를 보이는 모델을 구분하기 위해 가중 변형된 AUP(Area Under the Profile) 지표($AUP_{-1/\ln \tau}$)를 채택했습니다.

4. 실험 설정:

   • 모델: 실험은 GPT-4.1-mini, GPT-OSS-120b, Gemini-2.5-Flash를 대상으로 수행되었습니다.
   • 프레임워크: 모델들은 AIDE 프레임워크와 (GPT-OSS-120b를 위한) 수정된 ReAct 프레임워크를 사용하여 테스트되었습니다.
   • 하드웨어: 일반적인 연구 환경을 반영하기 위해 소비자급 하드웨어(64GB RAM, 단일 RTX 2080 Ti GPU)에서 실행되었습니다.

주요 기여

1. 최초의 다국어 ML 파이프라인 벤치마크: ML2B는 영어 전용의 한계를 넘어 14개 언어에 걸쳐 엔드 투 엔드 ML 파이프라인 생성을 평가하는 최초의 벤치마크입니다.
2. 누출 방지 설계: 10개의 비공개 경진대회 포함과 네트워크 격리된 채점 방식을 통해 학습 데이터 오염 및 런타임 솔루션 검색 위험을 크게 줄였습니다.
3. 모듈형 평가 프로토콜: MODULAR_PREDICT 형식과 정적 누출 분석의 도입은 단일 파일 제출 형식에 비해 코드 품질과 전처리 누출을 방지하는 더 엄격한 평가 방법을 제공합니다.
4. 포괄적인 실패 분석: 실행 오류, 제약 조건 위반, 전처리 불일치 등을 포함한 실패 모드에 대한 상세한 분류 체계를 제공합니다.

결과

프런티어 모델들을 대상으로 한 실험은 다음과 같은 몇 가지 중요한 사실을 밝혀냈습니다:

• 작업 의존적 성능 저하: 교차 언어적 성능 저하는 전통적인 자원 가용성 계층을 엄격히 따르기보다는 작업에 따라 크게 달라집니다. 일부 언어는 격차가 나타나지만, 특정 작업에서는 영어와 비슷하거나 더 나은 성능을 보이기도 합니다. 자원 그룹 간의 변동성보다 그룹 내에서의 변동성이 더 큰 경우가 많습니다.
• 변동성 예측 인자: 작업의 특성, 구체적으로 특징(feature)의 수($\rho=+0.50$)와 도메인별 전문 용어($\rho=+0.44$)가 언어 정체성이나 자원 수준보다 교차 언어적 변동성을 더 강력하게 예측하는 요소였습니다.
• 품질 vs 강건성의 트레이드오프: 품질과 신뢰성 모두에서 압도적인 모델은 존재하지 않았습니다. GPT-4.1-mini는 가장 높은 평균 AUP(0.768)를 기록했으나 가장 낮은 통과율(61%)을 보여, 순위 지정 능력은 뛰어나지만 정확한 솔루션 생성에는 어려움이 있음을 나타냈습니다. 반면, GPT-OSS-120b(AIDE)는 높은 통과율(81%)을 보였으나 AUP는 더 낮았습니다.
• 주요 병목 구간: 주요 실패 모드는 언어 이해 능력이 아니라 파이프라인 지시사항 준수(예: 함수 시그니처 준수, 전역 변수 사용 금지 등)인 것으로 확인되었습니다. 모델들은 작업을 이해하더라도 구조적 제약 조건을 따르는 데 자주 실패했습니다.
• 구조화된 프롬프트: ML2B에서 사용된 구조화된 프롬프트는 다른 벤치마크(예: MLE-Bench)에서 사용되는 모호한 형식보다 더 나은 성능과 안정성을 보여주었으며, 이는 명확한 작업 설명이 암기 기반의 지름길을 허용하지 않으면서도 이해를 돕는다는 것을 확인시켜 주었습니다.

의의 및 주장

본 논문은 ML2B가 다국어 모델 능력에 대한 기존의 가설에 도전한다고 주장합니다. 연구 결과는 자원 가용성만이 다국어 모델 성능을 결정한다는 가정이 불충분하며, 대신 ML 작업의 구체적인 특성(복잡성, 전문 용어, 데이터 패턴)이 지배적인 역할을 한다는 점을 시사합니다.

저자들은 AI 도구가 글로벌 맥락에서 견고하고 신뢰할 수 있는지 확인하기 위해 ML 파이프라인 생성에 대한 체계적인 교차 언어적 평가가 필수적임을 강조합니다. ML2B는 오픈 소스 벤치마크, 베이스라인 및 인프라를 제공함으로써 엔지니어링 중심 도메인에서 LLM의 교차 언어적 강건성에 대한 재현 가능한 연구를 촉진하고자 합니다. 결론적으로, 현재의 모델들이 유망한 모습을 보이고는 있으나, 작업을 이해하는 것과 복잡하고 제약이 많은 ML 파이프라인을 정확하게 실행하는 것 사이의 간극은 특히 비영어권 맥락에서 여전히 큰 과제로 남아 있습니다.