Scaling Data Difficulty: Improving Coding Models via Reinforcement Learning on Fresh and Challenging Problems

이 논문은 자동 난이도 필터링을 포함한 4 단계 데이터 처리 프레임워크를 통해 최신의 고난이도 프로그래밍 문제만 선별한 'MicroCoder' 데이터셋을 구축하고, 이를 통해 기존 데이터셋 대비 훨씬 큰 성능 향상을 이끌어낸 Reinforcement Learning 기반 코딩 모델 학습 방법을 제안합니다.

핵심

🎓 1. 문제점: "너무 쉬운 문제만 풀고 있는 학생"

지금까지 코딩 AI 를 훈련시킬 때 사용된 데이터셋 (문제집) 은 몇 가지 큰 문제가 있었습니다.

• 난이도 불균형: 마치 고등학교 수학 문제를 풀면서, "1+1 은 몇?" 같은 아주 쉬운 문제 100 개와 "미적분" 같은 어려운 문제 1 개가 섞여 있는 꼴입니다. AI 는 쉬운 문제만 계속 풀어서 성적이 오르는 척하지만, 진짜 어려운 시험 (실제 상황) 에는 당황합니다.
• 낡은 문제: 인터넷에서 구한 문제들은 이미 AI 가 훈련할 때 많이 봤던 것들입니다. 마치 시험 전에 정답을 외운 학생처럼, 새로운 문제는 못 풉니다.
• 형식 불일치: 문제 지시사항이 제각각이라 AI 가 정답은 맞췄는데, 답안지 작성 방식이 틀려서 감점당하는 경우가 많습니다.

🛠️ 2. 해결책: "MicroCoder"라는 새로운 훈련 시스템

연구팀은 이 문제를 해결하기 위해 4 단계의 정교한 필터링 시스템을 만들었습니다. 이를 **'MicroCoder'**라고 이름 지었습니다.

① 수집 (Collection): "전 세계의 어려운 문제 모으기"

유명한 코딩 대회 사이트 (AtCoder, CodeChef 등) 에서 최신의 진짜 문제들을 모았습니다. AI 가 만들어낸 가짜 문제는 배제하고, 인간이 만든 진짜 난이도 높은 문제만 모았습니다.

② 가공 (Processing): "문제지 정리하기"

• 번역: 영어가 아닌 다른 언어로 된 문제는 모두 영어로 통일합니다.
• 정리: 그림이 깨지거나, 설명이 불완전한 문제들은 버립니다.
• 형식 통일: 모든 문제를 같은 형식 (예: 입력값을 주고 답을 출력하는 방식) 으로 맞춰줍니다.

③ 필터링 (Filtering): "AI 가 스스로 난이도를 평가하고 걸러내기" (가장 중요한 부분!)

이게 이 연구의 핵심입니다. 연구팀은 AI(대규모 언어 모델) 를 이용해 각 문제의 난이도를 5 가지 척도로 평가하게 했습니다.

• 비유: 마치 "이 문제는 초등학생이 풀 수 있을까? 고등학생은? 대학생은?"을 AI 가 판단하게 하는 것입니다.
• 전략: "너무 쉬운 문제 (1+1 같은 것)"는 과감히 버리고, **"AI 가 풀기 힘들어하는 진짜 어려운 문제"**만 남깁니다.
• 결과: 전체 데이터의 30% 를 버렸지만, 남은 데이터는 훨씬 더 '질 좋은' 어려운 문제들로 채워졌습니다.

④ 검증 (Verification): "정답 확인"

남은 문제들이 실제로 정답이 맞는지, 테스트 코드가 제대로 작동하는지 다시 한번 확인합니다.

🚀 3. 결과: "어려운 문제를 풀수록 더 똑똑해진다"

이렇게 만든 MicroCoder로 AI 를 훈련시켰을 때 놀라운 결과가 나왔습니다.

• 기존 데이터 vs MicroCoder: 같은 양의 데이터로 훈련해도, MicroCoder 를 쓴 AI 는 3 배 더 빠르게 실력이 향상되었습니다.
• 어려운 문제에서의 승리: 특히 '중간'과 '어려운' 난이도의 문제에서 실력이 비약적으로 늘었습니다.
  • 비유: 쉬운 문제만 풀던 학생이, 갑자기 어려운 수학 경시대회 문제를 풀게 되자 오히려 논리력이 길러져서 모든 과목의 성적이 올라간 것과 같습니다.
• 새로운 문제에도 강함: AI 가 훈련할 때 본 적 없는 최신 문제 (LiveCodeBench) 에도 잘 대처했습니다.

💡 4. 핵심 교훈 (요약)

이 논문의 결론은 매우 간단합니다.

"AI 를 가르칠 때, 양이 많다고 해서 좋은 게 아닙니다. AI 가 '머리를 쥐어짜게' 만드는 진짜 어려운 문제를 골라내서 훈련시키는 것이, AI 를 더 똑똑하게 만드는 지름길입니다."

마치 운동선수가 가벼운 아령만 들고는 마라톤을 못 뛰지만, 무거운 아령으로 근력을 키우면 더 멀리 달릴 수 있는 것과 같은 이치입니다. 연구팀은 **"어려운 문제를 두려워하지 말고, 그것을 훈련의 재료로 쓰라"**고 제안합니다.

기술 요약

1. 문제 정의 (Problem)

기존의 코드 생성 모델 학습을 위한 데이터셋은 다음과 같은 세 가지 주요 한계를 가지고 있어 모델의 성능 향상을 저해하고 있습니다.

• 난이도 불균형 (Difficulty Imbalance): 대부분의 데이터셋이 단순한 문제들로 구성되어 있으며, 모델의 능력을 극대화하는 데 필요한 고난도 문제가 부족합니다.
• 신선도 부족 (Lack of Recency): 최신 문제가 포함되어 있지 않아, 모델이 사전 학습 (Pre-training) 을 통해 이미 익숙한 문제들로만 구성되어 있습니다. 이는 모델이 새로운 도전에 적응하는 능력을 떨어뜨립니다.
• 형식 불일치 및 데이터 품질 문제 (Format Inconsistency & Quality): 함수 완성 (Function completion) 과 입출력 (Input/Output) 방식 등 다양한 문제 형식이 표준화되지 않아 혼합되어 있으며, 웹에서 수집된 데이터에는 불완전한 설명, 결손된 테스트 케이스, 관련 없는 콘텐츠 등 노이즈가 포함되어 있습니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 4 단계 데이터 처리 프레임워크와 자동 난이도 필터링 (Automatic Difficulty Filtering) 기법을 제안합니다.

2.1 4 단계 데이터 처리 프레임워크

1. 수집 (Collection): TACO, KodCode, DeepCoder 등 공개 데이터셋과 다양한 프로그래밍 대회 플랫폼 (AIZU, AtCoder, CodeChef, Kattis 등) 에서의 웹 수집 데이터를 통합하여 포괄성을 확보합니다.
2. 처리 (Processing):
   • 표준화: 비영어권 문제를 영어로 번역하고, 노이즈 (이미지 결손, 불완전한 수식, 광고 등) 를 제거합니다.
   • 테스트 케이스 최적화: LLM 을 활용하여 테스트 케이스를 생성하거나, 기존 솔루션을 실행하여 정확한 출력을 도출합니다. 테스트 케이스가 과도하게 많은 경우 (수백 개), 문제 난이도와 상관관계가 있다고 가정하여 가장 긴 15 개만 선택합니다.
   • 형식 통일: LiveCodeBench 형식을 기준으로 문제 프롬프트 구조를 통일하여 실행 로직의 혼란을 방지합니다.
3. 필터링 (Filtering):
   • 하드 요구사항: 텍스트 전용 문제, 중복 제거 (16-gram 유사도 0.22 임계값), 테스트 세트와의 겹침 제거 (Train-Test Separation) 를 적용합니다.
   • 적응형 선택: LLM 기반의 다차원 난이도 매트릭스를 사용하여 문제의 복잡성을 평가하고, 단순한 문제를 제거하며 고난도 문제를 선별합니다.
4. 검증 (Verification): 문제의 가독성, 완전성, 테스트 케이스의 정확성을 수동 및 자동 검증합니다.

2.2 자동 난이도 필터링 (Predict-Calibrate-Select)

• 예측 (Predict): LLM (GPT-4O) 을 사용하여 5 가지 차원 (문제 이해도, 지식 범위, 알고리즘적 사고 복잡성, 구현 난이도 등) 에 기반한 다차원 난이도 매트릭스로 문제의 복잡성을 1~5 점 척도로 평가합니다.
• 보정 (Calibrate): 예측된 난이도 점수와 실제 모델 (Qwen-3-4B 등) 의 수행률 (Pass@k) 을 비교하여 난이도 범주 (쉬움, 보통, 어려움) 의 경계선을 설정합니다.
• 선택 (Select): 보정된 경계선을 적용하여 너무 단순한 문제들을 필터링하고, 학습 목표에 부합하는 고난도 문제만 남깁니다.

3. 주요 기여 (Key Contributions)

• MicroCoder 데이터셋 구축: 13,300 개의 엄선된 실제 프로그래밍 대회 문제를 포함하는 데이터셋을 구축했습니다. 이는 생성된 데이터가 아닌, 다양한 플랫폼에서 수집된 실제 경쟁 프로그래밍 문제로만 구성되었습니다.
• 난이도 인식 데이터 선별 프레임워크: 기존 데이터셋의 한계를 극복하기 위한 체계적인 4 단계 파이프라인과 LLM 기반의 자동 난이도 필터링 메커니즘을 제안했습니다.
• 성능 향상 입증: 기존 데이터셋 대비 3 배 더 큰 성능 향상을 달성했음을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

실험은 LiveCodeBench v6(모델 학습 컷오프 이후에 출시된 엄격히 unseen 문제) 를 기준으로 수행되었으며, GRPO 및 DAPO 강화 학습 알고리즘을 사용했습니다.

• 전체 성능: MicroCoder 로 학습한 모델은 DeepCoder 와 같은 기존 데이터셋 대비 300 스텝 학습 내에서 3 배 더 큰 성능 향상을 보였습니다.
  • GRPO 기준: AtCoder(+2.2), LeetCode(+1.6), LiveCodeBench(+2.0) 점수 향상.
  • DAPO 기준: AtCoder(+3.6), LeetCode(+6.0), LiveCodeBench(+4.4) 점수 향상.
• 난이도별 분석:
  • 중간 및 고난도 문제: 성능 향상이 가장 두드러졌습니다. 특히 DAPO 하에서 LeetCode Medium 문제에서 40.4%, LiveCodeBench Hard 문제에서 20.7~22.0% 의 상대적 성능 향상을 기록했습니다.
  • 쉬운 문제: 두 데이터셋 모두 성능이 수렴하여 상대적 차이는 작았습니다.
• 모델 크기 확장: 모델 크기가 커질수록 (1.7B → 4B → 14B) MicroCoder 의 우위가 더욱 뚜렷해졌습니다. 이는 모델의 용량이 충분할 때 최신이고 고난도인 문제가 더 큰 효과를 발휘함을 시사합니다.
• 학습 역학: MicroCoder 로 학습한 모델은 학습 세트에서의 크리티크 (Critic) 보상은 낮았으나 (문제가 더 어려움), 테스트 세트 정확도는 더 높았습니다. 이는 어려운 문제가 모델의 일반화 능력을 더 효과적으로 향상시킨다는 가설을 뒷받침합니다.

5. 의의 및 결론 (Significance)

이 논문은 코드 생성 모델의 성능 향상을 위해 데이터의 양보다는 '질'과 '난이도'가 핵심임을 강조합니다.

• 난이도 인식 큐레이션의 중요성: 단순한 데이터 축적이 아닌, 체계적인 난이도 필터링을 통해 고난도 문제를 선별하는 것이 모델의 복잡한 문제 해결 능력을 키우는 데 필수적입니다.
• 신선한 데이터의 가치: 모델이 사전 학습을 통해 익숙하지 않은 최신 문제를 포함하는 것이 일반화 성능을 높이는 데 기여합니다.
• 알고리즘과의 시너지: 난이도 인식 데이터 선별 전략은 GRPO, DAPO 와 같은 다양한 강화 학습 알고리즘과 결합했을 때 가장 큰 효과를 발휘합니다.

결론적으로, MicroCoder 는 코딩 모델 학습을 위한 데이터셋 구축에 있어 난이도 균형, 최신성, 데이터 품질을 동시에 고려한 새로운 패러다임을 제시하며, 향후 코드 생성 연구에 중요한 통찰을 제공합니다.