R1-Code-Interpreter: LLMs Reason with Code via Supervised and Multi-stage Reinforcement Learning

이 논문은 다단계 강화 학습과 커리큘럼 학습을 통해 다양한 작업에서 코드 인터프리터를 효과적으로 활용하고 GPT-4o 를 능가하는 성능을 보이는 'R1-Code-Interpreter'를 제안합니다.

핵심

1. 왜 이 연구가 필요한가요? (문제 상황)

지금까지의 AI 는 **매우 똑똑한 '문장 작가'**였지만, 계산이나 논리 퍼즐을 풀 때는 실수를 많이 했습니다.

• 비유: 마치 수학 시험을 치는 학생이 생각은 잘하지만, 계산기를 쓰지 않고 손으로 계산하다 보니 실수를 하는 것과 같습니다.
• 기존의 시도: 연구자들은 AI 에게 "계산기는 써도 돼"라고 말해주고 코드를 짜게 했습니다. 하지만 AI 는 언제 글을 써야 하고, 언제 코드를 써야 할지 잘 판단하지 못했습니다. 때로는 간단한 문제를 풀기 위해 복잡한 코드를 짜거나, 반대로 복잡한 문제를 글로만 풀려고 하다가 실패하곤 했습니다.

2. 이 연구의 해결책: "단계별 코칭" (R1-Code-Interpreter)

이 연구팀은 AI 를 가르칠 때 두 가지 핵심 전략을 사용했습니다.

① "수업 자료"를 잘 골라야 한다 (커리큘럼 학습)

기존에는 AI 에게 쉬운 문제부터 어려운 문제까지 무작위로 섞어서 가르쳤습니다. 하지만 이 방법은 비효율적이었습니다.

• 비유: 수학 선생님이 학생에게 '1+1' 같은 너무 쉬운 문제나, '천재 수학자만 풀 수 있는 난제' 같은 너무 어려운 문제를 섞어서 가르치면, 학생은 지루하거나 좌절해서 배움이 멈춥니다.
• 이 연구의 방법: 연구팀은 AI 가 **"가장 많이 성장할 수 있는 문제"**를 찾아냈습니다. (AI 가 절반은 맞고 절반은 틀리는 문제들).
  • 단계 1: AI 가 가장 잘 배울 수 있는 '적당한 난이도' 문제부터 가르침.
  • 단계 2: AI 가 조금씩 성장하자, 조금 더 어려운 문제로 넘어감.
  • 단계 3 & 4: 마지막에 아주 어렵거나 아주 쉬운 문제들을 섞어줌.
  • 결과: 이렇게 **'난이도별 수업'**을 시켰더니, AI 의 실력이 3.4% 에서 **9.3%**로 크게 향상되었습니다.

② "코딩"과 "생각"을 분리해서 가르침 (효율성)

AI 가 코드를 실행하는 과정은 컴퓨터의 그래픽 카드 (GPU) 를 매우 느리게 만들었습니다.

• 비유: 요리사 (AI) 가 요리를 하다가, 재료를 다듬는 일 (코드 실행) 을 하느라 주방 (GPU) 을 비워두고 기다리는 시간이 길어지면, 요리사도 일을 못 하죠.
• 이 연구의 방법: 요리사 (AI) 가 재료를 다듬는 일은 **별도의 조수 (CPU 서버)**에게 맡겼습니다. 요리사는 계속 새로운 요리를 생각할 수 있게 되니, 전체 교육 시간이 39%나 단축되었습니다.

3. 놀라운 결과: "스스로 점검하는 능력"

이렇게 훈련된 AI (R1-CI-14B) 는 놀라운 능력을 보여주었습니다.

• 결과: 이 모델은 텍스트만 사용하는 GPT-4o 보다 훨씬 정확했고, GPT-4o 가自带的 (기본 탑재) 코드 해석기를 쓴 경우보다도 더 좋은 점수를 받았습니다.
• 자기 점검 (Self-Checking): 가장 흥미로운 점은 AI 가 스스로 자신의 답을 코드로 검증하는 습관을 들였다는 것입니다.
  • 비유: 시험을 다 풀고 나서, "아, 내가 계산기를 안 썼나? 다시 한번 코드로 확인해 볼까?"라고 스스로 생각하며 답을 다시 확인하는 것입니다. 이는 훈련을 통해 AI 가 스스로 깨달은 (Emergent) 행동입니다.

4. 요약: 이 연구가 왜 중요한가?

이 논문은 **"AI 에게 코딩을 가르치는 가장 효과적인 방법"**을 찾았습니다.

1. 무작위 교육은 안 된다: AI 에게 모든 문제를 섞어서 가르치지 말고, AI 가 가장 잘 배울 수 있는 문제 순서대로 가르쳐야 합니다.
2. 혼자서 하기보다 도구를 써야 한다: AI 가 복잡한 문제를 풀 때는 코드를 실행하는 도구를 활용하는 것이 훨씬 정확합니다.
3. 스스로 고치는 습관: 잘 훈련된 AI 는 답을 내기 전에 스스로 검증하는 능력을 갖게 됩니다.

결론적으로, 이 연구는 AI 가 단순한 '말하는 기계'를 넘어, **복잡한 문제를 해결하는 '현명한 문제 해결사'**로 성장할 수 있는 길을 열어주었습니다.

기술 요약

R1-Code-Interpreter: LLMs 의 코드 인터프리터를 통한 추론 및 강화학습 기반 학습 기술 요약

이 논문은 R1-Code-Interpreter라는 새로운 프레임워크를 제안하며, 이는 텍스트 전용 대규모 언어 모델 (LLM) 을 다중 턴 지도 미세 조정 (SFT) 과 강화학습 (RL) 을 통해 코드 인터프리터를 자율적으로 활용하도록 훈련시킨 모델입니다. 기존 연구들이 수학이나 검색과 같은 좁은 도메인에 집중했던 것과 달리, 이 연구는 144 가지의 다양한 추론 및 계획 과제를 대상으로 일반 목적의 코드 인터프리터 훈련의 어려움과 해결 방안을 제시합니다.

1. 문제 정의 (Problem)

LLM 의 추론 능력을 향상시키기 위한 강화학습 (RL) 기반 미세 조정은 이미 많은 성과를 거두었지만, 여전히 다음과 같은 한계가 존재합니다.

• 정밀 계산 및 심볼 조작의 부족: 텍스트 기반 추론은 의미론적 이해와 상식에는 뛰어나지만, 정밀한 계산, 심볼 조작, 최적화, 알고리즘 처리에는 한계가 있습니다.
• 코드와 텍스트 간 전환의 어려움: 대부분의 입력 질문은 어떤 접근 방식 (텍스트 vs 코드) 이 최적인지에 대한 명확한 힌트를 제공하지 않습니다. 현재 코드 인터프리터 구현체들은 텍스트와 코드 사이를 효과적으로 전환하지 못해 심볼 기능을 충분히 활용하지 못합니다.
• 다양한 과제에서의 RL 훈련 실패: 단일 과제나 간단한 과제를 위한 기존 RL 훈련 방식 (DeepSeek 스타일) 은 100 개 이상의 이질적인 (heterogeneous) 과제를 가진 일반 목적의 코드 인터프리터 훈련에는 적용되지 않았습니다. 과제의 이질성과 유효한 샘플의 부족으로 인해 RL 훈련 시 성능 향상이 미미했습니다.

2. 방법론 (Methodology)

2.1 데이터 구성 및 SFT

• 데이터셋: SymBench, Big-Bench-Hard, Reasoning-Gym 에서 선별된 144 가지의 추론 및 계획 과제를 수집했습니다. 각 과제는 200 개 이상의 다양한 샘플을 포함하며, 수학, 공간, 논리, 순서, 최적화, 검색 기반 추론 등 다양한 능력을 평가합니다.
• SFT (지도 미세 조정): GPT-4o 를 사용하여 각 과제당 여러 개의 다중 턴 텍스트/코드 트래젝토리를 생성하고, 정답을 도출한 6,500 개의 고품질 샘플로 SFT 를 수행했습니다. 이 과정에서는 모델이 코드 실행과 텍스트 추론을 유연하게 전환할 수 있도록 다양한 프롬프트 전략을 사용했습니다.

2.2 다단계 커리큘럼 학습 (Multi-Stage Curriculum Learning)

기존의 단순 RL 훈련이 다양한 난이도의 과제가 섞인 데이터에서 실패하는 이유를 분석하고, 이를 해결하기 위해 **개선 잠재력 (Improvement Potential)**에 기반한 다단계 커리큘럼 학습을 도입했습니다.

• 개선 잠재력 측정: 각 샘플에 대해 4 가지 다른 에이전트 전략 (전체 텍스트, 전체 코드, 코드 에이전트, 코드 스티어) 을 적용하여 정답률을 산출합니다. 정답률이 0.5 에 가까울수록 (모델이 절반은 맞추고 절반은 틀리는 경우) 학습 신호가 가장 강하다는 이론적 분석에 따라, $\Pi_i = 4 p_i (1 - p_i)$ 공식을 사용하여 개선 잠재력 점수를 계산합니다.
• 4 단계 훈련 과정:
  1. Stage 1: 개선 잠재력이 가장 높은 샘플 (난이도가 적절하여 학습 효과가 큰 샘플) 로 시작.
  2. Stage 2-3: 잠재력이 점차 낮은 샘플들을 점진적으로 포함.
  3. Stage 4: 잠재력이 낮은 샘플 (너무 쉽거나 너무 어려운 샘플) 을 포함하여 전체 데이터셋을 학습.
  • 이 방식은 RL 훈련 시 유효한 그라디언트 신호를 극대화하여 평균 RL 이득을 +3.4% 에서 **+9.3%**로 크게 향상시켰습니다.

2.3 효율적인 훈련 인프라

• 코드 실행 샌드박스 분리: 코드 실행은 GPU 활용도를 낮추고 훈련 시간을 지연시키는 주요 요인이었습니다. 이를 해결하기 위해 5 개의 64 코어 CPU 노드에 전용 코드 실행 샌드박스를 배포하여, GPU 기반의 그라디언트 계산과 코드 실행을 분리했습니다.
• 성능 향상: 이 접근 방식으로 전체 훈련 시간을 약 39% 단축 (약 4,500 GPU 시간에서 1,845 GPU 시간으로) 했습니다.

3. 주요 기여 (Key Contributions)

1. 첫 번째 범용 코드 인터프리터 훈련: 단일 과제나 단순 추론이 아닌, 144 가지의 다양한 도전적인 과제를 대상으로 범용 코드 인터프리터를 훈련한 최초의 공개 연구입니다.
2. RL 한계 분석 및 커리큘럼 학습 프레임워크 제안: 과제의 이질성과 유효 샘플 부족으로 인한 RL 훈련의 병목 현상을 분석하고, '개선 잠재력'에 기반한 다단계 커리큘럼 학습을 통해 이를 해결했습니다.
3. 비용 효율적인 훈련 아키텍처: 코드 실행과 모델 최적화를 분리하는 전용 샌드박스를 설계하여 훈련 비용을 크게 절감했습니다.
4. 전략 비교 및 검증: 다중 턴 코드 인터프리터 프레임워크가 단일 턴 방식보다 우수함을 증명했으며, SFT 를 통한 웜 스타트 (Warm-start) 와 Qwen-2.5 기반 모델이 DeepSeek R1 증류 모델보다 더 효과적임을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상: Qwen-2.5 기반 모델 (3B, 7B, 14B) 을 대상으로 실험한 결과, 훈련 세트에서 평균 성공률이 33.7%, 테스트 세트에서 34.1% 향상되었습니다.
• 최고 모델 성능 (R1-CI-14B):
  • 테스트 과제 평균 정확도: 72.4% (기존 44.1% 에서 대폭 향상).
  • GPT-4o (텍스트 전용, 58.6%) 및 **GPT-4o + 코드 인터프리터 (70.9%)**를 모두 능가하는 성능을 기록했습니다.
• 발현 행동 (Emergent Behavior): 훈련 과정에서 모델이 스스로 답을 검증하기 위해 코드를 생성하는 자기 점검 (Self-checking) 행동을 자연스럽게 학습한 것이 관찰되었습니다. 이는 훈련 전에는 거의 관찰되지 않았던 행동입니다.
• OOD (Out-of-Distribution) 일반화: 훈련에 사용되지 않은 GPQA 및 AIME 과 같은 새로운 과제도 잘 해결하여 모델의 일반화 능력을 입증했습니다.

5. 의의 (Significance)

이 연구는 LLM 이 코드 인터프리터를 효과적으로 활용하여 복잡한 추론 과제를 해결할 수 있는 구체적인 방법론을 제시했습니다. 특히, 다양한 난이도의 과제가 혼재된 환경에서 RL 훈련이 실패하는 원인을 이론적으로 분석하고, '개선 잠재력'이라는 메트릭을 통해 커리큘럼 학습을 설계한 점은 향후 도구 활용 (Tool-use) 및 에이전트 기반 LLM 연구에 중요한 통찰을 제공합니다. 또한, 훈련 비용을 절감하면서도 SOTA 수준의 성능을 달성한 점은 실제 산업 적용 가능성을 높였습니다.

결론적으로, R1-Code-Interpreter는 텍스트 기반 추론과 코드 실행을 결합하여 반복적인 '실행 - 탐색 (execute-and-explore)' 과정을 통해 최적의 해답을 도출하는 강력한 에이전트 모델을 성공적으로 구현한 사례입니다.