ExecVerify: White-Box RL with Verifiable Stepwise Rewards for Code Execution Reasoning

이 논문은 실행 단계별 검증 가능한 보상과 난이도 조절이 가능한 데이터 합성을 통해 강화학습을 적용한 'ExecVerify'를 제안함으로써, 7B 모델이 32B 모델 수준의 코드 추론 성능을 달성하고 코드 생성 정확도를 크게 향상시킨다는 것을 보여줍니다.

핵심

이 논문은 **"코드를 짜는 AI(대형 언어 모델) 가 코드를 실제로 실행해 볼 때, 그 과정을 제대로 이해하고 있는지"**를 가르치는 새로운 방법을 소개합니다.

기존의 AI 는 코드를 읽을 때 마치 외국어를 외우는 학생처럼, "입력 (Input) 이면 출력 (Output) 은 이렇게 나오는구나"라고 암기하는 데 그쳤습니다. 하지만 코드가 실제로 어떻게 돌아가는지 (변수의 값이 어떻게 변하는지, 어떤 줄이 먼저 실행되는지) 는 모른 채 답만 맞추려 했습니다.

이 논문은 이를 해결하기 위해 **'ExecVerify(실행 검증)'**라는 시스템을 만들었습니다. 일상적인 비유로 설명해 드리겠습니다.

---

1. 문제: "암기형 학생" vs "이해형 학생"

• 기존 방법 (SFT, 지도 학습):
  선생님이 "이 코드를 실행하면 결과가 A 가 돼"라고 말해주면, 학생은 그 말만 외워서 "A!"라고 외칩니다.

  • 문제점: 중간 과정을 몰라도 됩니다. "왜 A 가 된 거지?"를 물어보면 "선생님이 그렇게 했으니까요"라고 대답할 뿐, 실제 계산 과정을 모릅니다. 코드가 조금만 바뀌어도 엉뚱한 답을 냅니다.

• ExecVerify 의 접근 (화이트박스 강화 학습):
  선생님이 "이 코드를 실행해 보자. 1 단계에서는 변수 result 의 값이 뭐가 되지? 2 단계에서는 어떤 줄이 실행될까?"라고 중간중간 퀴즈를 냅니다.

  • 핵심: AI 가 코드를 실행하는 컴퓨터 (인터프리터) 와 연결해서, 실제 실행되는 과정을 하나하나 확인하며 학습시킵니다.

2. 해결책: "코딩 교실"의 3 단계 전략

이 논문은 AI 를 가르치는 과정을 3 단계로 나눕니다.

1 단계: "난이도 조절된 문제지 만들기" (데이터 합성)

기존에 있는 코드는 너무 쉽거나, 너무 어려워서 AI 가 배울 수 없었습니다.

• 비유: 수학 선생님이 학생 수준에 맞춰 문제를 직접 만든다고 상상해 보세요.
  • "단순한足셈"부터 시작해서, "중첩된 루프 (for 문 안에 for 문)"가 들어간 복잡한 문제까지, 난이도별로 딱 맞는 문제를 AI 가 스스로 만들어냅니다.
  • 이렇게 하면 AI 는 쉬운 문제에서 기초를 다지고, 점점 어려운 문제에서 실력을 키울 수 있습니다.

2 단계: "실시간 피드백을 주는 코딩 교실" (화이트박스 강화 학습)

이게 이 논문의 가장 큰 혁신입니다.

• 기존: AI 가 코드를 짜고 실행해 보니 결과가 맞으면 "정답!", 틀리면 "오답!"이라고만 알려줍니다. (결과만 봄)
• ExecVerify: AI 가 코드를 실행하는 중간중간에 "지금 변수 x 의 값은 뭐야?", "다음 줄은 어디로 갈 거야?"라고 물어봅니다.
  • 비유: 요리사가 요리를 할 때, 요리사가 "소금을 얼마나 넣었어?", "불은 어느 정도야?"라고 중간중간 체크하는 것과 같습니다.
  • AI 가 **중간 과정 (변수의 값, 제어 흐름)**을 정확히 맞혀야 점수를 받습니다. 이렇게 하면 AI 는 단순히 답을 외우는 게 아니라, **코드가 어떻게 돌아가는지 '이해'**하게 됩니다.

3 단계: "실전 코딩 대회" (코드 생성 강화 학습)

이제 AI 가 코드를 실행하는 원리를 완벽하게 이해했으니, 실제 코드를 만들어내는 훈련을 합니다.

• 비유: 이제 이론과 실행 원리를 다 배운 학생이, 실제 요리 대회에 나가서 맛있는 요리를 만들어냅니다.
• AI 가 만든 코드가 테스트를 통과하면 점수를 주고, 통과하지 못하면 다시 고치게 합니다. 이때 2 단계에서 배운 '실행 원리' 덕분에 훨씬 더 정확한 코드를 만들게 됩니다.

3. 결과: 작은 AI 가 거인 AI 를 이기다

• 놀라운 성과: 이 방법으로 훈련된 **70 억 개 (7B)**의 작은 AI 모델이, **320 억 개 (32B)**나 되는 거대 AI 모델과 코드를 실행하는 능력에서 거의 비슷하거나 더 좋은 성적을 냈습니다.
• 코드 생성 능력: 단순히 코드를 실행하는 것뿐만 아니라, 새로운 코드를 작성하는 능력도 기존 방법보다 최대 5.9% 향상되었습니다.

4. 요약: 왜 이 연구가 중요한가?

기존의 AI 는 **"결과만 맞추는 암기왕"**이었다면, 이 논문의 ExecVerify는 **"원리를 이해하는 코딩 천재"**를 만듭니다.

• 창의적 비유:
  • 기존: 길찾기 앱이 "A 에서 B 로 가려면 오른쪽으로 3 번, 왼쪽으로 2 번"이라고 외운다. (길 바뀜에 취약)
  • ExecVerify: 길찾기 앱이 "왜 오른쪽으로 가야 하는지, 신호등은 어떻게 작동하는지"를 이해한다. (새로운 길도 스스로 찾아낼 수 있음)

이 기술은 작고 효율적인 AI 모델이 복잡한 코딩 작업을 수행할 수 있게 해주며, 앞으로 더 똑똑하고 신뢰할 수 있는 코딩 도우미를 만드는 데 큰 발걸음이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

코드 생성을 위한 대규모 언어 모델 (LLM) 은 여전히 코드 실행 추론 (Code Execution Reasoning) 능력, 특히 작은 모델에서 심각한 한계를 보입니다. 기존 연구들은 주로 교사 모델이 생성한 설명을 모방하는 **지도 미세 조정 (SFT)**에 의존해 왔으나, 다음과 같은 근본적인 문제점이 존재합니다.

• 검증 불가능한 중간 단계: 기존 SFT 는 입력 - 출력 (I/O) 예측 체인이나 자연어 실행 궤적 (Trace) 에 대한 텍스트 모방에 집중합니다. 이 과정에서 변수의 값, 타입, 제어 흐름과 같은 중간 실행 단계는 명시적으로 검증되지 않습니다. 결과적으로 모델은 실행 로직을 이해하는 것이 아니라 교사의 텍스트 설명을 단순히 암기 (Overfitting) 하는 경향이 있습니다.
• 데이터 난이도 통제 부재: 기존 훈련 데이터는 수동 수집이나 무작위 생성에 의존하여, 너무 쉬운 문제 (Trivial) 나 풀 수 없는 문제 (Unsolvable) 가 혼재되어 있으며, 체계적인 학습 커리큘럼이 부족합니다.

2. 제안 방법론: ExecVerify

저자들은 ExecVerify라는 새로운 프레임워크를 제안합니다. 이는 텍스트 모방을 넘어 실행 궤적에서 도출된 검증 가능한 화이트박스 (White-Box) 보상을 강화 학습 (RL) 에 통합하여 모델의 실행 추론 능력을 향상시킵니다.

2.1. 제약 기반 데이터 합성 (Constraint-Based Data Synthesis)

고품질의 훈련 데이터를 구축하기 위해 다음과 같은 과정을 거칩니다.

• 구조적 제약 (Structural Constraints): 파이썬 내장 타입과 메서드를 순회하며, 중첩된 메서드 호출, 제어 구조 (if/for/while) 의 중첩 깊이 등을 명시적으로 제약하는 프롬프트를 사용하여 코드를 생성합니다.
• 난이도 커리큘럼: 단순한 코드에서 시작하여 점진적으로 복잡한 중첩 구조를 도입하는 방식으로 데이터를 생성합니다.
• 입력 합성 및 필터링: 생성된 코드에 대해 다양한 입력 (Mutation 포함) 을 생성하고, 실행 오류가 없는지 확인한 후, 기존 모델 (Qwen2.5-Coder-7B) 이 풀기 어렵지만 해결 가능한 난이도로 필터링하여 최종 훈련 세트를 구성합니다.

2.2. 2 단계 후학습 파이프라인 (Two-Stage Post-Training)

모델 학습은 두 단계로 나뉩니다.

• 1 단계: 화이트박스 RL 을 통한 코드 실행 추론 강화

  • SFT 워밍업: 강력한 교사 모델이 생성한 I/O 추론 체인으로 초기화합니다.
  • 화이트박스 보상 (White-Box Rewards): 인터프리터에서 추출한 실행 궤적 (Trace) 을 기반으로 검증 가능한 질문을 생성합니다.
    • 제어 흐름 질문 (Control-flow): 다음 실행될 문장은 무엇인가?
    • 데이터 흐름 질문 (Data-flow): 특정 문장 실행 후 변수의 값과 타입은 무엇인가?
  • 보상 함수: 최종 I/O 정답뿐만 아니라, 중간 실행 단계 (변수 상태, 제어 흐름) 에 대한 정답을 예측했을 때 보상을 부여합니다. 이를 통해 모델이 텍스트 모방이 아닌 실행 과정의 의미론적 정확성을 학습하도록 유도합니다.
  • 알고리즘: GRPO (Group Relative Policy Optimization) 사용.

• 2 단계: 단위 테스트 (Unit-Test) 기반 코드 생성 RL

  • 1 단계에서 강화된 실행 추론 능력을 바탕으로, 실제 코드 생성 태스크 (Pass/Fail 단위 테스트) 에 대해 RL 을 수행합니다.
  • 이 단계에서는 생성된 코드가 기능적으로 올바른지 확인하는 보상을 사용하여, 추론 능력을 생성 능력으로 전이 (Transfer) 시킵니다.

3. 주요 기여 (Key Contributions)

1. 검증 가능한 단계별 보상 (Verifiable Stepwise Rewards): 실행 궤적에서 직접 추출한 화이트박스 질문을 통해 중간 단계의 정확성을 검증하고 보상하는 새로운 RL 패러다임을 제안했습니다. 이는 기존 SFT 의 '블랙박스' 텍스트 모방 문제를 해결합니다.
2. 제약 기반 난이도 조절 데이터 합성: 구조적 제약과 난이도 필터링을 통해 소규모 모델에게도 도전적이지만 해결 가능한 커리큘럼 스타일의 데이터를 자동으로 생성하는 파이프라인을 구축했습니다.
3. 효율적인 2 단계 학습 전략: 먼저 실행 추론을 강화하고, 이를 기반으로 코드 생성으로 전이하는 전략을 통해, 작은 모델 (7B) 이 대형 모델 (32B) 과 경쟁할 수 있는 성능을 달성했습니다.

4. 실험 결과 (Results)

• 코드 실행 추론 (Code Reasoning):
  • ExecVerify 로 학습된 7B 모델은 CRUXEval, LiveCodeBench-Exec, REval 등 주요 벤치마크에서 **Qwen2.5-Coder-32B-Instruct(32B)**와 경쟁 가능한 성능을 달성했습니다.
  • 평균 점수는 60.8 에서 80.8로 20 포인트 이상 향상되었습니다.
• 코드 생성 (Code Generation):
  • 2 단계 RL 을 적용한 후, EvalPlus, LiveCodeBench, BigCodeBench 등에서 기존 강력한 후학습 베이스라인 대비 Pass@1 기준 최대 5.9% 향상을 보였습니다.
  • 화이트박스 RL 을 거친 모델이 단위 테스트 RL 만을 거친 모델보다 일관되게 더 높은 성능을 보여주어, 미세한 실행 지식 (제어 흐름, 변수 상태 추적) 이 생성 작업에도 전이됨을 입증했습니다.
• 일반화 및 효율성:
  • 다국어 일반화: 파이썬 외 Java, C++, Go 등 다른 언어에서도 실행 추론 능력이 전이되는 것을 확인했습니다.
  • 데이터 효율성: 동일한 데이터 양 (15K) 으로 비교했을 때, 기존 데이터셋 (PYX-Sub, CodeI/O 등) 보다 훨씬 높은 성능을 기록하여 데이터의 질적 우수성을 입증했습니다.
  • 모델 크기/아키텍처: 3B, 8B, 7B 등 다양한 크기와 아키텍처 (Qwen, Llama) 에서 일관된 개선을 보였습니다.

5. 의의 및 결론 (Significance)

ExecVerify 는 코드 LLM 이 단순히 코드를 생성하는 것을 넘어, **코드가 어떻게 실행되는지 (Execution Reasoning)**를 깊이 이해하도록 만드는 중요한 전환점을 제시합니다.

• 기술적 의의: 텍스트 기반의 모방 학습을 탈피하여, 실행 환경 (Interpreter) 과 직접 상호작용하며 검증 가능한 보상을 제공하는 화이트박스 RL의 유효성을 입증했습니다.
• 실용적 의의: 상대적으로 작은 모델 (7B) 을 통해 대형 모델 수준의 추론 능력을 달성함으로써, 비용 효율적인 코드 어시스턴트 개발 가능성을 열었습니다.
• 미래 전망: 이 프레임워크는 라이브러리 의존 코드, 프로젝트 수준의 다중 파일 실행 등으로 확장 가능하며, 코드 생성의 정확성과 신뢰성을 높이는 핵심 기술로 평가됩니다.

요약하자면, ExecVerify는 "코드를 실행해 보지 않고는 코드를 제대로 이해할 수 없다"는 명제를 증명하며, 검증 가능한 실행 단계 보상을 통해 소규모 모델의 추론 능력을 획기적으로 향상시킨 획기적인 연구입니다.