An Iterative Test-and-Repair Framework for Competitive Code Generation

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 코드 생성 분야에서 괄목할 만한 성과를 거두었으나, 경쟁적 프로그래밍 (Competitive Programming) 분야에서는 여전히 한계를 보입니다. 경쟁적 프로그래밍 문제는 엄격한 논리적 제약을 가지며, 모델이 일부 테스트 케이스는 통과하지만 숨겨진 논리적 오류 (Implementation-specific bugs) 로 인해 전체 테스트 세트를 통과하지 못하는 경우가 빈번합니다.

기존의 최신 방법론인 CURE는 강화 학습 (RL) 을 통해 '코드 생성기 (Coder)'와 '테스트 생성기 (Tester)'를 단일 모델로 통합하여 훈련했습니다. 그러나 CURE 는 두 가지 치명적인 한계가 있습니다:

1. 맹목적인 테스트 생성: Tester 가 생성된 후보 코드를 읽지 않고 오직 문제 설명만으로 테스트를 생성합니다. 따라서 구현 단계의 특정 버그를 드러내는 테스트를 만들기 어렵습니다.
2. 수정 (Repair) 메커니즘 부재: Coder 는 매번 처음부터 새로운 코드를 생성할 뿐, 실패한 테스트를 바탕으로 기존 코드를 수정하는 법을 배우지 못합니다. 이는 이미 존재하는 올바른 로직을 버리고 실수를 반복할 가능성을 높입니다.

2. 제안 방법론: FixAudit (Methodology)

저자들은 경쟁적 코드 생성을 "여러 후보를 생성하여 선택하는 방식"이 아닌, **"현재 후보를 중심으로 한 지속적인 표적 테스트 및 수정 (Test-and-Repair) 디버깅 과정"**으로 재정의했습니다. 이를 위해 FixAudit라는 새로운 프레임워크를 제안했습니다.

핵심 아키텍처

단일 공유 LLM 내에서 두 가지 전문화된 역할 (Fixer, Auditor) 을 수행하도록 훈련합니다. 전체 과정은 4 단계로 구성됩니다.

• Stage A: 실행 정렬 감독 미세 조정 (Execution-Aligned SFT)

  • 목표: 모델에 프로그램 실행 추론 (Execution Reasoning) 능력을 부여합니다.
  • 작업:
    1. 프로그램 출력 예측: 주어진 입력에 대한 프로그램의 실행 결과를 예측.
    2. 명세에서 출력 유도: 문제 설명과 입력만으로 정답을 유도.
  • 의의: Fixer 가 버그 원인을 파악하고, Auditor 가 유효한 테스트 케이스를 생성하는 데 필요한 기초 능력을 함양합니다.

• Stage B: Fixer RL (1 차 수정)

  • 목표: 주어진 실패한 테스트를 기반으로 초기 버그가 있는 코드를 수정합니다.
  • 방식: 기존 CURE 와 달리, 코드를 처음부터 다시 쓰는 것이 아니라 기존 코드를 기반으로 **표적 수정 (Targeted Repair)**을 수행합니다.
  • 보상 설계: "해로운 수정 방지 (Do no harm)" 원칙을 적용하여, 기존에 통과하던 테스트를 깨뜨리지 않으면서 실패한 테스트를 통과하도록 해야 보상을 받습니다.

• Stage C: Auditor RL (버그 노출 테스트 생성)

  • 목표: 수정된 코드의 숨겨진 버그를 드러내는 새로운 테스트를 생성합니다.
  • 혁신: CURE 의 Tester 와 달리, Auditor 는 수정된 후보 코드를 직접 읽습니다. 이를 통해 코드의 특정 로직 결함을 파악하고, 이를 유발하는 적대적인 입력 (Adversarial Input) 을 생성합니다.
  • 보상 설계: 목표 코드를 실패하게 만드는 테스트를 생성할 때 보상을 받으며, 보조 후보 풀 (Auxiliary Pool) 을 활용한 보상 형성 (Reward Shaping) 을 통해 학습 효율성을 높입니다.

• Stage D: Fixer RL (2 차 정제)

  • 목표: Auditor 가 발견한 새로운 버그를 기반으로 코드를 최종적으로 정제합니다.
  • 방식: Auditor 가 생성한 테스트를 '힌트'로 활용하여 Fixer 가 더 깊은 논리적 오류를 수정하도록 유도합니다. Auditor 의 테스트가 완벽하지 않을 수 있으므로, Fixer 는 숨겨진 테스트 세트 (Ground Truth) 를 기준으로 최종 정확도를 평가받습니다.

학습 알고리즘

모든 RL 단계 (B, C, D) 에서는 DAPO (Decoupled Clip and Dynamic Sampling Policy Optimization) 알고리즘을 사용하여 희소 보상 (Sparse Reward) 환경에서의 탐색과 수렴을 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 관점 제시: 경쟁적 코드 생성을 다수의 후보 생성이 아닌, 현재 후보를 중심으로 한 표적 디버깅 (Test-and-Repair) 순환 과정으로 접근했습니다.
2. FixAudit 프레임워크 개발: 실행 추론 능력을 기반으로 한 4 단계 훈련 파이프라인을 구축하여, 버그를 수정하는 'Fixer'와 버그를 드러내는 테스트를 생성하는 'Auditor'를 단일 모델 내에서 협력하도록 훈련했습니다.
3. 성능 입증: 7B 모델 기반의 FixAudit 가 32B 모델의 제로샷 (Zero-shot) 성능을 능가하고, 기존 강력한 베이스라인 (CURE, Specine) 보다 월등한 성능을 보임을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

APPS, CodeContests, xCodeEval 의 3 가지 벤치마크에서 평가되었습니다.

• 모델 크기 대비 성능: 7B 모델 기반의 FixAudit 는 같은 계열의 **32B 모델 (Zero-shot)**보다 평균 Pass@1 에서 24.9%, AvgPassRatio 에서 40.5% 더 높은 성능을 기록했습니다. (GPT-4o-mini 보다도 46.6% 높은 Pass@1 기록)
• 베이스라인 대비 성능: 동일한 7B 베이스 모델 위에서 훈련된 강력한 베이스라인 (Specine, CURE) 과 비교했을 때, FixAudit 는 평균 Pass@1 을 35.1%~36.8% 향상시켰고, AvgPassRatio 는 7.1%~24.5% 향상시켰습니다.
• 반복 효율성 (Iteration Efficiency): FixAudit 는 적은 반복 횟수 (1 회 전체 테스트 - 수정 사이클) 만으로도 다른 프레임워크의 최종 성능을 능가했습니다. 이는 각 반복이 이전 실패에 기반한 표적 수정을 수행하기 때문에 성능 향상이 더 효율적임을 의미합니다.
• 성분 분석 (Ablation Study):
  • Stage A(SFT) 제거 시 성능이 크게 저하되어 실행 추론의 중요성을 확인했습니다.
  • Auditor 가 코드를 읽지 않는 경우 (Blind Auditor) 성능이 감소하여, 코드 기반 테스트 생성이 핵심임을 입증했습니다.
  • Auditor 의 테스트를 '힌트'로만 활용하고 강제 조건으로 두지 않는 설계가 과적합을 방지하는 데 효과적이었습니다.

5. 의의 및 결론 (Significance)

FixAudit 는 경쟁적 프로그래밍과 같은 고난이도 코드 생성 작업에서 단순한 생성 (Generation) 을 넘어선 디버깅 (Debugging) 의 중요성을 강조합니다. 특히, 생성된 코드를 분석하여 표적 테스트를 만들고, 이를 바탕으로 코드를 점진적으로 수정하는 폐루프 (Closed-loop) 메커니즘이 모델의 실행 추론 능력을 극대화하여, 작은 모델로도 거대 모델이나 상용 API 를 능가하는 성능을 달성할 수 있음을 보여줍니다. 이는 향후 LLM 기반 코드 생성 시스템의 설계 방향에 중요한 통찰을 제공합니다.