How Many Tries Does It Take? Iterative Self-Repair in LLM Code Generation Across Model Scales and Benchmarks

1. 연구 배경 및 문제 제기 (Problem)

• 현재의 한계: 대규모 언어 모델 (LLM) 은 자연어 명세에서 기능적으로 올바른 코드를 생성하는 능력이 크게 향상되었으나, 대부분의 벤치마크 (HumanEval, MBPP 등) 는 단일 시도 (Single-shot, pass@1) 환경에서 모델을 평가합니다. 이는 실제 개발자가 코드를 작성하고 실행 오류를 확인하며 반복적으로 수정하는 실제 개발 워크플로우와 동떨어져 있습니다.
• 선행 연구의 모순: 이전 연구 (Olausson et al., 2023 등) 에서는 약한 모델들이 자기 수정 (Self-Repair) 과정에서 오히려 성능이 저하되거나 새로운 오류를 도입한다고 주장했습니다. 또한, 소규모 모델의 자기 수정 능력을 활성화하려면 파인튜닝이 필수적이라는 결과가 있었습니다.
• 연구 질문: 2024~2025 년에 출시된 최신 지시 따르기 (Instruction-tuned) 모델들과 혼합 전문가 (MoE) 아키텍처를 가진 모델들은 파인튜닝 없이 프롬프트만으로 자기 수정이 가능한가? 모델 규모와 아키텍처 (Dense vs. MoE) 에 따라 자기 수정의 효율성은 어떻게 달라지는가?

2. 방법론 (Methodology)

• 실험 대상 모델: 3 가지 계열 (Meta, Alibaba, Google) 의 7 개 모델을 평가했습니다.
  • 오픈 가중치 (Groq API): Llama 3.1 8B (Dense), Llama 3.3 70B (Dense), Llama 4 Scout (MoE, 16 experts), Llama 4 Maverick (MoE, 128 experts), Qwen3 32B (Dense).
  • 프로プライ에타리 (Google Vertex AI): Gemini 2.5 Flash, Gemini 2.5 Pro.
• 벤치마크: HumanEval (164 문제) 과 MBPP Sanitized (257 문제).
• 자기 수정 프로토콜 (Iterative Self-Repair):
  1. 모델이 초기 코드 (Round 0) 를 생성합니다.
  2. 테스트 실패 시, 오류 메시지 (Error Traceback) 를 모델에게 피드백합니다.
  3. 모델은 원래 문제, 이전 시도 코드, 오류 메시지를 바탕으로 수정된 코드를 생성합니다.
  4. 이 과정을 최대 5 회 (초기 1 회 + 수정 4 회) 반복합니다.
  5. 모든 모델은 Greedy Decoding (Temperature=0.0) 을 사용하여 재현성을 확보했습니다.
• 추가 분석:
  • 오류 유형별 분석: Syntax, Name, Assertion 등 오류 유형별 수정 성공률 측정.
  • 프롬프트 추론 (Ablation): 최소 프롬프트 vs. 설명 후 수정 (Explain-then-fix) vs. 사고의 사슬 (Chain-of-Thought, CoT) 전략 비교.
  • 비교 분석: 자기 수정 (순차적) vs. 독립적 리샘플링 (병렬적, Temperature=0.8) 의 토큰 효율성 비교.

3. 주요 기여 (Key Contributions)

1. 보편적인 자기 수정 효과 입증: 이전 연구와 달리, 8B 규모의 작은 모델부터 70B 및 MoE 모델까지 모든 최신 지시 따르기 모델이 파인튜닝 없이 프롬프트만으로 자기 수정을 통해 성능을 향상시킴을 증명했습니다.
2. Dense vs. MoE 아키텍처 비교: 자기 수정에 대한 밀집 (Dense) 모델과 혼합 전문가 (MoE) 모델의 상호작용 패턴을 최초로 비교 분석했습니다.
3. 오류 유형별 통찰: 논리적 오류 (Assertion Error) 가 문법 오류 (Syntax) 나 이름 오류 (Name Error) 보다 수정이 훨씬 어렵다는 것을 정량화했습니다.
4. 실무 가이드라인 도출: 대부분의 개선 효과는 초기 2 회 수정 라운드에서 발생함을 확인하여, 배포 시 비용 효율적인 전략을 제시했습니다.
5. 프롬프트 전략 최적화: 유능한 모델 (70B 이상) 에서는 Chain-of-Thought (CoT) 프롬프팅이 최소 프롬프트보다 추가적인 성능 향상을 가져온다는 것을 보였습니다.

4. 주요 결과 (Results)

A. 성능 향상 (Pass Rate Improvement)

• 보편적 개선: 모든 7 개 모델이 HumanEval 과 MBPP 에서 자기 수정을 통해 성능이 향상되었습니다.
  • HumanEval: 모든 모델이 +4.9%p ~ +17.1%p 의 개선 효과를 보임.
  • MBPP: 개선 폭이 더 커서 +16.0%p ~ +30.0%p 에 달함.
• 최고 성능: Gemini 2.5 Flash가 HumanEval 96.3%, MBPP 93.8% 로 가장 높은 최종 통과율을 기록했습니다.
• 가장 큰 개선 폭: Gemini 2.5 Pro가 HumanEval 에서 +17.1%p 로 가장 큰 개선 폭을 보였으나, 초기 통과율이 낮아 최종 점수는 Flash 보다 낮았습니다.

B. 아키텍처 및 규모별 차이

• MoE 의 효과: Llama 4 Scout (16 experts) 는 오픈 가중치 모델 중 HumanEval 에서 가장 큰 개선 폭 (+14.0%p) 을 보이며 MoE 아키텍처가 오류 수정에 유리할 수 있음을 시사했습니다.
• 규모의 역설: Llama 3.1 8B 와 같은 작은 모델도 자기 수정을 통해 유의미한 개선을 보였으나, Qwen3 32B 와 같이 초기 성능이 높은 모델은 개선 폭이 상대적으로 작았습니다 (+4.9%p).

C. 오류 유형별 수정 성공률

• Name Error: 약 77% 의 높은 수정 성공률 (구체적인 오류 정보 제공).
• Syntax Error: 약 66% 의 수정 성공률.
• Assertion Error (논리적 오류): 약 45% 로 가장 낮은 수정 성공률. 모델이 논리적 오류를 스스로 진단하고 수정하는 데 한계가 있음을 보여줍니다.

D. 수렴 패턴 및 토큰 효율성

• 수렴: 모든 모델의 성능 향상은 첫 번째 수정 (R1) 과 두 번째 수정 (R2) 에 집중되었습니다. 3 회 이후의 추가 라운드는 체감되는 개선 효과가 미미했습니다.
• 리샘플링 vs. 자기 수정:
  • 유능한 모델 (70B, Qwen3, Flash): 자기 수정이 독립적 리샘플링보다 더 적은 토큰으로 동등하거나 더 높은 성능을 달성했습니다. (예: Llama 3.3 70B 는 자기 수정이 리샘플링보다 2 배 이상 적은 토큰으로 더 높은 통과율 기록).
  • 약한 모델 (8B): 리샘플링이 자기 수정보다 약간 더 나은 성능을 보였으나, 차이는 크지 않았습니다.

E. 프롬프트 추론 (Ablation) 결과

• Chain-of-Thought (CoT): Llama 3.3 70B 모델에서 CoT 프롬프트를 사용한 경우, 최소 프롬프트 대비 추가 +5.5%p 의 개선 효과를 보였습니다. 모델의 능력이 클수록 CoT 의 이점이 커지는 경향이 있었습니다.

5. 의의 및 결론 (Significance)

• 실무적 함의:
  • LLM 기반 코드 생성 시스템 배포 시, 최소 2 회의 자기 수정 라운드를 포함하는 것이 비용 대비 효율이 가장 높습니다.
  • 오류 유형에 따른 라우팅 전략: Name/Syntax 오류는 자기 수정으로 해결하되, Assertion 오류 (논리적 오류) 는 다중 샘플링 (Resampling) 등 다른 전략과 병행하는 것이 효과적일 수 있습니다.
  • 모델 선택: 최종 통과율이 중요하다면 Gemini 2.5 Flash 나 Maverick 을, 토큰 효율성을 고려한다면 Llama 3.3 70B 나 Gemini 2.5 Pro 를 선택하는 것이 좋습니다.
• 학술적 의의:
  • 20222023 년 연구에서 "약한 모델은 자기 수정이 불가능하다"거나 "파인튜닝이 필요하다"던 통념을 깨고, **20242025 년 최신 모델들은 프롬프트 엔지니어링만으로 자기 수정이 가능함**을 증명했습니다.
  • Dense 와 MoE 아키텍처 간의 자기 수정 역동성을 비교한 최초의 연구로서, 모델 아키텍처가 오류 수정 능력에 미치는 영향을 규명했습니다.

이 논문은 LLM 의 코드 생성 능력을 극대화하기 위해 반복적 자기 수정 (Iterative Self-Repair) 이 훈련 없이도 적용 가능한 강력한 전략임을 입증하고, 구체적인 배포 가이드라인을 제시했다는 점에서 의의가 큽니다.