ReflexiCoder: Teaching Large Language Models to Self-Reflect on Generated Code and Self-Correct It via Reinforcement Learning

이 논문은 외부 오라클이나 실행 피드백 없이도 강화 학습을 통해 생성된 코드에 대한 자기 성찰과 자기 수정 능력을 내재화한 새로운 프레임워크 'ReflexiCoder'를 제안하며, 이를 통해 1.5B~14B 크기의 오픈소스 모델 중 최고 성능을 달성하고 추론 시 토큰 효율성을 40% 향상시켰음을 보여줍니다.

핵심

🚀 리플렉시코더 (ReflexiCoder): 코딩을 배우는 AI 의 '스스로 반성하고 고치는' 능력

이 논문은 인공지능 (LLM) 이 코딩을 할 때, 단순히 한 번에 답을 내는 것이 아니라, 스스로 "아, 여기 실수했네?"라고 생각하고 고치는 능력을 배워내게 한 획기적인 연구입니다.

기존의 AI 는 코딩 문제를 받으면 "System 1(즉흥적 사고)"처럼 바로 답을 내놓았습니다. 하지만 복잡한 문제는 한 번에 맞추기 어렵죠. 그래서 보통은 외부의 '정답 확인기 (컴파일러나 테스트)'를 돌려서 틀리면 다시 고치는 방식을 썼습니다. 하지만 이 방법은 시간이 너무 걸리고, 외부 도구가 없으면 AI 가 스스로 고칠 줄 모릅니다.

리플렉시코더는 이 문제를 해결하기 위해 AI 의 머릿속 (모델 가중치) 에 '스스로 반성하고 수정하는 능력'을 직접 심어주었습니다.

---

🧠 핵심 비유: "수험생 AI"와 "스스로 교정하는 선생님"

이 연구를 이해하기 위해 수능을 보는 학생과 스스로 공부하는 학생을 비교해 보겠습니다.

1. 기존 AI (System 1): "일단 찍어보자"

• 상황: 수학 문제를 풀 때, 한 번에 답을 적어냅니다.
• 문제: 틀리면 "아, 제가 틀렸네요"라고 말하지 못합니다.
• 해결책 (기존 방식): 옆에 있는 **선생님 (외부 도구)**이 "이건 틀렸어, 다시 해봐"라고 말해줘야만 고칩니다.
• 단점: 선생님이 항상 옆에 있어야 하고, 질문하고 답변하는 과정이 너무 느립니다.

2. 리플렉시코더 (ReflexiCoder): "스스로 반성하는 천재"

• 상황: 문제를 풀고 나서, **스스로 "잠깐, 이 부분 논리가 이상한데?"라고 생각 (반성)**합니다.
• 행동: "아, 내가 부등호를 잘못 썼네. 고쳐야지!"라고 스스로 수정합니다.
• 특징: 선생님 (외부 도구) 이 없어도 스스로 실수를 찾아내고 고칩니다.
• 결과: 처음부터 더 정확한 답을 내놓거나, 틀려도 아주 빠르게 고쳐서 완벽한 답을 냅니다.

---

🛠️ 어떻게 이런 능력을 가르쳤을까요? (강화 학습의 마법)

연구자들은 AI 에게 "정답을 맞히는 것"뿐만 아니라 "어떻게 생각하고 고치는지"까지 점수를 주는 게임을 시켰습니다.

1. 규칙적인 사고 과정 (Structured Trajectory):

   • AI 가 무작정 떠드는 게 아니라, **[생각 → 답 → 반성 → 수정]**이라는 정해진 순서로 말하도록 훈련했습니다.
   • 마치 에세이를 쓸 때, [초안 → 검토 → 수정] 과정을 거치는 것과 같습니다.

2. 정교한 점수 시스템 (Reward Function):

   • 형식 준수: "반성"과 "수정"이 제대로 된 순서로 나왔는지 확인합니다.
   • 효율성: "너무 길게 고민하지 말고, 핵심만 짚어서 고쳐라"라고 점수를 줍니다. (불필요한 반복을 줄임)
   • 점진적 개선: "처음 답보다 두 번째 답이 더 좋아야 점수를 준다"고 합니다.

이 과정을 통해 AI 는 **"실수를 찾아내는 법"**과 **"최소한의 노력으로 고치는 법"**을 스스로 터득하게 됩니다.

---

🏆 놀라운 성과: 작은 모델이 거인보다 낫다?

이 연구의 결과는 정말 놀랍습니다.

• 성능: 80 억 개 (8B) 의 파라미터를 가진 작은 모델이, 훨씬 큰 상용 모델 (GPT-5.1 등) 과 맞먹거나 심지어 더 좋은 점수를 받았습니다.
• 효율성 (가장 중요한 부분):
  • 보통 "스스로 고치는 과정"을 거치면 토큰 (데이터) 사용량이 늘어나서 느려질 것 같지만, 오히려 더 빨라졌습니다.
  • 비유: 다른 AI 들이 "아, 이거 맞을까? 저거 맞을까?" 하며 10 번을 고민하고 1000 단어를 쓴다면, 리플렉시코더는 "아, 여기가 문제구나!" 하고 바로 1 번만 고쳐서 600 단어만 썼습니다.
  • 결과: 계산 비용은 40% 줄이면서 정확도는 높였습니다.

💡 요약: 왜 이 연구가 중요한가요?

1. 외부 의존성 제거: 컴파일러나 테스트 도구가 없어도 AI 가 스스로 디버깅 (수정) 할 수 있습니다.
2. 빠른 사고: "생각 - 반성 - 수정"을 머릿속에서 아주 빠르게 처리하므로, 느려지는 대신 더 똑똑해집니다.
3. 미래 지향적: 앞으로 AI 가 복잡한 소프트웨어를 개발할 때, 인간처럼 "실수하고 고치는" 과정을 스스로 수행할 수 있는 토대를 마련했습니다.

한 줄 요약:

"리플렉시코더는 AI 에게 '스스로 실수를 발견하고 고치는' 능력을 심어주어, 외부 도움 없이도 더 빠르고 정확하게 코딩하게 만든 혁신적인 기술입니다."

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 코드 생성 분야에서 혁신을 이루었지만, 복잡한 알고리즘적 과제를 해결할 때 여전히 한계에 부딪힙니다.

• System 1 접근법의 한계: 기존의 표준 LLM 은 단일 순방향 통과 (single forward pass) 로 솔루션을 생성하는 'System 1' 방식을 주로 사용합니다. 이는 단순한 문법 생성에는 유리하지만, 복잡한 논리적 오류를 포함하거나 다단계 추론이 필요한 문제에서는 첫 시도에서 기능적으로 잘못된 코드를 생성하는 경우가 많습니다.
• 기존 반복적 개선 전략의 결함: 추론 시간 (inference time) 에 오류를 수정하기 위한 기존 방법들 (재순위화, 외부 리페어러, 피드백 기반 개선 등) 은 다음과 같은 치명적인 단점이 있습니다.
  • 외부 의존성: 컴파일러, 단위 테스트, 인간 오라클 등 외부 피드백이 필수적입니다. 실제 개발 환경에서는 이러한 테스트 환경이 항상 존재하지 않거나 비용이 큽니다.
  • 계산 비용: 여러 번의 프롬프트 - 응답 사이클을 반복하여 토큰 소비와 지연 시간 (latency) 이 크게 증가합니다.
  • 내재적 능력 부재: 모델이 외부 신호에 의존할 뿐, 스스로 논리를 비판하고 수정하는 '내재적 디버깅 능력'을 습득하지 못합니다.

2. 방법론 (Methodology)

저자들은 ReflexiCoder라는 새로운 강화 학습 (RL) 프레임워크를 제안합니다. 이는 외부 피드백 없이 모델의 가중치 내부에 구조화된 추론, 자기 성찰 (Self-Reflection), 자기 수정 (Self-Correction) 능력을 내재화하는 것을 목표로 합니다.

2.1 구조화된 추론 - 성찰 프로세스

모델은 단일 응답이 아닌, 다음과 같은 구조화된 궤적 (Trajectory) 을 생성하도록 학습됩니다:

1. 내부 추론 (Reasoning): 문제 분석 및 초기 사고 과정.
2. 초기 답변 (Initial Answer): 첫 번째 코드 생성.
3. 자기 성찰 (Self-Reflection): 생성된 코드의 버그나 최적화 필요성을 스스로 진단.
4. 자기 수정 (Self-Correction): 성찰 결과를 바탕으로 코드를 수정.
   이 과정은 n 번의 반복 사이클로 구성되며, 모든 단계는 엄격한 포맷 준수 (Format Compliance) 를 요구합니다.

2.2 RL-Zero 학습 패러다임

기존의 지도 학습 (SFT) 을 거치지 않고, RL-Zero 방식을 사용하여 모델이 자체 파라미터 공간에 맞는 효율적인 성찰 - 수정 패턴을 자율적으로 발견하도록 합니다.

2.3 세분화된 보상 함수 (Granular Reward Functions)

모델의 학습을 유도하기 위해 다음과 같은 복합 보상 함수를 설계했습니다:

• 포맷 준수 보상 (Format Compliance, $F(\tau)$): 추론 - 답변 - 성찰 - 수정의 구조가 엄격하게 지켜지지 않으면 보상을 0 으로 처리하여 학습의 기본 조건을 강제합니다.
• 사이클 규제 (Cycle Regulation, $P(n)$): 불필요한 반복을 방지하기 위해 성찰 횟수에 따라 보상을 감쇠시킵니다. 특히, 모델이 특정 오류 상태에 갇히는 것을 방지하기 위해 사인 (sin) 함수를 활용한 진동적 페널티를 도입하여 탐색을 유도합니다.
• 점진적 품질 개선 (Iterative Quality Improvement, $R_{trajectory}$): 단순히 최종 결과만 평가하는 것이 아니라, 각 단계별 코드 품질의 개선 ($\Delta r_t$) 에 대해 가중치를 두어 점진적인 개선을 장려합니다.
• 효율성 보상 (Efficiency Bonus, $E(n)$): 최소한의 단계로 최대의 품질 향상을 이루는 것을 장려하여 토큰 효율성을 높입니다.

2.4 GRPO 적용

GRPO (Group Relative Policy Optimization) 알고리즘을 사용하여 가치 함수 (Value Function) 없이 그룹 정규화된 이점 추정치를 통해 정책 업데이트의 안정성을 높이고 분산을 줄였습니다.

3. 주요 기여 (Key Contributions)

1. 내재적 자기 수정 능력의 정립: 외부 오라클이나 실행 환경 없이, 추론 시간 (inference time) 에 모델이 스스로 버그를 발견하고 수정하는 완전 자율적인 능력을 강화 학습을 통해 구현했습니다.
2. 궤적 최적화 (Trajectory Optimization): 기존 코드 생성 RL 이 단일 생성 정책을 최적화하는 것과 달리, ReflexiCoder 는 '생성 - 성찰 - 수정'이라는 전체 궤적 자체를 최적화하여 모델에게 "어떻게 디버깅할지"라는 인지적 기술을 가르칩니다.
3. SOTA 성능 달성: 1.5B~14B 범위의 오픈소스 모델 중 최고 성능을 기록했으며, GPT-5.1 과 같은 독점 모델과 경쟁하거나 능가하는 결과를 달성했습니다.
4. 토큰 효율성 증대: 반복적 추론을 수행함에도 불구하고, 학습된 효율적인 사고 패턴 덕분에 베이스 모델 대비 추론 시 토큰 소비를 약 40% 줄였습니다.

4. 실험 결과 (Results)

7 개의 주요 벤치마크 (HumanEval, MBPP, BigCodeBench, LiveCodeBench, CodeForces 등) 에서 ReflexiCoder-8B를 평가했습니다.

• 성능:
  • HumanEval: 94.51% (Single), 95.73% (Multiple)
  • LiveCodeBench: 52.21% (Single), 54.12% (Multiple)
  • CodeForces: 37.34% (Single), 37.68% (Multiple)
  • 특히 Single-attempt(단일 시도) 설정에서도 베이스 모델 (Qwen3-8B) 대비 LiveCodeBench 에서 14.46%p, CodeForces 에서 13.64%p 의 압도적인 개선을 보였습니다. 이는 RL 학습이 모델의 근본적인 문제 해결 능력을 향상시켰음을 의미합니다.
• 비교: 8B 규모의 모델임에도 불구하고, 14B 규모의 DeepCoder-Preview 나 GPT-5.1 과 유사하거나 더 나은 성능을 보였습니다.
• 토큰 효율성:
  • 반복 모드 (Multiple) 에서도 전체 토큰 사용량이 베이스 모델보다 약 40% 적었습니다.
  • 모델이 불필요한 추론을 줄이고 핵심 논리만 빠르게 도출하도록 학습되었기 때문입니다.
  • HumanEval 과 BigCodeBench 에서 거의 모든 작업 (164/164, 1139/1140) 에서 정확히 1 번의 성찰 사이클만 수행하여 최적의 궤적을 학습했음을 확인했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 코드 생성 분야에서 외부 피드백에 의존하는 수동적 개선 방식에서, 모델이 스스로를 디버깅하는 능동적 인지 능력으로의 전환을 주도했습니다.
• 확장성: 모델의 크기가 커질수록 (0.6B~14B) RL 학습의 효과가 더 크게 나타나는 것을 확인하여, 대규모 모델일수록 내재적 자기 수정 전략을 더 효과적으로 습득함을 증명했습니다.
• 실용성: 단위 테스트나 컴파일러가 없는 실제 개발 환경에서도 모델이 스스로 오류를 수정할 수 있는 능력을 갖추었으므로, 실제 소프트웨어 엔지니어링 적용 가능성이 높습니다.

결론적으로 ReflexiCoder 는 강화 학습을 통해 LLM 에게 인간의 '내면의 독백 (inner monologue)'과 같은 자기 성찰 및 수정 능력을 내재화함으로써, 계산 비용 증가 없이도 복잡한 코딩 과제의 정확도와 효율성을 동시에 극대화한 획기적인 접근법입니다.