기술 요약: 코드 LLM의 재귀적 자기 학습 붕괴 (Recursive Self-Training Collapse)

1. 문제 정의

본 논문은 코드 대규모 언어 모델(Code LLM)에서 발생하는 **재귀적 자기 학습 붕로(recursive self-training collapse)**의 위험성을 조사한다. AI 코딩 도구(예: GitHub Copilot, Cursor)가 생성한 코드가 공개 저장소에 점점 더 많이 병합됨에 따라, 미래의 학습 코퍼스는 상당 부분 AI가 생성한 코드로 구성될 가능성이 높다. 만약 모델이 이전에 생성했던 데이터로 미세 조정(fine-tuning)되고, 그 데이터가 외부의 품질 제어 없이 다음 세대 모델의 학습에 다시 사용된다면, 시스템은 "자기 소비적(self-consuming)" 루프에 진입하게 된다.

핵심 문제는 신선한 인간 데이터나 외생적 품질 신호(exogenous quality signals)가 없다면, 이 루프가 **모델 붕괴(model collapse)**로 이어질 수 있다는 점이다:

• 분포 드리프트(Distributional Drift): 모델이 원래의 데이터 분포를 따르기보다 자신의 이전 출력물을 모방하는 법을 배운다.
• 오류 증폭(Error Amplification): 생성된 코드에 포함된 버그, 불완전한 로직, 스타일적 협소함이 후속 세대에서 복제되고 강화된다.
• 다양성 상실(Loss of Diversity): 모델이 저분산(low-variance), 저품질 출력값으로 수렴하여 프로그래밍 과제를 효과적으로 해결하지 못하게 된다.

본 논문은 특히 세 가지 재귀적 학습 체제를 대조한다:

1. 검토 없음 (Ungated): 생성된 모든 코드가 재사용됨.
2. 인간 게이트 검토 (Human-Gate Review): 모델과 독립적인 신호(예: 컴파일, 정적 분석, 실행 테스트)에 의해 코드가 필터링됨.
3. AI 자기 게이트 검토 (AI-Self-Gate Review): 코드 LLM이 내부 신호(예: 퍼플렉시티, 이진 자기 점수 산정)를 사용하여 자신의 출력을 평가하고 필터링함.

2. 방법론

이론적 프레임워크

저자들은 재귀적 학습을 **게이트형 분포 재가중치 부여(gated distributional reweighting)**로 공식화한다.

• 게이트 없는 재귀 (Ungated Recursion): $t$ 단계에서의 학습 분포는 단순히 모델의 출력 분포 $p_{\theta_t}(c|x)$이다. 다음 모델은 이 분포에 대한 KL 발산(KL divergence)을 최소화하며, 오직 자기 일관성(self-consistency)만을 강제한다.
• 게이트형 재귀 (Gated Recursion): 샘플은 확률 $r(x, c)$에 따라 수락된다. 이때 학습 분포는 $q_{\theta_t}(c|x) \propto p_{\theta_t}(c|x)r(x, c)$가 된다.
• 이론적 분석:
  • 스펙트럼 집중 (Spectral Concentration): 저자들은 재귀적 재학습이 지배적인 표현 방향(dominant representation directions)은 증폭시키고 다른 방향은 억제하여, 표현 공간의 공분산 행렬의 붕괴(차원 축소/다양성 감소)를 초래함을 증명한다 (Proposition 2.1).
  • AI 자기 게이트의 퇴화 (Degeneracy of AI Self-Gating): AI 검토자가 생성자와 결합되어(파라미터 또는 분포를 공유) 품질과 상관없이 생성자의 출력에 높은 점수를 부여하는 "자기 확증적(self-confirming)" 상태가 되면, 게이팅 메커즘이 수학적으로 게이트 없는 자기 학습으로 퇴화함을 증명한다 (Theorem 2.3). 이 "고무 도장(rubber-stamp)" 체제에서 필터는 저하된 출력을 거부하는 능력을 상실한다.
  • 안정성 조건 (Stability Condition): AI 게이트 학습은 AI 검토자가 외생적인 인간 표준에 대해 보정(calibrated)된 상태를 유지할 때만 붕괴를 피할 수 있다 (Theorem 2.6).

실험 설정

• 모델: 네 가지 코드 LLM 제품군을 테스트하였다: SantaCoder (1.1B), StarCoder2-3B, Qwen2.5-Coder-1.5B, Code Llama-7B.
• 벤치마크: HumanEval, MBPP, LiveCodeBench 및 그 확장 버전(HumanEval+, MBPP+).
• 프로토콜: 5회 라운드에 걸친 재귀적 미세 조정. 각 라운드에서 모델은 코드를 생성하고, 필터링 전략이 5,000개의 샘플을 선택하며, 모델은 이 세트에 대해 3,000 스텝 동안 미세 조정된다.
• 필터링 전략:
  • Vanilla: 필터 없음.
  • Human Gates: Compile (구문 체크), Quality (반복/길이와 같은 정적 지표), Compile+Quality.
  • AI Self-Gates: Perplexity (모델 우도 기준 하위 25%), Binary Classifier (로그-차이 점수 기준 상위 25%).

3. 주요 결과

보편적 성능 저하 (Universal Degradation)

모든 모델 제품군과 필터링 전략에 걸쳐, 재귀적 자기 학습은 사전 학습 베이스라인에 비해 성능 저하를 초래한다.

• No Review: 가장 빠르고 심각하게 붕괴한다. 예를 들어, Qwen2.5-Coder는 5라운드째에 HumanEval+ 베이스라인 0.372에서 0.043으로 급락했다 (−88.4%).
• Human Gates: 붕괴 속도를 늦추지만 완전히 막지는 못한다. Compile 및 Quality 필터는 실행 가능성을 보존하고 의미적 드리프트를 지연시키지만, 장기적인 성능 저하를 방지할 수는 없다.
• AI Self-Gates: "고무 도장" 실패 모드를 보인다. 초기에는 높은 성능의 샘플을 선택할 수 있으나 (예: Binary Classifier는 세 모델에서 가장 높은 5라운드 HumanEval+를 달성함), 필터링 효능이 시간이 지남에 따라 저하된다.
  • 지표의 괴리 (Divergence of Metrics): 필터의 내부 신호와 실제 정답성 사이의 괴리가 발견되었다. Binary Classifier의 경우, 모델의 자신감(acceptance scores)은 상승했으나 벤치마크 정답률은 하락했다. 이는 필터가 저하된 출력을 고품질로 수용하는 "자기 확증적" 예측을 확인시켜 준다.

모델 간 일관성 (Cross-Model Consistency)

붕별 현상은 특정 아키텍처에 국한되지 않는다.

• LiveCodeBench: 바닐라 학습 조건에서 모든 모델이 5라운드째에 이 분포 외(out-of-distribution) 벤치마크에서 거의 0에 가까운 pass@1에 도달했다. 이는 재귀적 자기 학습이 복잡한 추론 능력을 불균형적으로 저하시킴을 나타낸다.
• 붕괴의 규모: 초기 분포가 강력한 모델(예: Qwen2.5-Coder)일수록 자기 생성 출력에 오염되었을 때 더 급격한 분포 변화를 보였으나, 모든 모델이 결국 저성능의 "붕괴 흡착자(collapse attractor)"로 수렴했다.

필터 통과율 (Filter Pass Rates)

• Human Gates: 안정적인 통과율을 유지한다 (예: 외부 실행에 의존하는 Compile은 높은 수준을 유지함).
• AI Self-Gates: 라운드가 진행됨에 따라 통과율이 증가하는 경향을 보인다 (예: Perplexity 통과율이 ~0.17에서 ~0.24로 상승). 이는 모델의 내부 점수 분포가 저하된 생성 분포와 함께 드리프트하면서 변별력을 상실했음을 나타낸다.

4. 기여 (Contributions)

1. 코드 LLM 붕괴에 대한 경험적 연구: 다섯 가지 필터링 체제와 네 가지 코드 LLM 제품군을 통해 재귀적 자기 학습을 체계적으로 평가하였으며, 붕괴가 모델을 가리지 않는 현상임을 입증하였다.
2. 검토를 게이트형 재가중치로 공식화: 코드 리뷰를 샘플 재가중치 메커니즘으로 이론화하여, 왜 외생적 게이트는 붕괴를 늦추는 반면 내생적 게이트는 실패하는지를 설명하였다.
3. 외생성(Exogeneity)의 핵심 역할 규명: 성공적인 재귀적 학습과 실패한 재귀적 학습의 결정적 차이는 수락 규칙이 외생적(고정됨, 모델 독립적)인지 혹은 내생적(생성자와 결합됨)인지에 있음을 밝혀냈다.
4. 퇴화의 이론적 증명: AI 자기 게이팅이 자기 확증적 조건 하에서 게이트 없는 자기 학습으로 퇴화함을 증명하였으며, 재귀적 재학습이 표현 분산을 저차원 부분 공간으로 집중시키는 방식에 대한 스펙트럼 분석을 제공하였다.

5. 의의 및 주장

본 논문은 안정적인 재귀적 코드 LLM 학습을 위해서는 모델에 결합된 자기 검토가 아닌 외생적 검증이 필요하다고 주장한다.

• AI 리뷰의 한계: 본 연구는 미래 학습을 위해 AI 시스템이 자신의 코드를 스스로 리뷰하도록 하는 것이 본질적으로 불안정함을 시사한다. 생성자가 저하됨에 따라 자기 검토자의 기준도 드리프트하며, 결국 저하된 출력을 고품질로 수용하게 된다 ("고무 도장" 체제).
• Human Gate의 역할: Human 게이트(컴파일, 정적 분석)는 실행 가능성을 보존하며 더 견고하지만, 장기적인 의미적 드리프트를 완전히 막기에는 불충분하다. 이는 치료제가 아닌 브레이크 역할을 한다.
• 미래 시스템에 대한 시사점: 본 연구의 결과는 AI 생성 코드가 저장소에 유입되고, 신선한 인간 데이터나 강력한 외부 신호 없이 즉시 다음 세대 모델 학습에 사용되는 "자기 소비적" 루프에 대해 경고한다. 결론적으로, 붕괴를 피하기 위해서는 검증 신호가 모델 자신의 선호 분포 외부에 머물러야 한다.

저자들은 실험이 Python과 7B 파라미터 이하의 모델에 집중되었음을 언급하며, 더 긴 호라이즌, 더 큰 모델, 그리고 더 강력한 실행 기반 게이트에 대한 연구가 향후 과제로 남아 있음을 밝히며 겸허한 태도를 유지하였다.