기술 요약: 교사 없는 자기 학습(Teacher-Free Self-Training)은 능력을 증폭시키나, 복합(Compound)시키지는 못한다

1. 문제 정의

본 연구가 다루는 핵심 질문은, 검증된 자신의 출력물로 학습하는 언어 모델(LLM)의 자기 개선 루프가 능력을 복합(Compound capability) 시키는지(기본 모델의 분포를 넘어서는 진정한 새로운 도달 가능성을 획득하는지), 아니면 단순히 능력을 증폭(Amplify capability) 시키는지(충분한 샘플링이 주어졌을 때 기본 모델이 이미 생성할 수 있는 희귀하고 도달 가능한 솔루션을 표면화하는 것인지)이다.

기존 문헌의 견해는 다음과 같이 나뉜다:

• 인출(Elicitation) 관점: 검증된 출력물로 학습하는 것은 모델이 잠재적 능력을 활용하는 능력을 날카롭게 할 뿐이며, 종종 기본 모델이 더 큰 샘플링 예산(pass@K)을 가졌을 때 학습된 모델보다 더 우수한 성능을 보인다 [11].
• 복합(Compounding) 관점: 장기적인 강화 학습(RL)은 모델을 기본 분포 너머로 끌어올려, 기본 모델이 어떤 예산에서도 도달할 수 없는 인스턴스를 해결하게 한다 [8].

중대한 방법론적 격차가 존재한다: 대부분의 연구는 "교사"(더 큰 모델, 보상 모델, 또는 인간)에 의존하며, 이는 구조적으로 새로성의 천장을 제한하거나, "발현(emergence)"을 실제 능력의 경계가 아닌 샘플링 아티팩트(sampling artifacts)일 수 있는 지표상의 변화(0에서 벗어나는 현상)에 근거하여 선언한다는 점이다.

2. 방법론: "트랩도어(Trapdoor)" 컨스텔레이션

증폭과 복합의 구분을 결정 가능하게 만들기 위해, 저자들은 특정 도메인에 대해 **교사 없는 "컨스텔레이션(constellation)"**을 구축한다:

• 도메인: 문자열 변환을 위한 FlashFill 스타일의 "트랩도어" 도메인 특화 언어(DSL).
  • 순방향 생성: 검증된 (문제, 솔루션) 쌍을 합성하기 쉬움.
  • 역방향 해결: 모델이 이를 역전(invert)하기 어려움.
  • 검증: 가시적인 예시들과 일치하는지를 정확하게 체크하는, 학습된 파라미터가 없는 무료의 완전하고 정확한 인터프리터(interpreter).
• 시스템 역할:
  1. 검증기(Verifier): 정확한 인터프리터. 가시적인 예시들을 만족하지 못하는 후보들을 걸러내지만, 홀드아웃(held-out) 입력에 대한 일반화 여부는 판정할 수 없다.
  2. 생성기(Generator): 가시적인 예시들을 후보 프로그램으로 매핑하는 4-bit Qwen3-4B 모델 및 LoRA 어댑터.
  3. 비평가(Critic): 홀드아웃 입력에 대한 일반화 가능성을 기준으로 후보들의 순위를 매기기 위해 생성형 Yes/No 분류기로 학습된 별도의 4-bit LoRA 어댑터.
  4. 지휘자(Conductor): 모델 없이 루프를 조율함.
• 학습 루프 (STaR):
  • 생성기가 $K$개의 후보를 제안한다.
  • 검증기가 가시적인 예시들을 통과하지 못한 것들을 필터링한다.
  • 비평가가 생존자들의 순위를 매기고, 가장 상위의 후보가 선택된다.
  • 검증기가 홀드아웃 예시들에 대해 선택된 후보를 판정한다.
  • 모델이 생성하고 검증기가 확인한 일반화 가능한 프로그램만이 다음 라운드의 지도 학습(SFT) 타겟으로 사용된다.
  • 핵심 제약: 더 큰 모델이나 외부 교사가 개입되지 않으며, 천장은 교사의 역량에 의해 제한되지 않는다.

실험 설정:

• 하드웨어: 단일 24 GB GPU (RTX 3090).
• 모델: Qwen3-4B-Instruct (4-bit 양자화).
• 뱅크(Banks): 두 개의 고정된 평가 뱅크 (Easy: 최대 3개 원자; Hard: 최대 4개 원자, 훈련에 포함되지 않은 원자 수).
• 궤적(Trajectory): 세 라운드 (v0 $\to$ v1 $\to$ v2)의 자기 학습.

3. 주요 기여

1. 완전한 교사 없는 컨스텔레이션: 단일 GPU에서 실행 가능한 생성기/비평가/검증기 시스템으로, 검증기가 정확한 인터프리터이므로 "지식 증류 탈출구(distillation escape hatch)"가 새로성을 제한하지 않음을 보장한다.
2. 비평가 유도 선택의 우월성: 학습된 비평가가 검증기로 필터링된 "best-of-k" (나이브한) 베이스라인보다 +9.1 퍼센트 포인트 더 높은 성능을 보임을 입증했다 (6/6 시드 전체). 이 이득은 후보들이 홀드아웃 데이터에 대해 서로 불일치하는 경우(즉, "발산하는 부분 집합")에만 국한되며, 이는 비평가가 새로운 능력을 창조하는 것이 아니라 기존 능력을 회복함을 확인시켜 준다.
3. 헤드룸에 의한 속도가 조절되는 증폭(Headroom-Paced Amplification): 자기 학습은 성능의 천장을 높이지만 가속화되지는 않는다. 모델이 기본 분포의 도달 가능한 경계에 접근함에 따라 라운드당 이득은 감속된다.
4. Pass@K 교차(Crossover): 운영 예산(pass@8)에서는 학습된 모델이 승리하지만, 대규모 예산(pass@64)에서는 기본 모델이 학습된 모델을 추월하는 측정된 교차 지점이 존재한다. 이는 모델이 도달 범위를 확장하는 것이 아니라 확률 질량을 소수의 솔루션에 집중시킨다는 것을 확인시켜 준다.
5. "발현"에 대한 방법론적 교정: 이 구성적 DSL에서, 적은 샘플 수에서 나타나는 "제로 능력" 셀들은 실제 능력의 경계가 아니라 샘플링 아티팩트이다. 인구 규모의 검증 없이 0에서 상승하는 것을 근거로 발현을 선언하는 것은 유효하지 않다.

4. 결과

선택 성능

• 비평가 vs. 나이브: 비평가는 특히 후보들이 홀드아웃 데이터에서 불일치하는 부분 집합(divergent subset)에서 선택 정확도를 크게 향상시킨다.
  • Seed 1234: Naive 53.3% $\to$ Critic 93.3%.
  • Seed 7: Naive 61.9% $\to$ Critic 92.9%.
• 일관성: 총 개선량은 발산하는 부분 집합에서의 개선량과 정확히 일치하며, 이는 비평가가 오직 구조적 모호성이 존재하는 곳에서만 작용함을 증명한다.

자기 학습 궤적 (STaR)

• 천장 상승: 검증기 천장(pass@8)은 두 뱅크 모두에서 라운드 0부터 라운드 2까지 증가한다.
  • Easy Bank: 46.7% $\to$ 53.1% $\to$ 55.4%.
  • Hard Bank: 37.9% $\to$ 41.1% $\to$ 45.0%.
• 감속: 라운드당 이득은 가속되지 않는다.
  • Easy: +6.4% (v0$\to$v1) $\to$ +2.3% (v1$\to$v2).
  • Hard: 단일 시드에서는 +3.2% (v0$\to$v1) $\to$ +3.9% (v1$\to$v2)였으나, 4개의 독립적인 훈련 궤적 전체에서는 일관되게 감속하는 경향(+5.1% $\to$ +2.8%)을 보였다.
• 붕괴 없음: 다양성(일반화하는 프로그램의 카디널리티)은 증가했으며 (2.79 $\to$ 4.05), 어떤 클래스도 능력이 0으로 퇴보하지 않았다.

교차 진단 (증폭 vs. 복합)

• 운영 예산 (pass@8): 학습된 모델 (v2)이 기본 모델 (v0)보다 우수하다.
  • Easy: v2 (53.0%) > Base (46.0%).
  • Hard: v2 (46.0%) > Base (38.0%).
• 대규모 예산 (pass@64): 기본 모델이 학습된 모델을 추월한다.
  • Easy: Base (68.0%) > v2 (61.5%).
  • Hard: Base (57.5%) > v2 (52.5%).
• 해석: 학습된 모델은 "희귀하지만 도달 가능한" 솔루션에 확률 질량을 집중시켜 이를 흔하게 만들지만(낮은 $K$에서 승리), 모델의 전체 분포를 탐색하는 능력은 감소시킨다(높은 $K$에서 패배). 학습된 모델의 천장은 엄격하게 기본 모델의 대규모-$K$ 엔벨로프(envelope) 아래에 머문다.

제로 능력 경계

• 낮은 샘플 수에서 성공률이 0%로 나타났던 클래스들(예: 특정 4-원자 구조)은 인구 규모로 측정했을 때 25~50%의 비제로 성공률을 가짐이 밝혀졌다.
• "진정한 벽"은 0에 있는 것이 아니라, 모델이 맞지만 틀린(fitting-but-wrong) 프로그램을 찾는 능력(높은 pass@64)과 일반화하는(generalizing) 프로그램 사이의 간극에 있다. 이 간극(~11 pp)이 진정한 용량 한계이다.

5. 의의 및 주장

본 논문은 특정하고 엄격한 체제 내에서 복합에 관한 **부정적 결과(negative result)**를 제공한다고 주장한다:

1. 증폭, 복합 아님: 교사 없는 환경에서 자유로운 검증기를 사용할 때, 자기 학습(STaR)은 기본 모델의 기존 도달 가능성을 증폭시키지만, 새로운 도달 가능성을 만드는 복합은 일으키지 못한다. "천장"은 기본 모델의 남은 헤드룸에 의해 속도가 조절된다.
2. 방법론적 타당성: 본 연구는 구성적 도메인에서 "0% $\to$ 상승 = 발현" 테스트의 유효성에 이의를 제기하며, 이러한 0은 종종 샘플링 아티팩트임을 주장한다.
3. 다양성과 커버리지의 분리: 연구는 데이터 생성 중에 솔루션의 추출된 다양성은 증가하지만, 평가 시점의 pass@K 커버리지는 좁아진다는 것을 관찰했다. 이는 SFT에서 정확도 최적화가 확률 질량을 최빈(modal) 솔루션에 집중시킨다는 다양성 붕괴 이론과 일치한다.

한계 및 범위:

• 이 결과는 특정 FlashFill 스타일의 DSL과 교사 없는 정확한 검증기 체제라는 도메인 내부적인 결과이다.
• "복합 불가"라는 결과는 탐색 보너스(exploration bonus)나 노이즈가 있는 검증기가 없는 상황에 특화된 것일 수 있다. 탐색이 포함된 장기적인 RL이나 학습된 보상 모델은 다르게 작동할 수 있다.
• 통계적 검정력은 완만하지만(K=4 훈련 궤적), 가속화를 부정하기에는 충분하다.
• 본 연구는 모든 RL/SFT 체제에 대한 결론을 내리는 것이 아니라, 특히 "교사 없는, 정확한 검증기" 사례를 격리하여, 외부의 가이드나 탐색 메커니즘 없이는 자기 학습이 기본 모델의 분포적 엔벨로프를 깰 수 없음을 보여주는 데 목적이 있다.

요약하자면, 본 논문은 새로운 추론 패턴을 가져오는 교사나 도달 가능한 경계를 밀어내는 탐색 메커니즘이 없다면, 자기 학습은 새로운 것을 복합시키는 과정이 아니라 기존 능력을 날카롭게 하고 표면화하는 과정이라고 주장한다.