Not All Synthetic Data Is Yours to Learn From

기술 요약: "모든 합성 데이터가 당신의 학습 자산이 되는 것은 아니다"

문제 정의
현대 언어 모델(LM) 사후 학습(post-training)의 지배적인 견해는, 모델 자신의 출력물로 학습하는 것(재귀적 자기 학습)은 합성 데이터가 검증기, 보상 모델 또는 정답 확인을 통해 엄격하게 필터링되지 않는 한 분포 드리프트(distributional drift)와 "모델 붕족(model collapse)"을 초래한다는 것이다. 그러나 최근의 관찰 결과에 따르면, 약하고 구조화되지 않은 자기 학습 신호가 외부의 감독 없이도 특정 도메인(예: 코드 생성, 추론)에서 성능을 향상시킬 수 있음이 시사된다. 본 논문이 다루는 핵심 문제는 프롬프트가 없는 무조건적 자기 학습이 성공하거나 실패하는 조건을 결정하는 것이다. 구체적으로, 저자들은 합성 데이터의 유용성이 데이터 자체의 내재적 속성(예: 소스 모델의 크기나 능력에서 기인함)인지, 아니면 소스 모델과 학생 모델 사이의 호환성에 따른 관계적 속성인지를 조사한다. 나아가, 이들은 이러한 이득의 메커니즘을 규명하고자 한다. 즉, 자기 학습이 새로운 지식을 도입하는 것인가, 아니면 사전 학습된 모델에 이미 존재하는 잠재적 능력을 증폭시키는 것인가?

방법론
저자들은 프롬프트가 없는 무조건적 자기 학습이라는 "최소 설정"을 연구한다. 이 체제에서는 다음과 같이 진행된다:

1. 데이터 생성: 소스 모델이 시작 토큰(BOS)으로부터 프롬프트, 작업 명세 또는 필터링 없이 무조건적으로 텍스트를 생성한다. 샘plectic은 다양한 온도($\tau \in \{0.75, 1.0, 1.25\}$)에서 수행된다.
2. 학생 학습: 베이스 언어 모델(학생 모델)을 코사인 학습률 스케줄을 사용하는 풀 파라미터 AdamW를 사용하여 이 합성 코퍼스로 미세 조정한다.
3. 실험 설계:
   • 관계적 유용성: 저자들은 학생 모델(Qwen2.5-0.5B)을 고정하고, 이를 생성한 서로 다른 소스들(자기 자신, 더 큰 동일 계열 모델인 Qwen2.5-7B, 더 크지만 레시피가 다른 모델인 Qwen3-8B, 그리고 교차 패밀리 모델인 LLaMA-3.2-1B)로부터 생성된 코퍼스로 학습시킨다.
   • 내재적 대리 지표: 저자들은 표준적인 내재적 지표(벤치마크 수준의 의미적 유사성, 학생 모델 하에서의 평균 토큰 로그 가능도)가 다운스트림 이득을 예측할 수 있는지 테스트한다.
   • 암기 vs. 능력: 문서화된 사전 학습 코퍼스를 가진 Pythia 모델(1B 및 6.9B)을 사용하여, 다운스트림 벤치마크 유용성과 축자적 암기(verbatim memorization, 접두사-완성 추출 공격 및 실제-연속 로그 가능도로 측정) 사이의 트레이드오프를 평가한다.
   • 오염 제거: 모든 합성 코퍼스는 우발적인 벤치마크 재학습을 배제하기 위해 테스트 분할에 대해 8-gram 오염 제거 과정을 거친다.

주요 결과

1. 합성 유용성은 내재적이지 않고 관계적이다:

   • 자기 생성 데이터가 최적이다: 가장 효과적인 학습 데이터는 학생 모델 스스로가 생성한 데이터이다.
   • 능력보다 계열이 중요하다: 더 크고 벤치마크 능력이 높은 소스(Qwen3-8B)로부터의 전이보다, 동일 계열의 전이(예: Qwen2.5-7B에서 Qwen2.5-0.5B로)가 더 우수한 성능을 보인다.
   • 교차 패밀리의 실패: 서로 다른 모델 패밀리 간의 전이(예: LLaMA에서 Qwen으로)는 현저히 약하며 종종 해롭다.
   • 대리 지표의 실패: 코퍼스의 벤치마크에 대한 의미적 유사성이나 학생 모델 하에서의 평균 로그 가능도(NLL)는 어떤 데이터가 유용할지를 예측하지 못한다. 예를 들어, 학생 모델 하에서 거의 동일한 평균 음의 로그 가능도(NLL)를 가진 두 코퍼스가 서로 상반된 다운스트림 효과를 낼 수 있다.

2. 잠재적 능력의 재부상:

   • 이득은 모델 의존적이다. Qwen 모델은 추론, 수학, 코드에서 폭넓은 개선을 보이는 반면, LLaMA 모델은 이해 중심의 벤치마크에서만 좁은 범위의 이득을 보이며 구조적 생성 작업에서는 성능이 저하된다.
   • 이는 자기 학습이 누락된 구조적 능력을 창조하는 것이 아니라, 이미 인코딩된 "잠재적 능력"을 증폭시킨다는 것을 시사한다. 합성 신호는 학생의 기존 표현과 호환되는 특정 분산된 작업 구조를 강화하는 필터 역할을 한다.

3. 능력과 암기의 분리:

   • 유리한 자기 학습 체제(특히 특정 학습률에서의 Pythia 모델)에서, 벤치마크 유용성은 유지되거나 향상되는 동시에 축자적 암기는 급격히 감소한다(예: 홀드아웃 사전 학습 시퀀스에 대한 정확히 일치하는 추출 공격이 95% 이상 감소).
   • 이는 명시적인 망각 세트, 프라이버시 목적 또는 타겟팅된 언러닝(unlearning) 없이 발생한다.
   • 암기의 감소는 실제 사전 학습 연속 문구에 할당된 로그 가능도의 감소로 확인되며, 이는 시퀀스 특화된 회상에서 분산되고 일반화 가능한 구조로 확률 질량이 진정으로 재분배되었음을 나타낸다.

의의 및 주장
본 논문은 자기 학습이 유효하려면 합성 코퍼스가 학생과 "호환"되어야 한다는 조건 하에서, 약한 자기 학습이 이미 존재하는 능력을 증폭함으로써 작동한다는 **잠재적 능력 재부상 가설(Latent Capability Resurfacing Hypothesis)**을 제안한다. 저자들은 세 가지 주요 기여를 주장한다:

1. 최소 체제의 공식화: 모든 외부 감독(프롬프트, 보상, 검증기)을 제거함으로써 합성 데이터의 효과를 격리하여, 이득이 오직 학생-소스 간의 상호작용에서만 발생함을 입증했다.
2. 관계적 유용성: 합성 데이터의 효과가 소스-학생 쌍의 관계적 속성임을 확립하여, "더 나은"(더 크거나 더 유능한) 소스 모델이 항상 더 나은 학습 데이터를 제공한다는 가설에 도전했다.
3. 창발적 언러닝: 능력과 축자적 암기가 깔끔하게 분리되는 체제를 식별했다. 이는 타겟팅되지 않은 자기 학습이 모델의 데이터 재생(regurgitation) 경향을 유기적으로 줄이면서 성능을 개선할 수 있음을 시사하며, 유용성과 프라이버시의 얽힘에 대한 새로운 관점을 제공한다.

한계점
저자들은 본 연구의 결과가 특정 오픈 웨이트 모델 패밀리와 규모에 기반하고 있으며, 관찰된 호환성 계층 구조가 모든 모델 크기에 대해 보편적이지 않을 수 있음을 언급한다. 또한, 호환성 가설을 지지하면서도 그래디언트 정렬(gradient alignment)이나 업데이트 방향의 기하학적 구조를 직접 측정하지는 않았다. 마지막으로, 암기 분석은 문서화된 사전 학습 시퀀스와 정적 벤치마크에 의존하고 있으므로, 완전한 프라이버시 감사나 동적인 배포 시나리오를 반영하는 것은 아닐 수 있다.