Learning from Synthetic Data without Model Collapse in Iterative Instruction Tuning

기술 요약: 반복적 지시어 튜닝 시 모델 붕괴 없이 합성 데이터로부터 학습하기

문제 정의

본 논문은 합성 데이터를 사용하는 반복적 지시어 튜닝(iterative instruction tuning) 과정에서 발생하는 모델 붕괴(model collapse) 문제를 다룹니다. 대규모 언어 모델(LLM)이 학습을 위해 모델 생성 데이터에 점점 더 의존함에 따라, 후속 세대의 모델들은 데이터 커버리지의 축소와 편향의 누적으로 인해 성능이 저하될 위험이 있습니다. 기존 문헌은 주로 이러한 저하를 제한하는 것(예: 테스트 오차가 발산하지 않도록 보장하는 것)에 초점을 맞추고 있으나, 저자들은 반복적인 모델 진화의 더 의미 있는 목표는 각 연속 세대의 모델이 이전 모델보다 뛰어난 성능을 보이는 **지속적인 개선(sustained improvement)**을 보장하는 것이라고 주장합니다.

기존의 분석들이 붕괴를 전체 정확도의 균일한 저하나 롱테일 분포의 협소화로 취급한다는 점에서 중요한 격차를 식별했습니다. 이러한 거시적 관점은 실행 가능한 데이터 큐레이션에는 불충분합니다. 저자들은 지시어 튜닝에서 붕괴가 균일한 성능 저하가 아니라, **역량의 양극화(polarization of competence)**로 나타난다는 것을 경험적으로 입증했습니다. 즉, 합성 학습은 모델이 이미 보유한 기술은 강화하는 반면, 모델이 이미 취약한 기술은 더욱 악화시키는 경대로 나타납니다.

방법론: KITE 프레임워크

이를 해결하기 위해 저자들은 모델을 불안정하게 만들지 않으면서 유용한 학습 신호를 제공하도록 설계된 2단계 프레임워크인 KITE(Knowledge-boundary Instruction Tuning via Exploration)를 제안합니다.

1단계: 실패 유도형 후보 뱅크 구축 (Failure-Guided Candidate Bank Construction)
이 단계의 목표는 모델의 지배적인 고확률 모드(high-probability modes)를 넘어 커버리지를 확장하고, 현재의 약점에 집중하여 생성을 수행하는 것입니다.

• 약점 프로파일링 (Weakness Profiling): 단순한 실패 횟수를 사용하는 대신, 인지 과학의 DINA 모델(Deterministic Inputs Noisy And gate)을 사용하여 학습 세트 전반의 정답 및 오답 패턴을 분석함으로써 잠재적인 기술 숙련도를 추론합니다. 낮은 숙련도의 기술은 특정 결핍을 겨냥한 새로운 지시어를 생성하도록 자연어 기술자로 변환됩니다.
• 순위 기반 노이즈 주입 (Rank-Based Noise Injection): 표준 디코딩은 약점을 조건으로 할 때조차 템플릿화되거나 쉬운 지시어를 생성하는 경우가 많습니다. 이를 방지하기 위해 KITE는 토큰 확률 분포에 순위 기반 섭동(perturbation)을 도입합니다. 로그 순위($q^{(\alpha)}_t(v|c) \propto q_t(v|c) \cdot r_t(v|c)^\alpha$)를 기반으로 하위 순위 토큰의 가중치를 높임으로써, 모델 내부의 고확률 모드를 강제로 절단하지 않고도 탐색을 장려합니다.

2단계: 불확실성 기반 데이터 큐레이션 (Uncertainty-Based Data Curation)
1단계에서 생성된 대규모 후보 뱅크로부터 레이블링 및 학습을 위한 서브셋을 선택합니다. 선택 기준은 모델의 의미론적 지식 경계(semantic knowledge boundary) 근처에 있는 예시를 우선시합니다.

• 의미론적 불확실성 (Semantic Uncertainty): 표면적 변이에 의해 부풀려질 수 있는 토큰 수준의 불확실성에 의존하는 대신, 후보 지시어에 대해 여러 답변을 샘플링하고 RBF 커널을 사용하여 의미론적 임베딩 공간에서의 분산도를 측정합니다.
• 우도 가중치 부여 (Likelihood Weighting): 단순히 불확실해 보이기만 하는 저확률/오프 매니폴드(off-manifold) 생성물을 선택하는 것을 피하기 위해, 샘령된 각 답변을 모델 하에서의 우도(likelihood)로 가중치를 부여합니다.
• 커널 경계 불확실성 (Kernel Boundary Uncertainty, KBU): 최종 큐레이션 점수는 우도 가중치가 적용된 커널 행렬의 Rényi-2 엔트로피입니다. 프레임워크는 여러 그럴듯한(plausible) 답변들 사이의 불일치를 나타내는 중간 정도의 불확실성 점수를 가진 후보를 선택하며, 너무 쉬운 예시(낮은 불확실성)나 모델의 실행 가능한 지식 범위를 지나치게 벗어난 예시(과도하게 높은 불확실성)는 필터링합니다.

주요 기여

1. 붕괴의 진단: 본 논문은 반복적 지시어 튜닝에서의 모델 붕괴가 균일한 성능 저하가 아니라 역량의 양극화(강점은 강화하고 약점은 약화시킴)로 특징지어진다는 점을 식별했습니다.
2. KITE 프레임워크: 저자들은 이 양극화를 직접 역전시키는 2단계 방법을 제안합니다.
   • 실패 유도형 생성은 인지 진단을 통해 식별된 특정 약점을 타겟팅합니다.
   • 경계 인식 큐레이션은 선택된 데이터가 의미론적 지식 경계 근처에 위치하도록 하여 안정적인 학습 신호를 제공합니다.
3. 경험적 검증: 이 프레임워크는 다양한 오픈 소스 LLM(Qwen, Llama, Gemma 제품군 포함)과 다양한 추론 데이터셋(GSM8K, MMLU-Pro, MATH, GPQA)에 대해 검증되었습니다.

실험 결과

• 성능: 5회의 누적 자기 개선 반복 실험 동안, KITE는 Self-Instruct, Few-shot synthesis, Cognitive Diagnosis-based Synthesis (CDS), Token-Level Editing (ToEdit)를 포함한 강력한 베이스라인들을 일관되적으로 능가했습니다. 예를 들어, Qwen-3-4B-Instruct에서 KITE는 평균 정확도 72.86%를 달성하여 가장 우수한 베이스라인인 ToEdit(71.98%)보다 높은 성과를 보였습니다.
• 안정성: 긴 호흡의 실험(최대 9세대)에서 KITE는 모델 붕괴의 전형적인 징후인 '저하 후 반전' 현상 없이 단조로운 성능 향상을 가능하게 합니다.
• 일반화:
  • 비추론 작업: wikitext에 대한 재귀적 자기 학습에서 KITE는 안정적인 퍼플렉시티(perplexity)를 유지하는 반면, 표준 고온(high-temperature) 합성 학습은 단조로운 퍼플렉시티 증가(붕괴)를 보였습니다.
  • 분포 외(OOD) 데이터: KITE로 학습된 모델은 보지 못한 어려운 수학 벤치마크(OlymMATH, AIME)에서 향상된 성능을 보여주었으며, 이는 단순한 벤치마크 과적합이 아닌 근본적인 추론 능력의 향상을 시사합니다.
• 절제 실험 (Ablation): 약점 프로파일링이나 KBU 큐레이션 단계를 제거하면 성능이 크게 하락하며, 이는 타겟팅된 생성과 경계 인식 선택이 모두 필요함을 확인시켜 줍니다.

의의 및 주장

본 논문은 KITE가 합성 데이터를 사용하여 LLM의 지속적인 자기 개선을 위한 실질적인 경로를 제공한다고 주장합니다. 단순히 저하를 제한하는 것에서 벗어나 역량 양극화를 진단하고 교정하는 데 초점을 맞춤으로써, 이 프레임워크는 모델이 자신의 분포에서 생성된 데이터로 학습할 때도 효과적으로 진화할 수 있게 합니다. 저자들은 이 연구가 자기 생성 지시어 분포에 관한 연구임을 명시하며, 답변 정규화를 위해 강력한 외부 검증기(gpt-5-mini)를 사용하지만 핵심 기여는 훈련 분포 자체를 구축하는 데 있다고 밝히고 있습니다.

저자가 언급한 한계점:

• 외부 검증기에 대한 의존은 증류(distillation)의 요소를 도입하므로, 결과가 순수한 폐쇄 루프 시스템보다는 자기 생성 분포를 반영하게 됩니다.
• DINA 기반의 약점 프로파일링은 고정된 사전 확률을 가진 LLM 태깅 Q-매트릭스를 사용하므로, 정밀하게 교정된 측정값이라기보다 구조화된 휴리스틱 역할을 합니다.
• 현재 평가는 추론 작업과 1.7B~8B 파라미터 규모의 모델에 국한되어 있으며, 더 큰 모델과 RL 스타일의 사후 학습(post-training)으로의 확장은 향후 과제로 남아 있습니다.