SKILLFACTORY: 자기 증류 (Self-Distillation) 를 통한 인지 행동 학습 기술 요약

이 논문은 SkillFactory라는 새로운 프레임워크를 제안합니다. 이는 기존 언어 모델 (Base Model) 이 스스로 보여주는 추론 능력 (인지 기술) 을 구조화하여, 더 강력한 모델 (Teacher Model) 없이도 강화 학습 (RL) 전 단계에서 모델이 이러한 기술을 효과적으로 학습하도록 돕는 방법론입니다.

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 은 검증 (Verification), 백트래킹 (Backtracking), 대안적 방법 재시도 (Retrying) 등의 복잡한 **인지 기술 (Cognitive Skills)**을 활용하여 추론 능력을 향상시키는 것으로 나타났습니다. 기존 연구에 따르면, 이러한 기술을 이미 보유하고 있는 모델을 강화 학습 (RL) 으로 추가 학습시키면 성능이 크게 향상됩니다.

하지만 다음과 같은 한계가 존재합니다:

• 기저 모델의 기술 부재: 많은 기저 모델은 이러한 인지 기술을 자연스럽게 보여주지 못합니다.
• 강력한 교사 모델 의존성: 기존 방법론은 더 강력한 모델 (Teacher Model) 에서 생성된 데이터를 증류 (Distillation) 하거나, 복잡한 커스텀 데이터 수집을 필요로 합니다. 이는 비용이 많이 들고 접근성이 낮습니다.
• RL 의 한계: 단순히 RL 만을 적용한다고 해서 모델이 새로운 인지 기술을 습득하거나, 이를 다양한 도메인으로 일반화하는 것이 보장되지 않습니다.

따라서, 더 강력한 모델 없이도 기저 모델이 스스로의 데이터를 재구성하여 인지 기술을 학습하고, 이를 RL 을 통해 극대화할 수 있는 방법이 필요합니다.

2. 방법론 (Methodology: SkillFactory)

SkillFactory 는 자기 증류 (Self-Distillation) 방식을 기반으로 하며, 크게 3 단계로 구성됩니다.

1 단계: 데이터 수집 및 구조화 (Data Curation)

기저 모델 (Base Model) 을 사용하여 문제를 해결하는 과정을 샘플링하고, 이를 인지 기술이 드러나도록 재구성합니다.

• 솔루션 샘플링: 각 질문에 대해 다양한 프롬프트를 사용하여 여러 번의 해결 시도 (Solution Attempts) 를 생성합니다.
• 반성 생성 (Reflection Generation): 생성된 각 해결 시도에 대해 모델이 스스로 정답 여부를 판단하고 검증하는 '반성 (Reflection)' 텍스트를 생성하도록 프롬프트합니다. 이때 <verdict> 태그를 사용하여 정답/오답을 명시합니다.
• 은색 트레이스 (Silver Traces) 구성:
  • 올바른 해답과 잘못된 해답을 모두 포함하여 재구성합니다.
  • <sample> (시도) 와 <reflect> (검증/반성) 태그를 사용하여 구조화된 트레이스를 만듭니다.
  • 핵심 전략: 트레이스는 항상 올바른 해답으로 끝나는 방식으로 구성됩니다. 즉, 모델이 실수하고 반성하여 다시 시도하는 과정을 포함하되, 최종적으로는 성공하는 시나리오를 학습 데이터로 제공합니다.

2 단계: 지도 미세 조정 (Supervised Fine-Tuning, SFT)

• 위 단계에서 생성된 구조화된 "은색 트레이스"로 모델을 SFT 합니다.
• 목적: 이 단계에서 모델의 문제 해결 정확도가 즉시 높아지기를 기대하지 않습니다. 대신, 검증, 재시도, 구조화된 추론과 같은 인지 행동 패턴을 모델의 내부 구조에 주입 (Priming) 하는 것이 목적입니다.

3 단계: 강화 학습 (Reinforcement Learning, RL)

• SFT 로 초기화된 모델을 GRPO (Group Relative Policy Optimization) 와 같은 RL 알고리즘으로 추가 학습합니다.
• 희소 보상 (Sparse Rewards, 정답 여부만 1 또는 0) 을 사용하여 모델이 학습된 인지 기술을 실제 문제 해결에 효과적으로 활용하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 강력한 교사 모델 불필요: 더 큰 모델이나 외부 데이터 없이, 기저 모델의 자체 샘플링 데이터를 재구성하여 복잡한 추론 기술을 학습시킬 수 있음을 증명했습니다.
2. RL 전 초기화 효과: SkillFactory 를 통해 SFT 된 모델은 RL 학습 후 더 어려운 문제 변형 (Hard Variants) 과 새로운 도메인 (Out-of-Domain) 에서 기존 RL-only 또는 다른 증류 기반 방법보다 뛰어난 일반화 성능을 보입니다.
3. 강건성 및 과적합 방지: RL-only 모델은 특정 도메인 (예: Countdown) 에 과적합되어 다른 도메인에서 성능이 급격히 떨어지는 경향이 있지만, SkillFactory 모델은 이러한 회복 (Regression) 현상이 적고 다양한 도메인에서 더 안정적인 성능을 유지합니다.
4. 인지 기술의 명시적 사용: 모델이 단순히 긴 텍스트를 생성하는 것이 아니라, <sample>과 <reflect> 태그를 통해 명시적으로 검증과 재시도 행동을 수행함을 분석을 통해 확인했습니다.

4. 실험 결과 (Results)

실험은 Countdown (숫자 조합 문제) 과 OpenThoughts (수학 및 과학 문제) 데이터셋을 기반으로 수행되었습니다.

• 쉬운 문제에서 어려운 문제로의 일반화 (Easy-to-Hard Generalization):

  • Countdown-3arg(3 개의 숫자) 로만 학습된 모델을 Countdown-4arg, 5arg, 6arg(더 어려운 변형) 로 평가했을 때, SkillFactory 기반 모델이 RL-only 및 다른 베이스라인 (STaR, BOLT, R1 Distillation) 보다 가장 높은 정확도를 기록했습니다.
  • 특히, SFT 단계에서의 성능이 낮았음에도 불구하고 RL 단계 이후 SkillFactory 모델이 R1 증류 모델보다 더 좋은 성능을 보였습니다. 이는 "RL 전의 높은 성능"이 "RL 후의 높은 성능"을 보장하지 않으며, **적절한 인지 기술의 습득 (Priming)**이 더 중요함을 시사합니다.

• 도메인 외 일반화 (Out-of-Domain Generalization):

  • 학습에 사용되지 않은 Acronym, Letter Countdown, Multiplication, GSM8K, CSQA 등의 작업에서 SkillFactory 모델은 RL-only 모델보다 훨씬 더 강건한 성능을 유지했습니다.
  • RL-only 모델은 학습 도메인에서는 잘 작동하지만 다른 도메인으로 이동하면 성능이 급격히 떨어지는 반면, SkillFactory 모델은 인지 기술의 유연한 적용이 가능했습니다.

• 예산 강제 (Budget Forcing) 효과:

  • 추론 시 토큰 수를 늘려주는 (Budget Forcing) 기법을 적용했을 때, SkillFactory 모델은 더 긴 추론 과정을 통해 성능을 크게 향상시켰습니다. 이는 모델이 학습된 검증 및 재시도 기술을 효과적으로 활용하고 있음을 보여줍니다.

5. 의의 및 결론 (Significance)

SkillFactory 는 **인지 행동의 구조 (Structure)**가 내용 (Content) 그 자체보다 중요할 수 있음을 보여줍니다. 모델이 스스로의 실패와 성공을 구조화된 형식 (태그, 반성 단계) 으로 재구성하여 학습함으로써, RL 단계에서 이러한 기술을 효과적으로 활용할 수 있게 됩니다.

이 연구는 다음과 같은 의미를 가집니다:

• 접근성 향상: 거대 모델이나 고비용 데이터 없이도 중규모 모델에 고급 추론 능력을 부여할 수 있는 경로를 제시합니다.
• RL 의 효율성 증대: RL 학습 전 단계에서 인지 습관을 형성함으로써, RL 이 더 효율적으로 작동하고 과적합을 방지할 수 있습니다.
• 신뢰할 수 있는 추론: 모델이 단순히 정답을 맞추는 것을 넘어, 자신의 추론을 검증하고 수정하는 과정을 학습하게 함으로써 더 신뢰할 수 있는 AI 시스템을 구축하는 데 기여합니다.

결론적으로, SkillFactory 는 LLM 이 복잡한 추론 작업을 수행할 때 필요한 인지 기술을 외부에 의존하지 않고 내부적으로 습득하고 강화할 수 있는 효과적인 프레임워크를 제공합니다.