Beyond In-Distribution Success: Scaling Curves of CoT Granularity for Language Model Generalization

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 트랜스포머 기반의 언어 모델 (LM) 은 방대한 데이터 학습을 통해 지식 검색 및 추론 능력에서 뛰어난 성과를 보이고 있습니다. 그러나 실제 배포 환경에서는 훈련 데이터와 다른 분포 (Distribution Shift) 를 가진 복합적 과제 (Compound Tasks) 에 대해 일반화 (Generalization) 하는 능력이 여전히 큰 도전 과제입니다.
• 핵심 문제:
  • 기존 질문 - 답변 (Q-A) 쌍으로만 훈련된 모델은 훈련 데이터 분포 (In-Distribution, IID) 에서는 높은 정확도를 보이지만, 새로운 분포 (Out-of-Distribution, OOD) 에서는 성능이 급격히 저하됩니다.
  • 데이터 양을 10,000k(1 천만) 개 이상으로 늘려도 Q-A 모델의 OOD 일반화 성능은 개선되지 않는 한계가 존재합니다.
  • 체인 오브 씽킹 (Chain-of-Thought, CoT) 이 일반화에 도움이 된다는 것은 알려져 있으나, CoT 데이터의 세분화 정도 (Granularity) 가 일반화 성능에 어떤 영향을 미치는지, 그리고 데이터 양과 CoT 의 비율이 어떻게 상호작용하는지에 대한 체계적인 분석이 부족했습니다.

2. 방법론 (Methodology)

이 연구는 데이터 수집 전략이 LM 의 일반화 능력에 미치는 영향을 규명하기 위해 통제된 실험과 이론적 분석을 결합했습니다.

• 실험 설계:

  • 과제: 3 가지 합성 복합 추론 과제를 사용했습니다.
    1. LIS (Longest Increasing Subsequence): 정수 시퀀스에서 가장 긴 증가 부분 수열 찾기.
    2. MPC (Multi-Step Path Counting): 주어진 단계 제약 하에서 경로 수 계산.
    3. ERVC (Equation Restoration with Variable Computation): 변수 관찰을 바탕으로 선형 방정식을 복원하고 새로운 값을 계산.
  • 데이터 전략:
    • Q-A (CoT-0%): 질문과 최종 답변만 제공 (과정 supervision 없음).
    • Q-CoT (CoT-100%): 질문과 단계별 CoT 추론 과정 전체 제공.
    • 부분 CoT (Ablation): CoT 단계의 일부만 포함 (30%, 50%, 70% 드롭아웃) 하여 세분화 정도 (Granularity) 의 영향을 분석.
  • 모델: 6 레이어 트랜스포머 (LIS, MPC) 와 Phi-3.5-mini-instruct (ERVC) 를 사용하여 훈련 및 평가. Rotary Position Embedding(RoPE) 적용.
  • 평가: 훈련 데이터 (ID) 와 훈련되지 않은 길이/구조를 가진 테스트 데이터 (OOD) 에 대한 정확도 및 일반화 격차 (Gap) 측정.

• 이론적 분석:

  • 상태 전이 프레임워크: 복합 과제를 동적 의존성을 가진 상태 전이 (State Transition) 로 형식화했습니다.
  • Recap 조건 (Recap Condition):
    • Outside Window Recap: RoPE 와 유한 정밀도로 인해 멀리 떨어진 토큰의 주의 점수 (Attention Score) 가 0 에 수렴하므로, 중요한 의존성 토큰을 윈도우 내로 복사 (Recap) 해야 함을 증명.
    • Inside Window Recap: 불필요한 토큰이 포함되면 수렴이 느려지므로, 인과 순서에 따라 토큰을 배치해야 함을 증명.
  • KL 발산 감소: CoT 의 중간 단계가 훈련과 평가 분포 간의 KL 발산을 줄여주며, CoT 세분화가 높을수록 분포 이동 (Distribution Shift) 을 효과적으로 완화함을 수학적으로 증명했습니다.

3. 주요 기여 (Key Contributions)

1. 데이터 수집 전략의 영향 규명: Q-A 훈련 모델은 대량의 데이터 (10M 개 이상) 를 사용해도 OOD 환경에서 성능이 붕괴됨을 실험적으로 입증했습니다.
2. CoT 세분화와 일반화의 상관관계: CoT 데이터의 세분화 (Granularity) 가 일반화 성능과 강한 양의 상관관계를 가짐을 발견했습니다. 즉, 추론 단계가 더 세밀할수록 OOD 성능이 우수합니다.
3. 샘플 효율성 (Sample Efficiency): 고세분화 CoT 데이터로 훈련된 모델은 Q-A 모델보다 훨씬 적은 데이터 (최대 80% 절감) 로 동등하거나 더 나은 일반화 성능을 달성했습니다.
4. 이론적 증명: CoT 가 모델 내부에 유효한 의존성 구조를 내재화 (Internalization) 시키며, 트랜스포머의 위치 임베딩이 긴 CoT 시퀀스 내 하위 작업 조건의 반복을 강조함으로써 일반화를 증폭시킨다는 것을 증명했습니다.

4. 실험 결과 (Results)

• 일반화 격차 (Generalization Gap):
  • Q-A 모델: 훈련 데이터 (ID) 에서 8090% 이상의 높은 정확도를 보였으나, OOD 데이터에서는 정확도가 1030% 대로 급락했습니다. 데이터 양을 늘려도 이 격차는 해결되지 않았습니다.
  • CoT 모델 (100%): ID 와 OOD 모두에서 높은 정확도 (80~95% 이상) 를 유지하며, 데이터 양이 증가함에 따라 OOD 성능도 지속적으로 향상되었습니다.
• 세분화 효과 (Granularity Trade-off):
  • CoT 단계가 100% 포함된 모델이 가장 좋은 OOD 성능을 보였습니다.
  • CoT 단계가 30~50% 만 포함된 모델은 성능이 크게 저하되었으며, 이는 불완전한 추론 체인이 KL 발산을 증가시키고 일반화를 해친다는 이론과 일치합니다.
• 샘플 효율성:
  • 소규모 데이터 (1k10k) regime 에서 CoT-100% 모델은 Q-A 모델보다 훨씬 높은 OOD 정확도 (0.550.75 대 0.4 미만) 를 기록했습니다.
• Recap 조건 검증:
  • ERVC 과제에서 Recap 조건 (중요 토큰 복사) 을 적용한 모델은 훈련 정확도 0.974, OOD 정확도 0.947 을 기록한 반면, 적용하지 않은 모델은 OOD 정확도가 0.126 으로 급감했습니다. 이는 CoT 내 토큰 배치 전략의 중요성을 입증합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실무적 시사점: 대규모 언어 모델을 새로운 복합 작업에 적용할 때, 단순히 많은 양의 Q-A 데이터를 수집하는 것보다 고품질의 세분화된 CoT 데이터를 확보하는 것이 훨씬 효과적입니다. 이는 데이터 라벨링 비용 절감과 모델의 실제 배포 성능 향상에 중요한 가이드라인을 제공합니다.
• 이론적 기여: CoT 가 단순한 프롬프트 기법이 아니라, 모델이 복잡한 상태 전이와 동적 의존성을 학습할 수 있게 하는 필수적인 훈련 패러다임임을 이론적으로 뒷받침했습니다.
• 미래 방향: 자동화된 CoT 생성 및 동적 세분화 적응 기법을 통해 데이터 수집 비용을 further 줄이고, 더 큰 규모의 기초 모델 (Foundation Models) 에서의 검증이 필요함을 제시했습니다.

요약하자면, 이 논문은 "CoT 의 세분화 정도 (Granularity) 가 언어 모델의 OOD 일반화 능력을 결정하는 핵심 요소이며, 이를 통해 적은 데이터로도 강력한 일반화 성능을 달성할 수 있다"는 것을 체계적인 실험과 이론으로 입증한 연구입니다.