💻 computer science

On the Role of Reasoning Patterns in the Generalization Discrepancy of Long Chain-of-Thought Supervised Fine-Tuning

이 논문은 긴 추론 과정 (CoT) 데이터의 소스에 따른 일반화 격차를 분석하여, 낮은 훈련 손실에도 불구하고 분기적 탐색 패턴을 가진 데이터로 학습한 모델이 일반화 성능이 떨어지는 현상을 발견하고, 불필요한 분기 경로를 필터링하는 방식으로 일반화 능력을 획기적으로 개선할 수 있음을 제시합니다.

원저자: Zhaoyi Li, Xiangyu Xi, Zhengyu Chen, Wei Wang, Gangwei Jiang, Ranran Shen, Linqi Song, Ying Wei, Defu Lian

게시일 2026-04-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhaoyi Li, Xiangyu Xi, Zhengyu Chen, Wei Wang, Gangwei Jiang, Ranran Shen, Linqi Song, Ying Wei, Defu Lian

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🍎 핵심 비유: "미로 찾기 두 가지 스타일"

이 논문은 두 명의 훌륭한 미로 찾기 전문가 (DeepSeek-R1 과 gpt-oss) 가 같은 미로 (수학 문제) 를 풀고 그 과정을 기록한 것을 비교했습니다. 두 사람 모두 정답을 맞췄지만, 그 과정은 완전히 달랐습니다.

1. DeepSeek-R1 스타일: "미로 속 미로" (분산형 탐색)

행동: 이 전문가는 미로에 들어서는 순간, "어? 저기 갈 수 있을까?", "아니면 저쪽?", "혹시 저기?"라며 **수백 개의 가지치기 (Branching)**를 합니다.
특징: 한 방향으로 쭉 나가는 게 아니라, 여기저기서 막다른 골목 (Dead-end) 을 발견하면 다시 돌아와서 다른 길을 시도합니다.
결과: 정답을 찾기는 했지만, 불필요하게 많은 시간과 에너지를 낭비했습니다. 마치 미로 지도를 그리다가 지워지고 다시 그리는 과정을 반복하는 것과 같습니다.

2. gpt-oss 스타일: "직진하는 탐험가" (수렴형 추론)

행동: 이 전문가는 "이 길이 맞을 것 같다"고 판단하면, 한 방향으로 깊이 파고듭니다.
특징: 불필요한 가지치기를 최소화하고, 논리적으로 밀고 나가는 직선적인 추론을 합니다.
결과: 정답에 도달하는 과정이 훨씬 깔끔하고 효율적입니다.

🤔 놀라운 발견: "낮은 점수 = 좋은 학습?"이라는 착각

연구진은 이 두 전문가의 과정을 학생 AI (Base Model) 에게 가르쳤습니다. 여기서 놀라운 역설이 발생했습니다.

DeepSeek-R1 과정 학습: 학생 AI 는 이 과정을 배우는 동안 **학습 점수 (Loss)**가 매우 낮게 나왔습니다. "아, 이걸 배우면 내가 완벽하게 따라 할 수 있겠구나!"라고 생각한 것입니다.
- 하지만 실제 시험 (일반화 능력): 시험을 치르자 성적이 매우 나빴습니다. 왜냐하면 학생 AI 도 "여기서 갈래?", "저기서 갈래?" 하며 불필요하게 헤매는 습관을 그대로 배웠기 때문입니다.
gpt-oss 과정 학습: 학생 AI 는 이 과정을 배우는 동안 학습 점수는 높게 나왔습니다. "이건 따라 하기가 좀 어렵네?"라고 느낀 것입니다.
- 하지만 실제 시험: 시험 점수는 압도적으로 좋았습니다. 왜냐하면 학생 AI 는 효율적이고 논리적인 사고방식을 배웠기 때문입니다.

💡 핵심 교훈: "학습할 때 점수가 낮게 나온다고 해서 (쉽게 따라 했다고 해서) 실력이 좋은 건 아니다." 오히려 불필요한 헤매기 (Redundant Branching) 를 배워버리면, 실제 문제 해결 능력이 떨어집니다.

🛠️ 해결책: "불필요한 가지치기" 잘라내기

연구진은 이 문제를 해결하기 위해 한 가지 간단한 방법을 제안했습니다.

"DeepSeek-R1 의 학습 데이터 중에서, 너무 자주 갈래를 치는 (불필요하게 헤매는) 과정들을 잘라내어 학습시키자!"

방법: "혹시 (Perhaps)", "다른 방법은? (Another way)" 같은 단어가 너무 많이 나오는 긴 추론 과정은 삭제했습니다.
결과: 이렇게 불필요한 헤매기를 제거한 데이터로 다시 학습시킨 AI 는, 기존보다 수학 문제 해결 능력이 5% 이상 향상되었습니다.

📝 한 줄 요약

"AI 를 가르칠 때, 정답만 맞추는 '불필요한 헤매기' 과정은 버리고, 논리적으로 직진하는 '효율적인 사고' 과정만 골라 가르쳐야 진짜 똑똑한 AI 가 된다."

이 연구는 앞으로 AI 를 개발할 때, 단순히 "정답이 맞는 데이터"를 많이 모으는 것보다, **"어떻게 생각하는지 그 사고의 질 (패턴)"**을 잘 선별하는 것이 훨씬 중요하다는 것을 보여줍니다.

논문 요약: 긴 Chain-of-Thought (CoT) 지도 미세조정 (SFT) 에서 일반화 불일치를 유발하는 추론 패턴의 역할

1. 연구 배경 및 문제 제기 (Problem)

배경: 대형 추론 모델 (LRM) 을 구축하는 과정에서, 검증된 긴 Chain-of-Thought (CoT) 궤적을 이용한 지도 미세조정 (SFT) 이 핵심 단계로 자리 잡았습니다. 일반적으로 교사 모델 (Teacher Model) 로부터 생성된 추론 궤적을 학생 모델 (Student Model) 에 학습시키는 방식이 사용됩니다.
문제: 교사 모델의 성능이 비슷하더라도, 어떤 교사 모델의 궤적을 학습하느냐에 따라 학생 모델의 일반화 성능 (Generalization Performance) 에 큰 차이가 발생할 수 있습니다.
핵심 역설 (Paradox): 본 논문은 두 개의 경쟁적인 오픈소스 LRM 인 DeepSeek-R1-0528과 gpt-oss-120b를 대상으로 동일한 문제 세트 (~50 만 개) 에서 생성된 정답 궤적을 이용해 SFT 를 수행했습니다.
- 관측: DeepSeek-R1 데이터로 학습한 모델은 훈련 손실 (Training Loss) 이 현저히 낮았음에도 불구하고, 추론 벤치마크에서의 일반화 성능은 gpt-oss-120b 데이터로 학습한 모델보다 현저히 떨어졌습니다.
- 질문: 왜 더 낮은 훈련 손실을 기록한 모델이 실제 문제 해결 능력에서는 더 나쁜 성능을 보이는가?

2. 방법론 (Methodology)

저자들은 이 역설을 해결하기 위해 토큰 레벨 (Token-level) 과 추론 행동 레벨 (Step-level Reasoning Behavior) 의 다각적 분석을 수행했습니다.

실험 설정:
- 데이터: DeepSeek-R1-0528 과 gpt-oss-120b 가 동일한 ~50 만 개의 수학 문제에서 생성한 정답 궤적.
- 학생 모델: Qwen2.5 (7B, 32B), Llama3.1-8B, Qwen3-8B 등 4 가지 모델.
- 제어 변수: 문제 세트, 검증된 정답, 하이퍼파라미터, 훈련 스텝 수 등을 동일하게 유지하여 데이터의 구조적 특성만 비교.
분석 기법:
1. 토큰 레벨 손실 분석 (Token-level Loss Analysis):
  - SFT 후 토큰별 손실 분포를 분석하여 '긴 꼬리 (Long-tail)' 현상을 확인했습니다.
  - 고손실 토큰 (High-loss tokens) 이 논리적 전환을 담당하는 핵심 토큰인지, 그리고 두 모델 간 분포 차이를 비교했습니다.
2. 추론 행동 분석 (Reasoning Behavior Analysis):
  - DeepSeek-V3.2 를 활용하여 각 추론 단계를 4 가지 행동으로 자동 주석 달기 (Annotation) 했습니다:
    - Propose (제안): 새로운 가설이나 대안적 경로 제시 (발산적).
    - Deduce (추론): 기존 사실에 기반한 선형적 논리 전개 (수렴적).
    - Verify (검증): 중간 계산 확인.
    - Backtrack (후퇴): 오류 인식 및 경로 변경.
  - 행동 간 전이 확률 (Transition Matrix) 을 분석하여 궤적의 구조적 패턴을 파악했습니다.
3. 개입 실험 (Intervention Experiments):
  - 무작위 단계 삭제: 궤적의 10% 단계를 무작위로 삭제하고 재학습하여 데이터의 중복성 (Redundancy) 을 검증했습니다.
  - 데이터 필터링: 빈번하게 분기하는 (Branching) 궤적을 제거하는 두 가지 프록시 지표를 설계하여 필터링한 데이터로 SFT 를 수행했습니다.

3. 주요 발견 및 결과 (Key Findings & Results)

1. 훈련 손실과 일반화의 불일치 원인:
- DeepSeek-R1: 훈련 손실이 낮지만, 이는 중복적인 탐색 (Exploration) 단계가 많아 손실이 낮은 '루틴 토큰'의 비율이 높기 때문입니다. 핵심 논리적 전환 토큰의 손실은 gpt-oss 와 유사합니다.
- gpt-oss-120b: 훈련 손실은 높지만, 이는 핵심 추론 토큰 (논리적 전환) 에 집중된 고손실 신호가 많기 때문입니다.
2. 추론 패턴의 차이 (핵심 발견):
- DeepSeek-R1: 발산적 탐색 (Divergent Exploration) 패턴이 우세합니다. 자주 분기 (Propose $\to$ Propose) 하며 새로운 가설을 제시하지만, 깊은 추론 (Deduce) 없이 얕은 탐색을 반복합니다. 이는 구조적 중복 (Structural Redundancy) 을 유발합니다.
- gpt-oss-120b: 수렴적 추론 (Convergent Deduction) 패턴이 우세합니다. 논리적 흐름을 선형적으로 밀고 나가는 Deduce 단계가 압도적으로 많습니다.
- 학생 모델 전이: SFT 를 통해 학생 모델은 교사 모델의 추론 패턴을 그대로 학습합니다. DeepSeek-R1 데이터로 학습한 모델은 불필요한 분기 루프에 갇혀 정답에 도달하는 데 실패하거나 비효율적인 추론을 반복합니다.
3. 개입 실험 결과:
- 단계 삭제 실험: gpt-oss 데이터에서 단계를 삭제하면 성능이 급격히 떨어지지만, DeepSeek-R1 데이터에서는 성능이 거의 변하지 않거나 오히려 향상되었습니다. 이는 DeepSeek-R1 궤적에 불필요한 중복 단계가 많음을 증명합니다.
- 분기 궤적 필터링 (Filtering): DeepSeek-R1 데이터 중 '분기 빈도'가 높은 궤적을 제거하고 학습한 결과, 일반화 성능이 크게 향상되었습니다.
  - AIME25: +5.1% 향상
  - BeyondAIME: +5.5% 향상
  - 5 개 벤치마크 평균: +3.6% 향상

4. 주요 기여 (Contributions)

일반화 불일치 규명: 통제된 환경에서 DeepSeek-R1 데이터가 훈련 손실은 낮지만 일반화 성능은 gpt-oss 보다 낮다는 역설적인 현상을 최초로 체계적으로 증명했습니다.
추론 패턴의 역할 규명: 이 불일치의 근본 원인이 데이터의 구조적 추론 패턴 (발산적 탐색 vs 수렴적 추론) 에 있음을 발견했습니다. DeepSeek-R1 의 빈번한 분기 패턴이 학생 모델의 비효율적인 탐색 습관으로 전이되어 성능을 저해함을 입증했습니다.
실용적인 해결책 제안: 단순히 데이터 양을 늘리는 것이 아니라, 빈번하게 분기하는 궤적을 필터링하는 간단한 데이터 선별 전략을 제안했습니다. 이는 SFT 의 일반화 성능을 획기적으로 개선하는 효과적인 방법임을 실험적으로 증명했습니다.

5. 의의 및 결론 (Significance)

이 논문은 "정답을 맞춘다면 어떤 궤적이든 좋은 데이터다"라는 기존의 통념을 깨뜨립니다. 데이터의 양 (Length) 이나 정답 여부보다, 추론 궤적의 구조적 질 (Reasoning Pattern) 이 모델의 일반화 능력을 결정하는 핵심 요소임을 보여줍니다.

특히, Long CoT SFT 를 수행할 때 교사 모델의 추론 스타일을 무비판적으로 학습하는 것이 아니라, 불필요한 탐색과 중복을 제거한 '질 높은' 추론 궤적을 선별하여 학습시키는 것이 더 강력한 추론 모델을 만드는 길임을 시사합니다. 이는 향후 LRM 의 데이터 선별 (Data Curation) 전략과 효율적인 SFT 파이프라인 설계에 중요한 지침을 제공합니다.