기술 요약: 베이스 모델은 추론하는 법을 알고 있다, 사고 모델은 언제 하는지를 배운다

문제 정의

대규모 언어 모델(LLM)은 답변하기 전에 "생각하도록"(예: Chain-of-Thought) 훈련될 때 추론 능력에서 상당한 개선을 보여주었다. 그러나 **이러한 "사고 모델(thinking models)"이 그들의 베이스 모델과 비교하여 정확히 무엇을 배우는가?**라는 근본적인 질문이 남아 있다. 기존의 가설들은 이들이 완전히 새로운 능력을 습득하거나, 추론을 더 효과적으로 구조화하는 법을 배우거나, 기존의 표현을 재사용하거나, 혹은 단순히 추론 시간의 연산량(inference-time computation) 증가로부터 이득을 얻는다고 제안한다. 본 논문은 RL(강화 학습)을 통해 훈련된 모델과 SFT(지도 미세 조정) 증류를 통해 훈련된 모델을 비교함으로써, 베이스 모델과 "사고 모델" 사이의 지식 격차의 본질을 실증적으로 결정하고자 한다.

방법론

저자들은 베이스 모델과 사고 모델 간의 차이를 분석하고 재구성하기 위해 두 부분으로 구성된 방법론을 도입한다.

1. 비지도 학습 기반의 추론 분류 체계 발견

주관적인 수동 검사를 피하기 위해, 저자들은 추론 궤적(reasoning traces)에서 추출된 문장 단위 활성화 값에 대해 **희소 오토인코더(Sparse Autoencoders, SAEs)**를 사용한다.

• 아키텍처: 저자들은 의도적으로 작은 딕셔너리 크기(5~50개의 카테고리)와 낮은 희소성($k=3$)을 가진 Top-K SAE를 사용하여, 모델이 부수적인 언어적 세부 사항이 아닌 근본적인 추론 변이의 축을 학습하도록 강제한다.
• 훈련: SAE는 MMLU-Pro 프롬프트에 대해 사고 모델이 생성한 추론 롤아웃(rollout)의 문장 단위 평균 활성화 값에 대해 훈련된다.
• 해석: LLM 기반의 해석 파이프라인은 상위 활성화 예시 문장을 바탕으로 각 클러스터(추론 메커니즘)에 대해 인간이 읽을 수 있는 제목과 설명을 생성한다.
• 평가: 분류 체계는 일관성(분류 F1 점수), 완전성(할당 신뢰도), 독립성(카테고리 간의 의미론적 직교성)을 기준으로 점수가 매겨진다.

2. 구성적 모델 차이 분석 (Constructive Model Diffing)

핵심 기여는 두 가지 해석 가능한 구성 요소를 사용하여 베이스 모델과 사고 모델 사이의 성능 격차를 명시적으로 재구성하는 프레임워크이다.

• 추론 메커니즘 (The "What"): SAE 분류 체계에 의해 식별된 특정 추론 행동을 유도하기 위해 베이스 모델 내에서 최적화된 카테고리 벡터(스티어링 벡터). 이는 인지 작용(예: 백트래킹, 산술 계산)을 나타낸다.
• 추론 휴리스틱 (The "When"): 특정 메커니즘을 언제 활성화할지 결정하는 사고 모델에서 추출된 분류기(classifier). 이는 SAE 활성화와 베이스 모델 및 사고 모델 간의 토큰 예측 불일치 지점에서 도출된다.

하이브리드 모델: 저자들은 베이스 모델의 생성 능력과 사고 모델의 휴리스틱, 그리고 베이스 모델의 최적화된 카테고리 벡터를 결합한 "하이브리드" 모델을 구축한다. 만약 이 하이브리드 모델이 사고 모델의 성능을 회복한다면, 이는 사고 모델이 주로 기존의 베이스 능력을 조율하기 위한 휴리스틱을 배웠음을 의미한다. 만약 성능 회복에 실패한다면, 이는 사고 모델이 베이스 모델에 존재하지 않는 새로운 메커니즘을 배웠음을 시사한다.

주요 기여

1. 비지도 추론 분류 체계: 수동 레이블링 없이도 해석 가능하고 인간이 이해할 수 있는 추론 메커니즘(예: "백트래킹", "산술 계산", "메타 인지적 자기 프롬프트")을 발견하는 방법론을 제시하며, 이를 9가지 서로 다른 모델 구성에 대해 검증하였다.
2. 구성적 모델 차이 분석 프레임워크: 베이스 모델과 미세 조정된 모델 간의 차이를 "메커니즘(벡터)"과 "휴리스틱(타이밍 분류기)"으로 분해하여, 미세 조정된 모델의 행동을 인과적으로 재구성할 수 있는 새로운 접근 방식을 제공한다.
3. 훈련 패러다임 간의 실증적 구분: 이 프레임워크를 적용한 결과, RL로 훈련된 모델과 SFT로 증류된 모델이 배우는 바가 근본적으로 다르다는 점을 밝혀냈다.

결과

연구는 GSM8K, MATH500, 그리고 별도의 테스트 세트인 Hendrycks-MATH에 대해 9개의 베이스/사고 모델 쌍을 평가하였다.

• RL 훈련 모델 (Open-Reasoner-Zero): 베이스와 사고 모델 쌍으로부터 구축된 하이브리드 모델은 평균적으로 베이스-사고 모델 간 성능 격차의 약 **76%**를 회복했다. 일부 사례(예: ORZ-0.5B)에서는 격차의 100%를 초과하여 회복하기도 했다.
• SFT 증류 모델 (DeepSeek-R1-Distill): 하이브리드 모델은 격차를 훨씬 적게 회복하였으며, 평균적으로 단 **11%**만을 회복했다. 작은 모델에서는 회복률이 거의 0에 가까웠으나, 더 큰 모델(14B/32B)에서는 약 15~30%로 개선되었지만 여전히 RL 성능에는 훨씬 못 미쳤다.
• 혼합 모델 (QwQ-32B): SFT 이후 RL로 훈련된 모델은 격차의 약 **20%**를 회복하였으며, 순수 RL 모델보다는 SFT 증류 모델과 더 유사하게 행동했다.
• 카테고리 벡터 수렴: RL 쌍에서 훈련된 카테고리 벡터는 SFT 쌍에서 훈련된 것보다 현저히 낮은 교차 엔트로피 손실(cross-entropy loss)로 수렴하였다. 이는 RL 모델이 이미 베이스 모델의 활성화 공간에 존재하거나 쉽게 접근 가능한 추론 행동을 활용하고 있음을 나타낸다.
• 스티어링 희소성: 성공적인 RL 하이브리드는 단 **5~12%**의 토큰만을 스티어링해야 했던 반면, SFT 하이브리드는 더 높은 개입률을 필요로 했음에도 불구하고 성능 회복에는 실패했다.

의의 및 주장

본 논문은 성능 회복의 차이가 훈련 패러다임의 성격에서 기인한다고 주장한다.

1. RL은 휴리스틱을 가르친다: 강화 학습은 주로 모델에게 베이스 모델이 이미 보유하고 있는 추론 메커니즘을 언제 배치할지를 가르친다. 베이스 모델은 "추론하는 법을 알고 있으며", RL은 이러한 기존 능력의 조율(orchestration)을 최적화한다. 이것이 구성적 차이 분석(베이스 메커니즘 + 사고 휴리스틱)이 RL 모델의 행동을 성공적으로 재구성하는 이유이다.
2. SFT는 새로운 메커니즘을 증류한다: 지도 미세 조정(증류)은 종종 학생 모델이 베이스 모델이 자연스럽게 보유하지 못하거나 쉽게 접근할 수 없는 추론 행동 또는 메커니즘을 채택하도록 강제한다. 결과적으로, 사고 모델의 휴리스틱으로 베이스 모델을 스티어링하는 것만으로는 SFT 모델의 성능을 복제하기에 불충분하다. 이는 근본적인 "메커니즘(벡터)"이 근본적으로 다르거나 결여되어 있기 때문이다.
3. 규모 의존성: 논문은 더 큰 베이스 모델(예: 32B)이 작은 모델보다 SFT 격차를 더 많이 회복한다는 점을 언급하며, 이는 큰 모델이 SFT가 활성화할 수 있는 더 넓은 범위의 잠재적 추론 메커니즘을 본질적으로 포함하고 있음을 시사한다.

한계점: 저자들은 현재의 분류 체계가 훈련 데이터(MMLU-Pro)로 인해 수학적 추론에 편향되어 있다는 점과, SFT 모델의 낮은 회복률이 메커니즘의 부재보다는 카테고리 벡터 최적화의 한계를 반영할 가능성이 있다는 점을 인정한다.

결론: 본 논문은 훈련 패러임에 대한 새로운 관점을 제공하며, 효율적인 추론 모델 개발은 완전히 새로운 추론 패턴을 설치하려고 시도하는 SFT 방식보다는, 잠재된 베이스 능력을 조율하는 RL 기반의 접근 방식으로부터 이득을 얻을 수 있음을 시사한다.