🤖 AI

RL Squeezes, SFT Expands: A Comparative Study of Reasoning LLMs

본 논문은 검증 가능한 보상을 활용한 강화 학습 (RLVR) 이 잘못된 궤적을 압축하고 추론을 더 적은 단계에 집중시키는 반면, 지도 미세 조정 (SFT) 은 올바른 궤적을 확장하고 추론을 여러 단계에 분산시켜 현재 2 단계 학습 패러다임의 상호 보완적 성공을 설명한다는 것을 궤적 및 단계 수준에서 추론 경로를 분석하는 새로운 프레임워크를 제시한다.

원저자: Kohsei Matsutani, Shota Takashiro, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

게시일 2026-05-28

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Kohsei Matsutani, Shota Takashiro, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 논문 "RL Squeezes, SFT Expands: A Comparative Study of Reasoning LLM(추론형 LLM 에 대한 비교 연구: RL 은 수축시키고 SFT 는 확장시킨다)"을 쉬운 언어와 창의적인 비유를 사용하여 설명한 내용입니다.

큰 그림: 로봇에게 사고하는 법을 가르치는 두 가지 방법

복잡한 수학 문제나 코딩 퍼즐을 푸는 데는 서툴지만 대화는 잘하는 로봇이 있다고 상상해 보세요. 이 로봇을 더 똑똑하게 만들기 위해 연구자들은 두 가지 주요 학습 방법을 사용합니다.

SFT(지도 미세 조정): 이는 모방과 같습니다. 인간 전문가가 문제를 단계별로 해결하는 완벽한 예를 로봇에게 보여주고 "정확히 이렇게 해라"라고 말합니다.
RL(강화 학습): 이는 점수판이 있는 시행착오와 같습니다. 로봇이 스스로 문제를 해결해 보게 합니다. 정답을 맞추면 '금별'(보상) 을 받고, 틀리면 아무것도 받지 못합니다. 시간이 지남에 따라 실패로 이어지는 경로를 피하는 법을 배우게 됩니다.

이 논문은 질문합니다: 이 두 가지 다른 방법을 사용할 때 로봇의 뇌 안에서 실제로 무슨 일이 일어날까요? 로봇이 무엇에 답하는지뿐만 아니라 어떻게 생각하는지도 바꿀까요?

저자들은 이 두 가지 방법이 로봇의 '사고 과정'에 정반대의 영향을 미친다는 사실을 발견했습니다.

비유 1: "추론의 길" (궤적 수준)

로봇의 사고 과정을 숨겨진 보물 (정답) 을 찾기 위해 거대한 안개 낀 숲을 걷는 등산객이라고 상상해 보세요. 수많은 길이 있습니다: 보물로 이어지는 길도 있고, 많은 길이 막다른 길이나 절벽으로 이어집니다.

SFT(모방자) 는 '좋은 길'을 '확장'합니다:
로봇에게 전문가의 지도 (SFT) 를 보여주면, 로봇은 올바른 길을 걷는 법을 배웁니다. 하지만 여기서 함정이 있습니다. 로봇은 그 올바른 길의 많은 다른 변형들 위에서도 걷기 시작합니다. 보물을 찾는 방식에서 매우 창의적이고 다양해집니다.
- 함정: 나쁜 길 걷기를 멈추지는 않습니다. 로봇이 이미 늪 (실수) 으로 헤매고 있었다면, SFT 는 로봇에게 걷는 새로운 방법들을 가르치지만, 여전히 가끔 늪으로 헤매게 할 수 있습니다. SFT 는 올바른 경로의 수를 '확장'하지만, 나쁜 경로들을 반드시 제거하지는 않습니다.
RL(점수판) 은 '나쁜 길'을 '수축'시킵니다:
로봇에게 보상 (RL) 을 주는 게임으로 참여하게 하면, 로봇은 늪 길이 점수 0 으로 이어진다는 것을 빠르게 깨닫습니다. 그래서 그곳으로 걷는 것을 멈춥니다. 모든 잘못된, 혼란스러운, 또는 막다른 길들을 존재하지 않게 '수축'시킵니다.
- 함정: 좋은 경로도 '수축'시키는 경향이 있습니다. 정답에 대한 창의적인 변형들을 탐색하는 것을 멈추고, 가장 잘 작동하는 한 가지 경로에만 매달릴 수 있습니다. 매우 집중적이지만 다양성은 떨어집니다.
승리의 조합 (SFT + RL):
이 논문은 현재 가장 좋은 관행이 먼저 SFT 를 수행한 후 RL 을 수행하는 것인 이유를 설명합니다.
1. 먼저 SFT를 사용하여 로봇에게 보물을 찾는 새로운 방법들을 가르칩니다 (올바른 경로 확장).
2. 그런 다음 RL을 사용하여 로봇이 늪으로 헤매는 것을 처벌합니다 (잘못된 경로 수축).
- 결과: 문제를 해결하는 많은 방법을 알고 있지만 실수를 피하는 데 매우 엄격한 로봇을 얻게 됩니다.

비유 2: "사고의 도시" (단계 수준)

이제 로봇의 사고를 단일 경로가 아니라 도시 지도로 살펴보겠습니다. 추론의 각 '단계'(예: '면적을 계산한다' 또는 '공식을 확인한다') 는 이 도시의 건물입니다. 단계들 사이의 연결은 도로입니다.

RL 은 '허브 - 스포크' 도시를 만듭니다:
RL 학습 후 도시의 모습이 변합니다. 로봇은 몇 가지 특정하고 매우 중요한 건물 (허브) 에 크게 의존하기 시작합니다. 로봇은 이 핵심 단계들을 반복적으로 방문합니다.
- 효과: 도시는 매우 효율적이 되지만 이 몇몇 지점 주변으로 붐빕니다. 로봇은 자신의 '사고력'을 소수의 중요한 단계에 집중합니다. 마치 다른 모든 다리를 무시하고 강을 건너기 위해 오직 세 개의 특정 다리만 이용하는 통근자와 같습니다.
SFT 는 '분산된' 도시를 만듭니다:
SFT 학습 후 도시는 다르게 보입니다. 로봇은 사고를 분산시킵니다. 많은 다른 건물을 방문하며, RL 도시에서처럼 단일 건물이 압도적으로 많이 방문되지 않습니다.
- 효과: 사고가 '동질화'되거나 고르게 분산됩니다. 모든 사람이 다양한 거리를 이용하고 어느 단일 도로도 교통 체증이 없는 도시와 같습니다.

핵심 발견:

RL은 로봇의 사고를 몇 가지 핵심 단계에 집중적이고 강렬하게 만듭니다 (수축).
SFT는 로봇의 사고를 많은 단계에 걸쳐 넓고 분산되게 만듭니다 (확장).

도시의 모양 (위상)

연구자들은 기하학을 사용하여 이러한 사고 도시들의 '모양'도 살펴보았습니다.

기본 모델 (학습 전): 도시는 고립된 동네 (커뮤니티) 들로 나뉩니다. 한 동네에서 다른 동네로 이동하기 어렵습니다. 로봇은 지역적인 루프에 갇히게 됩니다.
RL: 동네 사이의 벽을 무너뜨립니다. 모든 것을 연결하는 몇 개의 거대한 '허브'가 지배하는 도시를 만듭니다. 이는 로봇이 올바른 허브를 맞출 경우 정답을 매우 빠르게 찾게 하지만, 그 특정 허브들에 의존하게 만듭니다.
SFT: 벽도 무너뜨리지만, 허브를 만드는 대신 모든 것이 서로 연결된 웹을 구축합니다. 이는 도시를 매우 견고하게 만들고 어떤 지점에서든 다른 어떤 지점으로 이동하기 쉽게 만듭니다.

논문의 주장 요약

RL 은 '수축기'입니다: 잘못된 사고 경로를 압도하고 로봇의 추론을 몇 가지 매우 효율적이고 교통량이 많은 단계에 집중시킵니다. 나쁜 옵션들을 제거함으로써 로봇이 첫 시도에 정답을 얻는 것 (Pass@1) 을 매우 잘하게 만듭니다.
SFT 는 '확장기'입니다: 로봇에게 올바르게 사고하는 새로운 방법들을 가르치고 추론의 부담을 많은 단계에 분산시킵니다. 그러나 로봇이 이전에 사용했을지도 모르는 나쁜 경로들을 자동으로 제거하지는 않습니다.
왜 SFT + RL 이 작동하는가: 가장 좋은 결과는 로봇에게 올바르게 사고하는 방법을 가르치기 위해 SFT 를 사용한 후 (좋은 경로 확장), 실수를 멈추도록 강요하기 위해 RL 을 사용하는 것에서 나옵니다 (나쁜 경로 수축).
구조가 중요합니다: RL 은 '허브 중심'의 추론 구조를 만드는 반면, SFT 는 '분산된' 구조를 만듭니다. 둘 모두 학습되지 않은 모델의 '분열된' 구조와는 다릅니다.

이 논문은 이러한 기계적 차이를 이해하는 것이 현재 성공적인 '2 단계' 학습 레시피 (SFT 후 RL) 가 똑똑한 추론 AI 를 만드는 데 왜 그토록 효과적인지 설명하는 데 도움이 된다고 결론지었습니다.

기술 요약: RL 은 수축시키고, SFT 는 확장시킨다: 추론 LLM 에 대한 비교 연구

문제 제기

검증 가능한 보상을 통한 강화학습 (RLVR) 과 지도 미세조정 (SFT) 은 추론 능력을 향상시키기 위해 사전 훈련된 대규모 언어 모델 (LLM) 을 후속 훈련하는 데 지배적인 패러다임이지만, 이러한 방법들이 근본적인 추론 과정을 어떻게 형성하는지에 대한 구체적인 메커니즘은 여전히 불분명합니다. 이전 연구들은 주로 결과 기반 지표 (예: Pass@k) 에 초점을 맞추어, RL 은 단순히 기존 기본 능력을 표출할 뿐이거나 SFT 는 암기를 유도하는 반면 RL 은 일반화를 촉진한다는 결론을 내렸습니다. 그러나 이러한 연구들은 RL 과 SFT 가 추론 경로의 구조와 추론 공간의 위상 (topology) 을 근본적으로 어떻게 변화시키는지에 대한 세밀한 이해가 부족합니다. 본 논문은 다음과 같은 질문에 답합니다: 정확도 측정을 넘어 RL 과 SFT 는 추론 과정을 어떻게 형성하는가?

방법론

저자들은 다양한 훈련 체계 하에서 추론 경로를 정량화하고 그 질적 변화를 포착하는 새로운 분석 프레임워크를 제시합니다. 본 연구는 수학 (AIME24, AIME25, AMC23) 및 코드 (HumanEval) 도메인에서 다양한 크기 (15 억, 70 억, 140 억 파라미터) 의 모델을 활용합니다. 분석은 두 가지 세분화 수준에서 수행됩니다:

궤적 수준 분석 (Trajectory-Level Analysis):
- 방법: Base, RL, SFT, SFT+RL 모델에서 여러 출력 (M=256) 을 샘플링합니다. 문자 수준 n-gram 유사도 (chrF) 를 기반으로 계층적 클러스터링 (UPGMA) 을 적용하여 출력에서 고유한 추론 궤적을 식별합니다.
- 목표: 훈련 전후로 고유한 정답 및 오답 궤적의 수를 계수하고 비교합니다.
단계 수준 분석 (추론 그래프, Step-Level Analysis):
- 구성: 모델 출력을 문단으로 분할하여 벡터 공간 (BGE-large-en-v1.5 사용) 에 임베딩하고 클러스터링 (K-means) 하여 노드를 정의합니다. 문단 간의 전이는 방향성 엣지를 형성하여 각 문제에 대한 "추론 그래프"를 생성합니다.
- 지표: 본 연구는 다음과 같은 전역 및 국소 위상적 속성을 분석합니다:
  - 지수 감쇠율: 노드 방문 빈도, 차수 (degree), 매개 중심성 (betweenness centrality) 의 순위 플롯을 지수 법칙 ( $X(R) \propto e^{-\lambda R}$ ) 에 맞춰 피팅하여 감쇠율 $\beta$ 를 결정합니다.
  - 전역 위상: 엣지 밀도, 클러스터링 계수, assortativity, 모듈성, 프리먼 중앙화, 평균 경로 길이, 전역 효율성, 대수적 연결성.
  - 국소 구조: 순환 및 비순환 구조를 탐지하기 위한 그래플릿 분석 (4 노드 서브그래프 계수).

주요 기여

본 논문은 SFT 와 RL 의 상호보완적 역할을 설명하는 "추론 경로 관점"을 정립합니다:

궤적 수준 역학:
- RL 수축 (RL Squeezes): RL 훈련은 고유한 오답 궤적의 수를 현저히 압축하여 오류의 검색 공간을 효과적으로 가지치기합니다. 그러나 동시에 고유한 정답 궤적의 수도 줄여 확률 질량을 더 적은 경로에 집중시킵니다.
- SFT 확장 (SFT Expands): SFT 훈련은 기본 모델에 없던 새로운 해결 전략을 도입하여 고유한 정답 궤적의 수를 증가시킵니다. 중요한 점은 SFT 만으로는 오답 궤적을 보존하는 경향이 있어 Pass@1 향상을 보장하지 못한다는 것입니다.
- 시너지: 2 단계 SFT+RL 접근법의 성공은 SFT 가 정답 해결 공간의 확장을 담당하고, 이어 RL 이 오답 공간의 압축을 담당하기 때문입니다.
단계 수준 구조적 변화:
- 감쇠율: RL 은 방문 빈도, 차수, 매개 중심성 분포의 감쇠율 ( $\beta$ ) 을 가파르게 만듭니다. 이는 RL 이 허브, 중심 노드와 같은 추론 기능을 소수의 단계로 통합함을 의미합니다. 반면 SFT 는 이러한 감쇠율을 평평하게 만들어 다양한 단계 전반에 기능을 균질화합니다.
- 전역 위상:
  - Base 모델: 높은 모듈성과 낮은 전역 효율성을 보이며, 추론이 서로 약하게 연결된 뚜렷한 커뮤니티에 갇혀 있음을 나타냅니다.
  - RL 모델: 높은 엣지 밀도와 낮은 모듈성을 가진 허브 중심 구조로 그래프를 변환하여 소수의 중심 노드를 통한 효율적인 이동을 가능하게 합니다.
  - SFT 모델: 커뮤니티 경계를 약화시켜 높은 견고성과 도달 효율성을 가진 전역 연결 그래프를 형성하지만, 일부 오답 경로는 유지할 수 있습니다.
- 국소 구조: RL 과 SFT 모두 순환 서브그래프의 비율을 증가시킵니다 (되돌아가기 및 검증을 반영). 이는 국소적 순환 구조만으로는 성능 차이를 설명할 수 없으며, 전역 위상이 차별화 요소임을 시사합니다.

결과

수학 및 코드 도메인: AIME, AMC 와 같은 수학 데이터셋과 코드 생성 (HumanEval) 에서 발견된 결과는 일관되게 유지됩니다.
Pass@k 대 Pass@1: RL 에 의한 고유한 정답 궤적의 감소는, 기본 모델의 분포가 더 넓은 범위를 커버하기 때문에 큰 $k$ 에서 Base 모델이 때때로 RL 모델보다 Pass@k 에서 더 나은 성능을 보일 수 있는 이유를 설명합니다. 반면 RL 은 가장 확률이 높은 정답 경로에 질량을 집중시켜 Pass@1 에서 탁월한 성능을 발휘합니다.
위상적 상관관계: 전역 효율성과 대수적 연결성은 Pass@1/Pass@k 비율과 양의 상관관계를 보이며, 모듈성은 음의 상관관계를 보입니다. 이는 전체 해결 공간에 걸친 효율적인 이동을 용이하게 하는 추론 그래프가 고성능에 결정적임을 시사합니다.
Ablation 연구: 감쇠율 및 위상적 변화에 관한 결과는 다른 클러스터 수 ( $K$ ), 거리 지표 (유클리드 대 코사인), 그리고 문단 인코더에 걸쳐 견고하게 유지됩니다.

중요성 및 주장

본 논문은 "RL 은 수축시키고, SFT 는 확장시킨다"는 가설에 대한 경험적 지지를 제공하며, 현재 SFT 후 RL 로 이어지는 2 단계 훈련이라는 최선의 실무가 성공하는 이유에 대한 기계론적 설명을 제시합니다.

훈련의 해석: SFT 는 새로운 전략을 학습하는 추론 공간의 "확장자"로 작용하고, RL 은 오류를 억제하고 고확률 정답 경로에 집중하도록 분포를 최적화하는 "압축기"로 작용한다고 가정합니다.
데이터 선별: 본 발견은 추론을 위한 데이터 구축이 정확도뿐만 아니라 그래프 지표 (예: 낮은 모듈성과 높은 전역 효율성 확보) 를 고려해야 함을 시사합니다.
향후 방향: 저자들은 기능적 단계 (허브) 에만 RL 을 적용하면 효율성을 높일 수 있으며, RL 의 탐색 보너스가 "과도한 수축"을 방지하는지 탐구하는 것은 가치 있는 방향이라고 제안합니다.

본 연구는 새로운 훈련 알고리즘을 발명하는 것이 아니라 기존 알고리즘을 이해하기 위한 진단 프레임워크를 제공하며, 현재 후속 훈련 레시피가 작동하는 이유를 해석하고 더 효율적인 학습 접근법 및 데이터 선별을 위한 방향을 제시합니다.