🤖 machine learning

RL Fine-Tuning Heals OOD Forgetting in SFT

본 논문은 체크포인트별 및 스펙트럼 분석을 통해 SFT 가 종종 분포 외 망각을 유발하고 이를 RL 이 회복시키며, 이 회복 과정은 특이값의 변화가 아닌 특이벡터의 회전과 연관되어 있음을 보여줌으로써 "SFT 는 암기하고 RL 은 일반화한다"는 관념에 도전한다.

원저자: Hangzhan Jin, Sitao Luan, Tianwei Ni, Sicheng Lyu, Guillaume Rabusseau, Reihaneh Rabbany, Doina Precup, Mohammad Hamdaqa

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Hangzhan Jin, Sitao Luan, Tianwei Ni, Sicheng Lyu, Guillaume Rabusseau, Reihaneh Rabbany, Doina Precup, Mohammad Hamdaqa

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 글은 간단한 언어와 창의적인 비유를 사용하여 해당 논문을 설명합니다.

큰 그림: AI 학습의 "두 단계" 춤

복잡한 퍼즐을 푸는 법을 배우게 하려는 천재이지만 경험이 부족한 학생 (대형 언어 모델) 을 상상해 보세요. 이 학생을 추론 전문가로 만드는 표준 레시피는 두 단계로 이루어집니다.

1 단계: 지도 미세 조정 (SFT) – 정답이 포함된 교과서를 학생에게 주고 "이 패턴들을 암기하고 스타일을 따라 하라"고 말합니다.
2 단계: 강화 학습 (RL) – 학생을 점수를 얻으면 보상을 받고 틀리면 감점을 당하는 게임에 참여시켜 "이제 스스로 논리를 찾아내어 이기라"고 말합니다.

오랫동안 AI 커뮤니티는 다음과 같은 단순한 이야기를 믿어 왔습니다. "SFT 는 학생에게 교과서를 암기하게 하여 (알려진 문제에 유리함), RL 은 학생이 일반화하고 창의적으로 생각하게 합니다 (새로운 문제에 유리함)."

이 논문은 그 이야기가 불완전하다고 말합니다. 저자들은 SFT 가 처음에는 훌륭하지만, 교과서를 너무 오래 공부하게 하면 오히려 새로운 유형의 퍼즐을 해결하는 학생의 능력을 해친다는 사실을 발견했습니다. 그런 다음 RL 은 반드시 새로운 초능력을 가르치는 것이 아니라, 주로 SFT 가 저지른 손상을 수리할 뿐입니다.

발견: "정점과 추락"

연구자들은 학습 과정에서 매일 학생의 진전을 지켜보았습니다. 그들은 놀라운 패턴을 발견했습니다.

초기 승리: "교과서 공부" (SFT) 의 아주 초반에 학생은 새로운 유형의 퍼즐 (분포 외 또는 OOD 작업) 을 푸는 데 매우 능숙해집니다. 마치 학생이 갑자기 수학의 근본적인 논리를 이해한 것과 같습니다.
추락: 학생이 교과서 공부를 계속할수록, 특정 교과서 문제에서는 더 잘 풀게 되지만 새로운 퍼즐을 푸는 능력은 오히려 떨어지기 시작합니다. 그들은 교과서 답변의 정확한 형식에 너무 집착하여 약간 다른 상황에 논리를 적용하는 방법을 잊어버립니다.
수리: 마침내 "게임" 단계 (RL) 로 전환하면 학생의 새로운 퍼즐 수행 능력이 다시 살아납니다.

비유:
요리법을 배우는 셰프를 상상해 보세요.

초기 SFT: 셰프는 맛의 기본 규칙을 배웁니다. 어떤 재료를 가지고도 훌륭한 요리를 할 수 있습니다.
후기 SFT: 셰프는 특정 레시피 책을 암기하도록 강요받습니다. 그들은 그 정확한 요리를 만드는 데는 놀라울 정도로 능숙해지지만, 다른 재료를 주면 맛을 조절하는 방법을 잊어버립니다. 그들은 일반적인 요리 직감을 "잊어버린" 것입니다.
RL: 셰프는 레시피와 상관없이 맛있는 음식을 만들면 점수를 받는 대회에 참가합니다. 이는 그들이 맹목적으로 책을 따르는 것을 멈추고 다시 직관을 사용하도록 강요합니다. 그들은 일반적인 요리 실력을 회복하지만, 학습이 시작될 때보다 갑자기 더 뛰어난 셰프가 되는 것은 아닙니다.

핵심 발견: RL 은 "창조자"가 아닌 "복원자"입니다

이 논문은 RL 이 처음부터 새로운 추론 능력을 만들어낸다는 개념에 도전합니다. 대신 저자들은 다음과 같은 사실을 발견했습니다.

SFT 는 잊어버립니다: 특정 데이터로 너무 오래 학습하면 모델은 이상하거나 새로운 상황을 처리하는 능력을 "잊어버립니다".
RL 은 회복시킵니다: RL 은 반창고와 같습니다. SFT 가 만든 구멍을 메워 모델을 SFT 단계의 정점에 있던 성능 수준으로 되돌립니다.
한계: RL 은 모델을 그 초기 정점보다 더 나아지게 만드는 경우는 드뭅니다. 단지 너무 전문화되기 전에 있던 상태로 다시 끌어올릴 뿐입니다.

"골디락스" 구역:
연구자들은 RL 이 올바른 시기에 시작될 때만 작동한다는 사실을 발견했습니다.

RL 을 너무 일찍 시작하면 (모델이 기초를 배우기 전), 모델이 너무 혼란스러워 실패합니다.
RL 을 너무 늦게 시작하면 (모델이 모든 것을 잊어버린 후), "게임" 신호가 너무 혼란스러워 모델이 학습할 수 없습니다.
RL 이 성공적으로 망각을 치유할 수 있는 특정 "적정 지점" (체크포인트 범위) 이 있습니다.

비밀 메커니즘: "회전하는 나침반"

왜 이런 일이 일어나는지 이해하기 위해 저자들은 **특이값 분해 (SVD)**라는 수학적 도구를 사용하여 모델의 뇌를 들여다보았습니다. 모델의 지식을 다양한 방향으로 가리키는 많은 바늘이 달린 거대한 나침반이라고 생각하세요.

바늘의 크기 (특이값): 연구자들은 이 바늘들의 강도 (얼마나 많은 지식이 저장되어 있는지) 가 학습 중에 거의 변하지 않는다는 사실을 발견했습니다. 그들은 안정적으로 유지됩니다.
바늘의 방향 (특이 벡터): 그러나 바늘들이 가리키는 방향은 극적으로 변합니다.

비유:
모델의 지식을 지도라고 상상해 보세요.

SFT는 지도를 지우지는 않지만 (데이터의 크기는 그대로 유지됨), 지도를 회전시킵니다. 나침반을 돌려 "북쪽"이 특정 교과서 예제를 향하도록 하여, 새롭고 다른 위치의 "북쪽"을 찾기 어렵게 만듭니다.
RL은 나침반을 다시 회전시킵니다. 지도에 새로운 땅을 추가하는 것이 아니라, "북쪽"이 다시 일반적인 논리를 향하도록 나침반을 재조정하여 모델이 새로운 지형을 항해할 수 있게 합니다.

일반 독자를 위한 요약

옛 믿음: "SFT 는 암기하고, RL 은 일반화한다."
새로운 현실: "SFT 는 (과도한 전문화로 인해) 잊어버리고, RL 은 (재정렬을 통해) 회복한다."
교훈: AI 를 같은 특정 데이터로 영원히 학습시키지 마십시오. 유연하게 생각하는 능력을 잃게 될 것입니다. 새로운 것에 대해 똑똑해지기를 원한다면, "암기" 단계를 적절한 시점에 멈추고 "게임" 단계를 사용하여 초점을 수정해야 합니다. 게임이 처음부터 완전히 새로운 기술을 가르쳐 줄 것이라고 기대해서는 안 됩니다.

이 논문은 새롭고 까다로운 문제를 해결하는 최고의 성능은 종종 학습 과정의 초기에 발생하며, 두 번째 단계 (RL) 는 주로 첫 번째 단계에서 너무 오래 학습함으로써 저지른 실수로부터 우리를 구제하기 위해 존재한다고 결론지었습니다.

기술 요약: RL 미세 조정으로 SFT 에서 발생하는 OOD 망각 치유

문제 제기

대형 언어 모델 (LLM) 의 표준 사후 훈련 파이프라인은 일반적으로 감독 미세 조정 (SFT) 을 followed by 강화 학습 미세 조정 (RLFT) 을 포함합니다. 해당 분야에서 지배적인 가설은"SFT 는 암기하고, RL 은 일반화한다"는 것으로, SFT 는 훈련 분포에 대한 과적합을 초래하는 반면 RL 은 분포 외 (OOD) 일반화를 향상시킨다고 제안합니다. 그러나 이러한 두 단계 동안 OOD 성능이 어떻게 진화하는지에 대한 근본적인 역학은 여전히 불분명합니다. 구체적으로, RL 이 새로운 추론 능력을 창출하는지 아니면 단순히 잃어버린 능력을 회복하는지, 그리고 SFT 중 OOD 저하의 메커니즘이 완전히 규명되지 않았습니다.

방법론

저자들은 LLaMA-3.2-11B-Vision과 Qwen-2.5-7B라는 두 가지 오픈소스 모델을 사용하여 두 단계 미세 조정 과정에 대한 포괄적인 체크포인트별 분석을 수행했습니다.

실험 설정:
- 작업: 연구는 분포 내 (ID) 와 분포 외 (OOD) 분할을 명시적으로 정의하기 위해 통제된 추론 환경을 활용합니다: GeneralPoints(수정된 카드 규칙을 가진 산술 추론), Navigation(방향 전환을 가진 공간 추론), Rank-Determinant Computation(선형 대수).
- 프로토콜: 모델은 전체 매개변수 SFT 를 거친 후 RL(PPO 또는 GRPO 사용) 을 수행합니다. 중요한 점은 저자들이 최종 SFT 체크포인트와 최종 RL 체크포인트를 단순히 비교하지 않는다는 것입니다. 대신, 성능의 진화를 매핑하기 위해 다양한 중간 SFT 체크포인트에서 RL 을 적용합니다.
- 평가: 전체 훈련 궤적에 걸쳐 ID 및 OOD 작업에서 성능을 추적합니다.
메커니즘 분석:
- SVD 분석: 저자들은 주요 매개변수 행렬 (Self-Attention $W_Q, W_K, W_V$ 및 MLP 레이어) 에 대해 특이값 분해 (SVD) 를 수행합니다. 특정 체크포인트에서 특이값이나 특이 벡터를 복원하는 (예: 후기 SFT 체크포인트의 특이 벡터를 초기'피크'체크포인트의 것과 교체) 제거 연구를 수행하여 스펙트럼 변화가 성능에 미치는 영향을 분리합니다.
- 이점 분포 분석: RL 롤아웃 동안 이점 추정치의 분포를 분석하여 RL 이 OOD 성능을 성공적으로 회복하는 조건을 이해합니다.

주요 발견

1. "SFT 는 망각하고, RL 은 회복한다"는 현상

단순한"SFT 는 암기하고, RL 은 일반화한다"는 서사와는 대조적으로, 저자들은 더 미묘한 역학을 관찰합니다:

초기 SFT 피크: OOD 추론 성능은 종종 SFT 과정 초기에 정점에 도달합니다 (이를 $SFT_{MaxOOD}$ 라고 표기).
OOD 망각: 이 피크를 넘어 SFT 가 계속됨에 따라, ID 성능 (훈련/테스트 손실) 이 계속 향상되는 동안 OOD 성능은 크게 저하됩니다. 이는 모델이 훈련 데이터의 특정 형식이나 규칙에 과도하게 특화되어 OOD 작업에 필요한 일반 추론 능력을 사실상"망각"했음을 나타냅니다.
회복 수단으로서의 RL: RL 은 일반적으로 초기 SFT 가 달성한 최고의 OOD 성능을 능가하지 않습니다. 대신, RL 은 SFT 후기 단계에서 손실된 OOD 능력을 복원하는 회복 메커니즘으로 작용합니다. 이 회복은 제한된 범위의 SFT 체크포인트 내에서만 유효합니다 (예: ID 정확도가 대략 40% 에서 80% 사이인 경우).

2. 메커니즘: 특이 벡터 회전

스펙트럼 분석은 이러한 역학의 근본 원인을 드러냅니다:

안정적인 특이값: 매개변수 행렬의 특이값은 SFT 와 RL 단계 전반에 걸쳐 대체로 안정적으로 유지됩니다. 미세 조정은 이러한 값의 크기를 크게 증폭하거나 감소시키지 않습니다.
회전하는 특이 벡터: OOD 성능의 저하와 회복은 특이 벡터의 회전과 강한 상관관계를 보입니다.
- SFT 의"망각"단계 동안, 특이 벡터는 OOD 견고성과 관련된 방향에서 멀어지게 회전합니다.
- RL 동안, 특이 벡터는 다시 회전하여 원래 부분 공간 정렬을 부분적으로 복원합니다.
제거 증거: OOD 가 높았던 초기 SFT 체크포인트의 특이 벡터를 OOD 가 낮았던 후기 SFT 체크포인트에 복원하면 OOD 성능이 회복되어, 벡터 회전이 망각의 주된 동인임을 확인시켜 줍니다.

3. 이점 분포 제약

OOD 성능을 회복하는 RL 의 효과는 이점 신호의 분포에 달려 있습니다. 이점 분포가 균형 잡혀 있을 때 (낮은 왜도, 높은 엔트로피, 정규 분포와의 낮은 KL 발산) RL 이 가장 효과적입니다. SFT 체크포인트가 너무 진전되었거나 (정책 엔트로피 붕괴) 너무 초기라면 (작업 능력 부족), 이점 신호가 왜곡되거나 불안정해져 효과적인 회복을 방해합니다.

중요성과 주장

이 논문은 사후 훈련 역학에 대한 더 정밀하고 메커니즘적인 이해를 제공한다고 주장합니다:

패러다임 정제: SFT 대 RL 의 이분법적 관점에 도전하여 SFT 는 망각할 수 있고 RL 은 회복할 수 있음을 제안합니다. 최고의 OOD 성능은 반드시 RL 이후가 아니라 종종 초기 SFT 체크포인트에서 발견됩니다.
진단적 가치: 이 연구는 전통적인 과적합 감지 방법 (ID 손실 모니터링) 이 OOD 망각을 포착하지 못함을 강조합니다. ID 손실은 계속 감소하는 동안 OOD 성능은 하락할 수 있기 때문입니다.
알고리즘적 함의: 이 발견은 OOD 능력과 관련된 상위 순위 특이 벡터 방향에 대해 직교화하여 업데이트를 수행하는 보호된 SFT에 대한 잠재적 방향을 시사합니다. 이는 회전과 후속 망각을 방지합니다. 이 접근 방식에 대한 예비 실험은 ID 성능을 유지하면서 OOD 정확도를 보존하는 데 유망한 결과를 보여줍니다.
일반화 가능성: "망각과 회복"패턴은 서로 다른 모델 (LLaMA, Qwen), 서로 다른 추론 작업, 그리고 서로 다른 RL 알고리즘 (PPO, GRPO, DAPO) 에서 관찰되어, 이것이 두 단계 미세 조정 과정의 근본적인 속성임을 시사합니다.

결론적으로, 저자들은 RL 이 새로운 추론 능력을 생성하는 보편적인 도구가 아니라, 균형 잡힌 이점 분포를 가진 체크포인트에서 초기화될 경우 장기화된 SFT 로 인해 유발된 OOD 망각을 완화하는 강력한 도구라고 주장합니다.