💬 NLP

Proximal Supervised Fine-Tuning

이 논문은 강화학습의 신뢰 영역 최적화 개념을 차용하여 기존 지도 미세 조정 (SFT) 의 일반화 한계를 극복하고 과적합을 방지하는 '근접 지도 미세 조정 (PSFT)'을 제안합니다.

원저자: Wenhong Zhu, Ruobing Xie, Rui Wang, Xingwu Sun, Di Wang, Pengfei Liu

게시일 2026-04-14

📖 3 분 읽기☕ 가벼운 읽기

원저자: Wenhong Zhu, Ruobing Xie, Rui Wang, Xingwu Sun, Di Wang, Pengfei Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🚀 "근접형 지도 학습 (PSFT)": AI 가 '외우기'만 하지 않게 만드는 새로운 비법

이 논문은 인공지능 (AI) 이 새로운 것을 배울 때, 기존에 알던 지식을 잃어버리거나 너무 딱딱하게 변해버리는 문제를 해결하는 새로운 방법을 소개합니다. 이 방법을 **PSFT(Proximal Supervised Fine-Tuning, 근접형 지도 학습)**라고 부릅니다.

이 복잡한 기술 용어를 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제: "외우는 학생" vs "생각하는 학생"

기존의 AI 학습 방식인 **SFT(지도 학습)**는 마치 학생이 시험 문제집만 달달 외우는 것과 같습니다.

상황: 수학 문제집을 100 권 풀게 하면, 그 문제집의 답을 완벽하게 외웁니다.
단점: 하지만 시험장에 가서 조금만 문제가 변형되면 (예: 숫자만 바뀐 문제) 당황해서 못 풉니다. 또한, 외우는 데만 집중하다 보니 "창의성"이나 "호기심" 같은 기존 능력은 사라져 버립니다.
결과: AI 는 특정 과목에서는 천재가 되지만, 다른 과목이나 새로운 상황에서는 멍청해집니다. 이를 **'엔트로피 붕괴 (Entropy Collapse)'**라고 하는데, 쉽게 말해 AI 의 사고가 너무 좁아져서 유연성을 잃어버린 상태입니다.

2. 해결책: "신중한 학습자" (PSFT)

이 논문은 RL(강화 학습) 분야에서 쓰이는 **PPO(근접 정책 최적화)**라는 기술을 차용해서, AI 가 너무 급하게 변하지 않도록 제어하는 방법을 고안했습니다.

비유: "안전벨트와 제한속도"

기존 SFT: AI 가 새로운 데이터를 볼 때마다 "아! 이게 정답이야!"라고 외치며 발광처럼 급하게 자신의 생각을 바꿉니다. 이때 기존에 알던 좋은 습관 (일반적인 지식) 이 날아가 버립니다.
새로운 PSFT: AI 가 새로운 것을 배울 때, **"잠깐만, 너무 멀리 가지 말자"**라고 **안전벨트 (Trust Region)**를 채워줍니다.
- AI 는 새로운 정답을 배우되, 과거의 자기 자신과 너무 달라지지 않도록 제한합니다.
- 마치 **운전할 때 속도 제한 (Clipping)**을 걸어두는 것처럼, 너무 급격한 가속 (큰 변화) 을 막아줍니다.

3. PSFT 의 핵심 원리: "조금씩, 하지만 꾸준히"

이 방법은 AI 에게 다음과 같은 두 가지 장점을 줍니다.

기억력 유지 (Generalization):
- 비유: 수학 문제만 풀어도, 여전히 국어, 영어, 역사 지식은 그대로 유지됩니다.
- PSFT 는 AI 가 특정 문제 (예: 수학) 를 잘 풀게 하면서도, 다른 분야에서도 잘할 수 있는 능력을 잃지 않게 해줍니다.
미래를 위한 여지 (Room for Optimization):
- 비유: 시험을 치기 전에 "완벽하게 다 외웠다"고 생각하면, 실제 시험장에서 새로운 문제를 풀 때 당황합니다. 하지만 "기본은 다 알고 있으니, 조금만 더 다듬으면 되겠다"는 태도를 유지하면, 나중에 더 어려운 문제를 풀 때 훨씬 잘 적응합니다.
- PSFT 로 학습된 AI 는 나중에 **강화 학습 (RL)**이라는 더 고급 훈련을 받을 때, 더 빠르게, 더 잘 성장할 수 있는 기반을 마련해 줍니다.

4. 실험 결과: 실제로 효과가 있을까요?

논문의 실험 결과 (수학, 인간 가치 정렬, 이미지 이해 등) 는 다음과 같습니다.

특수한 능력: 수학 문제를 푸는 능력은 기존 방식 (SFT) 과 비슷하거나 더 좋습니다.
일반적인 능력: 수학 문제만 풀다가 사라지던 일반 상식이나 다른 과목 능력은 유지됩니다.
미래 성장: 나중에 더 복잡한 훈련 (RL) 을 시켰을 때, PSFT 로 시작했던 AI 가 훨씬 더 좋은 성적을 냈습니다.

5. 결론: 왜 이것이 중요한가요?

이 논문은 **"AI 를 가르칠 때, 무조건 많이 외우게 하는 것보다, '신중하게' 가르치는 것이 더 현명하다"**는 것을 증명합니다.

기존 방식: "이거 외워! 이거 외워!" (결과: 외우기는 잘하지만, 유연성 없음)
PSFT 방식: "이것도 배우되, 네가 가진 좋은 점은 잃지 마라. 천천히, 하지만 꾸준히 변해라." (결과: 특정 능력도 좋고, 일반 능력도 유지되며, 미래 성장 가능성도 큼)

이처럼 PSFT는 AI 가 '로봇'처럼 딱딱하게 변하는 것을 막고, **'유연한 지성'**을 유지하며 발전할 수 있게 해주는 현명한 학습 전략입니다.

Proximal Supervised Fine-Tuning (PSFT) 기술 요약

이 논문은 ICLR 2026에 발표된 것으로, 대형 언어 모델 (LLM) 의 후속 학습 (Post-training) 단계에서 발생하는 일반화 능력 저하와 엔트로피 붕괴 (Entropy Collapse) 문제를 해결하기 위해 제안된 새로운 미세 조정 (Fine-tuning) 방법론인 **Proximal Supervised Fine-Tuning (PSFT)**을 다룹니다.

1. 문제 정의 (Problem)

기존의 지도 미세 조정 (Supervised Fine-Tuning, SFT) 은 특정 태스크에 대한 성능을 높이는 데 효과적이지만, 다음과 같은 심각한 한계를 가집니다:

일반화 능력 저하: SFT 는 본질적으로 행동 복제 (Behavior Cloning) 를 수행하므로, 미세 조정 데이터셋이 최적이지 않거나 사전 학습 데이터와 분포가 다를 경우 모델의 기존 일반적 능력 (Reasoning, Instruction Following 등) 이 퇴화합니다.
엔트로피 붕괴 (Entropy Collapse): SFT 과정에서 모델의 출력 분포가 지나치게 집중되어 다양성이 사라집니다. 이는 모델이 탐색 (Exploration) 능력을 상실하게 하여, 이후 강화 학습 (RL) 단계를 수행할 때 성능 향상의 여지를 제한합니다.
RL 학습의 비효율성: SFT 로 인해 모델이 특정 패턴에 과도하게 편향되면, 이후 PPO 나 GRPO 와 같은 강화 학습 알고리즘이 모델을 더 잘 조정하기 어려워집니다.

2. 방법론 (Methodology)

저자들은 강화 학습 (RL) 의 **신뢰 구간 정책 최적화 (TRPO)**와 **근접 정책 최적화 (PPO)**에서 영감을 받아, SFT 에 신뢰 구간 (Trust Region) 개념을 도입한 PSFT를 제안했습니다.

핵심 아이디어: SFT 를 정책 경사 (Policy Gradient) 방법의 특수한 경우로 간주합니다. 즉, 정답 토큰에 대한 이득 (Advantage) 을 상수 (1) 로 가정하고, PPO 의 **클립된 대리 목적 함수 (Clipped Surrogate Objective)**를 SFT 손실 함수에 적용합니다.
손실 함수 (Loss Function):
$L_{PSFT}(\theta) = \mathbb{E}_{(s_t, a_t) \sim D} \left[ \min \left( r_t(\theta), \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \right) \right]$
여기서 $r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$ 는 새 정책과 이전 정책의 확률 비율이며, $\epsilon$ 은 신뢰 구간을 정의하는 하이퍼파라미터입니다.
동적 이전 정책 (Dynamic $\pi_{\theta_{old}}$ ): PPO 와 달리 고정된 참조 모델을 사용하지 않고, 학습 과정에서 $\pi_{\theta_{old}}$ 를 동적으로 업데이트하여 점진적이고 안정적인 학습을 가능하게 합니다.
작동 원리: 이 메커니즘은 토큰 확률의 급격한 변화를 억제하여, 모델이 특정 데이터에 과도하게 적응 (Overfitting) 하는 것을 방지하고 기존 일반 능력을 유지하도록 합니다.

3. 주요 기여 (Key Contributions)

PSFT 제안: 클립된 대리 목적 함수를 사용하여 신뢰 구간과 유사한 제약을 부과하는 새로운 SFT 최적화 방법론을 제안했습니다. 이는 표준 SFT 대비 목표 태스크 성능을 유지하면서 일반 능력을 보존합니다.
엔트로피 붕괴 방지: PSFT 는 학습 중 엔트로피 붕괴와 과적합을 효과적으로 방지하여, 이후 RL 단계에서 더 강력하고 우수한 결과를 도출할 수 있는 기반을 마련합니다.
광범위한 검증: 수학 추론, 인간 가치 정렬 (Human Alignment), 멀티모달 (Vision-Language) 등 다양한 도메인과 베이스 모델 (Qwen, Llama 등) 에서 PSFT 의 유효성을 입증했습니다.

4. 실험 결과 (Results)

논문은 수학 추론, 정렬, 멀티모달 태스크를 포함한 다양한 실험을 통해 PSFT 의 우월성을 입증했습니다.

SFT 단계 성능:
- 인도 (In-domain): 표준 SFT 와 동등하거나 더 나은 성능을 달성했습니다 (예: AIME-24, MATH-500).
- 아웃도 (Out-of-domain): GPQA, TruthfulQA, IFEval 등 일반화 태스크에서 표준 SFT 가 성능이 급격히 떨어지는 반면, PSFT 는 높은 성능을 유지하거나 오히려 향상시켰습니다.
- 엔트로피: SFT 는 학습이 진행됨에 따라 엔트로피가 급격히 감소 (붕괴) 하는 반면, PSFT 는 부드러운 엔트로피 곡선을 유지하여 장기 학습에 안정적입니다.
RL 단계 (후속 학습) 성능:
- PSFT 를 Cold Start 로 사용한 후 GRPO/DAPO 와 같은 RL 알고리즘을 적용했을 때, 표준 SFT 기반 모델보다 더 빠른 수렴과 더 높은 최종 성능을 보였습니다.
- 특히 아웃도메인 태스크에서 PSFT 기반 RL 모델이 표준 SFT 기반 모델보다 큰 마진으로 우세한 성능을 기록했습니다.
정렬 (Alignment) 및 멀티모달:
- DPO(직접 선호도 최적화) 학습 전 PSFT 를 거친 모델은 '정렬 세금 (Alignment Tax, 일반 능력 저하)'이 적게 발생했습니다.
- 비전 언어 모델 (VLM) 실험에서도 텍스트 기반 추론 데이터를 주입할 때 PSFT 가 VLM 의 시각적 이해 능력을 보존하는 데 성공했습니다.

5. 의의 및 결론 (Significance)

이 논문은 SFT 와 RL 간의 이론적 연결고리를 강화하고, 신뢰 구간 (Trust Region) 개념을 지도 학습에 성공적으로 적용했다는 점에서 의미가 큽니다.

실용적 가치: PSFT 는 복잡한 RL 파이프라인 없이도 SFT 단계에서 일반화 능력을 보호할 수 있는 효율적인 대안을 제공합니다.
미래 지향성: PSFT 는 모델이 후속 RL 단계에서 더 큰 잠재력을 발휘할 수 있도록 '안정적인 시작점'을 제공함으로써, 차세대 LLM 후속 학습 파이프라인의 표준으로 자리 잡을 가능성이 높습니다.
핵심 통찰: "SFT 는 단순히 데이터를 암기하는 것이 아니라, 신뢰 구간 내에서 정책을 업데이트하여 일반 능력을 보존하는 과정이어야 한다"는 새로운 관점을 제시했습니다.

요약하자면, PSFT는 기존 SFT 의 치명적인 약점인 일반화 능력 저하와 엔트로피 붕괴를 해결하면서도 목표 태스크의 성능은 유지하는, RL 의 안정성 원리를 SFT 에 접목한 획기적인 미세 조정 기법입니다.