🤖 machine learning

Rotation-Preserving Supervised Fine-Tuning

본 논문은 미세 조정 과정에서 가중치 행렬의 투영된 상위- $k$ 개 특이벡터 블록의 변화를 패널티함으로써 사전 학습된 표현을 유지하면서 도메인 외 일반화를 개선하는 계산적으로 효율적인 방법인 회전 보존 지도 미세 조정 (RPSFT) 을 소개합니다.

원저자: Hangzhan Jin, Tianwei Ni, Lu Li, Pierre-Luc Bacon, Mohammad Hamdaqa, Doina Precup

게시일 2026-05-13

📖 3 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Hangzhan Jin, Tianwei Ni, Lu Li, Pierre-Luc Bacon, Mohammad Hamdaqa, Doina Precup

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 한 명의 매우 유능하고 만능 전문가 (대형 언어 모델) 가 '사전 학습' 단계 동안 요리부터 코딩, 역사까지 모든 것을 배웠다고 말입니다. 이들은 일반적 천재입니다.

이제, 당신은 이 전문가에게 고급 수학 문제 해결과 같은 매우 구체적인 새로운 기술을 가르치고자 합니다. 이를 **지도 학습 미세 조정 (Supervised Fine-Tuning, SFT)**이라고 합니다.

문제: '과도한 전문화'의 함정

이 전문가를 수학에 대해 집중적으로 훈련시키면, 그들은 수학 실력이 매우 뛰어납니다. 하지만 함정이 있습니다. 수학을 마스터하느라 급급한 나머지, 그들이 Previously 잘하던 다른 것들, 즉 창의적인 이야기 쓰기나 일반 상식 질문에 답하는 능력을 '잊어버리거나' 오히려 떨어뜨리게 됩니다.

마치 한 달 내내 매일 감자 껍질만 까는 연습에 매진하는 요리사의 상황을 생각해 보세요. 그들은 세계에서 가장 빠른 감자 껍질 까는 사람이 되지만, 한 달이 끝날 쯤에는 양파를 다지거나 수프에 간을 하는 법을 잊어버립니다. 그들의 뇌는 물리적으로 너무 많이 재배선되어 이전의 기술들이 사라진 것입니다.

인공지능 세계에서는 모델의 내부 '배선' (수학적 가중치) 이 잘못된 방향으로 너무 많이 비틀리고 회전하기 때문에 이런 일이 발생합니다. 모델은 그 일반적인 '형태'를 잃게 됩니다.

해결책: RPSFT ('앵커' 방법)

이 논문의 저자들은 **회전 보존 지도 학습 미세 조정 (Rotation-Preserving Supervised Fine-Tuning, RPSFT)**이라는 새로운 방법을 제안합니다.

다음은 비유입니다:
모델의 내부 배선을 수천 개의 금속 막대로 이루어진 거대하고 복잡한 3 차원 조각품이라고 상상해 보세요. 일부 막대는 두껍고 무겁습니다 (이것들은 모델이 배운 가장 중요하고 일반적인 지식을 나타냅니다). 다른 막대들은 얇고 유연합니다.

표준 훈련 (SFT): 모델에게 수학을 가르치려 할 때, 당신은 전체 조각품을 잡고 새로운 수학 모양에 맞추기 위해 격렬하게 비틀어 봅니다. 수학은 맞출 수 있을지 모르지만, 조각품을 지탱하는 두껍고 무거운 막대들을 구부리게 됩니다. 전체 구조가 왜곡되어 더 이상 똑바로 서 있을 수 없게 됩니다 (일반 기술을 잊어버립니다).
RPSFT 훈련: 이 방법은 "수학을 가르치되, 두껍고 무거운 막대들을 비틀지 말자"고 말합니다.

훈련 시작 전에 연구자들은 가장 중요한 막대들 (최대 특이 벡터) 의 '스냅샷'을 찍습니다. 훈련 중에는 이러한 특정 막대들에 보이지 않는 앵커를 설치합니다.

수학 훈련이 이러한 무거운 막대들을 비틀려고 하면, 앵커가 "아니야, 똑바로 있어!"라고 말하며 그들을 다시 당깁니다.
그러나 다른 유연한 막대들은 수학을 배우기 위해 필요한 만큼 자유롭게 움직이고 비틀릴 수 있습니다.

이것이 작동하는 이유

'무거운 막대들'을 고정함으로써, 모델은 새로운 수학 기술을 배우면서도 일반적인 균형을 잃지 않습니다.

결과: 모델은 수학 (작업 적응) 에 뛰어나지만, 일반인으로서의 능력 (도메인 외 일반화) 을 잃지 않습니다.
보너스: 모델의 내부 구조가 여전히 안정적이고 '건강'하기 때문에, 첫 번째 훈련 라운드에서 파괴되지 않았기 때문에 나중에 (강화 학습과 같은) 더 고급 기술을 가르치는 것이 더 쉽습니다.

논문에서 발견한 점

연구자들은 수학 문제를 사용하여 Llama 와 Qwen 과 같은 다양한 AI 모델에서 이를 테스트했습니다. 그들은 다음과 같은 사실을 발견했습니다:

더 나은 균형: RPSFT 로 훈련된 모델들은 수학에 더 뛰어났을 뿐만 아니라, 표준 방법으로 훈련된 모델들보다 일반 지식을 덜 잊어버렸습니다.
덜어난 편차: 모델 내부를 살펴보면, '무거운 막대들'이 표준 훈련에서 그랬던 것처럼 거의 비틀리지 않았습니다.
더 튼튼한 기반: RPSFT 로 훈련된 모델들을 가져와 두 번째 라운드의 고급 훈련을 시켰을 때, 기존 방식으로 훈련된 모델들보다 더 좋은 성과를 냈습니다.

요약하자면

RPSFT 는 학생에게 새로운 과목을 가르칠 때, 그들이 열심히 공부하게 하되 핵심 가치나 일반 지식을 잊지 않도록 보장하는 것과 같습니다. 이는 AI 의 뇌에서 가장 중요한 부분들이 형태를 잃고 비틀리는 것을 방지하기 위해 '수학적 앵커'를 사용하여, 현재 공부하고 있는 한 가지 영역뿐만 아니라 모든 영역에서 똑똑하게 유지되도록 합니다.

기술 요약: 회전 보존 감독 미세 조정 (RPSFT)

1. 문제 제기

감독 미세 조정 (SFT) 은 대규모 언어 모델 (LLM) 을 특정 작업에 적응시키기 위해 사용하는 표준 사후 훈련 단계입니다. 그러나 기존 연구에 따르면 SFT 는 도메인 외 (OOD) 일반화 능력을 저하시킬 수 있으며, 이는 종종 "파국적 망각"으로 귀결됩니다. 최근 연구들은 이러한 저하가 사전 학습된 가중치 행렬의 기하학적 이동, 특히 지배적인 특이 부분 공간의 과도한 회전과 연관되어 있음을 시사합니다. 이러한 지배적인 방향은 일반 목적 능력을 인코딩하는 고분산 및 고곡률 구조와 관련이 있습니다.

헤시안 (Hessian) 또는 피셔 (Fisher) 정보를 사용하여 손실에 민감한 방향을 직접 식별하고 보존하는 것은 현대 LLM 규모에서 계산적으로 불가능합니다. 따라서 SFT 중 불필요한 기하학적 이동을 제한하면서도 목표 작업에 적응할 수 있는 능력을 유지하여 도메인 내 (ID) 성능과 OOD 보존 간의 균형을 개선하는 효율적인 정규화 방법이 필요합니다.

2. 방법론: 회전 보존 SFT (RPSFT)

저자들은 사전 학습된 가중치 행렬의 지배적인 특이 부분 공간을 고정하는 정규화 기법인 **회전 보존 감독 미세 조정 (RPSFT)**을 제안합니다.

핵심 메커니즘

RPSFT 는 사전 학습된 가중치 행렬의 상위- $k$ 개 특이 벡터가 피셔 민감 방향 (업데이트가 ODO 손실을 크게 증가시키는 방향) 과 상당 부분 겹친다는 가설에 기반합니다. 매개변수를 고정하거나 그래디언트를 투영하는 것 (경직적이거나 비용이 많이 들 수 있음) 대신, RPSFT 는 표준 SFT 손실 함수에 페널티 항을 추가합니다.

사전 학습된 초기화 $W_0$ 를 가진 선택된 가중치 행렬 $W$ 에 대해, 이 방법은 특이값 분해 (SVD) 를 통해 상위- $k$ 개 좌우 특이 벡터 기저 $U^{(k)}_0$ 및 $V^{(k)}_0$ 를 사전 계산합니다. 정규화 항은 이 기저 내의 가중치 행렬 투영 블록의 변화를 패널티로 부과합니다:

$\mathcal{L}_{RPSFT} = \mathcal{L}_{SFT} + \lambda \sum_{\ell \in \mathcal{M}} \| (U^{(k)}_{0, \ell})^\top (W_\ell - W_{0, \ell}) V^{(k)}_{0, \ell} \|_F^2$

여기서:

$\mathcal{L}_{SFT}$ 는 표준 음의 로그 가능도 손실입니다.
$\lambda$ 는 정규화 강도입니다.
항 $\| (U^{(k)}_{0, \ell})^\top (W_\ell - W_{0, \ell}) V^{(k)}_{0, \ell} \|_F^2$ 는 상위- $k$ 개 특이 부분 공간 내에서의 가중치 행렬 이동을 측정합니다.
$\mathcal{M}$ 은 선택된 레이어 집합 (전체 매개변수 미세 조정의 경우 일반적으로 모든 레이어) 입니다.

설계 근거

부분 보호: 풀랭크 고정 (초기 가중치 주변의 $L_2$ 정규화와 동일) 과 달리, RPSFT 는 상위- $k$ 개 블록만 고정합니다. 보완적인 방향은 적응을 위해 자유롭게 남아 작업별 학습을 가능하게 합니다.
계산 효율성: 이 방법은 기저 ( $O((m+n)k + k^2)$ 메모리, 레이어당) 를 사전 계산 및 캐싱하고 훈련 중 투영 블록을 계산 ($O(mnk)$ FLOPs, 평가당) 해야 합니다. 저자들은 투영을 $s$ 단계마다 계산할 경우 표준 SFT 대비 오버헤드가 최소임을 지적합니다.
이론적 정당성: 저자들은 손실의 국소 2 차 전개를 분석합니다. 1 차 항이 적응을 주도하는 반면, 2 차 항 (곡률) 이 망각을 주도한다고 주장합니다. 피셔 정보 (곡률의 대리 지표) 는 계산 비용이 많이 들기 때문에, 저자들은 사전 학습된 가중치의 상위 특이 블록이 피셔 투영 그래디언트 에너지의 상당 부분 (약 20%) 을 포착함을 실증적으로 보여줌으로써, 이를 손실에 민감한 방향을 위한 유효하고 저비용의 구조적 대리 지표로 만듭니다.

3. 실험 설정

저자들은 Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct, Qwen2.5-3B-Instruct의 세 가지 모델 계열과 규모에 걸쳐 RPSFT 를 평가했습니다.

훈련 데이터: OpenR1-Math(수학 추론 데이터) 에서 감독 미세 조정을 수행했습니다.
베이스라인: 표준 전체 매개변수 SFT, 동적 미세 조정 (DFT), 중요도 가중 SFT (IW), 그리고 $L_2$ 초기화 고정과 비교했습니다.
평가:
- 도메인 내 (ID): 수학 벤치마크 (AIME, AMC, MATH-500 등).
- 도메인 외 (OOD): 일반 추론, 안전성, 지식 벤치마크 (GPQA, MMLU-Pro, TruthfulQA 등).
- 하류 RL: SFT 체크포인트는 DAPO(GRPO 의 변형) 를 사용한 강화 학습 미세 조정 (RLFT) 의 초기화로 사용되었습니다.

4. 주요 결과

도메인 내 및 도메인 외 균형

RPSFT 는 일관되게 ID/OOD 균형을 개선합니다. 모든 모델 크기에서 RPSFT 는 표준 SFT 대비 ODO 망각을 현저히 줄이면서 최상이거나 경쟁력 있는 ID 성능 (Avg@k 및 Pass@k) 을 달성했습니다.
베이스라인 비교: DFT 와 IW 는 일부 OOD 보존을 보였지만, 종종 ID 작업에서 과소적합을 겪었습니다. RPSFT 는 강력한 ID 적응을 유지하면서도 표준 SFT 보다 OOD 능력을 더 잘 보존했습니다. 예를 들어, Llama-8B 에서 RPSFT 는 베이스 모델 대비 OOD Avg@k 를 +1.83% 향상시킨 반면, 표준 SFT 는 +1.73% 향상시켰으나 다른 지표에서는 덜 견고했습니다.
랭크 민감성: 보호되는 랭크 $k$ 를 변화시킨 실험은 중간 랭크 (예: $k=768$ ) 가 최상의 균형을 제공함을 보여주었습니다. 지나치게 큰 랭크 (풀랭크 고정에 근접) 는 작업 적응을 방해했고, $k=0$ 은 표준 SFT 로 되돌아갔습니다.

하류 RL 성능

강력한 초기화: RPSFT 체크포인트는 하류 RLFT 를 위한 우수한 초기화 역할을 했습니다. RPSFT 로 초기화된 모델은 표준 SFT 나 기타 베이스라인으로 초기화된 모델보다 ID 및 OOD 벤치마크 모두에서 더 높은 최종 RL 성능을 달성했습니다.
능력 보존: SFT 단계에서의 OOD 보존 개선은 이후 RL 단계에 의해 희석되지 않았으며, 오히려 계승되어 일관되게 더 높은 최종 점수로 이어졌습니다.

기하학적 및 표현 분석

감소된 회전: 가중치 공간 이동 분석 결과, RPSFT 는 표준 SFT, DFT, IW 에 비해 지배적인 좌측 특이 부분 공간의 회전을 현저히 감소시켰습니다.
잠재 상태 안정성: RPSFT 로 조정된 모델의 잠재 상태 기하학을 더 잘 보존했습니다. 다양한 벤치마크에서 RPSFT 조정 모델의 잠재 상태 중심점은 베이스 모델의 중심점에 더 가까웠으며, 표준 SFT 와 DFT 는 더 큰 이동을 보였습니다. 이는 가중치 공간 회전을 제한하는 것이 직접적으로 모델의 내부 표현 공간 보존으로 이어짐을 시사합니다.

5. 중요성 및 주장

이 논문은 RPSFT 가 감독 미세 조정 중 일반 목적 능력의 망각을 효과적으로 완화하는 간단하고 계산 효율적인 정규화기를 제공한다고 주장합니다.

메커니즘: 이 연구는 지배적인 사전 학습된 특이 부분 공간을 보존함으로써 기하학적 회전을 줄이고, 잠재 상태 표현을 보호하며, 망각–적응 균형을 개선한다는 실증적 및 이론적 증거를 제공합니다.
실용성: 헤시안 추정이나 복잡한 그래디언트 투영이 필요한 방법과 달리, RPSFT 는 추가 데이터나 작업 경계가 필요 없이 표준 전체 매개변수 SFT 파이프라인에 직접 통합됩니다.
일반성: 이 방법은 다양한 모델 아키텍처 (Llama 및 Qwen) 와 규모 (3B~8B 매개변수) 에서 일관된 개선을 보여줍니다.

저자들은 사전 학습된 특이 부분 공간의 이동을 제어하는 것이 OOD 일반화를 유지하면서 신속한 작업 적응을 가능하게 하는 실용적이고 효과적인 전략이며, 후속 강화 학습 단계를 위한 더 강력한 기반을 제공한다고 결론지었습니다.

6. 한계

저자들은 현재 RPSFT 가 모든 가중치 행렬에 균일한 보호 랭크 규칙을 적용한다고 인정합니다. 향후 연구는 오버헤드를 더 줄이기 위해 레이어 선택적 정규화 (예: 초기 자기 주의 레이어에 초점) 를 조사할 수 있다고 제안합니다. 또한, 현재 실험은 수학 훈련 데이터셋과 3B~8B 범위의 모델에 집중되어 있으며, 비수학 데이터와 더 큰 모델 규모로 확장하는 것이 향후 연구 방향으로 식별되었습니다.