💬 NLP

PriFT: Prior-Support Guided Supervised Fine-Tuning

PriFT(Prior-Support Guided Fine-Tuning)는 온라인 모델의 분포를 사용함으로써 발생하는 자기 강화 역학을 피하기 위해, 동결된 사전 학습된 모델로부터 안정적인 토큰 재가중치 신호를 도출함으로써 지도 미세 조정의 일반화 성능과 RL 초기화를 개선한다.

원저자: Ke Wang, Shuangqi Li, Mathieu Salzmann, Pascal Frossard

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ke Wang, Shuangqi Li, Mathieu Salzmann, Pascal Frossard

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 이미 수백만 권의 책을 읽고 방대한 일반 지식을 습득한 똑똑한 학생(AI 모델)이 있다고 상상해 보십시오. 이것이 **사전 학습된 모델(pretrained model)**입니다. 이제 당신은 이 학생에게 복잡한 수학 문제를 풀거나 코드를 작성하는 것과 같은 특정한 새로운 기술을 가르치고자 합니다. 이 교육 단계는 **지도 미세 조정(Supervised Fine-Tuning, SFT)**이라고 불립니다.

보통 선생님들은 학생에게 정답이 적힌 교과서를 보여주며 "이 문장을 한 줄 한 줄 그대로 외워라"라고 말합니다. 하지만 이 논문은 이러한 "한 줄씩 암기하기" 방식에 결함이 있다고 주장합니다. 즉, 학생이 이미 알고 있는 지식에 기반하여 실제로 이해되지 않는 답까지도 암기하려고 할 수 있다는 것입니다. 이는 학생이 특정 교과서를 너무 완벽하게 외운 나머지, 질문이 조금만 바뀌어도 제대로 대응하지 못하는 과적합(overfitting) 현상을 초0으로 이어집니다.

문제점: "움직이는 타겟"인 선생님

이를 해결하기 위한 최근의 시도들은 "스마트한 선생님"을 도입했습니다. 이 선생님은 학생이 현재 배우고 있는 내용을 보고 "좋아, 이 답은 지금 학생이 이해할 수 있는 내용이니 여기에 집중하자. 저 답은 혼란스러우니 무시하자"라고 결정합니다.

논문은 이를 **온라인 재가중치 부여(online reweighting)**라고 부릅니다. 문제는 이 선생님이 불안정하다는 점입니다. 학생이 배우면서 그들의 뇌는 변하기 때문입니다. 이 "스마트한 선생님"은 사실 거울을 보고 있는 학생 자신의 뇌와 같습니다.

함정: 만약 학생이 처음에 특정 유형의 답을 좋아하게 되면, 선생님은 계속해서 그것을 강화합니다. 반대로 학생이 어떤 유형을 싫어하게 되면, 선생님은 그것을 가르치지 않습니다.
결과: 학생은 "부익부 빈익빈" 기계가 됩니다. 자신이 이미 좋아했던 몇 가지 일에는 매우 능숙해지지만, 문제를 해결하는 새롭고 다양한 방식들을 탐구하는 능력은 잃게 됩니다. 결국 학생은 경직되고, 이전에 가졌던 넓은 지식마저 잃어버리게 됩니다.

해결책: PriFT (고정된 참조점)

저자들은 PriFT(Prior-Support Guided Fine-Tuning)라고 불리는 새로운 방법을 제안합니다.

학생의 현재, 변화하는 뇌에 무엇을 배울지 묻는 대신, PriFT는 학생의 원래 사전 학습된 뇌(고정된 참조점)에게 조언을 구합니다.

이렇게 생각해 보십시오:

기존 방식: 현재 스트레스를 받고 혼란스러워하는 학생에게 "내가 무엇을 공부해야 할까?"라고 묻는 것입니다. 학생은 "내가 이미 알고 있는 것들만!"이라고 대답할 수도 있습니다. 왜냐하면 새로운 것들에 대해 겁을 먹고 있기 때문입니다.
PriFT 방식: 학생의 "과거의 자아"(이 특정 수업을 시작하기 전의 버전)에게 "이 새로운 레슨 중 어떤 부분이 내가 이미 알고 있는 것과 잘 맞아떨어지는가?"라고 묻는 것입니다. 과거의 자아는 안정적이고 차분한 답변을 내놓습니다. "이 개념들은 네 기초와 잘 맞으니 여기에 집중해라. 하지만 나머지 부분들도 무시하지는 마라."

이 "과거의 자아"는 사전 지원(Prior Support) 신호를 제공합니다. 이는 모델에게 다음과 같이 알려줍니다. "이 토큰(단어)은 너의 원래 지식에 의해 뒷받침되므로 학습하기에 안전하다. 저 다른 토큰은 무리가 있으니 주의하라."

PriFT의 작동 방식 (두 가지 형태)

논문은 이 "과거의 자아"의 조언을 사용하는 두 가지 방법을 소개합니다.

PriFT-prob (확률 체크): "과거의 자아"가 특정 단어를 말할 확률이 얼마나 높았는지를 살펴봅니다. 과거의 자아가 매우 확신했다면 그 단어에 높은 가중치를 부여합니다. 과거의 자아가 불확-실했다면 낮은 가중치를 부여합니다.
PriFT-mass (군집 체크): 때때로 어떤 단어는 "쉬울" 수 있지만(과거의 자아가 99% 확신함), 그것이 반드시 가장 중요한 단어라는 뜻은 아닙니다. PriFT-mass는 "누적 질량(cumulative mass)"을 살펴봅니다. 이 방식은 "이 단어가 과거의 자아가 고려했던 가능한 선택지들 중 적어도 절반에 의해 뒷받침되는가?"라고 묻습니다. 이는 모델이 너무 쉽고 당연한 단어들만 배우는 것을 방지하고, 더 어렵고 중요한 추론 단계에 주목하도록 강제합니다.

결과: 이것이 왜 중요한가

저자들은 이 방법을 수학, 코딩, 의학 질문이라는 세 가지 어려운 과업에서 테스트했습니다.

더 나은 일반화: PriFT로 훈련된 모델은 단순히 훈련 데이터를 암기하는 데 그치지 않고, 본 적 없는 새로운 문제를 해결하는 능력이 향상되었습니다.
더 높은 다양성: 모델을 경직되게 만들었던 "온line" 방식과 달리, PriFT는 모델의 사고를 다양하게 유지했습니다. 이는 마치 여러 가지 도구가 들어있는 공구함을 유지하는 것과 같으며, 단 하나의 망치만을 가진 상태와는 다릅니다.
강화 학습(RL)을 위한 더 나은 준비: 흔히 SFT 이후에 연구자들은 모델을 더 똑똑하게 만들기 위해 강화 학습(AI가 시행착오를 통해 배우는 비디오 게임과 같은 방식)을 사용합니다. 논문은 PriFT가 이 다음 단계를 위한 훨씬 더 좋은 "시작점"을 만들어준다는 것을 발견했습니다. PriFT는 모델의 초점을 너무 일찍 좁히지 않았기 때문에, 모델이 RL 게임을 시작할 때 더 많은 "성장 공간"을 가질 수 있었습니다.

핵심 요약

이 논문은 학습 과정을 유도하기 위해 모델의 현재, 변화하는 상태에 맡기는 대신, 고정되고 안정적인 참조점(모델의 원래 지식)을 사용함으로써 더 똑똑하고 유연한 AI를 얻을 수 있다고 주장합니다. 이는 자신의 현재 기분을 맹목적으로 따르는 학생과, 자신의 탄탄한 지식 기반을 참고하여 다음에 무엇을 배울지 결정하는 학생의 차이와 같습니다.

핵 핵심 요점: PriFT는 AI 모델이 자신의 정체성을 잊거나 사고가 편협해지지 않으면서도 새로운 기술을 배울 수 있도록 도와주며, 이를 통해 수학, 코딩, 의학 분야에서 더 뛰어난 성능을 발휘하고 향후 훈련에서 더 큰 성공을 거둘 수 있는 발판을 마련합니다.

기술 요약: PriFT (Prior-Support Guided Fine-Tuning)

문제 정의

지도 미세 조정(Supervised Fine-Tuning, SFT)은 사전 학습된 대규모 언어 모델(LLM)을 다운스트림 작업에 적응시키기 위한 표준적이고 계산 효율적인 방법이며, 흔로 강화 학습(RL)의 초기화 단계 역할을 합니다. 그러나 SFT는 RL과 비교했을 때 일반화 격차(generalization gap) 문제를 겪습니다. 오프-폴리시(off-policy) 방법인 SFT는 고정된 데모 데이터를 토큰 단위로 맞추는 방식입니다. 데모 데이터의 타겟 토큰이 모델의 사전 학습된 분포와 잘 정렬되지 않을 경우, 이 과정은 과적합을 유발하고 사전 학습된 지식을 왜곡할 수 있습니다.

최근의 접근 방식들은 모델의 예측 분포(예: 타겟 토큰 확률 또는 엔트로피)와의 정렬 상태에 따라 토근에 비균등한 학습 가중치를 할당함으로써 이를 완화하려고 시도합니다. 하지만 이러한 방법들은 일반적으로 현재 미세 조정 중인 **온라인 모델(online model)**을 사용하여 이러한 가중치를 계산한다는 문제가 있습니다. 본 논문은 이것이 결정적인 결함을 만든다고 주장합니다. 즉, 온라인 모델의 예측 분포는 훈련 과정 중에 사전 학습된 분포로부터 빠르게 표류(drift)한다는 것입니다. 결과적으로, 가중치 신호는 최적화 궤적과 얽히게 되어, 모델이 초기에 선호했던 토큰에 학습 신호를 집중시키고 다른 토큰은 억제하는 **자기 강화적 역학(self-reinforcing dynamic)**을 유발합니다. 이는 샘플링 다양성을 감소시키고 모델의 추가적인 온-폴리시 최적화(RL) 능력을 제한합니다.

방법론: PriFT

온라인 재가중치 할당의 불안정성을 해결하기 위해, 저자들은 **PriFT (Prior-support guided Fine-Tuning)**를 제안합니다. 핵심 통찰은 토큰 가중치가 진화하는 온라인 모델이 아니라, **동결된 사전 학습된 참조 모델(frozen pretrained reference model)**로부터 도출되어야 한다는 것입니다. 이는 타겟 토큰이 작업 특화 적응 전 모델의 지식에 의해 얼마나 뒷받ısı되는지를 나타내는 "사전 지원(prior support)"에 대한 안정적인 추정치를 제공합니다.

프레임워크

PriFT는 동결된 사전 학습 모델 $\pi_{\theta_{pt}}$ 로부터 도출된 토큰 가중치 $m_t$ 를 도입하여 표준 SFT 목적 함수를 수정합니다:
$L_{PriFT}(\theta_{on}) = -\sum_{t=1}^{T} u(\pi_{\theta_{pt}}(\cdot | x, y_{<t}), y_t) \log \pi_{\theta_{on}}(y_t | x, y_{<t})$
여기서 $u(\cdot)$ 는 토큰 효용 함수입니다. 동결된 참조 모델로부터 가중치를 계산함으로써, PriFT는 가중치 추정을 최적화 궤적으로부터 분리하여 온라인 방식에서 관찰되는 자기 강화적 편향을 방지합니다.

구체적 구현 (Instantiations)

본 논문은 효용 함수 $u$ 의 두 가지 구체적인 구현을 소개합니다:

PriFT-prob: 사전 학습된 타겟 토큰 확률을 직접 사용합니다.
$m_t = \pi_{\theta_{pt}}(y_t | x, y_{<t})$
이는 타겟 토큰이 사전 분포 하에서 얼마나 그럴듯했는지에 따라 그래디언트 크기를 조절합니다. 이는 표준 SFT의 업데이트 방향을 유지하면서도, 사전 지원이 낮은 토큰의 가중치를 낮춥니다.
PriFT-mass: 사전 분포 하에서의 **누적 확률 질량(cumulative probability mass)**을 사용하여 분포가 날카로운 "쉬운" 토큰으로의 편향을 줄입니다.
$m_t = \mathbb{I}[u^{(MASS)}_t \geq 0.5]$
여기서 $u^{(MASS)}_t = \sum_{v: \pi_{\theta_{pt}}(v) \leq \pi_{\theta_{pt}}(y_t)} \pi_{\theta_{pt}}(v)$ 입니다.
이 지표는 타겟보다 확률이 낮은 토큰들에 할당된 확률 질량의 비율을 측정합니다. 0.5라는 임계값은 타겟보다 확률이 낮은 토큰들의 합이 전체의 절반 이상인 경우를 선택합니다. PriFT-prob와 달리, 이는 모든 선택된 토큰이 동일한 가중치를 갖는 이진 선택 마스크(binary selection mask)를 생성하여, 사소한 고확률 토큰(예: 기능어)에 과도하게 집중되는 것을 방지하는 동시에 더 어려운 문맥에서도 정보가 풍부한 토큰을 유지합니다.

계산 오버헤드

PriFT는 동결된 사전 학습 모델의 단 한 번의 순전파(forward pass)를 통해 토큰 가중치나 마스크를 미리 계산해야 합니다. 이는 약 $1/(3E)$ ( $E$ 는 에포크 수)의 상대적 오버헤드를 추가하며, 이는 오프라인으로 수행될 수 있습니다. 매 최적화 단계마다 참조 분포에 접근해야 하는 KL 정규화 방법과 달리, PriFT는 스칼라 가중치나 이진 마스크만 저장하면 되므로 상당한 메모리 오버헤드를 피할 수 있습니다.

주요 기여

신호 표류(Signal Drift) 식별: 저자들은 온라인 토큰 통계가 사전 학습된 분포로부터 빠르게 표류하여, 선호하는 토큰에 학습을 집중시키고 일반화 성능을 저하시키는 자기 강화 루프를 만든다는 것을 입증했습니다.
동결된 참조를 통한 안정적 재가중치: 동결된 사전 학습 모델로부터 토큰 가중치를 도출하는 것이 다양한 재가중치 규칙(확률 기반 및 엔트로피 기반)에서 온라인 모델을 사용하는 것보다 일관되게 우수함을 보여주었습니다.
PriFT 프레임워크: 가중치를 동결된 참조로부터 사전 계산하여 재가중치 신호를 최적화 궤적으로부터 분리하는 단순하고 일반적인 프레임워크를 제안했습니다.
실증적 검증: PriFT가 다양한 SFT 베이스라인들 사이에서 최첨단(SOTA) 결과를 달성하며, 후속 RL 훈련을 위한 우수한 초기화를 제공함을 광범위한 실험을 통해 보여주었습니다.

실험 결과

저자들은 Qwen2.5-Math, Qwen3, LLaMA-2와 같은 모델을 사용하여 수학적 추론, 코드 생성, 의료 질의응답에 대해 PriFT를 평가했습니다.

수학적 추론: Qwen2.5-Math-7B에서 PriFT-mass는 평균 정확도(Avg@16) 40.67, Pass@16 69.60을 달성하여, 가장 강력한 이전 베이스라인인 TALR보다 각각 3.97 및 8.75 포인트 높은 성능을 보였습니다. 주목할 점은, 온라인 재가중치 방법(DFT 등)이 종종 Avg@16을 높이는 대신 Pass@16을 희생시키는 것과 달리, PriFT는 두 지표를 동시에 개선했다는 것입니다.
코드 생성: Qwen3-4B-Instruct에서 PriFT 변형 모델들은 표준 SFT 및 다른 토큰 재가중치 베이스라인들을 능가했으며, 특히 까다로운 LiveCodeBench 분할에서 두드로 나타났습니다. PriFT-mass는 원본 체크포인트와 비교했을 때 HumanEval+에서 가장 적은 성능 저하를 보였으며, 이는 기존 능력을 더 잘 보존함을 시사합니다.
의료 QA: PriFT-mass는 MMLU-Medical 및 MedMCQA 벤치마크에서 가장 우수한 종합 성능을 보였으며, 다른 토큰 재가중치 방법들을 앞질렀습니다.
RL 초기화: PriFT로 초기화된 모델은 표준 SFT나 온라인 재가중치 방법(DFT)으로 초기화된 모델에 비해 후속 RL 훈련(DAPO) 후 더 강력한 성능을 보였습니다. 예를 들어, Qwen3-8B-Base에서 PriFT-mass는 베이스라인 SFT 초기화 대비 RL 이후 Avg@16에서 9.57 포인트의 향상을 가져왔습니다.

의의 및 주장

본 논문은 PriFT가 토큰 재가중치 SFT의 근본적인 한계인 '가중치 신호와 최적화 궤적의 얽힘'을 해결한다고 주장합니다. 사전 학습된 모델을 안정적인 "사전 지원"의 원천으로 활용함으로써, PriFT는 다음과 같은 효과를 얻습니다:

샘플링 다양성 보존: 확률 질량이 좁은 추론 경로에 집중되는 자기 강화 현상을 방지하여, 더 넓은 엔트로피 분포와 더 나은 Pass@k 성능을 유지합니다.
분포 변화 감소: 온라인 재가중치 방법들과 비교했을 때 미세 조정 과정 중 사전 학습 모델과의 KL 발산을 최소화합니다.
RL 준비성 향 향상: 모델의 온-폴리시 최적화 능력을 보존함으로써 RL을 위한 더 강력한 초기화를 제공하며, 이는 "좋은 SFT"가 단순히 즉각적인 성능뿐만 아니라 미래의 학습에 필요한 다양성을 유지하는 것에 관한 것임을 시사합니다.

저자들은 중간 규모의 오픈 모델과 특정 작업 도메인에 집중했다는 점을 한계로 언급하며, 더 큰 모델과 더 넓은 효용 함수에 대한 탐색을 향후 과제로 남겨두었습니다. 이들은 PriFT가 모든 일반화 문제를 해결한다고 주장하는 것이 아니라, SFT 패러다임을 위한 견고하고 일반화 가능한 개선책으로 제시하고 있습니다.