💬 NLP

RLHF in an SFT Way: From Optimal Solution to Reward-Weighted Alignment

이 논문은 RLHF 의 복잡성과 불안정성을 해결하기 위해 변분 추론 관점에서 최적 솔루션과 학습 정책 간의 분포 차이를 최소화하여 보상 기반 재가중치 SFT 형태인 'VAR'을 제안함으로써, DPO 보다 뛰어난 성능과 GRPO 보다 5 배 빠른 수렴 속도를 달성하는 효율적이고 효과적인 정렬 방법을 제시합니다.

원저자: Yuhao Du, Zhuo Li, Pengyu Cheng, Zhihong Chen, Yuejiao Xie, Xiang Wan, Anningzhe Gao

게시일 2026-03-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuhao Du, Zhuo Li, Pengyu Cheng, Zhihong Chen, Yuejiao Xie, Xiang Wan, Anningzhe Gao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"인공지능 (LLM) 을 인간처럼 친절하고 유익하게 만드는 방법"**을 더 쉽고 빠르게 바꾼 혁신적인 아이디어를 소개합니다.

기존의 방식은 너무 복잡하고 비쌉니다. 이 논문은 그걸 **"수업 시간 (SFT)"**처럼 단순화하면서도, 기존 방식보다 훨씬 잘 작동하게 만들었습니다.

이해하기 쉽게 세 가지 비유로 설명해 드릴게요.

1. 문제: 왜 기존 방식은 힘들까요? (비유: "고생스러운 사설 학원")

지금까지 AI 를 인간처럼 가르치려면 **RLHF(인간 피드백을 통한 강화학습)**라는 방식을 썼습니다.

기존 방식 (PPO 등): AI 가 글을 쓰면, **선생님 (보상 모델)**이 점수를 매기고, **코치 (크리틱 모델)**가 조언을 해줍니다. AI 는 이 조언을 듣고 다시 글을 써서 점수를 받으려 노력합니다.
문제점: 이 과정이 마치 매일매일 새로운 문제를 풀고, 선생님이 매번 점수를 주고, 코치가 다시 가르치는 과정을 반복하는 것과 같습니다. 컴퓨터 자원을 엄청나게 많이 먹고, AI 가 혼란스러워해서 (불안정) 제대로 배우지 못할 때도 많습니다.

2. 기존 대안의 한계: "잘못된 교정" (비유: "너무 무서운 선생님")

최근에는 "온라인" 방식 대신 "오프라인" 방식 (DPO 등) 이 나왔습니다. 미리 준비된 좋은 글과 나쁜 글 데이터를 보고 학습하는 거죠.

문제점: 하지만 이 방식은 **"나쁜 글은 아예 없애야 한다"**는 생각으로, 나쁜 글에 **마이너스 점수 (음수 가중치)**를 줍니다.
비유: 학생이 틀린 문제를 풀었을 때, "이건 절대 틀렸다!"라며 점수를 깎아내리는 것이 아니라, **"이 문제를 절대 풀지 마!"**라고 외치는 것과 비슷합니다. 이렇게 하면 AI 가 "아, 이거 절대 안 되는구나"라고 너무 극단적으로 생각하다가, 오히려 학습이 불안정해지거나 망가질 수 있습니다.

3. 이 논문의 해결책: "VAR (가변적 재가중치)" (비유: "스마트한 스승의 칭찬")

이 논문은 **"AI 가 이상적인 답을 내는 확률 분포"**와 "현재 AI 가 내는 답" 사이의 거리를 줄이는 새로운 방식을 제안합니다.

핵심 아이디어:
1. 음수 점수 금지: 나쁜 글에 마이너스 점수를 주지 않습니다. 대신 **"좋은 글일수록 더 많이 칭찬하고, 나쁜 글은 그냥 무시하거나 아주 조금만 칭찬"**합니다. (모든 가중치는 양수입니다.)
2. 스마트한 칭찬: AI 가 쓴 글이 얼마나 좋은지 (보상 점수) 에 따라, 그 글을 학습할 때 **칭찬의 강도 (가중치)**를 자동으로 조절합니다.
  - 비유: 시험에서 100 점 맞으면 "정말 잘했어! 이걸 더 공부해!"라고 열심히 칭찬하고, 50 점 맞으면 "괜찮아, 그냥 넘어가자"라고 약하게 처리하는 것입니다. "절대 50 점 맞지 마!"라고 소리치지 않죠.
3. 한 번에 해결 (SFT 방식): 복잡한 코치나 반복 학습 없이, **단순한 "수업 (SFT)"**처럼 한 번에 학습합니다. 하지만 수업 시간에 **어떤 문제를 얼마나 중요하게 다룰지 (가중치)**를 지능적으로 정해줍니다.

4. 왜 이 방식이 대단할까요? (결과)

속도: 기존 복잡한 방식 (GRPO 등) 보다 5 배 이상 빠릅니다. (비유: 매일매일 코칭받는 대신, 한 번에 집중 수업을 듣고 바로 실력이 늘었습니다.)
성능: 인간이 원하는 "유용함"과 "해로움 없음" 지표에서 기존 방식 (DPO) 보다 더 좋은 점수를 받았습니다.
안정성: AI 가 학습 도중 망가질 위험이 적고, 더 꾸준히 잘 학습합니다.

요약

이 논문은 **"AI 를 가르칠 때, 나쁜 답을 무서워하게 만드는 대신, 좋은 답을 더 많이 칭찬해서 자연스럽게 가르치는 지능적인 방법"**을 개발했습니다.

기존의 복잡하고 비싼 방식 대신, **단순하지만 똑똑한 "가중치 수업"**을 통해 AI 를 더 빠르고 안정적으로 인간과 잘 어울리게 만들었습니다. 마치 어려운 수학 문제를 풀 때, 틀린 답을 지우기만 하는 게 아니라, 정답에 더 집중해서 공부하는 방법을 찾아낸 것과 같습니다.

1. 연구 배경 및 문제 제기 (Problem)

대규모 언어 모델 (LLM) 을 인간의 가치와 정렬 (Alignment) 시키는 데 있어 **인간 피드백을 통한 강화 학습 (RLHF)**은 핵심적인 역할을 하지만, 다음과 같은 심각한 한계점을 안고 있습니다.

높은 계산 비용 및 복잡성: 기존 PPO(Proximal Policy Optimization) 나 GRPO 와 같은 온라인 샘플링 기반 방법은 보상 모델, 크리틱 모델, 참조 모델 등 여러 모델을 동시에 운영해야 하며, 온라인 샘플링으로 인해 계산 자원이 많이 소모되고 구현이 복잡합니다.
훈련 불안정성: 최근 등장한 DPO(Direct Preference Optimization) 와 같은 오프라인 방법은 복잡성을 줄였지만, 여전히 과적합 (Over-fitting) 과 훈련 불안정성 문제가 존재합니다. 특히 DPO 나 A-LoL 과 같은 방법은 부정적인 가중치 (negative weights) 를 사용하거나 클리핑 (clipping) 을 통해 중요도 비율을 제한하는데, 이는 손실 함수의 최적화 지형을 불안정하게 만들거나 미세한 선호도를 구분하지 못하게 하는 원인이 됩니다.
데이터 수집 비용: 고품질의 선호/거부 쌍 (preference/rejected pairs) 데이터를 대량으로 수집해야 하는 부담이 있습니다.

2. 제안 방법론 (Methodology: VAR)

저자들은 RLHF 문제를 **변분 추론 (Variational Inference)**의 관점에서 재해석하여, 온라인 샘플링과 클리핑 없이 보상 기반 가중치付き 지도 미세 조정 (Reward-Weighted SFT) 형태로 변환하는 새로운 프레임워크인 **VAR (Variational Alignment with Re-weighting)**을 제안합니다.

핵심 아이디어

최적 해 (Optimal Solution) 에서의 KL 발산 최소화:
- RLHF 의 최적 정책 $\pi^*$ 는 폐쇄형 (closed-form) 해를 가집니다: $\pi^*(y|x) \propto \pi_{ref}(y|x) \exp(r(x,y)/\beta)$ .
- VAR 은 학습 중인 정책 $\pi_\theta$ 와 이 최적 정책 $\pi^*$ 사이의 **순방향 KL 발산 (Forward KL Divergence, $KL[\pi^* || \pi_\theta]$ )**을 최소화하는 것을 목표로 합니다.
- 이는 $\pi^*$ 의 분포를 $\pi_\theta$ 로 근사하는 문제로 귀결됩니다.
가중치付き SFT 로의 변환:
- 중요도 샘플링 (Importance Sampling) 을 적용하여 기대값을 참조 모델 $\pi_{ref}$ 에 대한 기대로 변환합니다.
- 결과적으로 손실 함수는 **보상 기반 가중치 (Reward-driven Weight)**가 곱해진 SFT 손실 형태가 됩니다:
  $\mathcal{L}_{VAR} = -\mathbb{E}_{\pi_{ref}} \left[ \frac{\exp(r(x,y)/\beta)}{Z(x)} \log \pi_\theta(y|x) \right]$
- 여기서 가중치 $w(x,y) \propto \exp(r(x,y)/\beta)$ 는 **항상 양수 (Non-negative)**이므로, 손실 함수가 아래로 유계되지 않는 (unbounded) 불안정성을 방지하고 최적화 지형을 안정화합니다.
배치 단위 파티션 함수 추정 (Batch-wise Partition Estimation):
- 분모인 정규화 상수 $Z(x)$ 를 계산하는 것은 모든 가능한 출력을 합산해야 하므로 비현실적입니다.
- VAR 은 미니배치 (Micro-batch) 내의 샘플들을 사용하여 $Z(x)$ 를 몬테카를로 (Monte Carlo) 방식으로 근사합니다.
- 이는 별도의 온라인 샘플링 없이, 현재 배치에 포함된 참조 모델의 출력들을 활용하여 효율적으로 계산할 수 있게 합니다.

3. 주요 기여 (Key Contributions)

새로운 정렬 프레임워크 제안: RLHF 를 변분 추론 문제로 재정의하여, 복잡한 온라인 RL 과정 없이도 SFT 와 유사한 단순한 구조로 최적의 정렬을 달성할 수 있음을 보였습니다.
안정적인 최적화 지형: 음수 가중치나 클리핑을 제거하고 지수 함수를 통한 양수 가중치만 사용함으로써, 훈련 중 발생하는 불안정성과 수렴 문제를 해결했습니다.
효율적인 구현: $Z(x)$ 를 배치 내 샘플로 근사하는 기법을 도입하여, 추가적인 모델 추론이나 복잡한 샘플링 과정 없이 확장 가능하고 실용적인 구현을 가능하게 했습니다.

4. 실험 결과 (Results)

저자들은 HHA (Helpful and Harmless Assistant) 벤치마크와 MMLU, HumanEval, GSM8k 등 다양한 생성형 벤치마크에서 VAR 을 기존 방법 (DPO, A-LoL, GRPO) 과 비교 평가했습니다.

성능 향상:
- HHA 벤치마크: VAR 은 DPO 보다 평균적으로 7.16% 더 높은 유용성 (Helpfulness) 및 무해성 (Harmlessness) 지표를 기록했습니다. 특히 베이스 모델에서 직접 훈련했을 때 DPO 보다 뛰어난 성능을 보였습니다.
- 생성 벤치마크: MMLU, GSM8k, HumanEval, BBH 등 다양한 작업에서 DPO 와 A-LoL 을 능가하는 평균 점수를 달성했습니다.
- Arena-Hard: 더 어려운 대화형 벤치마크인 Arena-Hard 0.1 에서 DPO 보다 10.8% 대 8.6% 로 우위를 점했습니다.
훈련 안정성 및 수렴 속도:
- DPO 는 훈련 초기에 성능이 하락하거나 변동성이 큰 반면, VAR 은 훈련 reward 가 꾸준히 증가하며 안정적인 수렴을 보였습니다.
- 속도: 온라인 샘플링 기반인 GRPO 와 비교했을 때, VAR 은 약 5 배 이상 빠른 수렴 속도를 보였으며 (GRPO 대비 5 배 이상), 계산 오버헤드를 크게 줄였습니다.
확장성: Llama 시리즈 (1B~~13B) 와 Qwen2.5 시리즈 (0.5B~~32B) 등 다양한 모델 크기와 아키텍처에서 일관된 성능 향상을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 VAR을 통해 LLM 정렬의 패러다임을 변화시켰습니다.

효율성과 성능의 균형: 복잡한 RLHF 파이프라인 (PPO 등) 의 높은 계산 비용과 구현 난이도를 없애면서도, 오프라인 방법 (DPO) 이 가진 성능 한계와 불안정성을 극복했습니다.
SFT 의 확장: RLHF 를 단순히 "보상이 가중된 SFT"로 간주함으로써, 기존 SFT 워크플로우에 최소한의 변경만으로도 RLHF 수준의 정렬 효과를 얻을 수 있음을 증명했습니다.
실용적 가치: 계산 자원이 제한된 환경에서도 고품질의 인간 정렬 LLM 을 빠르게 훈련할 수 있는 강력한 대안으로, 실제 산업 적용에 큰 기여를 할 것으로 기대됩니다.

요약하자면, VAR 은 변분 추론을 기반으로 RLHF 의 최적 해를 가중치付き SFT로 변환함으로써, 안정성, 효율성, 성능을 모두 잡은 차세대 LLM 정렬 방법론을 제시합니다.