🤖 machine learning

RIFT: Repurposing Negative Samples via Reward-Informed Fine-Tuning

이 논문은 SFT 와 RFT 의 한계를 극복하기 위해 부정적 샘플을 재활용하고 보상 기반 손실 재가중치를 통해 수치적 안정성을 확보한 새로운 정렬 프레임워크인 RIFT 를 제안하며, 다양한 수학 벤치마크에서 기존 방법보다 우수한 성능을 입증합니다.

원저자: Zehua Liu, Shuqi Liu, Tao Zhong, Mingxuan Yuan

게시일 2026-04-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zehua Liu, Shuqi Liu, Tao Zhong, Mingxuan Yuan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"RIFT"**라는 새로운 인공지능 학습 방법을 소개합니다. 이걸 이해하기 쉽게 일상적인 비유로 설명해 드릴게요.

🎓 핵심 비유: "수학 시험지 교정"

지금까지 인공지능 (LLM) 을 가르칠 때 주로 쓰던 두 가지 방식이 있었습니다.

SFT (지도 학습): "정답만 있는 시험지"를 보여주고 "이걸 외워라"라고 가르치는 방식입니다. 하지만 정답지를 구하는 데 돈과 시간이 너무 많이 듭니다.
RFT (거부 샘플링): AI 가 스스로 문제를 풀게 한 뒤, 정답이 나온 것만 골라내서 다시 가르치는 방식입니다. 틀린 답안은 그냥 쓰레기통에 버려버리죠.

여기서 문제점이 생깁니다.
RFT 방식은 "틀린 답안 (부정 샘플)"을 아예 버려버립니다. 하지만 AI 가 왜 틀렸는지를 배우는 것도 매우 중요합니다. "이런 실수는 하지 마!"라고 알려주는 것도 학습에 도움이 되는데, 그냥 버려버리면 AI 는 실수 패턴을 제대로 이해하지 못하게 됩니다.

🚀 RIFT 의 등장: "틀린 답도 소중하게 활용하자!"

이 논문에서 제안한 RIFT는 "모든 답안을 활용하는 똑똑한 선생님" 같은 역할을 합니다.

1. "틀린 답"을 버리지 않고 점수를 매깁니다.

RIFT 는 AI 가 푼 모든 답안 (정답과 오답 모두) 을 모아서, 각각에 **점수 (Reward)**를 매깁니다.

정답: "좋아! 이걸 더 잘하도록 해." (점수 +1)
오답: "아이고, 이건 안 돼. 하지만 완전히 무시하지는 말고, '이건 위험해'라고 기억해." (점수 -0.2)

2. "폭발하는 학습"을 막는 안전장치

여기서 중요한 기술적 아이디어가 나옵니다.
기존에 단순히 "틀린 답은 확률을 0 으로 만들어라"라고 가르치면, AI 가 그 답을 아주 조금만 줄여도 학습 신호가 무한대로 커져서 (폭발해서) AI 가 망가질 수 있습니다. (마치 "실수하면 100 점 감점"이 아니라 "실수하면 평생 감점"처럼 과격해지는 거죠.)

RIFT 는 이 문제를 해결하기 위해 안전장치를 달았습니다.

정답: "정답일 때는 확률을 높여라" (기존 방식 유지)
오답: "틀린 답일 때는 확률을 줄여라" (하지만 너무 급하게 줄이지 말고, 선형적으로 부드럽게 줄여라)

이게 무슨 뜻이냐면, 오답에 대한 처벌을 너무 과격하게 하지 않고, "조금만 조심해"라고 부드럽게 알려주어 AI 가 학습할 때 정신을 차리게 만든다는 것입니다.

🌟 RIFT 가 가져온 변화

이 방법을 쓰니 어떤 일이 일어났을까요?

데이터 효율성 대폭 향상:
- 예전에는 틀린 답을 버리고 정답만 썼다면, RIFT 는 틀린 답도 학습 자료로 쓰니까 같은 양의 데이터로 훨씬 더 똑똑해집니다.
- 마치 학생이 "틀린 문제집"까지 꼼꼼히 분석해서 실수를 줄이는 것과 같습니다.
컴퓨터 자원 절약:
- 다른 방법들 (DPO 등) 은 학습을 위해 별도의 '참고용 AI'를 두어야 해서 메모리를 많이 먹었습니다. 하지만 RIFT 는 참고용 AI 없이도 스스로 학습할 수 있어 메모리를 50% 이상 아껴줍니다.
더 강력한 수학 실력:
- 실험 결과, RIFT 를 적용한 AI 는 수학 문제 풀이에서 기존 방법들보다 더 높은 점수를 기록했습니다. 특히 AI 가 스스로 만들어낸 다양한 (정답과 오답이 섞인) 답안들을 잘 활용하면서, 실수하는 패턴까지 정확히 파악하게 되었습니다.

💡 한 줄 요약

RIFT 는 "틀린 답을 쓰레기통에 버리지 말고, '이건 실수야'라고 점수 매겨서 가르쳐주자"는 아이디어입니다. 이렇게 하면 AI 는 더 적은 비용으로, 더 빠르고 정확하게 실수를 배우고 성장할 수 있습니다.

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 정렬 (Alignment) 에 있어 기존 방법론들은 다음과 같은 한계를 가지고 있습니다.

지도 미세 조정 (SFT) 의 비효율성: 고품질의 전문가 데이터에 의존해야 하며, 데이터 수집 비용이 높고, 사전 학습 분포와 SFT 데이터 간의 불일치로 인해 '재앙적 망각 (Catastrophic Forgetting)'이나 '정렬 세제 (Alignment Tax)'가 발생할 수 있습니다.
거부 샘플링 미세 조정 (RFT) 의 데이터 낭비: RFT 는 모델이 생성한 여러 응답 중 품질 임계값을 통과한 것만 선택하여 학습하고, 임계값 이하의 부정적 샘플 (Negative Samples) 을 완전히 폐기합니다. 이는 생성 과정에서 소모된 계산 자원을 낭비할 뿐만 아니라, 모델이 '왜 틀린지'를 학습할 기회를 박탈하여 오류 구별 능력을 저하시킵니다.
강화 학습 (RL) 기반 방법의 복잡성: DPO 나 PPO 와 같은 방법은 참조 모델 (Reference Model) 이 필요하거나 엔지니어링이 복잡하며, 메모리 사용량이 매우 큽니다.

2. 제안 방법론: RIFT (Reward-Informed Fine-Tuning)

저자들은 RIFT라는 새로운 프레임워크를 제안하여, 모델이 생성한 모든 샘플 (긍정적 및 부정적) 을 활용하면서도 학습 안정성을 보장합니다.

핵심 아이디어

부정적 샘플의 재활용: RFT 와 달리 임계값을 기준으로 샘플을 버리는 것이 아니라, 모든 샘플을 유지하고 각 샘플에 품질 평가 지표에서 도출된 **스칼라 보상 (Scalar Reward)**을 부여합니다.
손실 함수의 재가중치 (Reweighting): 손실 함수를 보상에 비례하여 재가중치하여, 긍정적 샘플은 올바른 행동을 장려하고 부정적 샘플은 감소된 또는 음의 기울기를 통해 잘못된 출력을 억제하도록 합니다.

기술적 혁신: 안정화된 손실 함수 (Stabilized Loss Formulation)

단순히 보상을 로그 확률에 곱하는 방식 (Naive Signed-Weighted Loss) 은 부정적 샘플의 확률이 0 에 가까워질 때 기울기가 무한대로 발산하여 **학습 붕괴 (Training Collapse)**를 일으킵니다. 이를 해결하기 위해 RIFT 는 다음과 같은 수학적 기법을 도입했습니다.

긍정적 샘플 ( $D^+$ ): 기존 SFT 와 동일한 **로그 손실 (Log Loss, $-\log \pi_\theta$ )**을 유지하여 최대 우도 추정 (MLE) 신호를 보존합니다.
부정적 샘플 ( $D^-$ ): 로그 함수 대신 **선형 근사 (Linear Approximation, $\pi_\theta - 1$ $π_{θ} - 1$ )**를 사용합니다.
- 로그 함수는 $p \to 0$ 일 때 기울기가 발산하지만, 선형 함수는 기울기가 일정하여 수치적 안정성을 보장합니다.
- 이는 부정적 샘플을 억제하면서도 학습이 불안정해지거나 발산하는 것을 방지합니다.

RIFT 손실 함수 공식:
$L_{RIFT}(\theta) = -\mathbb{E}_{D^+}[r \cdot \log \pi_\theta(y|x)] - \mathbb{E}_{D^-}[r \cdot \pi_\theta(y|x)]$
(여기서 $r$ 은 보상, $D^+$ 는 긍정 샘플, $D^-$ 는 부정 샘플)

3. 주요 기여 (Key Contributions)

데이터 효율성 극대화: 모델이 생성한 모든 데이터 (옳고 그른 것 모두) 를 활용하여 학습 효율을 높이고, 외부 전문가 데이터나 복잡한 선호도 쌍 (Preference Pairs) 구성 없이도 정렬이 가능합니다.
학습 안정성 보장: 부정적 샘플 처리 시 발생하는 기울기 폭발 문제를 선형 손실 함수를 통해 해결하여, 수치적 안정성을 확보했습니다.
참조 모델 불필요: DPO 와 달리 참조 모델 (Reference Model) 이 필요 없어 메모리 사용량을 대폭 줄이고 구현을 단순화했습니다.
범용성: 수학 추론뿐만 아니라 일반적인 선호도 정렬 (UltraFeedback 등) 에도 적용 가능함을 입증했습니다.

4. 실험 결과 (Results)

수학적 추론 벤치마크 (MATH, GSM8K, Olympiad 등) 와 다양한 모델 (Qwen2.5-Math, DeepSeek-R1-Distill, Llama3.2) 에서 광범위한 실험이 수행되었습니다.

성능 우위: RIFT 는 SFT, RFT, DFT, DPO 등 기존 최강 베이스라인들보다 **일관되게 높은 정확도 (Mean@8, Pass@8)**를 기록했습니다. 특히 수학 벤치마크에서 RFT 대비 평균 1.9~11.4 포인트 이상의 개선을 보였습니다.
메모리 효율성: DPO 는 참조 모델 로딩으로 인해 40GB 이상의 메모리를 소모하는 반면, RIFT 는 약 20GB 수준으로 DPO 대비 약 50% 적은 메모리로 더 높은 성능을 달성했습니다.
모델 규모에 따른 강건성: RFT 는 강력한 베이스 모델이 필요하지만, RIFT 는 중규모 모델에서도 안정적인 정렬 성능을 보여주었습니다.
일반화 능력: 수학 데이터로 학습된 모델이 다른 수학 벤치마크 (OOD) 에서도 우수한 성능을 발휘하며, 일반 선호도 정렬 (IFEval, TruthfulQA) 에서도 DPO 를 능가하는 결과를 보였습니다.

5. 의의 및 결론 (Significance)

RIFT 는 LLM 후학습 (Post-training) 분야에서 데이터 효율성과 학습 안정성을 동시에 달성한 획기적인 방법론입니다.

패러다임 전환: "나쁜 데이터는 버린다"는 기존 RFT 의 접근을 넘어, "나쁜 데이터도 교훈으로 삼는다"는 관점을 정립했습니다.
실용성: 복잡한 RLHF 파이프라인 없이도 SFT 의 단순함과 RL 의 효과를 결합하여, 제한된 자원으로도 고품질의 정렬 모델을 구축할 수 있는 길을 열었습니다.
확장성: 추론 모델 (Reasoner) 과 일반 언어 모델 모두에서 효과적이며, 향후 단계별 보상 (Step-by-step Reward) 등으로 확장될 잠재력을 가지고 있습니다.

요약하자면, RIFT 는 부정적 샘플을 재사용하고 안정화된 손실 함수를 도입함으로써, 적은 비용으로 더 강력하고 견고한 LLM 정렬을 가능하게 하는 새로운 표준을 제시한 연구입니다.