💬 NLP

The Flip Side of RLHF: On-Policy Feedback for Reward Model Self-Supervised Improvement

이 논문은 가치 앵커링된 온폴리시 피드백을 활용하여 보상 모델이 정책 응답을 채점하고 모호한 샘플을 필터링함으로써 스스로 학습을 감독하고 개선할 수 있도록 함으로써, 비용이 많이 드는 인간 선호 데이터에 대한 의존성을 극복하고 다양한 벤치마크와 강화 학습 알고리즘 전반에서 우수한 성능을 입증하는 프레임워크인 SAVE를 소개한다.

원저자: Xiaobo Wang, Tong Wu, Min Tang, Jiaqi Li, Qi Liu, Zilong Zheng

게시일 2026-06-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiaobo Wang, Tong Wu, Min Tang, Jiaqi Li, Qi Liu, Zilong Zheng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 멋진 이야기를 쓰는 법을 가르치고 있다고 상상해 보세요. 이를 위해 이야기를 쓰는 **선생님(정책, Policy)**과 그 이야기를 채점하는 **심판(보상 모델, Reward Model)**이 필요합니다.

이 과정을 수행하는 일반적인 방식(RLHF라고 불림)에서는, 심판이 예전에 모아둔 방대한 양의 인간 노트를 바탕으로 한 번 학습된 후 고정됩니다. 선생님은 이야기를 쓰고, 심판은 이를 채점하며, 선생님은 이를 통해 점점 더 발전합니다.

문제점:
선생님이 똑똑해질수록, 기존의 노트와는 매우 다른 스타일의 이야기를 쓰기 시작합니다. 그러면 심판은 혼란에 빠집니다. 심판은 본 적 없는 "새로운 스타일"의 글쓰기 때문에 좋은 이야기에 낮은 점수를 주거나, 나쁜 이야기에 높은 점수를 주는 실수를 범하게 됩니다. 이로 인해 선생님은 시스템을 속이는 법을 배우게 됩니다. 즉, 실제로는 좋지 않음에도 불구하고 심판을 속여 높은 점수를 받기 위해 기괴하고 로봇 같은 이야기를 써내는 것입니다. 이를 "보상 해킹(reward hacking)"이라고 합니다.

보통 이를 해결하려면 새로운 이야기를 채점할 사람을 더 고용하거나, 훨씬 더 똑똑한 AI를 새로운 심판으로 투입해야 합니다. 하지만 이는 비용이 많이 들고 시간이 오래 걸리는 작업입니다.

해결책: SAVE
이 논문은 SAVE라는 새로운 프레임워크를 소개합니다. 이것은 심판에게 인간의 도움 없이도 선생님의 작업물로부터 스스로 배울 수 있는 자기 개선(self-improving) 초능력을 부여하는 것과 같습니다.

작동 방식은 다음과 같은 간단한 비유를 통해 이해할 수 있습니다.

1. "가치 앵커" (기준점, The Value Anchor)

심판에게는 특별한 도구인 **가치 앵커(Value Anchor)**가 있습니다. 단순히 이야기를 보고 "좋다" 또는 "나쁘다"라고 말하는 대신, 앵커는 다음과 같이 묻습니다. "이 특정 프롬프트에 대해 평균적으로 얼마나 좋은 이야기인가?"

만약 프롬프트가 "고양이에 대한 시를 써줘"라면, 앵커는 평균적인 고양이 시가 어느 정도 수준인지 알고 있습니다.

만약 선생님이 쓴 시가 평균보다 더 좋다면, 심판은 "이것은 긍정적(Positive) 샘플이다!"라고 말합니다.
만약 선생님이 쓴 시가 평균보다 못하다면, 심판은 "이것은 부정적(Negative) 샘플이다!"라고 말합니다.

이 방식은 선생님의 출력물을 스스로 채점하는 시스템으로 전환합니다. 심판은 "절대적인 진리"를 알 필요가 없습니다. 단지 현재의 평균보다 더 나은지 혹은 나쁜지만 알면 됩니다.

2. "적응형 필터" (품질 관리, The Adaptive Filter)

때때로 선생님은 품질이 거의 동일한 두 개의 이야기를 쓸 수 있습니다. 이때 심판은 혼란에 빠져 "음, 둘 다 그냥 평범하네"라고 판단할 수 있습니다.

SAVE에는 **필터(Filter)**가 있어 다음과 같이 말합니다: "만약 좋고 나쁨의 차이를 명확히 구분할 수 없다면, 일단 그 예시는 무시하자." 이 필터는 차이가 명확하고 뚜렷한 예시만을 남깁니다. 학습이 진행됨에 따라 이 필터는 점점 똑똑해져서, 나중에는 조금 더 어려운 예시들도 사용할 수 있게 됩니다.

3. "자기 지도 루프" (순환 구조, The Self-Supervised Loop)

여기 마법 같은 순환 과정이 있습니다:

선생님이 일련의 이야기들을 작성합니다.
심판은 자신의 가치 앵커를 사용하여 이들을 비교합니다. 그리고 이들을 "평균보다 나은 것"과 "평균보다 못한 것"으로 분류합니다.
심판은 이러한 명확한 차이점을 사용하여 스스로를 업데이트합니다. 심판은 이렇게 배웁니다. "아, 그렇구나! 선생님이 이렇게 글을 쓸 때, 비록 내 예전 학습 데이터와는 다르게 보일지라도 실제로 좋은 것이었구나."
그 후, 선생님은 이 더 똑똑해진 심판을 사용하여 다음 배치의 이야기를 채점받고 더욱 발전합니다.

왜 이것이 중요한가요?

새로운 인간이 필요 없음: 심판은 선생님의 실수와 성공으로부터 스스로 배우기 때문에, 새로운 데이터를 채점하기 위해 끊임없이 사람을 고용할 필요가 없습니다.
신선함 유지: 심판은 선생님의 현재 글쓰기 스타일로부터 배우기 때문에, 결코 "시대에 뒤처지는" 일이 없습니다. 심판은 선생님과 함께 진화합니다.
속임수 방지: 점수를 평균 성능에 고정함으로써, 선생님이 기괴하고 저급한 기술로 심판을 속이는 것을 어렵게 만듭니다.

결과

저자들은 심판의 성능을 테스트하는 6가지 서로 다른 "시험판(benchmarks)"에서 이 방식을 테스트했습니다.

점수: 초기 심판의 점수는 76.0이었습니다. SAVE를 사용한 후, 이 점수는 77.3으로 향상되었습니다.
선생님: 이 개선된 심판을 사용하여 선생님을 훈련했을 때, 선생님은 지시 사항을 따르고 고품질의 콘텐츠를 작성하는 능력이 눈에 띄게 향상되었습니다.

요약하자면: SAVE는 채점자에게 거울을 주는 것과 같습니다. 오래된 교과서에 의존하는 대신, 채점자는 학생의 현재 작업물을 보고, 학생 자신의 평균과 비교하며, 그 차이점을 통해 배웁니다. 이를 통해 채점자는 더 똑똑해지고 학생은 더 훌륭해지며, 이 모든 과정에서 새로운 감독관을 고용할 필요도 없습니다.

기술 요약: RLHF의 이면 (SAVE)

문제 정의

인간 피드백으로부터의 강화 학습(RLHF)을 통한 대규모 언어 모델(LLM)의 정렬(Alignment)은 보상 모델(Reward Model, RM)의 품질에 크게 의존합니다. 그러나 견고한 RM을 구축하는 데는 두 가지 주요 병목 현상이 존재합니다:

데이터 획득 비용: 다양하고 고품질인 선호도 데이터를 확보하는 것은 비용이 많이 들며, 상당한 수준의 인간 주석 작업이나 더 강력하지만 접근이 어려운 외부 판사(Judge) 모델로부터의 지식 증류(Distillation)를 필요로 합니다.
분포 불일치(Distributional Mismatch): 표준 RM은 정적인 오프라인 선호 데이터에 대해 학습됩니다. RL 학습 과정에서 정책 모델(Policy Model)이 진화함에 따라, 생성 분포는 정적인 학습 세트에서 벗어나게 됩니다. 이는 최적화된 정책이 가장 빈번하게 방문하는 영역에서 미보정(Miscalibration)을 유발하며, 결과적으로 "보상 해킹(Reward Hacking)"과 과최적화(Goodhart's Law)를 초래합니다.

기존의 해결책들, 예를 들어 새로운 인간 라벨을 수집하거나 외부 판사를 다시 쿼리하는 방식은 원래의 비용 병목 현상을 그대로 재현하거나 외부 감독에 대한 의존성을 지속시킵니다. 본 논문은 다음과 같은 핵심적인 질문을 던집니다: 보상 모델이 추가적인 인간 라벨이나 외부 판사 없이, RL 학습 중에 생성된 온-폴리시(On-policy) 응답을 사용하여 스스로를 개선할 수 있는가?

방법론: SAVE 프레임워크

저자들은 SAVE(Self-supervised reward model improvement via Value-Anchored On-policy feEdback)를 제안합니다. 이 프레임워크는 온-폴리시 응답을 자기 지도 학습용 피드백으로 취급하여 RM을 지속적으로 정교화합니다.

핵심 구성 요소

가치 앵커 기반 보상 모델 (Value-Anchored Reward Model):
RM은 표준 보상 헤드( $R(x, y)$ )와 함께 프롬프트별 가치 헤드( $V(x)$ )를 갖도록 확장됩니다. 가치 헤드는 현재 샘플링 정책 하에서 프롬프트 $x$ 에 대한 응답들의 기대 보상을 추정합니다. 이는 RM의 백본( $f_\omega$ )을 공유하고 경량화된 가치 헤드( $v_\psi$ )를 추가함으로써 달성됩니다.
- RM 이점(Advantage): 특정 응답 $y$ 의 이점은 $a_{RM}(x, y) = R(x, y) - V(x)$ 로 정의됩니다. 이는 특정 응답이 해당 프롬프트에 대한 정책의 평균적 기대치보다 나은지 혹은 못한지를 측정합니다.
적응형 피드백 필터링 (Adaptive Feedback Filtering):
자기 지도 학습 신호의 신뢰성을 보장하기 위해, SAVE는 커리큘럼 기반 필터링 메커니즘을 사용합니다:
- 각 프롬프트에 대해, $G$ 개의 온-폴리시 응답 그룹을 샘플링합니다.
- RM 이점이 0에 가까운 응답(모호한 샘로)은 학습 단계에 따라 감소하는 동적 임계값 $\mu(t)$ 를 사용하여 필터링됩니다.
- 대조적 신호(Contrastive Signal)를 제공하기 위해, 양(+)의 응답( $a_{RM} \ge 0$ )과 음(-)의 응답( $a_{RM} < 0$ ) 부분 집합을 모두 생성하는 프롬프트만을 유지합니다.
자기 지도 학습 목적 함수 (Self-Supervised Objectives):
프레임워크는 필터링된 데이터를 사용하여 두 가지 별도의 손실 함수를 통해 RM을 최적화합니다:
- 대조적 보상 손실 ( $L_R$ ): 가치 앵커를 기준으로 양의 이점을 가진 응답은 위로, 음의 이점을 가진 응답은 아래로 밀어내는 가치 앵커 기반 대조 목적 함수입니다. 이는 보상 헤드( $h_\phi$ )와 백본( $f_\omega$ )을 업데이트합니다.
- 가치 보정 손실 ( $L_V$ ): 샘플링된 그룹의 편향되지 않은 경험적 평균 보상을 예측하도록 가치 헤드를 학습시키는 평균 제곱 오차(MSE) 손실입니다. 이는 앵커가 보정된 베이스라인으로 남도록 보장합니다.
미니맥스 정식화 (Minimax Formulation):
이론적으로 SAVE는 보상 모델 중심의 미니맥스 문제로 프레임화됩니다:
$\min_\eta \max_\theta M_t(\eta, \theta)$
여기서 정책( $\theta$ )은 현재 RM이 미보정된 영역(RM의 약점을 노출하는 영역)을 자연스럽게 찾아내는 적응형 데이터 생성자 역할을 하며, RM( $\eta$ )은 이러한 도전적인 샘플들에 대해 순위 지정 및 보정 오차를 최소화합니다.

주요 기여

SAVE 프레임워크: RL 학습 중 발생하는 온-폴리시 피드백을 사용하여 보상 모델을 지속적으로 개선하는 일반적인 자기 지도 학습 프레임워크를 제안하며, 추가적인 인간 주석이나 외부 판사에 대한 의존성을 제거합니다.
이론적 정당성: 저자들은 이 과정을 미니맥스 문제로 공식화하여, 정책 최적화가 보상 모델의 인식론적 오류(Epistemic errors)를 노출함으로써 RM 개선을 위한 정보가 풍부한 데이터를 자연스럽게 생성한다는 것을 이론적으로 입증했습니다.
실험적 검증: 6개의 다양한 벤치마크와 다양한 RL 알고리즘(GRPO, RLOO, GSPO) 및 정책 백본에 걸친 광범적인 실험을 수행했습니다.

실험 결과

본 논문은 RewardBench, RewardBench 2, RM-Bench, PPE Preference, PPE Correctness, JudgeBench의 6개 보상 모델 벤치마크에서 SAVE를 평가했습니다.

보상 모델 성능:
- 베이스라인 RM(Skywork-Reward-V2-Llama-3.2-3B, 평균 점수 76.0)에서 시작하여, 더 강력한 정책 백본(Qwen3-4B)을 사용할 때 SAVE는 평균 점수를 77.3으로 향상시켰습니다.
- SAVE는 6개 벤치마크 모두에서 최고 점수를 기록했으며, 이는 지속적인 오프라인 학습, 평균 보상 베이스라인, 그리고 HL-BT(Highest-Lowest Bradley-Terry) 방식을 포함한 베이스라인들을 능가하는 성과입니다.
- 절제 연구(Ablation studies)를 통해 커리큘럼 필터링 메커니즘과 동적 정책 업데이트가 모두 매우 중요하다는 것이 확인되었습니다. 정책을 고정하거나 커리큘럼을 제거하면 성능 저하가 발생했습니다.
다운스트림 정책 성능:
- 향상된 RM은 더 나은 다운스트림 정책 성능으로 이어졌습니다. AlpacaEval 2에서 길이 제어 승률(Length-controlled win rate)이 51.68%에서 **54.24%**로 증가했습니다.
- Arena-Hard-v2.0에서 승률은 30.2%에서 **33.9%**로 상승했습니다.
- 개선된 RM은 전이 가능성을 보여주었으며, 공동 학습(Co-training)을 하지 않은 상태에서도 이를 통해 학습된 정책의 성능을 높였습니다.

의의 및 주장

본 논문은 SAVE가 보상 모델 학습의 "병목 현상"에 대한 확장 가능한 솔루션을 제공한다고 주장합니다. 정책의 진화를 활용하여 정보가 풍부한 온-폴리시 피드백을 생성함으로써, SAVE는 정적인 오프라인 데이터 및 외부 판사에 대한 의존성을 끊어냅니다.

저자들은 다음을 강조합니다:

자기 개선의 실현 가능성: 보상 모델은 RL 과정 중에 생성된 데이터만을 사용하여 효과적으로 스스로를 개선할 수 있습니다.
가치 앵커링의 중요성: 학습된 프롬프트별 가치 앵커를 사용하는 것은 의미론적으로 동일한 응답 간의 표면적인 구조적 차이에 과적합될 수 있는 단순 쌍체 순위 방식(HL-BT 등)보다 우수합니다.
강건성: 이 방법은 옵티마이저에 구애받지 않으며(Optimizer-agnostic), 비판자(Critic)가 없는 다양한 RL 알고리즘(GRPO, RLOO, GSPO)에서 일관된 이득을 보여줍니다.

결론적으로, 온-폴리시 피드백은 보상 모델과 이를 가이드하는 다운스트림 정책을 모두 개선하는 효과적인 감독 신호로 작용하며, 고립된 보상 모델링에서 온라인 공동 진화(Online joint evolution)로 패러다임을 전환합니다.

한계점

저자들은 다음과 같은 한계점을 겸허히 인정합니다:

모델 규모: 실험은 3B~4B 범위의 모델을 대상으로 수행되었습니다. 훨씬 더 큰 규모의 모델에 대한 역학 관계는 아직 검증이 필요합니다.
평가 지표: 자동화된 벤치마크 및 LLM 기반 판사에 의존하고 있습니다. 특히 안전이 중요한 작업이나 주관적인 작업에 대해서는 인간 선호도 연구가 더 강력한 근거를 제공할 것입니다.
계산 비용: SAVE는 프롬프트당 여러 응답을 샘플링하고 학습 중에 RM을 업데이트해야 하므로 추가적인 계산을 도입하지만, 메모리 증가량에 비해 시간적 오버헤드는 완만한 것으로 보고되었습니다.