기술 요약: 대규모 언어 모델의 선호도 학습에 관한 후회 최소화 프레임워크 (RePO)

문제 정의

검증 가능한 보상(Verifiable Rewards)을 활용한 강화 학습(RLVR)은 자동화된 정답 신호를 통해 수학 및 코드 생성과 같은 추론 집약적 작업에서 상당한 발전을 이끌어냈으나, 많은 현실적인 언어 작업(예: 안전이 중요한 의사결정, 고객 서비스, 교육적 추론)에는 신뢰할 수 있는 검증기가 부족합니다. 결과적으로, 이 분야는 인간 피드백으로부터의 강화 학습(RLHF)에 크게 의존하고 있습니다.

본 논문이 다루는 핵심 문제는 RLHF 내에서 인간의 피드백을 어떻게 해석하느냐 하는 것입니다. 기존의 선호도 기반 방법들(예: DPO, IPO)은 일반적으로 인간의 선호도를 **보상 최대화(reward maximization)**의 관점에서 해석하며, 선호도를 관찰된 궤적 세그먼트에 할당된 즉각적 또는 누적된 효용의 대리 지표로 취급합니다. 저자들은 이러한 해석이 인간의 인지 구조와 근본적으로 어긋난다고 주장합니다. 인간의 판단은 본질적으로 전망적(prospective)(미래의 결과를 예측함)이며 반사실적(counterfactual)(실현된 결과와 가능한 대안을 비교함)입니다. 현재의 보상 기반 프레임워크는 중간 단계들을 근시안적으로 평가하며, 부분적인 궤적에 대한 인간의 선호도가 절대적인, 결과 독립적인 효용보다는 해당 궤적의 예상되는 지속성과 무엇이 될 수도 있었던 것(what could have been)과의 비교에 의해 형성된다는 점을 간과하고 있습니다.

방법론: 후회 기반 선호도 최적화 (RePO)

본 논문은 선호도 학습을 보상 최대화가 아닌 **후회 최소화(regret minimization)**를 통해 재구성하는 프로토콜인 **후회 기반 선호도 최적화(RePO)**를 소개합니다.

이론적 토대

1. 목적 함수로서의 후회(Regret): RePO는 즉각적인 보상을 최대화하는 대신, 인간의 피드백을 하위 최적성(suboptimality)에 대한 상대적 평가로 모델링합니다. 여기서 후회는 주어진 컨텍스트에서 최적 정책($V^{\pi^*}$)과 행동 정책($Q^\mu$) 사이의 차이로 정의됩니다.

2. KL-정규화된 RL 프레임워크: 저자들은 이를 단계별 KL-정규화된 RL 프레임워크 내에서 공식화합니다. 그들은 행동 정책 $\mu$와 관련된 Q-함수의 폐쇄형 표현(closed-form expression)을 도출합니다.

3. 후회의 분해: 핵심적인 이론적 기여(Theorem 5.4 및 Lemma 5.5)는 행동 정책 $\mu$가 최적 정책 $\pi^*$에 대해 겪는 후회가 두 가지 구성 요소로 분해될 수 있음을 입증합니다:

   • 로컬 선호도 항(local preference term): $\alpha \log \frac{\pi^*(o|q_{<t})}{\pi_{ref}(o|q_{<t})}$로, 이는 표준적인 직접 선호도 최적화(DPO) 목적 함수와 일치합니다.
   • 장기 호라이즌 항(long-horizon term): 미래의 롤아웃을 따라 행동 정책 $\mu$가 최적 정책 $\pi^*$로부터 벗어나는 정도를 측정하는 순차적 전방향 KL 발산($\bar{D}_{KL}$)입니다.

   이 분해는 후회 최소화가 행동 의존적 편차와 미래 궤적의 일관성을 명시적으로 고려함을 보여주며, 이는 DPO가 온-정책(on-policy) 데이터를 가정하는 오프-정책(off-policy) 설정에서 발생하는 "우도 불일치(likelihood mismatch)" 문제를 해결합니다.

실제 구현

• RePO: 표준 알고리즘은 순차적 KL 발산 항을 포함하는 도출된 폐쇄형 업데이트를 사용합니다. 이는 데이터를 생성한 행동 정책 $\mu$에 대한 지식을 필요로 합니다.
• RePO_det: 행동 정책을 알 수 없거나 접근하기에 계산적으로 까다로운 시나리오(오프라인 데이터셋에서 흔함)를 처리하기 위해, 저자들은 RePO_det를 제안합니다. 이 변형 모델은 행동 정책을 관찰된 출력에 집중된 결정론적 분포(디락 델타)로 근사합니다. 이는 순차적 KL 항을 관찰된 궤적 전체에 걸쳐 로그 확률 비율을 평균내는 샘플 기반 추정치로 대체하여, 관찰된 세그먼트를 단일 롤아웃처럼 취급합니다.

주요 기여

1. 인간 피드백의 재정의: 본 논문은 인간의 피드백이 보상 최대화 신호보다는 예상되는 결과와 암묵적인 대안에 조건 지어진 상대적 판단(후회)으로서 더 자연스럽게 이해된다고 주장합니다.
2. 폐쇄형 정책 업데이트: 저자들은 이 관점을 KL-정규화된 RL 프레임워크 내에서 공식화하여, 행동 의존적 편차를 명시적으로 모델링하면서도 DPO와 호환되는 폐쇄형 정책 업데이트를 도출했습니다.
3. 귀납적 편향의 내재화: 이론적 분석(Lemma 6.1)은 후회 최소화가 인간 피드백에 존재하는 귀납적 편향을 구조적으로 내재화한다는 것을 시사합니다: 즉, 불완전하거나 부분적으로 관찰된 성공적인 궤적은 미래 완결성에 대한 불확실성 때문에 비관적으로 평가됩니다. 이를 통해 RePO는 그러한 선호도를 강제하기 위한 명시적인 데이터 증강 없이도 효과적으로 학습할 수 있습니다.
4. 행동 정책에 대한 강건성: RePO_det의 도입은 행동 정책 정보가 없을 때도 프레임워크가 효과적으로 작동함을 보여주며, 이는 이질적인 오프라인 데이터셋에도 적용 가능함을 입증합니다.

실험 결과

저자들은 Qwen3 (1.7B/4B) 및 LLaMA3 모델을 사용하여 수학적 추론 벤치마크(GSM8K, MATH, MATH500, AMC23, Minerva)와 인간 선호도 정렬 작업(AlpacaEval 2, Arena-Hard, MT-Bench)에서 RePO를 평가했습니다.

• 성능 향상: RePO는 모델 규모와 작업 유형 모두에서 기존 베이스라인(DPO, IPO, RPO, KTO, TDIO)을 일관되게 능가했습니다. 예를 들어, 4B 모델에서 RePO는 AlpacaEval 2에서 55.08%의 승률을 기록했습니다(DPO의 32.89% 대비). 또한 GSM8K에서 65.54%를 기록했으며(DPO의 87.87% 대비, 다만 RePO는 일반적으로 추론 작업에서 강력한 상승을 보임), 전반적인 추론 작업에서 우수한 성능을 보였습니다.
• 오프라인 적용 가능성: RePO_det는 Qwen 제품군 내에서 RePO와 대등한 성능을 달 나타냈으며, 교차 모델 설정(예: Qwen 모델이 생성한 데이터로 LLaMA 모델 학습)에서 베이스라인을 크게 앞질렀습니다. 이는 샘플 기반 후회 추정치의 강건성을 입в증합니다.
• 샘플 효율성: 마스킹된 데이터 증강(성공적인 궤적을 부분적으로 숨겨 모델의 불완전한 경로 판단 능력을 테스트함)을 포함한 절제 연구에서, DPO는 성능 향상을 위해 추가적인 증강 데이터가 필요했던 반면, RePO는 안정적이고 압도적인 성능을 유지했습니다. 이는 RePO가 불완전한 궤적에 대한 인간 판단의 귀납적 편향을 구조적으로 인코딩하여 더 높은 샘플 효율성을 이끌어낸다는 주장을 뒷받침합니다.

의의 및 주장

본 논문은 RePO가 인간 판단의 전망적이고 반사실적인 특성과 정렬됨으로써 인간 피드백의 충실한 추상화를 제공한다고 주장합니다. 보상 최대화에서 후회 최소화로 전환함으로써, 이 프레임워크는 이질적인 궤적에 대한 선호도에 대한 원칙적인 해석을 제공합니다.

저자들은 후회 최소화가 LLM의 인간 정렬을 위한 유망한 기초가 된다고 결론짓습니다. 결과에 따르면, 행동 정책, 미래 롤아웃, 그리고 반사실적 대안 사이의 관계를 올바르게 모델링하는 것은 특히 명시적인 보상 신호가 없는 환경에서 효과적인 선호도 학습을 위해 매우 중요합니다. 이 연구는 모든 정렬 문제를 해결한다고 주장하는 것이 아니라, 현재 RLHF의 보상 중심 패러다임을 개선하기 위한 필수적인 정교화로서 후회 최소화를 제안합니다.