🤖 machine learning

Value-Free Policy Optimization via Reward Partitioning

이 논문은 프롬프트 수준의 분포를 통해 보상을 정규화함으로써 가치 함수 추정의 필요성을 제거하고, 이를 통해 기존의 DRO 및 KTO와 같은 베이스라인보다 우수한 정렬성, 다양성 및 안정성을 달성하는 단순하고 확장 가능한 단일 궤적 선호도 학습 방법인 보상 분할 최적화(Reward Partition Optimization, RPO)를 소개한다.

원저자: Bilal Faye, Hanane Azzag, Mustapha Lebbah

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bilal Faye, Hanane Azzag, Mustapha Lebbah

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇 요리사에게 완벽한 요리를 하는 법을 가르치고 있다고 상상해 보세요. 과거에는 이를 수행하기 위한 두 가지 주요 방법이 있었지만, 두 방법 모두 심각한 문제점이 있었습니다.

과거의 방식들: "맛 테스트"와 "미식가 심판"

"맛 테스트" (쌍별 선호도 - Pairwise Preferences):
전통적으로, 요리사를 가르치기 위해 당신은 동일한 주문에 대해 두 가지 서로 다른 요리(예: 두 종류의 라자냐)를 제공하고 인간에게 "어느 것이 더 나은가요?"라고 물었습니다. 로봇은 이 두 가지를 비교하며 학습합니다.

문제점: 로봇이 점점 더 숙련됨에 따라, 인간이 두 개의 훌륭한 라자냐 사이의 차이점을 구별하는 것은 매우 어려워집니다. 이는 마치 음식 평론가에게 5성급 식사 두 끼 중 어느 것이 더 나은지 선택하라고 요구하는 것과 같습니다. 이는 매우 소모적이고, 비용이 많이 들며, 느립니다.

"미식가 심판" (보상 모델 + 강화 학습 - Reward Models + Reinforcement Learning):
또 다른 방법은 별도의 AI인 "미식가 심판"을 고용하여 음식을 맛보게 하고 1점에서 10점 사이의 점수를 주는 것입니다. 로봇은 이 심판으로부터 가장 높은 점수를 받는 요리를 만들도록 노력합니다.

문제점: 심판이 틀릴 수도 있고, 로봇이 높은 점수를 받기 위해 이상하거나 독성이 있거나 터무니없는 요리를 만들어 심판을 "속이려(game)" 할 수도 있습니다. 또한 이는 계산적으로 매우 비효하고 불안정하여, 마치 바람 부는 날에 카드 집을 세우려는 것과 같습니다.

새로운 방법: RPO (보상 분할 최적화 - Reward Partitioning Optimization)

이 논문의 저자들은 RPO라고 불리는 더 단순한 새로운 방법을 소개합니다. 두 요리를 비교하거나 별도의 "심판"을 고용하는 대신, RPO는 로봇이 단일 주문에 대해 지금까지 만든 모든 요리를 살펴보고, 그 특정 주문의 "평균 품질"이 어느 정도인지 파악합니다.

RPO가 어떻게 작동하는지 다음의 간단한 비유를 통해 알아보겠습니다.

"교실 성적" 비유

선생님(로봇)이 에세이를 채점하고 있다고 상상해 보세요.

과거의 방식 (DRO): 선생님은 에세이를 다 쓰기도 전에, 매번 쓰는 에세이에 대한 "완벽한 점수"를 예측하려고 합니다. 선생님은 에세이를 쓰는 동시에 이 "완벽한 점수"를 추측해야 합니다. 이는 혼란을 야기하고 실수를 유발합니다.
RPO 방식: 선생님은 특정 주제(예: "고양이에 관한 이야기를 쓰시오")에 대해 작성된 모든 에세이를 살펴봅니다.
- 어떤 에세이는 형편없습니다 (점수 2점).
- 어떤 에세이는 괜찮습니다 (점수 5점).
- 어떤 에세이는 정말 훌륭합니다 (점수 9점).
- RPO는 그 모든 고양이 이야기들의 평균 품질을 계산합니다.
- 만약 로봇이 그 주제의 평균보다 더 나은 이야기를 쓴다면, 로봇은 "엄지 척"을 받고 그 행동을 다시 하도록 배웁니다.
- 만약 로봇이 평균보다 못한 이야기를 쓴다면, 로봇은 "엄지 아래로"를 받고 그것을 수정하도록 배웁니다.

마법의 기술: RPO는 평균이 무엇인지 알려주는 별도의 "심판" AI를 필요로 하지 않습니다. RPO는 이미 가지고 있는 데이터(프롬프트, 응답, 점수)를 살펴보고 빠른 수학적 계산을 통해 그 평균을 찾아냅니다. 이 덕분에 훈련 과정이 훨씬 빠르고 안정적이며, 로봇이 이상하게 변질될 가능성도 낮아집니다.

연구 결과는 어떠했나요?

연구진은 이 새로운 방법을 다양한 유형의 AI 모델(읽고 쓰는 모델과 쓰는 모델 모두)에 테스트했습니다. 결과는 다음과 같았습니다.

더 나은 결과: RPO로 훈련된 로봇은 기존 방식으로 훈련된 로봇보다 더 도움이 되고, 더 다양하며(덜 반복적임), 더 안전한(독성이 적은) 응답을 작성했습니다.
안정성: 기존 방식은 때때로 로봇의 행동이 급격하게 변동(마치 자동차가 통제력을 잃는 것처럼)하게 만들었지만, RPO는 로봇을 매끄럽고 꾸준한 경로로 유지시켰습니다.
속도: RPO를 사용하여 로봇을 훈련하는 데 걸리는 시간이 더 짧았습니다.
강건성(Robustness): 에세이에 부여된 점수가 다소 "노이즈"가 있거나 완벽하지 않더라도(예: 인간 채점자가 컨디션이 좋지 않은 경우), RPO는 여전히 잘 작동했습니다. 즉, 망가지지 않았습니다.

한계점 (Limitations)

논문은 RPO가 어려움을 겪을 수 있는 부분에 대해서도 솔직하게 밝히고 있습니다.

군중이 필요함: "평균"을 계산하려면 동일한 프롬프트에 대한 여러 가지 서로 다른 응답을 확인해야 합니다. 만약 하나의 프롬프트에 대해 단 하나의 응답만 있다면, RPO는 마법 같은 수학 계산을 할 수 없습니다.
쓰레기가 들어가면 쓰레기가 나온다 (Garbage In, Garbage Out): 만약 점수(보상)가 완전히 틀렸거나 오염되었다면, 이 방법 역시 어려움을 겪겠지만, RPO는 기존 방식들보다 작은 실수들을 더 잘 처리합니다.

결론

이 논문은 AI가 더 도움이 되도록 가르치는 더 똑똑하고 단순한 방법으로 RPO를 제안합니다. 두 가지 옵션을 비교하거나 "완벽한 점수"를 예측하는 복잡한 시스템을 구축하는 대신, RPO는 단순히 질문에 대한 전체 답변 집단을 살펴보고, 평균을 구한 뒤, AI가 그 평균보다 더 높이 도달하도록 가르칩니다. 이는 AI를 인간의 선호도에 맞추는 데 있어 훨씬 더 안정적이고 효율적이며 효과적인 방법입니다.

기술 요약: 보상 분할을 통한 가치-프리 정책 최적화 (Value-Free Policy Optimization via Reward Partitioning)

문제 정의

대규모 언어 모델(LLM)을 인간의 선호도에 정렬하는 작업은 일반적으로 인간 피드백 기반 강화 학습(RLHF) 또는 직접 선호도 최적화(DPO)에 의존합니다. 그러나 이러한 패러다임은 다음과 같은 확장성 및 안정성 문제를 안고 있습니다:

RLHF는 쌍별(pairwise) 선호도에 대한 비용이 많이 드는 인간 주석 작업, 별도의 보상 모델(RM) 학습, 그리고 샘플 효율성이 낮고 하이퍼파라미터에 민감한 불안정한 강화 학습 루프(예: PPO)를 필요로 합니다.
**Direct Preference Optimization (DPO 방식)**은 명시적인 RM과 RL 루프를 제거하지만, 정제된 쌍별 선호도 데이터를 필요로 합니다. 모델이 개선됨에 따라 고품질 응답 간의 차이를 구별하는 것이 점점 더 어려워져 주석 비용이 상승하게 됩니다.
**단일 궤적 학습(Single-Trajectory Learning)**은 $(prompt, response, scalar\_reward)$ 튜플을 사용하는 실용적인 대안을 제공합니다. 이는 (예: 엄지 척/다운) 주석을 달기가 더 쉽습니다. 그러나 **Direct Reward Optimization (DRO)**와 같은 기존 방식은 정책과 가치 함수를 공동으로 학습하는 데 의존합니다. 이러한 공동 최적화는 분산, 불안정성, 오프-정책(off-policy) 데이터에 대한 민감성을 유발하며, 가치 추정의 오류가 정책 학습을 편향시킬 수 있습니다.

핵심적인 문제는 가치 함수를 학습하는 복잡성이나 불안정성 없이, 스칼라 보상 데이터로부터 직접 정책을 최적화할 수 있는 안정적이고 확장 가능하며 단순한 방법을 찾는 것입니다.

방법론: 보상 분할 최적화 (Reward Partitioning Optimization, RPO)

저자들은 가치 함수를 학습할 필요 없이 KL 정규화 하에서의 최적 정책의 해석적 형태를 활용하는 가치-프리(value-free) 목적 함수인 **보상 분할 최적화(RPO)**를 제안합니다.

이론적 토대

KL 정규화된 보상 최대화에서의 최적 정책 공식에서 시작합니다:
$\pi^*(y|x) = \pi_{ref}(y|x) \exp\left(\frac{1}{\tau} (r(x, y) - V^*(x))\right)$
여기서 $V^*(x)$ 는 보상을 정규화하기 위한 분할 함수(partition function) 역할을 하는 소프트 가치 함수입니다. 전통적인 방식인 DRO는 별도의 신경망을 사용하여 $V^*(x)$ 를 근사하며, 이는 정책( $\pi_\theta$ )과 가치( $V_\phi$ )의 결합된 최적화를 초래합니다.

RPO는 데이터로부터 직접 경험적 분할 함수를 계산함으로써 이 과정을 우회합니다. 주어진 프롬프트 $x$ 에 대해, 이 방법은 데이터셋 내의 모든 가용 응답 $y_j$ 를 집계하여 경험적 분할 함수 $\hat{Z}(x)$ 를 계산합니다:
$\hat{Z}(x) = \sum_{j \in I_x} \pi_{ref}(y_j|x) \exp\left(\frac{1}{\tau} r(x, y_j)\right)$
여기서 $I_x$ 는 프롬프트 $x$ 를 가진 샘플들의 인덱스 집합입니다. 이후 경험적 가치는 $\hat{V}(x) = \tau \log \hat{Z}(x)$ 가 됩니다.

최적화 목적 함수

RPO는 학습된 정책과 참조 정책 사이의 로그 비율(log-ratio)에 대한 직접적인 회귀로 학습 과제를 정식화합니다. 손실 함수는 예측된 로그 비율과 중심화되고 스케일링된 보상 사이의 제곱 오차를 최소화합니다:
$\mathcal{L}_{RPO}(\theta) = \frac{1}{2} \mathbb{E}_{(x,y,r) \sim D} \left[ \left( \log \frac{\pi_\theta(y|x)}{\pi_{ref}(y|x)} - \frac{1}{\tau}(r(x, y) - \hat{V}(x)) \right)^2 \right]$

이 방법의 주요 특징은 다음과 같습니다:

가치-프리(Value-Free): 보조 가치 네트워크를 학습하지 않습니다. $\hat{V}(x)$ 는 참조 정책과 관찰된 보상으로부터 즉석에서(on-the-fly) 계산됩니다.
안정적인 그래디언트: 그래디언트 업데이트는 정책 파라미터에만 의존하므로, 학습된 가치 추정기를 통한 역전파를 피할 수 있습니다.
오프라인 호환성: 이 방법은 완전한 오프라인 방식이며, 온라인 RL 루프 없이도 대규모 데이터셋으로 확장 가능합니다.

주요 기여

RPO 제안: 가치 추정을 경험적 보상 정규화로 대체하는 새로운 단일 궤적 정책 최적화 방법 제시.
DRO 분석: 정책-가치 공동 최적화로 인한 불안정성을 강조하며 Direct Reward Optimization에 대한 이론적 및 실무적 비판 수행.
공식 유도: 분할 함수 공식을 활용하여 RPO가 최적 정책 구조를 근사함을 보여주는 증명 제공.
광범위한 평가: 인코더-디코더(Flan-T5) 및 디코더 전용(Mistral, LLaMA, Qwen) 아키텍처 전반에 걸친 포괄적인 실험을 통해 SFT, KTO, DRO보다 일관된 우수성을 입증.

실험 결과

저자들은 UltraFeedback 데이터셋과 여러 벤치마크(AlpacaEval, MT-Bench, IFEval, GSM8K)에서 RPO를 평가했습니다.

도메인 내 성능 (UltraFeedback)

지표: RPO는 자동화된 지표(BERTScore, ROUGE-L, Distinct-2) 및 안전성(Toxicity) 측면에서 SFT, KTO, DRO를 일관되게 능가했습니다.
LLM-as-a-Judge: GPT-4o 및 Claude-3.5로 평가했을 때, RPO는 베이스라인 대비 높은 승률을 기록했습니다.
안정성: KL 발산 분석 결과, RPO는 매끄럽고 통제된 궤적을 유지하는 반면, DRO는 (특히 디코더 전용 모델에서) 강한 발산 성장을 보였고 KTO는 진동을 보였습니다.
효율성: RPO는 모든 모델 규모에서 DRO 및 KTO에 비해 빠른 수렴 속도와 낮은 훈련 시간을 보여주었습니다.

분포 외(OOD) 일반화

RPO는 견고하지만 작업에 따라 다른 성능을 보였습니다. 이점은 지시 이행(instruction-following) 벤치마크(AlpacaEval, IFEval)에서 가장 두드러졌습니다.
추론 작업(GSM8K) 및 다회차 대화(MT-Bench)에서의 성능은 모델 제품군에 따라 차이가 있었으나, 일관되면서도 완만한 개선을 보였습니다.

절제 연구 (Ablation Studies)

온도 ( $\tau$ ): 이 방법은 중간 정도의 스무딩( $\tau=5.0$ )에는 견고하지만, 매우 날카로운 스케일링( $\tau=0.1$ )에서는 성능이 크게 저하되어 최적화가 불안정해집니다.
경험적 정규화 ( $\hat{V}(x)$ ): 프롬프트 수준의 보상 정규화를 제거하면 의미적 유사성, 다양성 및 안전성에서 일관된 저하가 발생하였으며, 이는 해당 기능이 보상 스케일을 안정화하는 데 결정적인 역할을 함을 확인시켜 줍니다.
데이터 밀도: 프롬프트당 완료(completion) 수가 적어질수록 성능이 저하되며, 25% 밀도 설정에서는 품질이 크게 떨어졌습니다. 이는 정확한 분할 함수 추정을 위해 프롬프트당 다양한 보상 분포가 필요함을 시사합니다.
노이즈 강건성: RPO는 중간 정도의 보상 노이즈( $\sigma=0.1, 0.5$ ) 하에서도 안정적이지만, 노이즈 강도가 높아짐에 따라 성능이 하락합니다. 다만 강력한 오염( $\sigma=1.0$ ) 상황에서도 완전히 붕괴되지는 않습니다.

의의 및 한계점

본 논문은 RPO가 기존 정렬 방법들에 대한 단순하고, 확장 가능하며, 안정적인 대안을 제공한다고 주장합니다. 가치 함수 학습을 제거함으로써 최적화 복잡성과 분산을 줄이는 동시에 절대적인 보상 감독을 제공합니다. 저자들은 RPO를 특히 쌍별 데이터가 부족하지만 스칼라 피드백을 사용할 수 있는 시나리오에서 유망한 확장 가능한 선호도 최적화 방향으로 제시합니다.

저자가 인정한 한계점:

데이터 요구사항: RPO는 분할 함수를 효과적으로 추정하기 위해 하나의 프롬프트에 여러 개의 완료 응답이 존재하는 그룹화된 데이터에 의존합니다. 프롬프트 수준의 다양성이 부족하면 성능이 저하됩니다.
보상 품질: 중간 정도의 노이즈에는 강건하지만, 보상 주석의 품질에 여전히 의존적입니다. 심각한 오염은 정렬에 부정적인 영향을 미칩니다.
평가 범위: 현재 평가는 주로 지시 이행 및 정렬 벤치마크에 집중되어 있습니다. 저자들은 일반화 능력을 완전히 평가하기 위해 더 넓은 도메인, 다국어 설정 및 긴 호흡의 추론 작업에 대한 추가 연구가 필요하다고 언급했습니다.