기술 요약: SMOPD

1. 문제 정의

본 논문은 대규모 언어 모델(LLM)을 위한 다중 보상 강화 학습(multi-reward RLHF)의 근본적인 한계점을 다룹로다. GDPO(Group Reward-Decoupled Normalization Policy Optimization)와 같은 기존 방식들은 보상 차원을 합산하기 전에 각각 별도로 정규화함으로써 표준 GRPO(Group Relative Policy Optimization)를 개선했지만, 여전히 보상 밀도 불균형(reward-density imbalance) 문제로 어려움을 겪고 있습니다.

많은 실제 시나리오에서 모델은 조밀한 보상(dense rewards)(예: 0.1에서 1.0 사이의 정확도 점수와 같이 미세하고 연속적인 피드백 제공)과 희소한 보상(sparse rewards)(예: 0 또는 1의 형식 준수 여부와 같이 이진적이고 전무하거나 전부인 피드백 제공)이 혼합된 형태로 훈련됩니다.

• 핵심 문제: 그룹 기반 어드밴티지 추정(group-based advantage estimation)에서, 조밀한 보상은 그룹 내 일관된 변동성을 제공하여 모델이 효과적으로 학습할 수 있게 합니다. 반면, 희소한 보상은 롤아웃 그룹 내의 대다수 응답에 동일한 값(예: 0)을 할당하는 경우가 많습니다. 이는 희소한 차원에 대해 제로 또는 제로에 가까운 그룹 내 분산을 초래합니다.
• 결과: 개별 보상 정규화를 적용하더라도, 균형 잡힌 최적화 과정에서 희소한 보상 신호는 조밀한 보상 신호에 의해 압도됩니다. 모델은 희소한 보상(예: 엄격한 출력 형식 준수)과 관련된 능력을 학습하지 못하는데, 이는 단일 정책 설정에서 우선순위 가중치를 높이더라도 최적화 신호가 정책 업데이트를 유도하기에 불충분하기 때문입니다. 희소한 보상의 우선순위를 높여 학습 가능하게 만들면 최종 정책이 왜곡되어 다른 목적에 대한 성능이 저하되는 문제가 발생합니다.

2. 방법론: SMOPD

이러한 긴장 관계를 해결하기 위해, 저자들은 능력 습득(capability acquisition)과 보상 균형(reward balancing)을 분리하는 2단계 훈련 프레임워크인 **SMOPD(Specialize-and-Merge Online Policy Distillation)**를 제안합니다.

1단계: 전문화 (보상 특화 교사 모델)

단일 정책이 모든 보상을 균형 있게 학습하도록 하는 대신, SMOPD는 각 보상 차원에 특화된 여러 개의 "교사(teacher)" 정책을 훈련합니다.

• 메커니즘: 베이스 정책은 서로 다른 보상 우선순위 구성을 가지고 훈련됩니다. 대상 보상 차원 $k$에 대해, 우선순위 가중치 $w_k$는 다른 가중치들보다 현저히 높게 설정됩니다 ($w_k \gg w_j$).
• 효과: 이는 대상 보상에 대한 그래디언트 신호를 증폭시켜, 교사 모델이 (예: 이진 형식 준수를 우선시하는 "Format Teacher") 조밀한 신호에 묻히지 않고 희소하거나 학습하기 어려운 분포를 효과적으로 학습할 수 있게 합니다.
• 결과: 각 교사가 특정 보상 차원에 탁월한 능력을 갖추되, 집합적으로는 전체 보상 공간을 커버하는 상호 보완적인 교사 세트가 생성됩니다.

2단계: 병합 (온-폴리시 정책 증류)

전문화된 교사들의 능력을 **온-폴리시 증류(On-Policy Distillation, OPD)**를 통해 하나의 "학생(student)" 정책으로 병합합니다.

• 교사 혼합(Teacher Mixture): 학생이 생성한 시퀀스의 각 토큰 위치 $t$에서, 목표 분포는 교사들의 다음 토큰 분포의 혼합물입니다. SMOPD는 **균등 혼합(uniform mixture, $\alpha_m = 1/M$)**을 사용하며, 계산 효율성을 위해 **top-$\kappa$ 구성(각 교사의 상위-$\kappa$ 토큰 유지)**을 사용하여 전체 어휘 혼합을 근사합니다.
• 증류 손실(Distillation Loss): 학생은 자신의 분포와 교사 혼합 분포 사이의 **Forward KL 발산(Forward KL divergence)**을 최소화합니다. Forward KL은 "모드 커버링(mode-covering)" 특성이 있어, 학생이 모든 고확률 토큰(서로 다른 교사가 서로 다른 토큰에 대해 확신을 갖는 경우, 예: 형식 래퍼 vs 함수 인자)에 확률 질량을 배치하도록 유도하기 때문에 선택되었습니다.
• GDPO 앵커(Anchor): 학생이 단순히 교사를 모방하는 데 그쳐 태스크 수준의 최적화를 놓치는 것을 방지하기 위해, GDPO 앵커 손실이 추가됩니다. 이 손실은 모든 보상에 대해 균형 잡힌 가중치를 사용하여, 학생이 원래의 다중 보상 목적 함수를 최적화하도록 안내하는 시퀀스 수준의 신호를 제공합니다.
• 전체 목적 함수: 학생은 증류 손실(토큰 수준의 가이드)과 앵커 손실(시퀀스 수준의 태스크 방향)의 조합을 최적화합니다.

3. 주요 기여

1. 보상 균형의 긴장 관계 해결: SMOPD는 균형 잡힌 우선순위 하에서 희소한 보상이 학습 불가능해지는 단일 정책 다중 보상 RL의 내재적 갈등을 해결합니다. 교사를 전문화함으로써, 최종 정책을 영구적으로 왜곡하지 않고도 희소한 분포를 학습 가능하게 만듭니다.
2. Specialize-and-Merge 프레임워크: 능력 습득과 보상 균형을 분리하는 새로운 워크플로우를 도입했습니다. 교사는 유리한 환경(높은 우선순위)에서 학습하고, 학생은 토큰 수준의 증류를 통해 이러한 능력들을 병합합니다.
3. 상보적 및 상충적 설정에서의 우수성: SMOPD는 다양한 모델 규모(1.5B, 3B, 7B)와 보상 구조(상보적: 도구 정확도/형식; 상충적: 유용함/무해함)에 걸쳐 스칼라화된 베이스라인(GRPO, GDPO, GD2PO)보다 뛰어난 성능을 입증했습니다.
4. 병합이 교사를 능가함: 병합된 학생 정책은 단순히 목적 함수들의 균형을 맞출 뿐만 아니라, 종종 개별 전문화된 교사 및 스칼라화된 베이스라인의 성능을 능가합니다. 이는 증류 과정이 단일 목적 훈련에서는 사용되지 않은 상보적 지식을 회복함을 나타냅 way.

4. 실험 결과

저자들은 두 가지 주요 설정에서 SMOPD를 평가했습니다.

A. 상보적 보상 (도구 호출)

• 설정: 정확도(조밀한 보상)와 형식(희소한 이진 보상)에 대해 RLLA-4K에서 훈련.
• 결과:
  • GDPO 실패: 균형 잡힌 우선순위 하에서, GDPO는 1.5B 백본에서 형식 준수율 **8.8%**만을 달성했습니다. 이는 희소한 신호가 압도되었음을 의미합니다.
  • 교사의 성공: 형식 특화 교사(형식에 높은 우선순위)는 **97.5%**의 준수율을 달성했으나 정확도는 낮았습니다.
  • SMOPD의 성공: 병합된 학생은 높은 정확도를 유지하면서도 **97.5%**의 형식 준수율을 달성했습니다(1.5B 모델 기준 RLLA 평균 점수 2.740 vs GDPO의 1.849). 이는 GDPO 베이스라인 대비 +48%의 개선을 나타냅니다.
  • 일반화: SMOPD는 API-Bank (LLM-Judge) 및 BFCL와 같은 홀드아웃 벤치마크에서도 우수한 성능을 보였습니다.

B. 상충하는 보상 (유용함 vs 무해함)

• 설정: 유용함과 무해함 보상을 가진 Safe-RLHF 벤치마크(HH-RLHF, PKU-SafeRLHF, Alpaca)에서 훈련.
• 결과:
  • SMOPD는 3B 및 7B 백본(Qwen2.5 및 Llama-3.2) 전반에서 GDPO 및 GD2PO를 지속적으로 능가했습니다.
  • Qwen2.5-7B의 경우, SMOPD는 종합 점수 5.646을 기록하여 가장 우수한 스칼라화 베이스라인(GD2PO: 5.571)과 개별 교사들을 모두 넘어섰습니다.
  • 개별 교사의 성능이 저하되는 경우에도(예: Llama-3.2-3B), 병합 과정은 성능을 회복하여 스칼라화된 베이스라인에 근접하거나 이를 능가했습니다.

C. 절제 연구 (Ablation Studies)

• 앵커의 필요성: GDPO 앵커를 제거하면(OPD만 사용), 학생 모델이 교사 혼합물의 성능 수준에서 정체되는 결과를 보였습니다. 앵커는 학생이 "모방의 천장"을 넘어 실제 태스크 보상을 최적화하도록 밀어붙이는 데 필수적입니다.
• Forward vs. Reverse KL: 다중 교사 설정에서는 Forward KL이 Reverse KL보다 우수한 것으로 나타났습니다. Reverse KL은 모드 추구(mode-seeking) 경향이 있어 전문화된 능력을 잃을 수 있는 반면, Forward KL은 교사 혼합의 다양한 모드를 보존하기 때문입니다.
• Top-$\kappa$ 민감도: 작은 top-$\kappa$(예: 16)로도 교사의 확률 질량의 약 99.4%를 유지할 수 있었으므로, 근사의 효율성이 검증되었습니다.

5. 의의 및 주장

본 논문은 SMOPD가 다중 보상 RL의 보상 밀도 불균형 문제를 해결하는 강력한 솔루션임을 주장합니다. 그 의의는 다음과 같습니다:

• 학습과 균형의 분리: 단일 최적화 단계 내에서 모든 보상을 동시에 균형 있게 맞추려는 패러다임에 도전합니다. 대신, 전문화를 활용하여 모든 보상 신호가 효과적으로 학습된 후 병합되도록 합니다.
• 토큰 수준의 세밀함: 토큰 수준의 온-폴리시 증류를 활용함으로써, 그룹 기반 어드밴데이지 추정이 제공할 수 없는 희소한 보상(형식 준수 등)에 대한 조밀한 감독을 제공합니다.
• 확장성 및 범용성: 이 방법은 다양한 모델 크기(1.5B ~ 7B)와 보상 유형(상보적 및 상충적)에 걸쳐 효과적이며, 이는 LLM을 위한 다중 목적 정렬(multi-objective alignment)에 대한 일반화 가능한 접근 방식임을 시사합니다.

저자들은 SMOPD가 전문화된 교사들의 강점을 유지하면서도 균형 잡힌 태스크 수준의 최적화를 달야내는 통합된 정책을 생성하며, 기존의 스칼라화된 다중 보상 방식의 한계를 효과적으로 극복한다고 결론짓습니다.