기술 요약: 보상 비상관 정책 최적화 (RDPO)

1. 문제 제기

대규모 언어 모델 (LLM) 을 위한 복잡한 강화 학습 (RL) 환경에서, 학습은 종종 혼합 보상 공식을 가진 다중 작업 설정을 포함합니다. 단일 학습 실행에는 정확성, 지시 따르기, 평가 기준 충족, 선호도 모델 점수, 그리고 응답 길이와 같은 다양한 목표가 통합될 수 있습니다.

이러한 이질적인 보상 신호를 단일 스칼라 이득 (advantage) 으로 집계하는 것은 학습을 불안정하게 만드는 두 가지 주요 과제를 제시합니다:

1. 이질적인 규모와 분포: 보상은 규모 (이진, 분수, 연속) 와 분포 형태 (왜도, 동점, 이상치 발생 경향) 에서 현저히 다릅니다. 표준 집계 방법은 프롬프트 수준에서 이득을 견고하게 할당하는 데 실패하여, 단일 롤아웃이 업데이트 신호를 지배하는 상황을 초래합니다.
2. 보상 상관관계: 작업 내 보상 차원은 종종 상관되어 있습니다 (예: 코드 정확성과 응답 길이, 또는 평가 기준 충족과 선호도 점수). 보정 없이 상관된 보상을 합산하면 중복된 분산이 도입되어, 모델이 특정 변동을 '이중 계산'하거나 유용한 신호를 상쇄하게 되며, 이로 인해 집계된 이득의 유효 정보 효율성이 감소합니다.

기존 방법인 GRPO(직접 합산) 는 상대적 성능 변이를 모호하게 만들고, GDPO(독립 Z-점수 정규화) 는 프롬프트 수준에서 비가우시안 분포에 민감하게 반응하며 보상 간 상관관계를 해결하지 못합니다.

2. 방법론: 보상 비상관 정책 최적화 (RDPO)

저자들은 규모 불안정성과 상관 중복성의 실패 모드를 명시적으로 대상으로 하는 경량 2 단계 보상 처리 파이프라인인 RDPO 를 제안합니다.

2.1 진단 지표: 유효 정보 효율성 ($\eta_{eff}$)

해결책을 상세히 설명하기 전에, 논문은 혼합 보상 집계를 평가하기 위한 진단 측정치로 $\eta_{eff}$를 소개합니다. 이는 다음과 같이 분해됩니다:

• $\eta_{proj}$ (투영 효율성): 표준화된 보상 공간에서 등가 가중 투영과 집계가 얼마나 잘 정렬되는지 측정합니다. 이는 다양한 보상 규모로 인한 불균형을 패널티로 부과합니다.
• $\eta_{corr}$ (상관 효율성): 상관된 보상을 합산한 후 유지되는 독립 정보를 정량화합니다. 이는 보상 차원 간의 양의 또는 음의 선형 의존성으로 인한 중복성을 패널티로 부과합니다.

2.2 단계 1: 크기 인지 양분 (MAQ) 정규화

목표: 비가우시안 조건 하에서 Z-점수 정규화의 한계를 해결하고, 이진, 분수, 연속 보상에 걸쳐 프롬프트 수준 이득 할당을 안정화합니다.

메커니즘:

• 로그 압축 간격: 선형 스케일링 대신, MAQ 는 정렬된 롤아웃 점수 사이의 간격을 로그 압축 함수를 사용하여 계산합니다: $gap_j = \log(1 + |r_{j+1} - r_j| / (\beta \cdot \sigma_{global}))$. 이는 극단적인 이상치의 영향을 제한하면서 밀집 영역의 미묘한 차이를 보존합니다.
• CDF 할당: 간격은 누적 분포 함수 (CDF) 위치를 비례적으로 할당하도록 정규화됩니다.
• 역 정규 매핑: 값은 역 CDF($\Phi^{-1}$) 를 통해 표준 정규 분포에 매핑됩니다.

효과: MAQ 는 차원 간에 비교 가능한 이득을 생성하며 병리적 그룹 통계 (동점, 왜도, 이상치) 에 덜 민감하게 만들어, 단일 롤아웃이 프롬프트 수준 업데이트를 불균형적으로 지배하지 않도록 보장합니다.

2.3 단계 2: 마할라노비스 화이트닝

목표: 특정 작업 부분 공간 내에서 공존하는 보상 차원 간의 중복 분산을 완화합니다.

메커니즘:

• 부분 공간 선택: 다중 작업 설정에서 롤아웃은 거의 모든 보상 차원을 관찰하지 않습니다. RDPO 는 주어진 작업에 대해 관측된 보상 부분 공간 $S$에 대해서만 화이트닝을 적용합니다.
• 실행 공분산 추정: 지수 이동 평균 (EMA) 을 사용하여 MAQ 정규화 이득의 공분산 행렬 $\hat{\Sigma}_t$를 온라인으로 추정하여 배치 수준의 노이즈를 부드럽게 만듭니다.
• 화이트닝 변환: 이득 벡터 $A^{(i,j)}$는 공분산 행렬의 역 제곱근을 사용하여 변환됩니다: $W^{(i,j)} = \hat{\Sigma}_S^{-1/2} A^{(i,j)}$. 이는 활성 보상 차원을 비상관 단위 분산 신호 쪽으로 이동시킵니다.
• 집계: 최종 스칼라 이득은 화이트닝된 차원의 합이며, 그 후 배치별 정규화가 수행됩니다.

3. 실험 설정

• 모델: LongCat-Flash (후학습 단계).
• 작업: 수학적 추론, 코드 생성, 지시 따르기, 일반 작문이라는 네 가지 작업 유형의 통합 혼합.
• 보상 부분 공간:
  • 수학: 수학 정확성 + 길이.
  • 코드: 코드 정확성 + 길이.
  • 지시 따르기: IFEval + 평가 기준.
  • 일반 작문: 길이 + RM(보상 모델) + 평가 기준.
• 베이스라인: GRPO(원시 합산), GDPO(Z-점수 정규화), 그리고 RL 초기화 모델.
• 검증: LongCat-Flash 로 확장하기 전에 MAQ 와 화이트닝의 기여도를 분리하기 위해 동일 계열의 더 작은 모델에서 소규모 검증을 수행했습니다.

4. 주요 결과

4.1 소규모 검증

더 작은 내부 모델에서 전체 RDPO 파이프라인은 여러 지표에서 GDPO, GRPO 및 초기화 모델을 능가했습니다:

• 지시 따르기: IFEval 에서 유의미한 향상 (GDPO 의 78.56% 대비 83.55%).
• 추론 및 코딩: AIME24, FullStackBench, HumanEval+, MBPP+ 에서 개선.
• 구성 요소 분석: MAQ(Q) 와 화이트닝(M) 모두 상호 보완적인 이점을 제공했습니다. MAQ 는 분포 민감 지표 (예: AH-Creative) 에서 특히 효과적이었으며, 화이트닝은 상관 민감 설정에 도움이 되었습니다.

4.2 확장된 LongCat-Flash 결과

LongCat-Flash 에 적용되었을 때, RDPO 는 다음과 같은 결과를 보였습니다:

• 지시 따르기 및 작문: RDPO 는 IFEval(90.39%), GuideBench, SOP-Maze, WritingBench, 그리고 두 ArenaHard v2 하위 세트 (AH-Creative: 89.00%, AH-Hard: 76.10%) 에서 최고 점수를 달성했습니다. 이는 개방형이고 선호도에 민감한 작업에 대해 프롬프트 수준 이득을 안정화하고 중복성을 줄이는 것의 유용성을 확인시켜 줍니다.
• 추론 및 코딩: 결과는 광범위하게 경쟁력이 있었으나 혼재되어 있었습니다. RDPO 는 최상의 MATH500 점수 (98.60%) 를 기록했으며 AIME2025 와 GPQA 에서 경쟁력을 유지했습니다. 코딩 분야에서는 RDPO 가 MBPP+ 와 LiveCodeBench v6 에서 앞섰으나, FullStackBench 와 HumanEval+ 에서는 GRPO 나 초기화 모델이 더 강력했습니다.
• 전체적 안정성: 이 방법은 소규모 검증에서 대규모 학습으로 성공적으로 이전되어, 추론 및 코딩 성능을 안정적으로 유지하면서 지시 따르기 및 작문 품질을 크게 향상시켰습니다.

5. 중요성 및 주장

이 논문은 RDPO 가 규모 불안정성과 상관 중복성이라는 이중 실패 모드를 명시적으로 해결함으로써 LLM 후학습을 위한 다중 목표 RL 에 대한 견고한 해결책을 제공한다고 주장합니다.

• 방법론적 기여: 크기 인지 양분 정규화와 마할라노비스 화이트닝을 결합함으로써, RDPO 는 집계된 이득 신호가 기하학적으로 일관성 (차원 간 동등한 기여) 이 있고 정보적으로 효율적 (중복 분산 최소화) 이도록 보장합니다.
• 실용적 영향: 이 방법은 혼합 보상 공식과 일반적으로 연관된 학습 불안정성 없이 이질적인 작업 (예: 수학, 코드, 작문) 의 동시 최적화를 가능하게 합니다.
• 성능: 저자들은 RDPO 가 지시 따르기, 작문 품질, 그리고 어려운 프롬프트에 대한 견고성을 향상시키면서도 추론 및 코딩 평가에서 광범위하게 경쟁력을 유지한다고 결론지으며, 복잡한 RL 환경을 위한 범용 보상 처리 전략으로서의 유효성을 입증했습니다.