기술 요약: 동적 분산 적응형 이점 최적화 (DVAO)

문제 제기

강화 학습 (RL) 은 특히 별도의 가치 모델이 필요 없는 그룹 상대 정책 최적화 (GRPO) 를 통해 대규모 언어 모델 (LLM) 을 인간의 의도와 정렬하는 표준 패러다임이 되었습니다. 그러나 실제 배포 환경에서는 정확도 대 출력 길이, 도구 사용 정확도 대 형식 준수와 같이 종종 상충되는 여러 목표를 동시에 최적화해야 합니다.

GRPO 에서 다중 보상 설정을 처리하기 위한 현재 표준 관행은 주로 두 가지 방법을 통해 스칼라화 (scalarization) 에 의존합니다:

1. 보상 결합 (RC): 이점을 계산하기 전에 원시 보상을 선형적으로 결합합니다. 해당 논문은 이 접근 방식이 과도하게 큰 제곱 크기를 가진 이점을 자주 생성하여 불안정한 정책 기울기와 학습 불안정을 초래한다고 입증했습니다.
2. 이점 결합 (AC): 개별 보상을 계산하기 위해 보상을 독립적으로 정규화한 후 고정된 가중치로 결합합니다. 이는 크기 폭발을 완화하지만 고정된 하이퍼파라미터에 의존하며 목표를 고립된 작업으로 취급합니다. 이러한'순진한 분해'는 단일 롤아웃 동안 목표 간의 시너지 또는 대립적 상관관계를 포착하지 못해 종종 비최적의 절충안을 초래합니다.

방법론: DVAO

저자들은 크기 폭발과 목표 고립의 한계를 해결하기 위해 **동적 분산 적응형 이점 최적화 (DVAO)**를 제안합니다. DVAO 는 각 목표의 경험적 보상 분산에 기반하여 결합 가중치를 조정하는 완전한 동적 데이터 기반 가중치 부여 체계입니다.

핵심 메커니즘

고정된 가중치 $w_k$를 사용하는 대신, DVAO 는 크기 $G$인 롤아웃 그룹 내에서 각 목표 $k$에 대해 동적 가중치 $\tilde{w}_k$를 계산합니다:
$$\tilde{w}_k = \frac{w_k \sigma_k^i}{\sum_l w_l \sigma_l^i}$$
여기서 $\sigma_k^i$는 주어진 쿼리 $x_i$에 대해 $G$개의 롤아웃에 걸쳐 $k$번째 보장의 표준 편차입니다.

최종 DVAO 이점은 다음과 같이 계산됩니다:
$$A_{DVAO}^{(i,j)} = \sum_k \tilde{w}_k A_k^{(i,j)} = \frac{\sum_k w_k \sigma_k^i A_k^{(i,j)}}{\sum_l w_l \sigma_l^i}$$

이 메커니즘은 더 높은 분산을 가진 목표 (더 강력하고 정보량이 많은 학습 신호를 나타냄) 에 가중치를 높이고, 낮은 분산을 가진 목표 (노이즈 또는 포화된 신호를 나타낼 수 있음) 에 가중치를 낮춥니다.

이론적 특성

이 논문은 DVAO 의 두 가지 중요한 특성을 확립하는 수학적 증명을 제공합니다:

1. 유계 이점 크기: DVAO 는 결합된 이점의 크기가 엄격하게 유계이며, 보상 결합 (Reward Combination) 이 생성한 이점보다 점별 (pointwise) 로 작거나 같음을 보장합니다 (명제 2). 이는 크기 폭발과 관련된 학습 불안정을 방지합니다.
2. 자기 적응형 교차 목표 정규화: 목표의 기울기 민감도가 고립된 성능에만 의존하는 이점 결합과 달리, DVAO 의 민감도는 글로벌 다중 목표 성능 ($A_{DVAO}^{(i,j)} A_k^{(i,j)}$) 을 포함하는 교차항에 의존합니다. 이는 단일 목표의 학습 신호를 해당 롤아웃에서 모델의 전체 성능에 기반하여 동적으로 조절하는 암시적 정규화 메커니즘을 생성하여, 단일 지표에 대한 탐욕적인 과도 최적화 대신 시너지 정렬을 촉진합니다.

실험 결과

저자들은 Qwen3(4B/8B) 및 Qwen2.5(3B/7B) 모델을 사용하여 수학적 추론 및 도구 사용 벤치마크에서 DVAO 를 평가했습니다.

• 수학적 추론 (정확도 대 길이): DVAO 는 거의 완벽한 길이 준수 (Qwen3-4B 에서 100%, Qwen3-8B 에서 99.99%) 를 유지하면서 가장 높은 평균 정확도를 달성했습니다. 반면, 보상 결합 및 이점 결합 방법은 정확도를 길이 또는 그 반대로 희생하는 절충을 강요받았습니다. GDPO 는 높은 길이 준수를 달성했으나 모든 방법 중 가장 낮은 정확도를 보였습니다.
• 도구 사용 (정확도 대 형식): 베를클리 함수 호출 리더보드 (BFCL-v4) 에서 DVAO 는 정확도와 형식 준수를 동시에 크게 개선하여 베이스라인을 능가했습니다. 특히, GRPO 와 이점 결합은 형식 준수에 어려움을 겪었으며 (7B 모델에서 종종 0% 에 근접), DVAO 는 정확도를 희생하지 않고 높은 준수를 유지했습니다.
• 학습 역학: 학습 곡선의 시각화는 DVAO 가 베이스라인에 비해 훨씬 낮은 분산 (표준 편차) 으로 더 높은 평균 보상을 달성했음을 보여주었습니다. DVAO 하에서의 보상 표준 편차는 더 빠르게 수렴하여 안정적인 수렴을 나타냈습니다.
• 파레토 프론티어 분석: 가중치 하이퍼파라미터를 스윕하여 분석한 결과, DVAO 는 전체 절충 범위에서 일관되게 파레토 프론티어를 지배하는 반면, 고정 가중치 베이스라인은 포화 또는 불안정성과 같은 실패 모드를 보였습니다.

주요 기여 및 의의

이 논문은 다음과 같은 기여를 주장합니다:

1. 결함의 이론적 식별: 이 작업은 다중 보상 GRPO 를 위한 기존 스칼라화 방법의 근본적인 이론적 결함, 즉 보상 결합에서의 크기 폭발과 이점 결합에서의 목표 고립을 공식적으로 폭로합니다.
2. DVAO 알고리즘: 경험적 보상 분산에 적응하는 하이퍼파라미터가 없는 동적 가중치 부여 체계의 제안.
3. 이론적 보장: DVAO 가 안정성을 위해 유계 이점 크기를 유지하고 암시적 교차 목표 정규화 메커니즘을 도입한다는 수학적 증명.
4. 경험적 우위: 수동 가중치 튜닝 없이 기존 베이스라인보다 정확도, 길이, 형식과 같은 경쟁 목표를 더 효과적으로 균형 잡는 우수한 다중 목표 파레토 프론티어를 달성한다는 광범위한 실험.

저자들은 DVAO 가 LLM 의 다중 목표 정렬을 위한 강력한 솔루션을 제공하여 실제 응용 프로그램에 내재된 복잡하고 상충되는 요구 사항에 대한 안정적인 학습과 시너지 최적화를 가능하게 한다고 결론지었습니다. 향후 연구는 더 많은 수의 상충되는 보상 함수가 있는 환경으로의 확장 및 더 넓은 정렬 패러다임으로의 메커니즘 확장을 제안합니다.