기술 요약: 벡터 정책 최적화 (VPO)

문제 제기

현재 대규모 언어 모델 (LLM) 후학습 패러다임, 특히 그룹 상대적 정책 최적화 (GRPO) 를 활용한 강화 학습 (RL) 기반 접근법은 단일 사전 지정된 스칼라 보상을 최적화합니다. 이는 특정 고확률 응답에 수렴하는 데 효과적이지만, 종종 "모드 붕괴 (mode collapse)"를 초래하여 정책이 저엔트로피 응답 분포를 생성하게 합니다. 이러한 다양성 부족은 LLM 이 테스트 시간 검색 절차(예: 거부 샘플링, AlphaEvolve 와 같은 진화 알고리즘, 또는 best-of-$k$ 선택) 내에서 배포될 때 중요한 병목 현상이 됩니다.

검색 증강 시스템에서 학습 단계는 이상적으로 검색 알고리즘이 활용할 수 있는 다양하고 유능한 후보들의 풍부한 풀을 제공해야 합니다. 그러나 표준 스칼라 RL 학습은 후보 분포를 단일 최적 절충안으로 붕괴시켜 추가 샘플이 거의 중복되게 만듭니다. 결과적으로 검색 절차는 경쟁 목표 간의 다른 절충안 (예: 코드 정확성 대 효율성, 또는 다단계 질문에서의 다른 추론 경로) 을 필요로 하는 우수한 해법을 발견하지 못합니다.

방법론: 벡터 정책 최적화 (VPO)

저자들은 벡터 값 보상의 파레토 프론티어에 걸친 다양한 해법 집합을 명시적으로 생성하도록 정책을 훈련하기 위해 고안된 RL 알고리즘인 **벡터 정책 최적화 (VPO)**를 제안합니다. VPO 는 코드 생성, 다단계 추론, 도구 사용과 같은 많은 현실적인 작업에서 보상이 자연스럽게 구성 요소 (예: 테스트 케이스별 정확도, 기준별 평가) 로 분해된다는 전제에 기반합니다.

VPO 는 두 가지 핵심 구성 요소로 이루어집니다:

1. 맥락 내 탐색을 위한 다중 답변 체인:
   단일 프롬프트당 하나의 응답을 생성하는 대신, 모델은 단일 자기회귀 롤아웃 내에서 $m$개의 후보 완성 집합 ($S = \{y_1, \dots, y_m\}$) 을 생성하도록 훈련됩니다. 각 후속 후보는 컨텍스트에서 이전에 생성된 답변에 주의를 기울일 수 있으므로, 모델이 해법 공간의 어느 영역이 이미 커버되었는지 명시적으로 인식하고 새로운 후보를 미탐색 영역으로 유도할 수 있습니다. 이는 다양성을 샘플링 노이즈의 부산물이 아닌 명시적인 맥락 내 메커니즘으로 변환합니다.

2. 확률적 스칼라화를 통한 집합 수준 최적화:
   모델이 단일 모드로 붕괴하는 대신 다양한 집합을 생성하도록 유도하기 위해, VPO 는 고정된 스칼라 보상을 보상 가중치 분포로 대체합니다.

   • 각 롤아웃마다 가중치 벡터 $w$가 디리클레 분포에서 샘플링됩니다 ($w \sim \text{Dir}(\alpha)$, 여기서 $\alpha=1$은 심플렉스 위의 균일 분포를 의미함).
   • 집합 $S$에 대한 보상은 샘플링된 가중치에 대한 기대 최대 스칼라화 보상으로 계산됩니다:
     $$R(S) = \mathbb{E}_{w \sim \text{Dir}(\alpha)} \left[ \max_{y \in S} w^\top r(x, y) \right]$$
   • 이 목적 함수는 모델이 파레토 프론티어를 커버하도록 보상합니다: 집합 $S$의 서로 다른 요소들은 보상 구성 요소의 서로 다른 절충안에 특화되도록 유도됩니다.

VPO 는 GRPO 이점 추정기의 대체제로서 구현됩니다. 이는 GRPO 프레임워크를 사용하지만 확률적 스칼라화에서 유도된 집합 수준 보상을 기반으로 이점을 계산하며, 비교 가능성을 보장하기 위해 $G$개의 롤아웃 그룹 전체에서 동일한 $K$개의 가중치 벡터를 공유합니다.

주요 기여

1. RL 후학습의 재정의: 이 논문은 테스트 시간 검색이 포함된 시스템에서 RL 학습의 역할이 단일 최선 응답에 수렴하는 것에서 유능한 해법 집합의 다양성을 극대화하는 것으로 전환되어야 한다고 주장하며, 착취는 검색 절차에 맡겨야 한다고 봅니다.
2. 벡터 보상 구조: 실제 작업에서 보상의 벡터 값 특성이 다양성을 위한 자연스러운 메커니즘을 제공함을 보여줍니다. 모델이 서로 다른 목표의 파레토 프론티어를 커버하도록 훈련함으로써, 정책은 서로 다른 가중치 하에서 최적인 대안들의 집단을 유지합니다.
3. VPO 알고리즘: 저자들은 다중 답변 생성과 무작위 보상 스칼라화를 결합한 VPO 를 제안합니다. 이를 통해 모델은 단일 롤아웃 내에서 다양한 후보 집합을 생성하고, 단일 스칼라 피크가 아닌 보상 공간의 커버리지를 최적화할 수 있습니다.

실험 결과

저자들은 Maze(아이템 절충이 포함된 탐색), MuSiQue(다단계 QA), EUREQA(연쇄 추론), ToolRL(함수 호출) 등 네 가지 다양한 도메인에서 VPO 를 평가했습니다. 표준 GRPO, 고정 스칼라 보상을 사용하는 Multi-RLVR, Random-Weighting GRPO, Max-at-$k$ 학습을 포함한 여러 베이스라인과 비교했습니다.

• 테스트 시간 확장: 모든 도메인에서 VPO 는 best@k 지표에서 스칼라 베이스라인보다 일관되게 우수한 성능을 보였습니다. 스칼라 GRPO 는 $k$가 증가함에 따라 성능이 빠르게 정체되는 반면 (후보 붕괴를 나타냄), VPO 는 추가 샘플에 따라 계속 개선되어 검색 예산이 커질수록 격차가 벌어졌습니다.
• 다양성 지표: VPO 는 보상 벡터 간의 쌍별 L1 거리로 측정된 높은 보상 공간 다양성을 유지한 반면, Multi-RLVR 및 표준 GRPO 와 같은 베이스라인은 학습 초기에 거의 동일한 보상 벡터로 붕괴되었습니다.
• 난제 및 진화적 검색: LiveCodeBench(경쟁 프로그래밍 벤치마크) 에 대한 사례 연구에서, VPO 로 훈련된 모델 (Qwen2.5-Coder-7B) 은 계산량이 일치하는 GRPO 모델보다 현저히 우수한 성능을 보였습니다. 특히 OpenEvolve(진화적 검색 루프) 와 통합되었을 때, VPO 모델은 어떤 후보 예산에서도 GRPO 모델이 해결하지 못한 문제들을 해결하여, VPO 가 복잡한 절충안을 필요로 하는 해법을 가능하게 함을 입증했습니다.
• 애블레이션 연구:
  • 확률적 스칼라화 없이 다중 답변 생성만으로는 다양성을 유지하기에 불충분했습니다.
  • 다중 답변 체인 없이 확률적 스칼라화만으로는 동일한 이득을 얻지 못했습니다.
  • 특정 가중치에 조건을 부여한 Goal-conditioned GRPO 는 VPO 를 따라잡지 못했으며, 이는 추론 시 가중치에 명시적으로 조건을 부여하는 것보다 맥락 내에서 다양한 집합을 생성하는 것이 더 효과적임을 시사합니다.
  • VPO 의 이점은 보상 구성 요소가 비공선적일 때 (즉, 진정한 절충안이 존재할 때) 가장 두드러졌습니다. UltraFeedback 과 같이 거의 공선적인 보상을 가진 도메인에서는 VPO 의 이점이 감소하여 이론적 전제와 일치했습니다.

의의 및 주장

이 논문은 테스트 시간 검색이 AI 시스템의 표준 구성 요소로 자리 잡음에 따라, 다양성 최적화가 기본 후학습 목표가 되어야 한다고 주장합니다. 저자들은 VPO 가 탐색 (다양한 풀을 위한 훈련) 과 착취 (검색 시간 선택) 를 분리하는 원칙적인 방법을 제공한다고 주장합니다.

VPO 의 의의는 다음과 같은 능력에 있습니다:

• 더 어려운 문제 해결: 고정된 스칼라 하에서 국소적으로 비최적으로 보일 수 있지만 검색에 유용한 부분 추론 패턴을 포함하는 다양한 전략을 보존함으로써, VPO 는 스칼라로 훈련된 정책이 완전히 놓치는 해법의 발견을 가능하게 합니다.
• 컴퓨팅에 따른 확장: 테스트 시간 검색 예산이 증가함에 따라 VPO 와 스칼라 베이스라인 간의 성능 격차가 벌어지므로, VPO 는 컴퓨팅 집약적 추론 시나리오에서 특히 가치 있습니다.
• 대체 가능성: VPO 는 기존 LLM 의 아키텍처 변경 없이 GRPO 와 같은 표준 RL 프레임워크의 이점 추정기를 단순히 대체하는 것으로 작동합니다.

저자들은 VPO 가 pass@1 성능을 희생한다 (즉각적인 착취보다 탐색을 우선시하므로) 고 결론지었지만, 테스트 시간 검색이 가능한 regime 에서는 우월한 접근법이며, 정책 최적화를 파레토 프론티어에 대한 커버리지 문제로 효과적으로 전환한다고 결론 내립니다.