기술 요약: 오웬-샤플리 정책 최적화 (OSPO)

문제 제기

대형 언어 모델 (LLM) 은 생성형 추천 시스템에서 점점 더 많이 배포되어, 사용자 선호도를 종합하고 검색 쿼리를 정제하여 하위 단계의 검색 및 랭킹을 조건화합니다. 그룹 상대 정책 최적화 (GRPO) 와 같은 강화 학습 (RL) 방법은 시퀀스 수준의 종단 보상 (예: 검색기로부터의 NDCG) 을 사용하여 매개변수 가치 모델을 사용하지 않고 학습을 가능하게 하지만, 치명적인 신용 할당 격차로 고통받습니다.

표준 가치 모델 없는 RL 에서는 생성된 시퀀스의 모든 토큰에 단일 스칼라 이점이 균일하게 할당됩니다. 이는 어떤 특정 구절이나 의미적 세그먼트가 실제로 고품질 출력에 기여했는지를 흐리게 만듭니다. 이 한계는 ground-truth 레이블 없이 불충분하게 지정된 언어에서 잠재적 사용자 의도를 추론해야 하는 추천 작업에서 특히 심각합니다. 더 나아가, 균일한 신용 할당은 모델이 표면적 단서에 과적합하거나 블랙박스 검색기의 단계를 악용하여 견고하고 의미적으로 일관된 쿼리 표현을 학습하는 대신 보상 해킹에 취약하게 만듭니다. 프로세스 보상 모델 (PRM) 과 같은 기존 솔루션은 레이블이 지정된 중간 단계를 필요로 하며, 어텐션 기반 방법은 종종 우연한 상관관계를 얽히게 만듭니다.

방법론: 오웬-샤플리 정책 최적화 (OSPO)

저자들은 의미적으로 일관된 토큰 세그먼트 (연합) 가 최종 결과에 기여하는 한계 기여도에 기반하여 시퀀스 수준 이점을 재분배하는 프레임워크인 OSPO를 소개합니다. OSPO 는 외부 가치 네트워크가 필요 없는 비판자 없는 (critic-free) 환경에서 작동합니다.

핵심 메커니즘

1. 세그먼트화 및 연합: 생성된 응답은 $N$개의 의미적으로 유의미한 세그먼트 (예: 구절, 문장) 로 분해됩니다. 모든 $2^N$개의 가능한 부분집합을 평가하는 것은 (실현 불가능하므로) OSPO 는 연속된 연합(연속된 세그먼트) 에 대한 평가만 제한합니다. 이는 의미적 일관성을 유지하고 계산 복잡도를 지수에서 선형 $O(N \cdot w_{max})$으로 줄입니다. 여기서 $w_{max}$는 최대 연합 너비입니다.
2. 오웬-샤플리 귀속: 협력 게임 이론을 사용하여 OSPO 는 각 세그먼트에 대한 오웬 값을 계산합니다. 세그먼트 $j$의 값 $\phi_j$는 다양한 연속된 연합 $S$에 추가될 때 보상에 대한 기대 한계 기여도입니다:
   $$\phi_j^{Owen} = \frac{1}{|C_j|} \sum_{S \in C_j} (v(S \cup \{j\}) - v(S))$$
   여기서 $v(S)$는 연합 $S$의 세그먼트를 연결하여 형성된 부분 시퀀스로 검색기 (또는 보상 모델) 에 쿼리를 보낼 때 얻은 보상입니다.
3. 이점 재분배: 시퀀스 수준의 이점 $\hat{A}^{(g)}$(GRPO 에서 그룹 상대 정규화를 통해 계산됨) 은 개별 토큰으로 재분배됩니다. 토큰 수준의 이점 $A_t^{(g)}$는 다음과 같이 계산됩니다:
   $$A_t^{(g)} = T \cdot \tilde{\phi}_t^{(g)} \cdot \hat{A}^{(g)}$$
   여기서 $\tilde{\phi}_t$는 토큰의 세그먼트에 대한 정규화된 오웬 값이며, $T$는 시퀀스 길이입니다. $T$를 곱하는 것은 길이 불변성을 보장하여 더 긴 시퀀스가 더 짧은 시퀀스에 비해 불균형하게 약한 기울기 신호를 받는 것을 방지합니다.
4. 목적 함수: 정책은 PPO/GRPO 와 유사한 클립된 대리 목적 함수를 사용하여 업데이트되지만, 이러한 세밀한 오웬 가중 토큰 이점을 활용합니다.

변형

이 논문은 세 가지 재분배 전략을 평가합니다:

• OSPO-PROP: 정규화된 오웬 값에 기반한 비례 재분배.
• OSPO-RANK: 노이즈가 있는 추정치를 처리하기 위해 오웬 값의 순서 등급에 기반한 재분배.
• OSPO-CLIP: 안정성을 위해 체비셰프 부등식에 기반한 범위로 재분배된 이점을 제한합니다.

주요 기여

1. 가치 모델 없는 원칙적 신용 할당: OSPO 는 오웬-샤플리 값을 활용하여 희소 종단 보상과 세밀한 토큰 업데이트 간의 격차를 해소함으로써 학습된 비판자나 프로세스 보상 모델의 필요성을 제거합니다.
2. 연합 기반 의미론: 의미적으로 일관된 구절을 연합 게임의 플레이어로 취급함으로써, OSPO 는 응답의 어떤 부분이 하류 유틸리티 (예: 검색 성공) 를 주도하는지 식별하여 균일한 할당보다 더 나은 해석 가능성을 제공합니다.
3. 효율성 및 확장성: 연속된 연합 제약은 온라인 RL 학습을 위한 계산을 실현 가능하게 만들어, 이전 샤플리 기반 작업의 2 차 근사와 달리 세그먼트 수에 선형적으로 확장됩니다.
4. 분포 변화에 대한 강건성: 이 방법은 보지 못한 검색기와 임베딩 공간으로도 잘 일반화되는 검색기-무관 쿼리 표현을 학습합니다.

실험 결과

저자들은 두 가지 전자상거래 데이터셋에서 OSPO 를 평가했습니다: Amazon ESCI(제품 검색 쿼리 정제) 와 H&M Fashion(맥락화된 검색 및 사용자 프로필 요약).

• 성능 향상: OSPO-PROP 은 모든 지표 (NDCG, AP, MRR, Recall) 에서 일관되게 베이스라인 (SFT, DPO, GRPO) 을 능가했습니다. ESCI 데이터셋에서 OSPO-PROP(7B) 은 NDCG 0.522를 달성하여 32B 모델 (0.496) 과 72B 모델 (0.543, 다만 72B 는 H&M 에서 성능이 저하됨) 을 능가했습니다. H&M 에서 OSPO-PROP(7B) 은 0.436 NDCG 에 도달하여 GRPO(0.379) 를 능가하고 파라미터 수의 일부로 GPT-4o(0.433) 의 성능에 근접했습니다.
• 샘플 효율성: OSPO 는 GRPO 보다 약 50% 적은 학습 단계로 목표 성능에 도달했습니다.
• 일반화: 교차 검색기 평가 (하나의 임베딩 모델에서 학습하고 다른 모델에서 테스트) 에서 OSPO 는 강력한 성능을 유지한 반면, GRPO 와 오프라인 방법 (DPO, SFT) 은 크게 저하되었습니다. 이는 OSPO 가 더 이전 가능한 정렬 신호를 학습함을 시사합니다.
• 안정성: OSPO 는 더 낮은 보상 분산을 보여주었고, GRPO 에서 후기 학습 단계에 관찰된 "보상 해킹" 붕괴 (예: 빈 시퀀스 또는 최소 시퀀스 생성) 를 피했습니다.
• 애블레이션 연구: 저자들은 적당한 너비의 연속된 연합(예: $w_{max}=4$에서 $8$) 이 충분한 샘플링과 함께 지역적 맥락과 탐색 사이의 최상의 균형을 제공한다는 것을 발견했습니다. 비연속된 연합은 성능 붕괴로 이어졌고, 매우 좁은 연합은 표면 패턴에 대한 과적합을 초래했습니다.

중요성 및 주장

이 논문은 OSPO 가 생성형 추천에서의 신용 할당 문제를 해결하는 원칙적이고 비판자 없는 접근법을 제공한다고 주장합니다. 토큰 수준의 균일성에서 세그먼트 수준의 한계 귀속으로 전환함으로써, OSPO 는 모델이 응답이 성공한 이유를 학습하고 고기여 의미 단위에 기울기 업데이트를 집중하게 합니다.

저자들은 이 접근법이 특정 검색 작업에서 더 작은 모델 (예: 7B) 이 훨씬 더 큰 모델 (32B, 72B) 과 경쟁하거나 앞지르고, 최첨단 제로샷 모델 (GPT-4o) 을 능가할 수 있게 한다고 강조합니다. furthermore, 이 방법의 보지 못한 검색기와 임베딩 공간에 대한 일반화 능력은 ground-truth 선호도가 잠재적이고 피드백이 희소한 동적 추천 환경에서의 견고한 배포 잠재력을 강조합니다. 이 연구는 연합 기반 귀속이 가치 함수 학습의 계산 오버헤드 없이 안정적이고 이전 가능하며 해석 가능한 행동을 촉진하는 내재적 정규화제 역할을 함을 시사합니다.