기술 요약: SAPO (단계 정렬 정책 최적화)

1. 문제 정의

생성형 추천은 다음 항목 예측을 자기회귀 생성 작업으로 간주하며, 여기서 항목은 계층적 벡터 양자화에 의해 생성된 짧은, coarse-to-fine 토큰 시퀀스 (예: $K=3$ 레벨) 인 의미 식별자 (Semantic Identifiers, SIDs) 로 인코딩됩니다. 최근 접근법들은 이러한 시스템에 명시적 추론 흔적 (thinking blocks) 을 추가하고 검증 가능한 보상을 통한 강화 학습 (RLVR) 으로 이를 최적화하며, 일반적으로 결과 기반 보상 피드백을 사용하는 그룹 상대 정책 최적화 (GRPO) 를 채택합니다.

식별된 핵심 문제는 SID 디코딩의 구조적 특성과 결과 기반 보상 신호 사이의 행동 세밀도 불일치입니다:

• 거시적 롤아웃 수준 피드백: 표준 결과 기반 보상 GRPO 는 생성된 전체 응답에 단일 스칼라 보상 (정확 일치 지표) 을 할당합니다. 이는 최종 SID 튜플이 정답과 일치하는지 여부만 검증합니다.
• 미세 구조: 대규모 카탈로그 추천에서 생성된 SID 튜플은 부분적으로 일치할 수 있습니다 (예: coarse-level 토큰은 정확하지만 fine-level 토큰은 부정확). 결과 기반 보상 RL 은 "거의 맞음" (정확한 접두사, 부정확한 접미사) 과 "완전 실패" (부정확한 접두사) 를 구별하지 못합니다.
• 결과: 이 불일치는 두 가지 실패 모드를 초래합니다:
  1. 정확한 단계에 대한 불이익: 스칼라 이득이 전체 시퀀스에 브로드캐스트되기 때문에 일치된 SID 토큰 위치가 불일치한 위치와 함께 불이익을 받습니다.
  2. 국소화 상실: 스칼라 이득은 어떤 특정 추론 단계나 SID 토큰 예측이 오류를 유발했는지 분리해 낼 수 없습니다. 이는 특히 정확한 일치 피드백이 희소할 때 불안정한 학습 역학, 길이 편향 (length drift), 그리고 포맷 저하를 초래합니다.

2. 방법론: SAPO

저자들은 SID 디코딩 과정의 자연스러운 분해와 신용 할당 단계를 정렬하는 강화 학습 방법인 SAPO (Step-Aligned Policy Optimization, 단계 정렬 정책 최적화) 를 제안합니다.

핵심 설계: 추론 단계

SAPO 는 하나의 추론 블록 (추론 흔적) 과 그에 상응하는 SID 토큰을 짝짓는 것을 추론 단계로 정의합니다. $K$-레벨 SID 계층 구조에서 응답은 $K$개의 이러한 단계로 구성됩니다: $(\tau^{(k)}, s^{(k)})$. 여기서 $\tau^{(k)}$는 $k$번째 추론 블록이고 $s^{(k)}$는 $k$번째 SID 토큰입니다.

주요 구성 요소

1. 추론 단계 일치 보상:
   롤아웃의 끝에서 단일 보상을 부여하는 대신, SAPO 는 각 추론 단계 $k$에 보상 $r_{i,k}$를 할당합니다.
   $$r_{i,k} = \alpha \cdot \mathbb{I}[s^{(k)}_i = s^{(k)}_{gt}] + \beta \cdot \mathbb{I}[k=K] \cdot b_i$$
   여기서 첫 번째 항은 각 SID 토큰 위치에 대한 밀집된 검증 가능한 일치 신호를 제공하고, 두 번째 항은 응답 구조가 유효한 경우 마지막 단계에 대한 작은 포맷 보너스입니다. 이는 밀집된 감독을 제공하면서도 정확한 일치 최적점을 유지합니다.

2. 단계별 그룹 상대 이득:
   SAPO 는 $G$개의 롤아웃 그룹 내에서 각 추론 단계 $k$에 대해 이득 $\hat{A}_{i,k}$를 독립적으로 계산합니다:
   $$\hat{A}_{i,k} = \frac{r_{i,k} - \text{mean}_{i'}(r_{i',k})}{\text{std}_{i'}(r_{i',k})}$$
   이는 특정 SID 레벨에서만 다른 롤아웃들이 해당 단계에서만 대조적 업데이트 신호를 받도록 보장하며, 전역 신호를 브로드캐스트하지 않습니다.

3. 단계 정렬 대리 목적함수와 단계 정규화 토큰 집계:
   정책 경계 목적함수는 추론 단계에 대해 최적화됩니다. 이득은 해당 단계 내의 토큰에 적용되기 전에 단계 단위 길이 ($|y^{(k)}_i| = |\tau^{(k)}| + 1$) 로 정규화됩니다:
   $$J_{SAPO}(\theta) = \mathbb{E} \left[ \frac{1}{\sum |y_\ell|} \sum_{i} \sum_{k} \sum_{t \in y^{(k)}_i} \min \left( w_{i,t}(\theta) \tilde{A}_{i,k}, \text{clip}(\dots) \tilde{A}_{i,k} \right) \right]$$
   여기서 $\tilde{A}_{i,k} = \hat{A}_{i,k} / |y^{(k)}_i|$입니다. 이는 긴 추론 블록이 경계 업데이트 크기를 지배하는 것을 방지합니다.

3. 주요 기여

• 세밀도 불일치 식별: 이 논문은 결과 기반 보상 RL 이 전체 롤아웃을 단일 행동 단위로 취급하여 어떤 특정 토큰 예측이 오류를 유발했는지 모호하게 만들기 때문에, 계층적 SID 디코딩과 정렬되지 않았음을 식별합니다.
• SAPO 알고리즘: (추론 블록, SID 토큰) 쌍을 원자적 행동 단위로 취급하는 새로운 RL 방법입니다. 학습된 보상 모델 없이도 단계별 일치 보상, 단계별 그룹 상대 이득, 그리고 단계 정렬 대리 손실을 도출합니다.
• 이론적 일관성: 저자들은 실현 가능성 조건 하에서 누적 단계별 일치 보상이 정확한 일치 최적점을 유지함을 증명하여, 밀집된 감독이 근본적인 목적을 변경하지 않음을 보장합니다.
• 실증적 검증: 세 가지 실제 아마존 데이터셋 (Office Products, Video Games, Industrial & Scientific) 에 대한 광범위한 실험은 SAPO 가 결과 기반 보상 기준 모델에 비해 RL 학습을 안정화시키고 순위 지표 (Recall 및 NDCG) 를 개선함을 보여줍니다.

4. 실험 결과

• 성능: SAPO 는 기존 생성형 추천 기준 모델 (전통적 순차 모델인 SASRec, GRU4Rec 포함), 추론이 없는 생성 모델 (TIGER, HSTU), 그리고 결과 기반 보상 RL 을 사용하는 추론 기반 모델 (SIDReasoner, OneRec-Think) 을 일관되게 능가합니다.
  • SAPO 는 주요 결과 표의 모든 열에서 최고의 NDCG 를 달성했습니다.
  • 개선은 희소한 정확한 일치 피드백으로 인해 미세한 신용 할당이 중요한 설정에서 가장 두드러졌습니다.
• 학습 역학:
  • 안정성: SAPO 는 더 안정적인 보상 궤적을 보이며 GRPO 에서 관찰된 보상 붕괴 및 진동을 방지합니다.
  • 길이 제어: GRPO 가 종종 응답 길이 편향과 KL 발산 증가를 겪는 것과 달리, SAPO 는 통제된 추론 예산과 단계별 길이를 유지합니다.
  • SID 일치율: SAPO 는 학습 진행과 실제 SID 토큰 예측 정확도 사이의 더 강한 상관관계를 보여줍니다.
• 절차 연구 (Ablation Studies): 단계별 이득 또는 단계별 일치 보상 중 하나를 제거하면 성능이 저하되어 두 구성 요소가 상호 보완적임을 나타냅니다. 안정성과 높은 순위 품질을 모두 달성하려면 전체 SAPO 구성이 필요합니다.
• 사례 연구: 정성적 분석은 SAPO 가 결과 기반 보상 모델이 종종 일반적 추론으로 희석시키는 미세한 증거 (예: "stepper motor control"과 같은 특정 제품 기능) 를 보존하여 더 정확한 SID 예측으로 이어짐을 보여줍니다.

5. 중요성 및 주장

이 논문은 구조화된 생성에 대한 강화 학습 목적함수가 디코더의 출력 분해를 반영해야 한다고 주장합니다.

• 일반화 가능성: 저자들은 생성 작업이 자연스러운 계층적 분해 (예: 코드북, 도구 호출 스키마, 구조화된 답변) 를 허용할 때마다, 이 계층이 학습된 보상 모델의 필요성을 제거하고 RL 을 위한 단계별 감독의 근본적 원천으로 작용할 수 있다고 제안합니다.
• 효율성: SAPO 는 상당한 계산 오버헤드 없이 이러한 이득을 달성합니다. 추가 보상 및 이득 계산 시간은 업데이트 단계의 1% 미만으로 무시할 수 있습니다.
• 제한된 범위: 저자들은 평가가 현재 고정된 $K=3$ SID 계층 구조를 가진 세 가지 영어 아마존 카테고리로 제한됨을 인정합니다. 그들은 보편적 우월성을 주장하지는 않지만, 계층적 토큰 생성에서 결과 기반 보상 RL 에 내재된 신용 할당 실패 모드를 그들의 접근 방식이 구체적으로 해결함을 강조합니다.