技術的概要：SAPO（Step-Aligned Policy Optimization）

1. 問題定義

生成型推薦は、次のアイテムの予測を自己回帰生成タスクとして扱い、アイテムは階層的ベクトル量子化器によって生成される、粗から細へのトークン系列（例：$K=3$ レベル）である意味識別子（SIDs）として符号化される。最近のアプローチは、これらのシステムに明示的な推論トレース（思考ブロック）を付加し、検証可能な報酬からの強化学習（RLVR）を用いて最適化する。通常、結果報酬フィードバックを用いたグループ相対方策最適化（GRPO）が採用される。

特定された核心的な問題は、結果報酬信号と SID 復号の構造化された性質との間のアクション粒度の不一致である：

• 粗いロールアウトレベルのフィードバック: 標準的な結果報酬 GRPO は、生成された応答全体に対して単一のスカラー報酬（完全一致インジケータ）を割り当てる。これは、最終的な SID タプルが正解と一致するかどうかのみを検証する。
• 微細な構造: 大規模カタログ推薦において、生成された SID タプルは部分的に一致する可能性がある（例：粗レベルのトークンは正しいが、細レベルのトークンは誤っている）。結果報酬 RL は、「ニアミス」（正しいプレフィックス、誤ったサフィックス）と「完全な失敗」（誤ったプレフィックス）を区別できない。
• 結果: この不一致は、2 つの失敗モードをもたらす：
  1. 正しいステップのペナルティ化: スカラー利得が系列全体にブロードキャストされるため、一致した SID トークン位置も、不一致した位置と同様にペナルティを受ける。
  2. 局所性の喪失: スカラー利得は、どの特定の推論ステップまたは SID トークン予測がエラーを引き起こしたかを分離できない。その結果、特に完全一致フィードバックが希薄な場合、不安定な学習ダイナミクス、長さのドリフト、フォーマットの劣化が生じる。

2. 手法：SAPO

著者は、クレジット割り当て単位を SID 復号プロセスの自然な分解と整合させる強化学習手法である**SAPO（Step-Aligned Policy Optimization）**を提案する。

中核設計：推論ステップ

SAPO は、推論ステップを 1 つの思考ブロック（推論トレース）とそれに対応する SID トークンのペアとして定義する。$K$レベルの SID 階層の場合、応答は $K$ つのそのようなステップからなる：$(\tau^{(k)}, s^{(k)})$。ここで、$\tau^{(k)}$は $k$ 番目の思考ブロック、$s^{(k)}$は $k$ 番目の SID トークンである。

主要コンポーネント

1. 推論ステップ一致報酬:
   ロールアウトの終了時に単一の報酬を割り当てる代わりに、SAPO は各推論ステップ $k$ に対して報酬 $r_{i,k}$ を割り当てる。
   $$r_{i,k} = \alpha \cdot \mathbb{I}[s^{(k)}_i = s^{(k)}_{gt}] + \beta \cdot \mathbb{I}[k=K] \cdot b_i$$
   ここで、第一項は各 SID トークン位置に対して密で検証可能な一致信号を提供し、第二項は応答構造が有効な場合の最終ステップに対する小さなフォーマットボーナスである。これにより、完全一致の最適性を維持しつつ、より密な監督を提供する。

2. ステップレベルグループ相対利得:
   SAPO は、$G$個のロールアウトのグループ内で、各推論ステップ $k$ に対して利得 $\hat{A}_{i,k}$ を独立して計算する：
   $$\hat{A}_{i,k} = \frac{r_{i,k} - \text{mean}_{i'}(r_{i',k})}{\text{std}_{i'}(r_{i',k})}$$
   これにより、特定の SID レベルでのみ異なるロールアウトは、グローバルな信号をブロードキャストするのではなく、そのステップでのみ対照的な更新信号を受け取る。

3. ステップ整合型代理関数とステップ正規化トークン集約:
   方策勾配目的関数は推論ステップ上で最適化される。利得は、そのステップ内のトークンに適用される前に、ステップ単位の長さ（$|y^{(k)}_i| = |\tau^{(k)}| + 1$）で正規化される：
   $$J_{SAPO}(\theta) = \mathbb{E} \left[ \frac{1}{\sum |y_\ell|} \sum_{i} \sum_{k} \sum_{t \in y^{(k)}_i} \min \left( w_{i,t}(\theta) \tilde{A}_{i,k}, \text{clip}(\dots) \tilde{A}_{i,k} \right) \right]$$
   ここで、$\tilde{A}_{i,k} = \hat{A}_{i,k} / |y^{(k)}_i|$である。これにより、長い推論ブロックが勾配更新の大きさ優勢になることを防ぐ。

3. 主要な貢献

• 粒度不一致の特定: 本論文は、結果報酬 RL が階層的 SID 復号と整合していないことを特定している。それはロールアウト全体を単一のアクション単位として扱うため、どの特定のトークン予測がエラーを引き起こしたかを曖昧にする。
• SAPO アルゴリズム: （思考ブロック、SID トークン）ペアを原子アクション単位として扱う新たな RL 手法。学習された報酬モデルを必要とせず、ステップごとの一致報酬、ステップレベルグループ相対利得、ステップ整合型代理損失を導出する。
• 理論的整合性: 著者は、実現可能性条件の下で、累積的なステップごとの一致報酬が完全一致の最適性を維持することを証明しており、より密な監督が根本的な目的を変更しないことを保証している。
• 実証的検証: 3 つの実世界 Amazon データセット（Office Products、Video Games、Industrial & Scientific）における広範な実験により、SAPO が RL 学習を安定化し、結果報酬ベースラインと比較してランキング指標（Recall および NDCG）を改善することが示された。

4. 実験結果

• 性能: SAPO は、従来の逐次モデル（SASRec、GRU4Rec）、非推論生成モデル（TIGER、HSTU）、および結果報酬 RL を使用する推論ベースモデル（SIDReasoner、OneRec-Think）を含む既存の生成型推薦ベースラインを一貫して上回った。
  • SAPO は主要な結果表のすべての列で最良の NDCG を達成した。
  • 改善は、希薄な完全一致フィードバックが微細なクレジット割り当てを重要にする設定で最も顕著であった。
• 学習ダイナミクス:
  • 安定性: SAPO はより安定した報酬軌道を示し、GRPO で観察される報酬の崩壊と振動を防ぐ。
  • 長さ制御: 応答長さのドリフトと KL 発散の増大にしばしば悩まされる GRPO と異なり、SAPO は制御された推論予算とステップごとの長さを維持する。
  • SID 一致率: SAPO は、学習の進捗と実際の SID トークン予測精度の間に強い相関を示す。
• アブレーション研究: ステップごとの利得またはステップごとの一致報酬のいずれかを除去すると性能が低下し、両方のコンポーネントが相補的であることを示している。安定性と高いランキング品質の両方を達成するには、完全な SAPO 構成が必要である。
• ケーススタディ: 定性的分析により、SAPO は「ステッパモーター制御」などの特定の製品機能といった微細な証拠を保持し、結果報酬モデルがしばしば一般的な推論に洗い流してしまうことを示している。これにより、より正確な SID 予測につながる。

5. 意義と主張

本論文は、構造化生成のための強化学習目的関数は、デコーダ自身の出力分解を反映すべきであると主張する。

• 汎用性: 著者は、生成タスクが自然な階層的分解（例：コードブック、ツール呼び出しスキーマ、構造化された回答）を許容する限り、この階層は学習された報酬モデルの必要性を排除する、ステップごとの監督の基本的な源泉となり得ると示唆している。
• 効率性: SAPO は、顕著な計算オーバーヘッドなしにこれらの利益を達成する。追加の報酬および利得計算時間は無視できる（更新ステップの 1% 未満）。
• 限定的な範囲: 著者は限界を認め、評価が現在、固定された $K=3$ SID 階層を持つ 3 つの英語 Amazon カテゴリに制限されていることを指摘している。彼らは普遍的優位性を主張するものではなく、階層的トークン生成における結果報酬 RL に固有のクレジット割り当て失敗モードに、このアプローチが特に対処することを強調している。