Resumo Técnico: SAPO (Otimização de Política Alinhada por Etapas)

1. Declaração do Problema

A recomendação generativa trata a previsão do próximo item como uma tarefa de geração autoregressiva, onde os itens são codificados como Identificadores Semânticos (SIDs) — sequências de tokens curtas, de grosso para fino (por exemplo, $K=3$ níveis) produzidas por um quantizador vetorial hierárquico. Abordagens recentes aumentam esses sistemas com traços de raciocínio explícitos (blocos de pensamento) e otimizam-nos usando Aprendizado por Reforço a partir de Recompensas Verificáveis (RLVR), tipicamente empregando a Otimização de Política Relativa em Grupo (GRPO) com feedback de recompensa de resultado.

O problema central identificado é uma incompatibilidade na granularidade da ação entre o sinal de recompensa de resultado e a natureza estruturada da decodificação SID:

• Feedback de Nível de Rolo Grosso: A GRPO de recompensa de resultado padrão atribui uma única recompensa escalar (indicador de correspondência exata) a toda a resposta gerada. Ela verifica apenas se a tupla SID final corresponde à verdade fundamental.
• Estrutura de Alta Granularidade: Em recomendações de catálogo grande, uma tupla SID gerada pode corresponder parcialmente (por exemplo, tokens de nível grosso corretos, mas tokens de nível fino incorretos). O RL de recompensa de resultado falha em distinguir entre um "quase acerto" (prefixo correto, sufixo errado) e uma "falha total" (prefixo errado).
• Consequências: Essa incompatibilidade leva a dois modos de falha:
  1. Penalização de Etapas Corretas: Posições de tokens SID correspondentes são penalizadas junto com posições não correspondentes porque o avanço escalar é transmitido para toda a sequência.
  2. Perda de Localização: O avanço escalar não consegue isolar qual etapa específica de raciocínio ou previsão de token SID causou o erro. Isso resulta em dinâmicas de treinamento instáveis, deriva de comprimento e degradação de formato, particularmente quando o feedback de correspondência exata é escasso.

2. Metodologia: SAPO

Os autores propõem o SAPO (Otimização de Política Alinhada por Etapas), um método de aprendizado por reforço que alinha a unidade de atribuição de crédito com a decomposição natural do processo de decodificação SID.

Design Central: A Etapa de Raciocínio

O SAPO define uma etapa de raciocínio como o pareamento de um bloco de pensamento (traço de raciocínio) com seu token SID correspondente. Para uma hierarquia SID de $K$ níveis, uma resposta consiste em $K$ etapas como essas: $(\tau^{(k)}, s^{(k)})$, onde $\tau^{(k)}$ é o $k$-ésimo bloco de pensamento e $s^{(k)}$ é o $k$-ésimo token SID.

Componentes Principais

1. Recompensa de Correspondência de Etapa de Raciocínio:
   Em vez de uma única recompensa no final do rolo, o SAPO atribui uma recompensa $r_{i,k}$ a cada etapa de raciocínio $k$.
   $$r_{i,k} = \alpha \cdot \mathbb{I}[s^{(k)}_i = s^{(k)}_{gt}] + \beta \cdot \mathbb{I}[k=K] \cdot b_i$$
   Onde o primeiro termo fornece um sinal denso e verificável de correspondência para cada posição de token SID, e o segundo termo é um pequeno bônus de formato para a etapa final se a estrutura da resposta for válida. Isso preserva o ótimo de correspondência exata enquanto fornece supervisão mais densa.

2. Avanço Relativo em Grupo de Nível de Etapa:
   O SAPO calcula o avanço $\hat{A}_{i,k}$ independentemente para cada etapa de raciocínio $k$ dentro de um grupo de $G$ rolos:
   $$\hat{A}_{i,k} = \frac{r_{i,k} - \text{mean}_{i'}(r_{i',k})}{\text{std}_{i'}(r_{i',k})}$$
   Isso garante que os rolos que diferem apenas em um nível SID específico recebam um sinal de atualização contrastivo apenas nessa etapa, em vez de transmitir um sinal global.

3. Surrogado Alinhado por Etapa com Agregação de Tokens Normalizada por Etapa:
   O objetivo do gradiente de política é otimizado sobre as etapas de raciocínio. O avanço é normalizado pelo comprimento da unidade de etapa ($|y^{(k)}_i| = |\tau^{(k)}| + 1$) antes de ser aplicado aos tokens dentro dessa etapa:
   $$J_{SAPO}(\theta) = \mathbb{E} \left[ \frac{1}{\sum |y_\ell|} \sum_{i} \sum_{k} \sum_{t \in y^{(k)}_i} \min \left( w_{i,t}(\theta) \tilde{A}_{i,k}, \text{clip}(\dots) \tilde{A}_{i,k} \right) \right]$$
   onde $\tilde{A}_{i,k} = \hat{A}_{i,k} / |y^{(k)}_i|$. Isso impede que blocos longos de raciocínio dominem a magnitude da atualização do gradiente.

3. Contribuições Principais

• Identificação da Incompatibilidade de Granularidade: O artigo identifica que o RL de recompensa de resultado está desalinhado com a decodificação SID hierárquica porque trata todo o rolo como uma única unidade de ação, obscurecendo quais previsões de tokens específicos causaram erros.
• Algoritmo SAPO: Um método RL novel que trata o par (bloco de pensamento, token SID) como a unidade de ação atômica. Ele deriva uma recompensa de correspondência por etapa, um avanço relativo em grupo de nível de etapa e uma perda surrogada alinhada por etapa, sem exigir um modelo de recompensa aprendido.
• Consistência Teórica: Os autores provam que a recompensa cumulativa de correspondência por etapa preserva o ótimo de correspondência exata sob condições de realizabilidade, garantindo que a supervisão mais densa não altere o objetivo fundamental.
• Validação Empírica: Experimentos extensos em três conjuntos de dados reais da Amazon (Produtos de Escritório, Jogos de Vídeo, Industrial e Científico) demonstram que o SAPO estabiliza o treinamento de RL e melhora as métricas de classificação (Recall e NDCG) em comparação com baselines de recompensa de resultado.

4. Resultados Experimentais

• Desempenho: O SAPO supera consistentemente as baselines existentes de recomendação generativa, incluindo modelos sequenciais tradicionais (SASRec, GRU4Rec), modelos generativos sem raciocínio (TIGER, HSTU) e modelos baseados em raciocínio usando RL de recompensa de resultado (SIDReasoner, OneRec-Think).
  • O SAPO alcançou o melhor NDCG em todas as colunas na tabela de resultados principais.
  • As melhorias foram mais pronunciadas em configurações onde o feedback escasso de correspondência exata torna a atribuição de crédito de alta granularidade crítica.
• Dinâmicas de Treinamento:
  • Estabilidade: O SAPO exibe trajetórias de recompensa mais estáveis e previne o colapso e a oscilação de recompensa observados no GRPO.
  • Controle de Comprimento: Diferentemente do GRPO, que frequentemente sofre de deriva de comprimento de resposta e crescimento de divergência KL, o SAPO mantém orçamentos de raciocínio controlados e comprimentos passo a passo.
  • Taxa de Correspondência SID: O SAPO mostra uma correlação mais forte entre o progresso do treinamento e a precisão real da previsão de tokens SID.
• Estudos de Ablação: Remover tanto o avanço por etapa quanto a recompensa de correspondência por etapa degrada o desempenho, indicando que ambos os componentes são complementares. A configuração completa do SAPO é necessária para alcançar tanto estabilidade quanto alta qualidade de classificação.
• Estudos de Caso: A análise qualitativa mostra que o SAPO preserva evidências de alta granularidade (por exemplo, recursos específicos de produtos como "controle de motor de passo") que modelos de recompensa de resultado frequentemente diluem em raciocínio genérico, levando a previsões SID mais precisas.

5. Significado e Alegações

O artigo alega que os objetivos de aprendizado por reforço para geração estruturada devem espelhar a própria decomposição do decodificador da saída.

• Generalizabilidade: Os autores sugerem que, sempre que uma tarefa de geração admitir uma decomposição hierárquica natural (por exemplo, livros de códigos, esquemas de chamada de ferramentas, respostas estruturadas), essa hierarquia pode servir como uma fonte fundamental de supervisão por etapa para o RL, eliminando a necessidade de modelos de recompensa aprendidos.
• Eficiência: O SAPO alcança esses ganhos sem sobrecarga computacional significativa; o tempo adicional de cálculo de recompensa e avanço é insignificante (<1% do passo de atualização).
• Escopo Modesto: Os autores reconhecem limitações, observando que sua avaliação atualmente se restringe a três categorias da Amazon em inglês com uma hierarquia SID fixa de $K=3$. Eles não alegam superioridade universal, mas destacam que sua abordagem aborda especificamente os modos de falha de atribuição de crédito inerentes ao RL de recompensa de resultado para geração de tokens hierárquica.