Adaptive Loss Balancing for Noise-Robust GRPO in Generative Recommendation

Resumo Técnico: Balanceamento de Perda Adaptativo para GRPO Robusto ao Ruído em Recomendação Generativa

1. Definição do Problema

A Recomendação Generativa (GR) reformula a recuperação de itens como uma tarefa de decodificação autorregressiva sobre IDs Semânticos (SIDs) aprendidos. Embora a GR ofereça uma cobertura superior para itens de cauda longa e semanticamente relacionados em comparação com a recuperação tradicional baseada em embeddings, ela muitas vezes carece da discriminação refinada dos modelos de ranking. Para preencher essa lacia, o Aprendizado por Reforço (RL), especificamente o Group Relative Policy Optimization (GRPO), foi proposto para ajustar as políticas de GR utilizando modelos de recompensa (RMs) de produção como modelos de recompensa.

No entanto, o artigo identifica uma falha crítica ao aplicar RL de forma uniforme à recomendação generativa: o ruído do modelo de recompensa e o viés de exposição. Os rankers de produção são treinados em logs com viés de exposição, tornando-os não confiáveis para itens fora de sua distribuição de treinamento (ex: itens novos ou de cauda longa). Os autores identificam dois modos de falha da aplicação uniforme de recompensa:

1. Amostras Fáceis: Quando a política já classifica o item real (ground-truth) de forma alta, as pontuações de recompensa se agrupam densamente. A vantagem resultante do GRPO colapsa para quase zero, deixando o gradiente dominado pelo ruído do RM, o que leva à sobre-otimização (reward hacking).
2. Amostras Difíceis (RM-Não Confiável): Quando o item real é um item de cauda longa, o RM pode estar localmente descalibrado, classificando distratores populares acima do alvo real. Aplicar RL aqui empurra a política para longe da resposta correta.

A análise estratificada revela que, embora a influência agregada do RM em todas as amostras seja próxima de zero, ele fornece uma orientação positiva substancial condicionalmente — especificamente em amostras onde a política está incerta (dificuldade) e o RM exibe alta discriminabilidade (confiabilidade).

2. Metodologia: AdaGRPO

Para abordar essas questões, os autores propõem o AdaGRPO, um framework que trata a otimização guiada por recompensa como uma admissão seletiva em vez de pressão uniforme. A inovação central é um clip binário por amostra que controla o termo de perda GRPO com base em dois diagnósticos baseados em ranking computados a partir do grupo de rollout.

A função objetivo para cada instância $i$ é:
$$L_i(\theta) = L^{(i)}_{NLL}(\theta) + \lambda \alpha_i L^{(i)}_{GRPO}(\theta)$$
Onde:

• $L_{NLL}$ é a log-verossimilhança negativa supervisionada, que ancora todas as instâncias de treinamento para garantir estabilidade.
• $\lambda$ é um coeficiente de escala global.
• $\alpha_i \in \{0, 1\}$ é o coeficiente de clip determinado por dois diagnósticos:

Diagnóstico 1: Dificuldade do Lado da Política ($f_1$)
Esta condição verifica se o item real ($y^*$) está fora da fração superior $\tau$ do próprio ranking da política (baseado em log-verossimilhança).

• Lógica: Se $y^*$ já está nos rankings superiores, a perda supervisionada é suficiente e o termo GRPO é redundante (clipado). Se $y^*$ está em um ranking baixo, a política está incerta e a orientação por RL é potencialmente necessária.

Diagnóstico 2: Discriminabilidade do Lado da Recompensa ($f_2$)
Esta condição verifica se o RM consegue separar confiavelmente o item real de negativos contextualmente irrelevantes.

• Lógica: O RM deve classificar $y^*$ na fração superior $\tau$ de um pool de diagnóstico (incluindo rollouts e negativos amostrados) E classificar todos os negativos amostrados na fração inferior $(1-\rho)$. Se o RM falhar em separar itens relevantes de irrelevantes, o sinal é considerado não confiável (clipado).

O Clip:
O coeficiente final é $\alpha_i = f_1 \cdot f_2$. A perda GRPO é admitida apenas se a instância for simultaneamente difícil para a política atual e suportada por um sinal de recompensa localmente confiável. Caso contrário, a atualização reverte para supervisão pura. Isso estende o princípio de clipping do PPO do domínio da razão (limitando atualizações de tokens) para o domínio da amostra (excluindo instâncias inteiras).

3. Principais Contribuições

• Análise Estratificada da Confiabilidade da Recompensa: O artigo demonstra empiricamente que a influência agregada de rankers de produção na recomendação generativa é negligenciável devido a modos de falha conflitantes (ruído em amostras fáceis, viés em amostras difíceis). Estabelece que a utilidade do RM é condicional, não global.
• Framework AdaGRPO: Um objetivo de treinamento inovador que alterna dinamicamente entre aprendizado supervisionado e RL com base em diagnósticos por amostra. Ele evita a necessidade de uma rede de valor aprendida ou modelagem de recompensa complexa, baseando-se em limiares de ranking derivados de estatísticas de rollout existentes.
• Otimização Robusta ao Ruído: Ao clipar o termo GRPO em amostras onde o sinal de recompensa é redundante ou enganoso, o método evita o "colapso" do desempenho de recuperação e a alucinação frequentemente observados no treinamento padrão de GRPO.

4. Resultados Experimentais

O método foi validado em um conjunto de dados de e-commerce de larga escala (175 mil sequências) e testes A/B de produção.

Resultados Offline:

• Desempenho: No melhor checkpoint intermediário, o AdaGRPO melhorou o HR@10 de 11,01% (Base) para 12,18%, mantendo a taxa de alucinação $\le 0,22\%$.
• Estabilidade: Diferente do GRPO padrão, que sofreu um colapso severo no HR@10 (caindo para 10,39%) e um pico de alucinações (0,89%) no checkpoint final, o AdaGRPO manteve a robustez (HR@10: 11,63%, Alucinação: 0,27%).
• Comparação: O AdaGRPO superou misturas fixas de NLL-GRPO ao longo da fronteira de validade de recuperação. A adição da condição de discriminabilidade de recompensa ($f_2$) reduziu ainda mais a alucinação e melhorou o HR em comparação ao uso apenas da dificuldade ($f_1$).
• Análise Estratificada: Os ganhos foram mais pronunciados em bins de dificuldade intermediária, confirmando que o método visa o regime específico onde o RL é benéfico.

Testes A/B Online:

• Em testes de produção, o AdaGRPO alcançou ganhos estatisticamente significativos em relação ao controle:
  • Visualizações de Página de Itens Efetivas (IPV): +0,43%
  • Taxa de Clique do Usuário (UCTR): +0,27%
  • Tempo de Permanência (Dwell Time): +0,23%
• Em contraste, um baseline usando uma mistura fixa de NLL-GRPO não apresentou ganhos estatisticamente significativos nas métricas de engajamento.

5. Significância e Alegações

O artigo conclui que o desafio central ao aplicar RL à recomendação generativa não é projetar recompensas mais fortes, mas discernir quando o sinal de recompensa pode ser confiado.

• Mudança de Paradigma: O trabalho desloca o foco da otimização global de recompensa para a confiança local, por instância. Argumenta-se que a aplicação uniforme de sinais de RL na recomendação é inerentemente arriscada devido ao descompasso entre a incerteza da política e a calibração do modelo de recompensa.
• Utilidade Prática: Os resultados sugerem que a admissão seletiva de atualizações de gradiente de política permite que recomendadores generativos aproveitem efetivamente RMs de produção ruidosos sem sacrificar o conhecimento estrutural adquirido do pré-treinamento supervisionado.
• Modéstia: Os autores reconhecem limitações, incluindo a dependência de itens reais durante o treinamento, sensibilidade a hiperparâmetros ($\tau, \rho$) e a necessidade de validação adicional em diversos segmentos de usuários e regimes de frescor de catálogo. Eles enquadram os resultados online como um forte suporte de produção para a robustez do método, em vez de uma prova definitiva de superioridade causal sobre todos os baselines possíveis.