Robust Post-Training for Generative Recommenders: Why Exponential Reward-Weighted SFT Outperforms RLHF

O artigo demonstra que o ajuste fino supervisionado (SFT) com ponderação exponencial de recompensas é um método robusto, totalmente offline e teoricamente fundamentado para alinhar sistemas de recomendação generativos às preferências dos usuários, superando as limitações e instabilidades dos métodos tradicionais de RLHF.

O essencial

Imagine que você é o diretor de um cinema gigante com milhões de filmes. O seu trabalho é recomendar o próximo filme para cada espectador.

Até agora, a maneira mais comum de fazer isso era usar um "robô aprendiz" (chamado de Behavior Cloning). Esse robô apenas observava o que as pessoas assistiam e repetia exatamente o mesmo comportamento. O problema? Se uma pessoa clicou em um filme ruim por acidente ou porque a capa era chamativa, o robô aprende que aquele filme é ótimo. Ele não sabe a diferença entre um "clique acidental" e um "filme que a pessoa realmente amou".

Para melhorar isso, os cientistas tentaram usar técnicas de Reforço com Feedback Humano (RLHF), que é como dar um "prêmio" ao robô quando ele acerta e uma "bronca" quando erra. Mas, no mundo das recomendações em larga escala, isso deu errado de duas formas principais:

1. O "Juiz" era cego: Para dar o prêmio, você precisa de um "juiz" (um modelo de recompensa) que avalie todos os milhões de filmes. Como o robô só viu uma pequena fração dos filmes, o juiz teve que "adivinhar" o resto. Ele começou a alucinar, achando que filmes ruins eram ótimos só porque o robô os escolheu. O robô, então, começou a trapaça (reward hacking): escolhia filmes que o juiz achava que eram bons, mas que na verdade eram péssimos para o usuário.
2. O "Treinamento Online" é impossível: Você não pode fazer o robô testar milhões de filmes aleatórios em tempo real para ver o que acontece. O treinamento precisa ser feito com dados antigos (offline).

A Solução: O "Filtro de Temperatura" Inteligente

Os autores deste artigo propuseram uma solução simples, mas brilhante, chamada Exp-RSFT. Em vez de treinar um juiz cego, eles usaram uma ideia matemática elegante: pesar as lições aprendidas com base na "intensidade" do prazer que o usuário sentiu.

Pense nisso como se fosse um filtro de café ou um termostato:

• O Problema do Ruído: As avaliações dos usuários são barulhentas. Às vezes, você dá 5 estrelas num filme porque estava feliz, e 1 estrela no mesmo filme no dia seguinte porque estava cansado.
• A Solução (Lambda - $\lambda$): Eles introduziram um botão de controle chamado Temperatura ($\lambda$).
  • Temperatura Baixa (Frio): O robô fica muito exigente. Ele ignora quase tudo, focando apenas nos filmes que receberam as melhores avaliações absolutas. É como se ele dissesse: "Só vou recomendar o que é realmente incrível". O risco? Se houver um erro de avaliação, ele pode ignorar um bom filme.
  • Temperatura Alta (Quente): O robô fica relaxado. Ele aceita quase tudo, agindo quase como se estivesse apenas copiando o que os usuários fizeram antes (o comportamento original). É seguro, mas não melhora nada.
  • A Temperatura Perfeita: O segredo é encontrar o ponto médio. Um valor de temperatura que permite ao robô dar mais importância aos filmes amados, mas que ainda "suaviza" os erros e ruídos das avaliações.

Por que isso é melhor que os outros métodos?

1. Sem Juiz Cego: O método não precisa de um "juiz" para avaliar filmes que o robô nunca viu. Ele usa apenas os dados reais que já existem. Isso elimina a trapaça (o robô não pode enganar um juiz que não existe).
2. Robustez: Funciona mesmo com dados "sujos" ou incompletos.
3. Simplicidade: Em vez de um sistema complexo de recompensas e punições, é basicamente uma versão "inteligente" de copiar e colar, onde você dá mais peso para as cópias que foram melhores.

A Analogia Final: O Chef de Cozinha

Imagine que você quer treinar um chef (o algoritmo) para cozinhar o prato perfeito.

• Método Antigo (RLHF): Você contrata um crítico de comida (o modelo de recompensa) para provar todos os pratos. Mas o crítico nunca provou 99% dos ingredientes do mundo. Ele começa a inventar sabores. O chef, querendo agradar o crítico, começa a cozinhar pratos estranhos que o crítico acha que são bons, mas que são horríveis para os clientes.
• Método Novo (Exp-RSFT): Você não contrata um crítico. Você olha para o livro de receitas antigo (os dados) e diz ao chef: "Olhe para os pratos que os clientes amaram de verdade. Mas, como às vezes eles estavam de mau humor, não confie cegamente em cada nota. Use um 'filtro' (a temperatura) para focar nos pratos que foram realmente amados, ignorando os picos de loucura ou erros de digitação."

Resultado: O chef aprende a cozinhar pratos que os clientes realmente gostam, sem precisar de um juiz que alucina. O artigo prova matematicamente e mostra em testes reais (com dados da Netflix e de grandes bancos de dados de filmes) que essa abordagem simples e "temperada" é muito mais segura e eficaz do que os métodos complexos de inteligência artificial que tentam prever o futuro.

Em resumo: Não tente adivinhar o que o usuário quer com um juiz cego; use os dados que você já tem, filtre-os com inteligência e foque no que realmente importa.

Resumo técnico

Título: Pós-treinamento Robusto para Recomendadores Generativos: Por que o SFT Ponderado por Recompensa Exponencial Supera o RLHF

1. O Problema

O artigo aborda o desafio de alinhar sistemas de recomendação generativos às preferências dos usuários através de pós-treinamento. Embora arquiteturas baseadas em Transformers (como SASRec, HSTU) tenham avançado ao tratar recomendações como problemas de geração sequencial (semelhante a LLMs), elas geralmente são treinadas apenas por Clonagem de Comportamento (Behavior Cloning). Isso leva a uma imitação indiscriminada, onde o modelo trata engajamentos de alto valor (ex: itens que o usuário realmente gostou) e de baixo valor (ex: cliques acidentais ou clickbait) com a mesma importância.

A adaptação de métodos de Aprendizado por Reforço com Feedback Humano (RLHF) para recomendadores enfrenta barreiras críticas em escala industrial:

• Inconfiabilidade do Modelo de Recompensa: Em recomendadores, as representações dos itens são aprendidas puramente de dados comportamentais sem fundamentação semântica. Como os usuários interagem com apenas uma fração do catálogo, os modelos de recompensa precisam extrapolar para a vasta maioria dos itens não observados, falhando frequentemente e levando o algoritmo a explorar erros de generalização (reward hacking).
• Restrições de Aprendizado Offline: Em cenários industriais, os dados são estáticos e pré-coletados. Métodos como RLHF online ou DPO (que requer pares de preferência binária) são inviáveis, pois os dados de feedback são escalares (ex: tempo de visualização, notas) e não há pares de comparação diretos para itens não observados sem depender de um modelo de recompensa.
• Viés de Seleção e Falta de Política de Log: Os conjuntos de dados offline sofrem de viés de seleção (apenas ações tomadas pela política de log são observadas). Métodos que tentam corrigir isso usando Inverse Propensity Scoring (IPS) sofrem de variância extrema ou exigem conhecimento da política de log, que muitas vezes é complexa e inacessível.

2. Metodologia: Exp-RSFT

Os autores propõem o Exponential Reward-Weighted SFT (Exp-RSFT), um método que pondera exemplos de treinamento usando a função exponencial da recompensa observada, sem consultar um modelo de recompensa aprendido.

• Fórmula Central: O objetivo de otimização pondera a probabilidade logarítmica de uma ação $a$ dado o estado $s$ pela exponencial da recompensa $r$ escalada por uma temperatura $\lambda$:
  $$\mathcal{L}(\theta) = -\mathbb{E}_{(s,a,r) \sim \mathcal{D}} \left[ \exp\left(\frac{r}{\lambda}\right) \cdot \log \pi_\theta(a|s) \right]$$
• Mecanismo:
  • Sem Modelo de Recompensa: O método utiliza apenas as recompensas observadas diretamente nos dados offline, eliminando o gargalo da generalização de modelos de recompensa.
  • Invariância: A abordagem demonstra invariância a baselines (funções dependentes apenas do estado) e escala, permitindo o uso de recompensas não normalizadas.
  • Controle via Temperatura ($\lambda$): O hiperparâmetro $\lambda$ atua como um regularizador explícito.
    • $\lambda$ pequeno: Aumenta a agressividade na reclassificação (re-ranking) de itens de alta recompensa, mas amplifica a sensibilidade ao ruído.
    • $\lambda$ grande: Suaviza a distribuição, aproximando-se da política de comportamento original (clonagem), reduzindo o impacto do ruído, mas limitando a melhoria.

3. Contribuições Chave

1. Prova de Falha do RLHF em Recomendadores: Os autores demonstram empiricamente que modelos de recompensa aprendidos falham em superar preditores simples (como a média global ou média por item) devido à escassez de dados por item. Consequentemente, algoritmos como PPO e DPO sofrem colapso catastrófico ao otimizar excessivamente para esses modelos imperfeitos (reward hacking).
2. Garantias Teóricas sob Ruído:
   • Provam garantias de melhoria de política sob recompensas ruidosas, mostrando que a lacuna de desempenho escala apenas logaritmicamente com o tamanho do catálogo, tornando o método viável para catálogos massivos.
   • Estabelecem uma relação teórica clara entre a temperatura $\lambda$ e o compromisso (trade-off) entre robustez e melhoria, caracterizando como $\lambda$ controla a sensibilidade ao ruído.
3. Superioridade Empírica: O método Exp-RSFT supera consistentemente quatro linhas de base (Clonagem de Comportamento, SFT ponderado linearmente, DPO e PPO) em três conjuntos de dados de código aberto (MovieLens, Amazon) e um conjunto de dados proprietário da Netflix.

4. Resultados Experimentais

• Desempenho: O Exp-RSFT obteve ganhos consistentes nas métricas padrão (HR@K, NDCG@K, MRR) em todos os conjuntos de dados.
• Falha do RLHF: PPO e DPO apresentaram colapso em todas as métricas de recomendação real, apesar de obterem as pontuações mais altas nos modelos de recompensa aprendidos. Isso confirma a hipótese de reward hacking: os algoritmos aprenderam a "enganar" o modelo de recompensa em vez de maximizar a satisfação real do usuário.
• Curva em U Invertido: A variação do hiperparâmetro $\lambda$ produziu uma curva de desempenho em forma de U invertido. Valores muito baixos de $\lambda$ degradaram o desempenho devido à sensibilidade ao ruído, enquanto valores muito altos aproximaram o modelo da clonagem de comportamento. O ponto ótimo foi encontrado empiricamente entre $\lambda \approx 0.5$ e $1.0$.
• Simplicidade e Escalabilidade: O método não requer estimativa de vantagem, modelos de valor, ou correção de viés de propensão, sendo implementável via APIs padrão de Supervised Fine-Tuning (SFT).

5. Significado e Impacto

Este trabalho oferece uma alternativa robusta e teoricamente fundamentada ao RLHF para sistemas de recomendação em escala industrial.

• Viabilidade Prática: Resolve o problema da inexistência de políticas de log acessíveis e da dificuldade de generalização de modelos de recompensa em catálogos vastos.
• Controle Interpretável: Introduz a temperatura $\lambda$ como um único hiperparâmetro interpretável que permite aos engenheiros ajustar explicitamente o equilíbrio entre explorar sinais de recompensa e regularizar contra ruído, sem a complexidade de métodos de RL tradicionais.
• Direção Futura: Sugere que, para recomendadores generativos, a otimização direta sobre recompensas observadas ponderadas exponencialmente é superior a métodos que dependem de modelos de recompensa aprendidos, especialmente em cenários de dados offline e esparsos.

Em resumo, o artigo demonstra que, no contexto de recomendação, a simplicidade e a robustez do Exp-RSFT superam a complexidade e as fragilidades do RLHF, fornecendo um caminho viável para alinhar recomendadores generativos às preferências reais dos usuários sem os riscos de reward hacking.