Resumo Técnico: PRL-PUTS para Ajuste Personalizado de Utilidade

1. Definição do Problema

Sistemas de recomendação em larga escala, como o Homefeed do Pinterest, tipicamente empregam modelos de classificação multi-tarefa que preveem múltiplos resultados de engajamento do usuário (por exemplo, cliques, salvamentos/Repins) simultaneamente. Essas previsões são agregadas em uma única pontuação de utilidade por meio de uma soma ponderada linear para determinar a classificação final.

O artigo identifica três limitações críticas na abordagem atual de ajuste manual desses pesos de utilidade:

1. Ineficiência Operacional: A seleção de pesos depende de análises offline ad hoc e longos ciclos de testes A/B online (semanas a meses), tornando a adaptação a prioridades comerciais em mudança lenta.
2. Obsolescência: Pesos globais são frequentemente tratados como constantes estáticas. À medida que o classificador subjacente é atualizado com novos dados e recursos, pesos previamente ajustados tornam-se desalinhados com a distribuição atual do modelo.
3. Falta de Personalização: Pesos globais impõem uma única compensação de objetivo em todos os usuários e contextos, falhando em considerar intenções de usuário heterogêneas. Enumerar manualmente compensações dependentes do contexto é intratável em escala de produção.

O desafio central é criar um sistema que permita compensações multi-objetivo rápidas, sensíveis ao contexto e governáveis, enquanto adere a restrições de produção estritas (frequência limitada de retreinamento de modelo e complexidade no momento de atendimento).

2. Metodologia: PRL-PUTS

Os autores propõem o PRL-PUTS (Framework de RL pronto para produção, independente do classificador para Ajuste de Pesos de Utilidade Personalizada com Varredura de Pareto). O framework trata o ajuste de pesos de utilidade como um problema de Aprendizado por Reforço (RL) baseado em valor, de um único passo.

2.1 Formulação Central

• Estado ($s$): Representa o contexto da solicitação, incluindo sinais de perfil do usuário, preferências de longo prazo (embeddings), histórico de ações recentes e contexto no momento de atendimento (dispositivo, superfície, tempo).
• Ação ($a$): Um vetor de pesos de utilidade aplicado às previsões por objetivo existentes do classificador. Para gerenciar complexidade e risco, o sistema controla um subconjunto discreto de pesos (especificamente para Repins e impressões P2P na instanciação do Pinterest), mantendo os outros fixos. O espaço de ações é discretizado em um conjunto compacto de valores candidatos.
• Recompensa ($r$): Um vetor de resultados de engajamento ao nível da solicitação correspondentes aos objetivos controlados. Para estabilizar o aprendizado, as recompensas são limitadas a valores binários (0 ou 1) com base na ocorrência do evento.
• Objetivo: O agente aprende a selecionar um vetor de pesos $w$ para uma solicitação $s$ dada, a fim de maximizar as recompensas de engajamento imediatas. O problema é modelado como um Bandito Contextual (MDP de um passo com $\gamma=0$).

2.2 Arquitetura do Modelo

O PRL-PUTS utiliza um Modelo de Valor de Duas Cabeças:

• Entrada: Concatenação de embeddings de estado (derivados do histórico do usuário e do contexto via Transformers e MLPs) e embeddings de ação (pesos de utilidade normalizados).
• Backbone: Um MLP compartilhado de três camadas com Normalização em Lote (Batch Normalization) e ReLU.
• Cabeças de Saída: Duas cabeças separadas preveem a recompensa esperada para cada objetivo ($Q_{Repin}$ e $Q_{P2P}$). As saídas são limitadas a $[0, 1]$ usando uma função sigmoide, interpretadas como probabilidades condicionais de sucesso.
• Treinamento: O modelo é treinado em logs de exploração não enviesados usando uma soma de perdas de Erro Quadrático Médio (MSE) para os dois objetivos.

2.3 Varredura de Pareto no Momento de Inferência

Uma inovação chave é a separação do aprendizado da seleção de política.

• Em vez de treinar uma única política para uma compensação fixa, o modelo aprende funções de valor específicas por objetivo.
• No momento da inferência, um parâmetro de escalarização $\alpha \in [0, 1]$ é introduzido para controlar a importância relativa dos objetivos:
  $$a^* = \arg\max_{a \in A} \left( \alpha Q_{P2P}(s, a) + (1 - \alpha) Q_{Repin}(s, a) \right)$$
• Ao varrer $\alpha$ sobre uma grade offline, o sistema induz uma família de políticas determinísticas a partir de um único modelo treinado.
• Governança: Essas políticas são avaliadas offline usando Avaliação de Política Off-Policy (OPE) em logs de exploração retidos para construir uma fronteira de Pareto empírica. As partes interessadas podem visualizar compensações viáveis e selecionar uma política operacional (um $\alpha$ específico) via configuração, sem retreinar o modelo.

2.4 Integração em Produção

• Independência do Classificador: O PRL-PUTS opera como uma camada de controle desacoplada sobre o classificador multi-tarefa existente. Ele não modifica as previsões internas do classificador ou a geração de candidatos.
• Latência: O framework executa em paralelo com a inferência de classificação. Adiciona latência de atendimento negligenciável porque requer apenas recursos ao nível da solicitação e não depende de recursos ao nível do item ou computações intermediárias do classificador.
• Fallback: Mecanismos de fallback robustos garantem que, se a inferência falhar ou expirar, o sistema reverta para pesos de produção estáticos.

3. Contribuições Principais

1. Formulação de RL Independente do Classificador: O artigo introduz uma abordagem de RL baseada em valor de um único passo, onde as ações são vetores de pesos de utilidade aplicados às previsões existentes do classificador, permitindo controle contextual ao nível da solicitação sem retreinar o classificador central.
2. Governança Acionável via Varredura de Pareto: O framework utiliza a varredura no momento da inferência de um parâmetro de escalarização para gerar uma família de políticas e uma fronteira de Pareto empírica. Isso permite que as partes interessadas selecionem políticas operacionais alinhadas com os objetivos comerciais atuais sem retreinamento do modelo.
3. Integração em Produção: O sistema foi projetado para operar ao lado da inferência de classificação com latência de atendimento zero adicionada e foi implantado com sucesso no Homefeed do Pinterest.
4. Evidência End-to-End: Os autores demonstram que as estimativas de compensação varridas offline de Pareto preveem de forma confiável os movimentos de métricas online, validando que os ganhos são impulsionados pela personalização dependente de contexto, e não por simples deslocamentos globais de pesos.

4. Resultados Experimentais

O framework foi validado usando logs de exploração não enviesados de tráfego de produção randomizado e testes A/B online no Homefeed do Pinterest.

• Consistência Offline-Online: Houve uma forte correlação (correlação de Pearson > 0,98) entre as estimativas offline de OPE e os movimentos de métricas online em diferentes políticas operacionais.
• Desempenho da Política Global:
  • Uma política tendente a P2P ($\alpha=0,24$) alcançou um aumento de +0,13% em Sessões Bem-sucedidas (uma métrica central de engajamento), juntamente com um aumento de +0,66% em Repins e +0,30% em impressões P2P em comparação com a linha de base.
  • Compensações foram observadas conforme esperado: políticas tendentes a Repins aumentaram Repins, mas reduziram ligeiramente as impressões P2P, enquanto políticas tendentes a P2P fizeram o inverso.
• Personalização vs. Ajuste Global:
  • Ao comparar o PRL-PUTS com uma linha de base estática ajustada para corresponder aos pesos médios produzidos pelo PRL-PUTS, a linha de base estática mostrou resultados neutros ou negativos.
  • O PRL-PUTS alcançou um aumento de +0,12% em Repins e +0,21% em impressões P2P, provando que as melhorias decorrem da seleção de pesos dependente de contexto (personalização) e não de um reponderamento global da função de utilidade.
• Análise de Coorte: O sistema aplicou com sucesso diferentes valores de $\alpha$ a diferentes coortes de usuários (CORE, CASUAL, REST), demonstrando deslocamentos controláveis ao longo da curva de compensação para segmentos específicos de usuários.

5. Significado e Alegações

O artigo afirma que o PRL-PUTS aborda a "dívida operacional e de produto" associada ao ajuste manual de utilidade em recomendadores em larga escala. Ao desacoplar a camada de controle do classificador, permite:

• Velocidade: Atualizações rápidas de políticas operacionais via alterações de configuração ($\alpha$) em vez de ciclos de retreinamento de semanas.
• Governança: Uma fronteira de Pareto transparente e visualizável que permite que as partes interessadas tomem decisões informadas sobre compensações.
• Segurança: Uma superfície de controle pequena e revisável (ações de peso discretas) que suporta reversões seguras e implantação incremental.

Os autores posicionam este trabalho como uma solução prática para ambientes de produção onde o retreinamento de modelo é infrequente e a latência de atendimento é crítica, demonstrando que o RL pode ser aplicado efetivamente à camada de agregação de utilidade para alcançar otimização multi-objetivo personalizada.

6. Limitações e Trabalho Futuro

O artigo reconhece várias limitações:

• Horizonte: A formulação de um único passo otimiza para resultados imediatos ao nível da solicitação e não captura explicitamente efeitos de longo prazo, como retenção ou engajamento futuro.
• Contagem de Objetivos: A instanciação atual foca em dois objetivos para interpretabilidade; a extensão para três ou mais objetivos requer escalarização mais complexa ou métodos de seleção restrita.
• Espaço de Ações: O uso de um conjunto de ações discreto limita o risco de exploração, mas pode perder políticas ótimas de granularidade fina em comparação com espaços contínuos.

Trabalho futuro é sugerido para explorar tomada de decisão de horizonte mais longo (requerendo registro de trajetória e métodos de bootstrap) e escalabilidade para espaços de ação mais ricos, mantendo eficiência de amostra e segurança.