Resumo Técnico: PageLLM

Declaração do Problema

A Otimização de Página Completa (WPO) envolve gerar uma página completa e ranqueada de resultados de busca ou recomendação que equilibre relevância, diversidade, exposição posicional e redundância. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam uma abordagem unificada para a WPO ao tratar a geração de páginas como geração de sequências condicionais, sua adaptação a ambientes em escala web enfrenta três gargalos críticos:

1. Escassez e Custo de Supervisão: O Aprendizado por Reforço a partir de Feedback Humano (RLHF) padrão requer anotações humanas caras para comparar páginas inteiras. Em escala industrial, o crescimento linear dos tamanhos de catálogo e audiência torna isso proibitivo.
2. Limitações de Recompensas de Granularidade Única: Os métodos existentes tipicamente colapsam as recompensas em um único escalar (seja em nível de página ou de item). Uma recompensa em nível de página captura coerência global, mas ignora deslocamentos posicionais de granularidade fina críticos para as taxas de clique. Por outro lado, uma recompensa em nível de item otimiza o posicionamento individual, mas falha em garantir que a página como um todo seja diversa e não redundante.
3. Modos de Falha Complementares: O artigo argumenta que formulações de granularidade única falham de maneiras "espelhadas". A remoção de sinais em nível de página degrada a coerência global da lista, enquanto a remoção de sinais em nível de item degrada a nitidez posicional. Nenhum sinal isolado é suficiente para maximizar a satisfação do usuário.

Metodologia: O Framework PageLLM

O PageLLM propõe um framework de ajuste fino baseado em recompensas em três estágios que desacopla a supervisão em duas granularidades complementares usando apenas feedback implícito do usuário.

1. Construção de Dados a partir de Feedback Implícito

Em vez de rótulos humanos, o framework constrói dados de treinamento a partir de registros de interação usuário-item (por exemplo, corpus de Avaliações da Amazon):

• Listas Douradas: Para cada usuário, uma lista ranqueada "dourada" é construída filtrando interações positivas ($r_{ui} > 3$), re-ranqueando por popularidade de granularidade fina e equilibrando a diversidade de categorias.
• Famílias de Pares de Preferência: Quatro famílias de listas negativas são geradas para localizar modos de falha específicos, criando pares contrastivos contra a lista dourada:
  • Não preferidos ($\sigma_{np}$): Itens com baixas classificações (falha de relevância).
  • Ranqueamento ($\sigma_{rk}$): Trocas adjacentes de itens na lista dourada (falha posicional).
  • Diversidade ($\sigma_{d}$): Substituição de itens únicos por outros homogêneos (falha de diversidade).
  • Redundância ($\sigma_{rd}$): Concentração excessiva de itens de uma única categoria (falha de redundância).

2. Modelagem de Recompensa Multi-Granular

A inovação central é um modelo de recompensa desacoplado com duas cabeças treinadas nos mesmos dados de preferência, mas com objetivos diferentes:

• Recompensa de Granularidade Grossa (Nível de Página) ($R_c$): Um modelo Bradley-Terry que pontua a lista gerada inteira como uma única unidade. Ele aprende sinais globais como mistura de categorias e relevância média, fornecendo estabilidade contra feedback ruidoso.
• Recompensa de Granularidade Fina (Nível de Item) ($R_f$): Um modelo que pontua itens individuais e os média. É treinado para detectar trocas de posição sensíveis ao engajamento (por exemplo, como trocar dois itens adjacentes afeta a pontuação geral).
• Combinação: A recompensa final é uma soma simples ($R = R_c + R_f$). Os autores argumentam que essa abordagem aditiva é superior a um produto, pois preserva gradientes independentes e permite ganhos de desempenho super-aditivos.

3. Ajuste Fino RLHF com PPO

Um LLM pré-treinado (por exemplo, GPT-2) passa por um processo de treinamento em três etapas:

1. Pré-treinamento de Meta-Informação: O modelo é adaptado à semântica de recomendação via previsão de classificação e previsão do próximo token em meta-prompts.
2. Ajuste Fino Supervisionado (SFT): O modelo é ajustado finamente nas listas douradas para aprender o esquema de saída e a distribuição de base.
3. Otimização PPO: O modelo é otimizado adicionalmente usando Otimização de Política Proximal (PPO) com a recompensa multi-granular combinada. Uma penalidade de divergência KL contra a política de referência SFT impede que o modelo derive para espaços de saída degenerados.

Principais Contribuições

1. Pipeline de Feedback para Recompensa: A formalização de quatro famílias de pares de preferência que transformam feedback implícito ruidoso em supervisão RLHF utilizável para geração de páginas sem rótulos humanos.
2. Arquitetura de Recompensa Multi-Granular: A introdução de um sistema de recompensa desacoplado que emparelha um modelo Bradley-Terry em nível de página com um modelo de troca de posição em nível de item, demonstrando empiricamente sua complementaridade.
3. Evidência Escalável: Avaliação abrangente em sete categorias da Amazon contra onze baselines, um teste A/B online de 10 milhões de usuários e estudos sobre robustez em cold-start e eficiência do backbone.
4. Modularidade de Implantação: Uma demonstração de que a natureza aditiva da recompensa permite que o componente de página em nível de granularidade grossa seja implantado como um recurso de ranqueamento no lado da CPU, facilitando a implantação incremental na infraestrutura existente.

Resultados Experimentais

• Desempenho Offline: Em sete categorias da Amazon, o PageLLM supera onze baselines (incluindo fatoração de matriz, transformers sequenciais e outros recomendadores baseados em LLM). Ele alcança até uma melhoria de 46,8% no NDCG@100 em comparação com uma variante sem recompensa. Os ganhos são mais pronunciados em categorias com preferências sutis (Luxo, Esportes, Instrumentos, Beleza).
• Estudos de Ablação: A remoção de qualquer uma das cabeças de recompensa, seja em nível de página ou de item, degrada significativamente o desempenho (reduzindo o NDCG@100 em 17,8% e 15,2%, respectivamente), confirmando que os sinais são complementares, não redundantes.
• Teste A/B Online: Implantado em um mecanismo de busca de comércio eletrônico comercial com mais de 10 milhões de usuários únicos, o PageLLM aumentou o GMV em 0,44% e a Taxa de Clique (CTR) em 0,14% ao longo de um período de uma semana.
• Robustez: Em simulações de cold-start (redução de 50% dos dados), o PageLLM degradou-se menos do que as baselines sequenciais (SASRec) e de autoencoder (Multi-VAE).
• Eficiência do Backbone: Experimentos comparando GPT-2 e Llama3.2-1B sugerem que o GPT-2 oferece um equilíbrio Pareto-ótimo de desempenho e custo computacional para esta tarefa, indicando que a estrutura de recompensa é o fator limitante e não a capacidade do modelo.

Significado e Alegações

O artigo alega que o principal gargalo para a WPO baseada em LLMs não é a falta de dados de supervisão, mas a granularidade do sinal de supervisão. Ao desacoplar a recompensa em componentes em nível de página e em nível de item, o PageLLM alinha com sucesso os LLMs aos objetivos de WPO em escala web usando apenas feedback implícito.

Os autores enfatizam que essa abordagem:

• Elimina a necessidade de anotações humanas caras.
• Resolve o modo de falha de "granularidade única" onde os métodos existentes não podem otimizar simultaneamente a coerência global da página e o posicionamento local de itens.
• Fornece um caminho prático para implantação em produção, conforme evidenciado pelo bem-sucedido teste A/B de 10 milhões de usuários e pela capacidade de implantar parcialmente componentes na infraestrutura de CPU.

O trabalho conclui que recompensas multi-granulares derivadas de feedback implícito são suficientes para escalar LLMs para otimização de página completa em nível de produção, oferecendo uma nova rota para sistemas de recomendação que tratam a página como uma entidade gerativa coesa, em vez de um saco de itens pontuados.