Learning User Interests via Reasoning and Distillation for Cross-Domain News Recommendation

Resumo Técnico: Aprendizado de Interesses do Usuário via Raciocínio e Destilação para Recomendação de Notícias Cross-Domain

1. Problema e Motivação

A recomendação de notícias personalizada é crucial para lidar com a sobrecarga de informação em plataformas online. No entanto, os métodos tradicionais de recomendação cross-domain (entre diferentes domínios) enfrentam desafios significativos:

• Limitações de Embeddings: É difícil aprender embeddings personalizados e razoáveis para todos os usuários.
• Sinais Superficiais: Métodos baseados em filtragem colaborativa frequentemente falham em capturar sinais sequenciais profundos e necessidades de informação subjacentes.
• Ruído e Heterogeneidade: Os dados de comportamento do usuário (cliques, buscas, histórico de navegação) são heterogêneos e ruidosos, dificultando a extração de interesses reutilizáveis e de longo prazo.

O objetivo deste trabalho é superar essas limitações indo além dos padrões de comportamento superficiais para capturar interesses profundos e reutilizáveis do usuário, utilizando sinais heterogêneos de múltiplos domínios, mantendo a escalabilidade necessária para sistemas de produção em larga escala.

2. Metodologia

Os autores propõem um framework de Aprendizado por Reforço (RL) baseado em raciocínio, que utiliza Grandes Modelos de Linguagem (LLMs) para gerar listas de consultas de busca de notícias que representam os interesses do usuário. O processo é dividido em três estágios principais:

A. Limpeza de Dados (Noise Cleaning)

• Os logs de comportamento brutos contêm ruído significativo (strings aleatórias, números de telefone, consultas de navegação).
• Um classificador binário leve (baseado em RoBERTa) é treinado para filtrar sinais irrelevantes, mantendo apenas comportamentos informativos para a modelagem de interesses.

B. Geração de Interesses com RL Multi-Reward (Teacher Model)

• Formulação: A descoberta de interesses é reformulada como um problema de otimização de política, onde o modelo gera uma lista de consultas de busca ($Z_u$) a partir dos sinais comportamentais limpos ($\tilde{B}_u$).
• Algoritmo: Utiliza-se o Dr.GRPO (uma variante aprimorada do Group Relative Policy Optimization). O modelo gera um grupo de listas candidatas e otimiza a política para maximizar a recompensa esperada.
• Sinais de Recompensa (5 dimensões):
  1. Alinhamento de Recuperação ($R_{align}$): Garante que as consultas geradas recuperem artigos relevantes no índice interno (ANN).
  2. Cobertura de Interesses ($R_{cov}$): Assegura que o conjunto de consultas reflita a diversidade de interesses latentes.
  3. Especificidade da Consulta ($R_{spec}$): Incentiva consultas ricas em conteúdo e não genéricas.
  4. Diversidade Intra-lista ($R_{div}$): Promove não redundância semântica entre as consultas na mesma lista.
  5. Validade Estrutural ($R_{struct}$): Verifica se o formato de saída atende às restrições pré-definidas.

C. Destilação On-Policy (Student Model)

• Para viabilizar a implantação em produção (baixa latência e alto throughput), o conhecimento do modelo "professor" (LLM grande e computacionalmente pesado) é transferido para um modelo "estudante" compacto.
• Utiliza-se Destilação On-Policy, que minimiza a Divergência Kullback-Leibler (KL) reversa entre as distribuições do estudante e do professor, condicionada ao prefixo gerado pelo estudante. Isso permite que o modelo leve aprenda o raciocínio do professor sem a necessidade de inferência pesada em tempo real.

3. Contribuições Principais

1. Propriedades de Escala (Scaling Laws) para Modelagem de Interesses: O trabalho demonstra que aumentar a capacidade do modelo (escala espacial) e o tempo de inferência via amostragem (escala temporal) resulta em melhorias consistentes e semelhantes a leis de escala na qualidade dos interesses e no desempenho de recuperação.
2. Destilação On-Policy para Geração Escalável: Propõe um framework que transfere políticas de LLMs intensivos em computação para modelos compactos, preservando a maior parte dos ganhos de modelagem de interesses enquanto permite serviço de baixa latência.
3. Validação em Ambientes Reais: A abordagem foi validada através de avaliações offline, estudos de ablação e testes A/B online em larga escala em um sistema de recomendação de notícias comercial.

4. Resultados Experimentais

Avaliação Offline:

• Comparação com Baselines: O modelo proposto (RL-trained, Qwen2.5-32B) superou consistentemente todas as baselines (incluindo GRU, SASRec, NRHUB, PinSage e HSTU) em métricas como Recall@K, NDCG@K e MRR.
• Escala de Modelo: Aumentar o tamanho do modelo de 0.5B para 32B parâmetros resultou em melhorias contínuas nas métricas de recuperação.
• Escala de Amostragem: Aumentar o número de listas amostradas na inferência (Best-of-N) também melhorou o desempenho, embora com retornos decrescentes.
• Destilação: O modelo estudante destilado (Qwen2.5-0.5B) preservou a maior parte dos ganhos do modelo professor, superando significativamente a destilação supervisionada tradicional e modelos sem destilação.

Experimentos Online (A/B Testing):

• Em um teste de 7 dias em produção, a abordagem proposta resultou em:
  • +0.95% no DAU (Usuários Ativos Diários).
  • +0.22% no CTR (Taxa de Clique).
  • +4.38% no DAU de usuários frios (cold users), indicando que a modelagem baseada em raciocínio é particularmente eficaz para inferir interesses quando o histórico de interação direta com notícias é limitado.

5. Significado e Impacto

Este trabalho representa um desenvolvimento pioneiro na implantação de um framework de RL orientado a raciocínio para modelagem de interesses do usuário em sistemas comerciais de recomendação de notícias.

• Mudança de Paradigma: Move-se de abordagens baseadas apenas em similaridade de interações históricas para uma abordagem baseada em raciocínio semântico sobre sinais heterogêneos.
• Viabilidade Industrial: Demonstra como combinar LLMs poderosos com técnicas de destilação on-policy pode resolver o dilema entre a qualidade do modelo e os custos computacionais de inferência em tempo real.
• Direção Futura: Abre novas direções para a combinação de raciocínio de LLMs, RL escalável e pipelines de recomendação industriais.

Em suma, o artigo valida que a geração de consultas de interesse guiada por raciocínio, otimizada via RL e comprimida via destilação, é uma estratégia superior para recomendação de notícias cross-domain, oferecendo ganhos mensuráveis tanto na qualidade da modelagem de interesses quanto no engajamento do usuário final.