RGAlign-Rec: Ranking-Guided Alignment for Latent Query Reasoning in Recommendation Systems

Título: RGAlign-Rec: Alinhamento Guiado por Ranking para Raciocínio de Consulta Latente em Sistemas de Recomendação

1. Problema e Contexto

O artigo aborda o desafio de previsão proativa de intenções em chatbots de e-commerce (especificamente no Shopee). O objetivo é realizar recomendações "Zero-Query" (sem que o usuário digite nada), antecipando as necessidades do usuário com base em sinais comportamentais e contextuais (ex: status do pedido, perfil, histórico).

Dois desafios fundamentais limitam os sistemas industriais atuais:

1. Lacuna Semântica (Semantic Gap): Existe um descompasso entre os recursos discretos do usuário (IDs de usuário, IDs de intenção) usados em modelos tradicionais de recomendação e as intenções semânticas ricas em texto contidas na Base de Conhecimento (KB) do chatbot. Modelos DLRM (Deep Learning Recommendation Models) padrão lutam para alinhar problemas de serviço latentes com descrições textuais sem um prompt explícito.
2. Desalinhamento de Objetivos (Objective Misalignment): Técnicas de alinhamento de Grandes Modelos de Linguagem (LLMs), como Supervised Fine-Tuning (SFT) ou Direct Preference Optimization (DPO), são otimizadas para preferências linguísticas humanas (fluência, utilidade percebida), mas não necessariamente para métricas de ranking downstream (como CTR - Taxa de Clique). Isso resulta em representações semânticas interpretáveis por humanos, mas subótimas para a tarefa de classificação de intenções.

2. Metodologia: RGAlign-Rec

Os autores propõem o RGAlign-Rec, um framework de alinhamento em ciclo fechado que integra um raciocinador semântico baseado em LLM com um modelo de ranking aprimorado por consulta (Query-Enhanced).

O framework opera em três estágios principais:

A. Arquitetura Base: QE-Rec (Query-Enhanced Recommendation)

• Raciocinador de Consulta do Usuário (LLM): Utiliza um modelo LLM (Qwen3-4B) para transformar recursos discretos do usuário (perfil, histórico, contexto) em uma descrição natural (verbalização de recursos). O LLM gera uma representação latente da "consulta" do usuário.
• Extração de Embedding: Em vez de usar pooling médio ou modelos externos (como BGE), o sistema utiliza Last Token Pooling (LTP), extraindo o estado oculto do último token da saída do LLM como a representação semântica da consulta latente.
• Modelo de Ranking: Uma arquitetura de três torres:
  1. Torre de Usuário: Codifica recursos heterogêneos (sequenciais e não sequenciais).
  2. Torre de Intenção: Combina embeddings de ID e semânticos das intenções.
  3. Torre de Consulta: Projeta o embedding LTP do LLM para o espaço de ranking.
  • A pontuação final combina a similaridade colaborativa (Usuário-Intenção) e a similaridade semântica (Consulta-Intenção).

B. Alinhamento Guiado por Ranking (RGA)
Para alinhar o LLM com os objetivos de ranking, o framework usa o modelo QE-Rec treinado como um Modelo de Recompensa (Reward Model) em um processo iterativo:

1. Geração de Amostras Multi-LLM: Vários LLMs (GPT-5, Gemini, CompassMax e o Qwen3 base) geram consultas candidatas para os dados do usuário.
2. Estratégia Best-of-N: O modelo QE-Rec (Stage 1) pontua essas candidatas. A melhor candidata (maior NDCG) é selecionada como "positiva" e as outras como "negativas".
3. Alinhamento em Duas Etapas:
   • RG-SFT (Ranking-Guided Supervised Fine-Tuning): O LLM é ajustado para gerar as consultas selecionadas como "melhores" pelo QE-Rec.
   • RG-CL (Ranking-Guided Contrastive Learning): Um método de aprendizado contrastivo (InfoNCE) que alinha diretamente os estados ocultos do LLM com os embeddings das consultas ótimas, garantindo consistência geométrica no espaço latente. (O artigo compara isso com RG-DPO, concluindo que o CL é mais robusto para alinhamento de representações).

C. Calibração em Ciclo Fechado (Stage 3)
O modelo de ranking (QE-Rec) é re-treinado com as consultas refinadas pelo LLM alinhado, criando um ciclo onde o ranking melhora o LLM e o LLM melhora o ranking.

3. Contribuições Principais

1. Arquitetura RGAlign-Rec: Integração de um raciocinador semântico baseado em LLM em um framework de recomendação de três torres, preenchendo a lacuna semântica em cenários Zero-Query.
2. Alinhamento Guiado por Ranking (RGA): Proposição de um paradigma de treinamento multi-estágio que usa sinais de ranking downstream (via QE-Rec como Reward Model) para refinar o raciocínio latente do LLM, resolvendo o desalinhamento de objetivos.
3. Impacto Industrial: Validação em larga escala no Shopee, demonstrando melhorias consistentes em métricas de negócios (CTR e CSAT) e técnicas (GAUC, Recall).

4. Resultados Experimentais

Os experimentos foram conduzidos em um conjunto de dados industrial do Shopee (7,53 milhões de amostras) e em testes A/B online.

• Desempenho Offline:

  • O modelo completo (RGAlign-Rec) superou a linha de base de produção, alcançando um ganho absoluto de +0,12% no GAUC (redução de erro de 3,52%).
  • Melhoria de +0,56% no Recall@3.
  • O uso de Last Token Pooling (LTP) superou consistentemente embeddings tradicionais (como BGE), provando que o estado oculto interno do LLM é superior para esta tarefa.
  • A estratégia de amostragem V2 (Non-Qwen3 Filtering), que exclui as consultas geradas pelo próprio modelo base para evitar viés de auto-ajuste, mostrou-se a mais eficaz para o alinhamento iterativo.

• Desempenho Online (Teste A/B):

  • O modelo QE-Rec (apenas com integração de LLM bruto) já trouxe um aumento de +0,98% no CTR@3.
  • A etapa adicional de Alinhamento Guiado por Ranking (RGAlign-Rec Full) contribuiu com um ganho adicional de +0,13% no CTR@3.
  • Houve uma melhoria de +1,43% na Taxa de Acerto de Intenção (IHR).
  • Nota: Houve uma leve queda marginal (-0,21%) no CSAT (Satisfação do Cliente), sugerindo que, embora a identificação da intenção seja mais precisa, a qualidade do conteúdo de resposta associado pode ser um fator limitante independente do ranking.

5. Significado e Conclusão

O RGAlign-Rec demonstra que é possível sincronizar efetivamente o raciocínio semântico de LLMs com objetivos de ranking específicos de tarefas em ambientes industriais de alta escala. Ao tratar o modelo de ranking como um guia de feedback para o LLM, o framework supera as limitações de métodos de alinhamento tradicionais (focados apenas em linguagem natural).

A principal inovação reside na criação de um ciclo de feedback fechado onde a representação semântica latente é continuamente refinada para maximizar a utilidade de recomendação, permitindo que chatbots de e-commerce antecipem necessidades do usuário com alta precisão mesmo na ausência de consultas explícitas. Isso representa um avanço significativo na aplicação de LLMs para sistemas de recomendação proativos e orientados a negócios.