Resumo Técnico: Eliminando Recomendações Fora do Domínio em Sistemas de Recomendação Baseados em LLM

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais aplicados em sistemas de recomendação conversacionais devido à sua capacidade superior de raciocínio e seguimento de instruções. No entanto, um modo de falha crítico nos atuais recomendadores baseados em LLM é a geração de itens Fora do Domínio (OOD - Out-of-Domain). Diferente dos sistemas tradicionais baseados em ID que operam estritamente dentro de um catálogo conhecido, os LLMs frequentemente alucinam itens que não existem no domínio alvo, levando a impactos negativos no mundo real.

As abordagens existentes para mitigar recomendações OOD geralmente se dividem em três paradigmas isolados:

1. Baseado em Recuperação (Retrieval-based): Mapeia informações de usuário/item para embeddings para recuperar itens dentro do domínio.
2. Geração com Restrição (Constrained Generation): Restringe a decodificação a um subespaço dependente do catálogo (ex: via árvores de prefixos sobre títulos de itens).
3. Tokenizadores de Itens (Item-Tokenizers): Mapeia itens para sequências de tokens discretos e gera sobre este espaço aprendido.

Esses métodos são tipicamente desenvolvidos com diferentes backbones e prompts, tornando difícil comparar sistematicamente suas forças relativas ou entender os compromissos entre recuperação, geração e tokenização em um cenário unificado.

2. Metodologia: O Framework RecLM

Os autores propõem o RecLM, um framework unificado que une recuperação e geração sob uma única arquitetura e protocolo de treinamento. A inovação central é o uso de tokens de controle especiais para demarcar segmentos de recomendação, permitindo que diferentes mecanismos de fundamentação sejam plugados no mesmo processo de decodificação.

2.1 Tokens Indicadores de Item Especiais

O RecLM equipa o backbone LLM (Llama3-8B-Instruct) com dois tokens especiais:

• <SOI> (Start-of-Item): Sinaliza que o modelo está entrando em um segmento de recomendação onde as restrições de fundamentação se aplicam.
• <EOI> (End-of-Item): Marca a terminação do segmento, após o qual o modelo retoma a geração de texto geral.

Entre <SOI> e <EOI>, o framework delega a uma de três variantes:

A. RecLM-ret (Baseado em Recuperação)

• Mecanismo: Utiliza o estado oculto em <SOI> para recuperar o item mais próximo de um índice de embeddings pré-construído (construído usando BGE-M3).
• Treinamento: Otimizado com uma perda padrão de modelagem de linguagem mais uma perda de recuperação auxiliar que alinha o estado oculto de <SOI> com o embedding do item real (ground-truth).

B. RecLM-cgen (Geração com Restrição sobre Títulos Reescritos)

• Mecanismo: Gera títulos de itens sob uma restrição de árvore de prefixos construída sobre um catálogo de títulos reescritos.
• Reescritor de Títulos (TR): Um módulo leve treinado via Otimização de Política Relativa de Grupo (GRPO) para transformar metadados verbosos de itens em títulos concisos e legíveis por humanos. O TR é otimizado usando cinco componentes de recompensa:
  • Similaridade Item-para-Item (I2I): Preserva a estrutura de vizinhança.
  • Alinhamento Usuário-para-Item (U2I): Garante que os títulos reflitam as preferências do usuário.
  • Complexidade de Decodificação (DC): Minimiza a perplexidade condicional.
  • Concisão (CR): Favorece títulos mais curtos.
  • Poder Discriminativo (DPR): Garante que os títulos sejam distinguíveis de itens similares.
• Treinamento: Emprega Treinamento de Máscara de Escopo (Scope Mask Training), onde o denominador softmax durante o cálculo da perda é restrito aos tokens válidos na árvore de prefixos, garantindo que o treinamento corresponda às restrições de inferência.

C. RecLM-token (Geração de Token de Item Discreto)

• Mecanismo: Mapeia cada item do catálogo para uma sequência curta de tokens discretos (ex: <a_11><b_2>...) usando um codificador RQ-VAE (Quantização Vetorial Residual). O LLM gera essas sequências de tokens entre <SOI> e <EOI>.
• Treinamento: Envolve ajuste fino supervisionado para alinhar o LLM com o codebook, seguido de aprendizado por reforço baseado em GRPO. A função de recompensa combina recompensas de ranking sensíveis à posição e recompensas baseadas em inclusão.

2.2 Treinamento de Diálogo de Múltiplos Turnos

Para evitar que o modelo se torne uma ferramenta de QA rígida, os autores incorporam amostras de diálogos de múltiplos turnos (combinando diálogos do ShareGPT com tarefas de recomendação) nos dados de treinamento, garantindo que o modelo possa intercalar recomendações naturalmente com conversas gerais.

3. Principais Contribuições

1. Framework Unificado: O RecLM unifica os paradigmas de recuperação, geração com restrição e tokenização de itens sob uma única arquitetidade usando a interface <SOI>/<EOI>, permitindo uma comparação justa entre distintas estratégias de fundamentação.
2. Módulos de Melhoria Leves: Introdução de um Reescritor de Títulos treinado via GRPO para comprimir metadados e uma estratégia de treinamento de Máscara de Escopo para alinhar a decodificação restrita com os objetivos de treinamento.
3. Avaliação Sistemática: Um estudo empírico abrangente em três conjuntos de dados públicos (Steam, Amazon Movies, Amazon Toys) demonstrando que todas as variantes do RecLM eliminam estritamente as recomendações OOD enquanto alcançam desempenho competitivo ou de estado da arte.

4. Resultados Experimentais

Experimentos foram conduzidos nos datasets Steam, Amazon Movies e Amazon Toys, comparando o RecLM contra 12 baselines (ID-based tradicionais, LLMs congelados, LLMs ajustados e LLMs de token de item).

• Eliminação de OOD: Todas as três variantes do RecLM alcançaram OOD@10 = 0, eliminando estritamente recomendações fora do domínio em todos os datasets. Isso contrasta fortemente com LLMs congelados (ex: GPT-4o, Llama3) que mostraram taxas de OOD variando de ~15% a mais de 90%.
• Acurácia: As variantes de geração com restrição (RecLM-cgen e RecLM-token) alcançaram performance de estado da arte, superando fortes baselines baseados em ID (como SASRec) e outros LLMs ajustados (como BIGRec, CtrlRec) em HR@10 e NDCG@10.
  • No dataset Steam, o RecLM-cgen alcançou um HR@10 de 0.0868, uma melhoria de 14,8% sobre o melhor baseline não-RecLM.
  • No dataset Toys, o RecLM-token alcançou o maior NDCG@5 (0.0643), uma melhoria de 19,1%.
• Confiabilidade de Controle: Em testes de diálogo de múltiplos turnos, o RecLM-cgen e o RecLM-token alcançaram pontuações de símbolo de controle (CSN) quase perfeitas, gerando exatamente 10 tokens <SOI> para turnos de recomendação e zero para turnos de raciocínio, sem sacrificar as capacidades de raciocínio geral (MMLU, GSM8K).
• Estudos de Ablação: Melhorias incrementais foram observadas com cada componente: a geração com restrição melhorou o ranking em relação ao ajuste fino sem restrição; a máscara de escopo aumentou ainda mais a acurácia; e o Reescritor de Títulos (especialmente com recompensas completas de RL) proporcionou os ganhos finais de performance.

5. Significância e Alegações

O artigo alega que o RecLM fornece uma base sistemática para comparar distintos paradigmas para reduzir alucinações de itens. Ao integrar recuperação, geração com restrição e tokenização em um framework unificado, os autores demonstram que:

• Confiabilidade e Qualidade não são mutuamente exclusivas: É possível impor estritamente a fidelidade do catálogo (OOD@10 = 0) enquanto se alcança simultaneamente a acurácia de recomendação de estado da arte.
• Compromissos de Paradigma: A visão unificada revela forças complementares; embora a recuperação (RecLM-ret) seja eficaz, a geração com restrição (RecLM-cgen/token) oferece superior ranking e flexibilidade conversacional.
• Utilidade Prática: O framework oferece uma ferramenta prática para projetar sistemas de recomendação baseados em LLM tanto em ambientes acadêmicos quanto industriais, fornecendo um caminho claro para mitigar o problema OOD que assola os atuais recomendadores generativos.

Os autores reconhecem limitações em relação à latência de inferência devido à natureza autorregressiva dos LLMs e a necessidade de trabalhos futuros sobre diversidade, justiça e métricas de satisfação do usuário a longo prazo. No entanto, eles posicionam o RecLM como um passo fundamental em direção a recomendadores de LLM confiáveis e livres de alucinações.