OneSearch-V2: The Latent Reasoning Enhanced Self-distillation Generative Search Framework

1. Problema e Contexto

O OneSearch é um framework de busca generativa (Generative Retrieval - GR) em escala industrial, utilizado na plataforma de comércio eletrônico do Kuaishou. Embora o modelo original (V1) tenha oferecido vantagens como otimização conjunta end-to-end e eficiência computacional, ele enfrentou três limitações críticas que impediam seu aprimoramento:

1. Compreensão Insuficiente de Consultas Complexas: Consultas de busca frequentemente contêm ambiguidades, negações (ex: "sem suplementos") ou são de cauda longa (long-tail), onde há uma grande disparidade lexical entre a consulta e o item alvo. O modelo V1, que processa a consulta bruta em uma única passagem, falha em realizar um raciocínio profundo para entender a intenção real do usuário.
2. Raciocínio de Intenção Personalizada Ineficiente: O modelo dependia excessivamente de padrões históricos de co-ocorrência e ajuste de logs (log-fitting), falhando em inferir intenções latentes baseadas no contexto do usuário (ex: evitar itens alérgicos mesmo que historicamente populares). O uso de Chain-of-Thought (CoT) explícito melhoraria isso, mas tornaria a inferência proibitivamente lenta para implantação online.
3. Sistema de Recompensa Frágil e Viesado: O sistema de recompensa baseado em um modelo separado (Reward Model) treinado em logs históricos sofria de viés de amostragem, reward hacking (otimização excessiva para métricas estreitas) e dificuldade em adaptar-se a novas consultas ou intenções emergentes, reforçando bolhas de informação e a escassez de itens de cauda longa.

2. Metodologia: OneSearch-V2

Para superar essas limitações, os autores propõem o OneSearch-V2, um framework que integra raciocínio latente e auto-distilação. A arquitetura baseia-se em três inovações principais:

A. Módulo de Compreensão de Consultas Aumentado por Pensamento (Thought-Augmented Query Understanding)

• Abordagem: Em vez de gerar um CoT textual completo e longo durante a inferência (o que causaria latência), o sistema utiliza um LLM para gerar CoTs baseados em palavras-chave (Keyword-based CoT) de forma assíncrona.
• Processo: O LLM analisa a consulta e o perfil do usuário para extrair um conjunto compacto de palavras-chave que representam a intenção, categoria e atributos.
• Uso: Essas palavras-chave servem como um corpus de alinhamento semântico durante o treinamento (SFT) e como sinais suplementares de entrada (RAG) na inferência, melhorando a compreensão de consultas ambíguas sem aumentar o custo de inferência final.

B. Pipeline de Auto-Distilação com Raciocínio Internalizado (Reasoning-Internalized Self-Distillation)

• Objetivo: Transferir a capacidade de raciocínio explícito (gerada pelo LLM com palavras-chave) para os pesos do modelo gerador, permitindo que ele "pense" internamente sem gerar tokens de raciocínio visíveis.
• Mecanismo:
  • Assimetria de Informação: O mesmo modelo atua como professor (recebe a consulta + palavras-chave) e aluno (recebe apenas a consulta).
  • Objetivo de Distilação: O aluno é treinado para imitar a distribuição de saída do professor usando apenas a entrada bruta, codificando o raciocínio nos pesos do modelo.
  • Estabilização: Para mitigar a instabilidade causada pela assimetria de informação, o método emprega:
    • R-Drop: Para garantir consistência nas previsões sob perturbações estocásticas (dropout).
    • FGM (Fast Gradient Method): Para robustez adversarial na entrada.
    • Focal Loss: Para lidar com o desequilíbrio de classes de longo alcance no vocabulário de SIDs (Semantic IDs).
• Resultado: O modelo adquire uma "intuição" de raciocínio, eliminando a necessidade de tokens adicionais ou modificações arquiteturais durante a inferência.

C. Sistema de Otimização de Alinhamento de Preferência com Feedback Comportamental

• Substituição do Reward Model: Elimina o modelo de recompensa separado, substituindo-o por um sistema de otimização direta baseado em feedback de interação do usuário.
• Recompensa Composta: Combina relevância consulta-item, sinais de conversão (cliques, compras) e métricas de negócio em uma única função de recompensa.
• TPMA-GRPO (Token-Position Marginal Advantage):
  • Reconhece que a geração de SIDs tem uma estrutura hierárquica causal (categorias gerais $\to$ atributos específicos).
  • Introduz um mecanismo de "Porta de Prefixo" (Prefix Gate) que só permite o fluxo de gradiente para tokens subsequentes se o prefixo anterior estiver correto.
  • Isso evita que o modelo aprenda a corrigir atributos detalhados se a categoria principal estiver errada, melhorando a atribuição de crédito (credit assignment).

3. Contribuições Chave

1. CoT Baseado em Palavras-Chave: Uma abordagem eficiente para extrair intenção complexa sem o custo de inferência de CoT textual completo.
2. Internalização de Raciocínio via Auto-Distilação: Um método que permite que modelos pequenos aprendam raciocínio complexo de um professor rico em informações, mantendo a latência de inferência baixa e sem parâmetros extras.
3. Alinhamento Direto de Preferência: Um sistema de RL (Reinforcement Learning) que usa feedback comportamental real e uma vantagem marginal por posição (TPMA) para superar os vieses de modelos de recompensa estáticos e melhorar a relevância hierárquica.

4. Resultados

Os autores realizaram extensas avaliações offline e testes A/B online na plataforma de comércio do Kuaishou.

• Desempenho Online (Testes A/B):
  • CTR de Item: +3,98%
  • Taxa de Conversão de Comprador: +3,05%
  • Volume de Pedidos: +2,11%
  • GMV (Valor Bruto de Mercadorias): +3,45%
  • Qualidade da Experiência (Avaliação Manual): +1,65% na taxa de boa página (Page Good Rate) e +1,37% na relevância consulta-item.
• Desempenho Offline:
  • O modelo V2 superou consistentemente o V1 em métricas de HitRate (HR@10) e Mean Reciprocal Ranking (MRR@10), especialmente em consultas de cauda longa e ambíguas.
• Eficiência: O framework não incorre em custos adicionais de inferência ou latência de serviço, pois o raciocínio é internalizado nos pesos do modelo.
• Impacto em Casos Específicos: Melhorias significativas foram observadas em itens "frios" (novos lançamentos), usuários de baixa atividade e consultas de cauda longa, mitigando bolhas de informação e viés de popularidade.

5. Significado e Impacto

O OneSearch-V2 representa um avanço significativo na aplicação de Grandes Modelos de Linguagem (LLMs) em sistemas de busca e recomendação industriais.

• Viabilidade de Implantação: Demonstra que é possível integrar capacidades de raciocínio complexo (geralmente custosas) em sistemas de baixa latência através de técnicas de distilação e internalização.
• Superação de Limitações Históricas: Ao focar no alinhamento direto com o comportamento do usuário e no raciocínio latente, o sistema supera as limitações de ajuste excessivo a logs históricos (overfitting) e melhora a descoberta de itens de nicho.
• Escalabilidade: A abordagem é escalável e adaptável a diferentes objetivos de negócio, permitindo atualizações em tempo real sem a necessidade de re-treinar modelos de recompensa complexos.

Em resumo, o trabalho estabelece um novo paradigma para sistemas de busca generativa, onde a compreensão profunda e o raciocínio são internalizados para oferecer resultados mais precisos, personalizados e comercialmente eficazes, sem sacrificar a velocidade de resposta.