Resumo Técnico: Unificando Classificação e Geração em Autocompletar de Consultas via RAG e Alinhamento Multiobjetivo

Formulação do Problema

O Autocompletar de Consultas (QAC - Query Auto-Completion) é um ponto de contato crítico em sistemas de busca, projetado para sugerir complementos conforme os usuários digitam, visando reduzir o número de teclas pressionadas e esclarecer a intenção. Os sistemas tradicionais de QAC dependem de um paradigma de duas etapas de recuperação e classificação (retrieve-and-rank): os candidatos são extraídos de logs históricos ou catálogos, seguidos por um modelo de aprendizado para classificação (learning-to-rank) que os pontua com base em relevância e popularidade.

Os autores identificam três limitações fundamentais nesta abordagem convencional:

1. Cobertura Limitada: A cobertura é limitada pelos logs históricos, falhando em fornecer sugestões de alta qualidade para prefixos novos ou de cauda longa (long-tail) com histórico de interação esparso.
2. Otimização de Objetivos Complexos: Equilibrar objetivos conflitantes (relevância, segurança, diversidade e fundamentação) requer extensa engenharia de atributos manual e mistura heurística, o que frequentemente falha em capturar interdependências complexas.
3. Falta de Otimização Holística: A geração e a classificação de candidatos desacopladas impedem a otimização ao nível da lista, resultando frequentemente em sugestões redundantes ou semanticamente similares.

Embora abordagens generativas recentes utilizando Grandes Modelos de Linguagem (LLMs) resolvam a cobertura, elas introduzem novos desafios: alucinação (sugerir itens inexistentes), falta de fundamentação (ignorar conteúdo de fato pesquisável) e riscos de segurança (gerar complementos prejudiciais).

Metodologia

O artigo propõe um framework unificado que reformula o QAC como geração de lista de ponta a ponta usando Recuperação Aumentada por Geração (RAG) e Otimização de Preferência Direta (DPO) Multiobjetivo.

1. Arquitetura e Pipeline RAG

O sistema opera em um pipeline RAG de múltiplos estágios (Figura 2):

• Geração de Candidatos: Os candidatos são obtidos de dois canais complementares: um Índice de Consultas (busca rápida em logs históricos) e um Recuperador de Conteúdo (recuperação baseada em embeddings do catálogo). Isso garante alta revocação e fundamenta as sugestões em itens reais do catálogo.
• Construção de Prompt: Informações contextuais são recuperadas para todos os candidatos, incluindo metadados do catálogo (títulos, avaliações) e características da consulta (frequência, taxas de conversão). Esse contexto é compilado em um prompt estruturado para fundamentar a geração.
• Geração de Lista: Um LLM ajustado (o Gerador) processa o prompt para sintetizar uma lista completa e ordenada de sugestões em uma única passagem (forward pass), em vez de apenas classificar candidatos pré-gerados.

2. Pipeline de Treinamento

O Gerador é treinado através de um processo de quatro estágios (Figura 3):

• Geração de Dados Sintéticos: Devendo à escassez de dados rotulados de alta qualidade, os autores empregam um processo iterativo de crítica e revisão. Um LLM "Professor" gera listas iniciais, que são analisadas por um LLM "Crítico" para identificar problemas como redundância ou baixa diversidade. O Professor então revisa a saída. Este ciclo produz um corpus sintético de alta qualidade (~50k pares), aumentado com um pequeno conjunto de dados rotulados por humanos.
• Ajuste Fino Supervisionado (SFT): O Gerador é ajustado no conjunto de dados combinado de sintéticos e humanos para aprender a estrutura da tarefa e o formato de saída.
• Suíte de Verificadores: Uma suíte de verificadores é definida para operacionalizar seis objetivos específicos:
  1. Relevância: Pontuada via um modelo ajustado usando julgamentos humanos.
  2. Segurança: Um classificador binário treinado em políticas de segurança específicas do domínio.
  3. Engajamento: Baseado em probabilidades de conversão condicional e taxas históricas.
  4. Fundamentação no Catálogo: Uma verificação baseada em regras que garante que as sugestões retornem resultados de busca não vazios.
  5. Fundamentação no Contexto: Um "LLM-como-juiz" verificando se as sugestões são deriváveis do contexto recuperado (prevenindo alucinações).
  6. Diversidade: Uma fórmula de entropia ajustada que penaliza resultados de busca quase duplicados.
  7. Formato: Uma verificação baseada em regras para estrutura de saída analisável (parseable).
• Otimização de Preferência Direta (DPO) Multiobjetivo: O modelo treinado via SFT é adicionalmente alinhado usando DPO. Pares de preferência são construídos amostrando listas de candidatos, pontuando-as com a função de recompensa composta (soma ponderada das pontuações dos verificadores) e selecionando pares com margens de recompensa significativas. O modelo é otimizado para preferir listas de maior recompensa enquanto mantém a proximidade com a política de referência.

3. Arquitetura de Atendimento Híbrida

Para equilibrar a qualidade com restrições rigorosas de latência, os autores implantam uma arquitetura de dois níveis:

• Pré-computação Offline: Um Gerador Grande pré-computa sugestões para prefixos de alta frequência, que são armazenados em cache para recuperação em microssegundos.
• Inferência em Tempo Real Online: Um Gerador Compacto lida com falhas de cache (prefixos de cauda longa ou novos) em tempo real, garantindo cobertura para consultas emergentes dentro de limites de latência aceitáveis (~100ms).

Principais Contribuições

O artigo reivindica quatro contribuições primárias:

1. Reformulação do QAC: Mudança de recuperação e classificação para geração de lista de ponta a end-to-end com otimização multiobjetivo, permitindo o equilíbrio holístico de objetivos conflitantes.
2. Suíte de Verificadores: Definição e implantação de uma suíte abrangente de verificadores baseados em regras, modelos e LLM-como-juiz adaptados ao QAC, cobrindo relevância, segurança, fundamentação, engajamento, diversidade e formato.
3. Metodologia de Dados Sintéticos: Apresentação de um pipeline combinando RAG, DPO multiobjetivo e crítica-revisão iterativa para gerar dados sintéticos de alta qualidade para treinamento.
4. Validação em Produção: Validação da abordagem em uma plataforma de busca comercial de grande escala com extensas avaliações offline, humanas e online.

Resultados

O framework foi avaliado em um conjunto de dados proprietário de 50.000 prefixos de consulta e implantado em um teste A/B ao vivo com 10% do tráfego de produção.

Métricas Offline

Comparado a uma linha de base de Aprendizado para Classificação (LTR) tradicional e baselines híbridos:

• Cobertura: O modelo completo alcançou ~93% de cobertura, significativamente superior à linha de base LTR (84,6%) e competitivo com baselines generativos.
• Segurança e Fundamentação: O ajuste via DPO reduziu significativamente as taxas de insegurança (0,65% vs. 0,79% nos baselines) e as taxas de falta de fundamentação no catálogo (0,49% vs. 0,67%), demonstrando mitigação eficaz dos riscos generativos.
• Relevância e Diversidade: O modelo alcançou pontuações de relevância de ~0,687 e pontuações de diversidade na faixa de 74–76, superando a linha de base LTR em relevância e igualando ou superando os baselines em diversidade.

Avaliação Humana

• Relevância por Item: O modelo Completo alcançou a pontuação mais alta (0,699) comparado à linha de base LTR (0,653).
• Preferência Pareada: Modelos com DPO mostraram fortes pontuações de preferência (+0,40 a +0,69) sobre a linha de base, indicando que os usuários perceberam as sugestões como mais úteis e diversas.

Teste A/B Online

Em um experimento controlado com 10% do tráfego:

• Teclas Pressionadas: Alcançou uma redução de 5,44% nos caracteres digitados pelos usuários.
• Adoção: Alcançou um aumento de 3,46% na taxa de clique (click-through rate - CTR) das sugestões.
• Todas as melhorias foram estatisticamente significativas (p < 0,05).

Significância e Alegações

Os autores posicionam este trabalho como uma mudança de paradigma para sistemas de QAC de produção. Eles afirmam que unificar classificação e geração através de RAG e alinhamento multiobjetivo fornece uma solução eficaz que supera os compromissos fundamentais dos sistemas tradicionais.

Especificamente, o artigo afirma que:

• A geração de ponta a ponta impulsionada por LLMs, quando restringida por RAG e DPO multiobjetivo, pode otimizar simultaneamente relevância, segurança, fundamentação e diversidade sem depender de extensa engenharia de atributos manual.
• O framework proposto é validado em produção, provando que modelos generativos complexos podem ser implantados sob rigorosas restrições de latência via arquiteturas de atendimento híbridas.
• A metodologia é generalizável além da busca em aplicativos móveis para outros domínios (e-commerce, mídia) onde os usuários dependem de sugestões de consulta para explorar grandes catálogos fixos.

O trabalho estabelece um framework que vai além da simples recuperação ou geração não restrita, oferecendo uma abordagem principiológica para lidar com as interdependências complexas dos sistemas modernos de autocompletar de busca.