A Unified Structured Query Understanding Framework for Industrial Semantic Search

Declaração do Problema

Sistemas de busca semântica industrial, particularmente em verticais de grande escala como a Busca de Empregos do LinkedIn, tradicionalmente dependem de pipelines fragmentados e em cascata de componentes diversos (por exemplo, etiquetadores de entidades separados, reescritores de consultas e classificadores de intenção). Embora individualmente otimizáveis, essa arquitetura incorre em alta sobrecarga de manutenção, leva a comportamentos inconsistentes entre tipos de consulta e amplifica erros em cenários de cauda longa.

O problema é exacerbado pela natureza das consultas semânticas modernas, que são frequentemente verbosas, de alta entropia e multi-constraint (por exemplo, "easy apply remote data entry clerk" ou "salary > $X or remote in US"). Em sistemas legados, componentes isolados lutam para resolver dependências complexas, frequentemente extraindo em excesso entidades ou perdendo intenções latentes. Além disso, a modelagem unificada enfrenta gargalos significativos em escassez de dados e avaliação; rótulos de compreensão de consulta são caros de produzir devido a requisitos estritos de política de produto (por exemplo, evitar filtros alucinados), e muitos modos de falha são sutis e difíceis de capturar com métricas automáticas padrão.

Metodologia

Os autores propõem um Framework Unificado de Compreensão de Consultas Estruturadas que consolida funções heterogêneas em um único Modelo de Linguagem Pequeno (SLM) realizando geração com restrição de esquema. O sistema opera em dois ambientes assíncronos:

1. Motor de Inferência Online (O Aluno):

   • Um SLM monolítico (especificamente um modelo de 1,5 bilhão de parâmetros) otimizado para geração com restrição de esquema em passagem única.
   • Entrada: Consulta do usuário ($q$) e vetor de contexto ($c$) compreendendo perfil do membro, localização e histórico de sessão.
   • Saída: Um artefato estruturado $y = \{r, t, w, s, \dots\}$ gerado em uma única passagem direta:
     • $r$: Roteador (decisão discreta que comanda executores a jusante como etiquetagem, reescrita ou bloqueio de confiança).
     • $t$: Etiquetas (restrições estruturadas como título, empresa, localização, "Easy Apply").
     • $w$: Reescrita (refinamento opcional em linguagem natural, por exemplo, resolver "perto da minha localização" para uma cidade específica).
     • $s$: Decisões de Segurança/Confiança.
   • Atendimento: O sistema usa decodificação guiada por gramática (xgrammar) para impor esquemas JSON/TypeScript, prevenindo saídas malformadas. Emprega agrupamento (batching) no lado do cliente e cache de prefixo para atender a restrições estritas de baixa latência (latência mediana < 300ms) em recursos limitados de GPU.

2. Iluminador de Consultas (O Professor e Juiz):

   • Um framework offline de alta capacidade (usando um modelo de 8 bilhões de parâmetros) que aborda os gargalos de dados e avaliação.
   • Papel de Professor: Gera alvos de alta fidelidade e conformes ao esquema para Ajuste Fino Supervisionado (SFT) e Distorção de Conhecimento (KD). O processo de distorção transfere capacidades de raciocínio do professor de 8B para o aluno de 1,5B, fechando a lacuna de raciocínio enquanto mantém uma pequena pegada de atendimento.
   • Papel de Juiz: Atua como um avaliador substituto para testes offline. Usa modelos de prompt fundamentados em política para pontuar saídas candidatas contra referências com base em rubricas (por exemplo, precisão de extração, higiene de consulta) e emite uma taxonomia de erros estruturada. Isso permite avaliação escalável onde rótulos humanos são escassos.

Estratégia de Treinamento:
O framework utiliza um paradigma de ajuste de instrução multi-tarefa. O modelo é treinado via SFT em saídas com restrição de esquema, seguido por distorção a partir do professor. A abordagem multi-tarefa (otimizando conjuntamente roteamento, etiquetagem e reescrita) atua como um regularizador, prevenindo overfitting a padrões lexicais dominantes e melhorando a generalização em consultas de cauda longa.

Principais Contribuições

1. Compreensão Unificada de Consultas Estruturadas: Substitui pipelines multi-estágio fragmentados por um único SLM que realiza geração com restrição de esquema, reduzindo propagação de erros e custos de manutenção.
2. Supervisão e Avaliação Fundamentadas em Política: Introduz o Iluminador de Consultas, um framework de dupla finalidade servindo tanto como professor para auto-anotação/distorção quanto como juiz substituto para avaliação offline escalável e alinhada à política.
3. Atendimento Escalável para Geração Estruturada: Descreve uma pilha de atendimento de produção com decodificação guiada, validação de esquema e agrupamento no lado do cliente, validada sob cargas QPS realistas.
4. Extensibilidade Cross-Domain: Demonstra a portabilidade do framework aplicando a mesma arquitetura à Busca Semântica de Pessoas (SPS) com adaptação mínima, provando sua natureza agnóstica de domínio.

Resultados Experimentais

O framework foi validado através de extensos testes offline e online dentro do sistema de Busca de Empregos do LinkedIn (>10M documentos, >10K QPS) e um estudo de caso de Busca de Pessoas.

• Qualidade Offline:

  • Desempenho Multilíngue: O modelo aluno de 1,5B distorcionado alcançou alta precisão e recall em inglês, alemão, espanhol e francês, recuperando grande parte da qualidade do professor maior.
  • Multi-tarefa vs. Tarefa Única: A otimização conjunta melhorou o F1 de extração de Localização de 0,885 para 0,924 comparado ao ajuste fino de ferramenta única, demonstrando transferência positiva.
  • Validação do Juiz Substituto: O Iluminador de Consultas alcançou um $\kappa$ de Cohen de 0,77 contra especialistas humanos (teto 0,83) com 99,96% de estabilidade de parse JSON, validando seu uso como sinal de desenvolvimento confiável.

• Testes A/B Online (Busca de Empregos):

  • Confiabilidade: Reduziu falhas de requisição em 17,13%, impulsionado principalmente por melhorias na confiabilidade de roteamento e etiquetagem.
  • Engajamento: Mostrou melhorias estatisticamente significativas em métricas-chave, incluindo proporção de Aplicação-para-viewport (+0,14%), Sessões de busca (+0,74%) e ações bem-sucedidas de aplicar ou salvar (+0,49%).
  • Latência: O sistema manteve orçamentos estritos de latência (mediana < 300ms para etiquetagem, ~110ms para sugestão de faceta) mesmo sob cargas de trabalho intermitentes.

• Cross-Domain (Busca de Pessoas):

  • Aplicado à Busca Semântica de Pessoas, o sistema roteou 70,1% do tráfego para o caminho semântico.
  • Relevância graduada offline (GR@10) mostrou aumentos massivos: +57% para consultas navegacionais e +75% para consultas exploratórias quando o sistema de recuperação consumiu as consultas estruturadas.

• Impacto a Jusante:

  • Injetar etiquetas estruturadas em um sistema de Recuperação Baseada em Embeddings (EBR) existente (sem re-treinar o recuperador) melhorou as métricas de recuperação top-50 em +1,8% de precisão e +2,2% de recall.

Significado e Alegações

O artigo alega que consolidar roteamento, etiquetagem, reescrita e tratamento de confiança em um único SLM com restrição de esquema é uma alternativa viável e superior a pipelines fragmentados para busca semântica industrial. O significado reside em:

• Eficiência Operacional: Reduzir drasticamente a sobrecarga de manutenção e propagação de erros enquanto satisfaz restrições estritas de baixa latência em hardware limitado.
• Escalabilidade: Resolver o gargalo de dados através do Iluminador de Consultas, que permite iteração rápida via supervisão sintética e avaliação fundamentada em política sem depender exclusivamente de rotulagem humana cara.
• Generalização: Provar que uma arquitetura unificada pode ser portada com sucesso entre diferentes verticais (Busca de Empregos para Busca de Pessoas) e idiomas, desde que o esquema de saída seja redefinido.

Os autores concluem que essa abordagem transforma a compreensão de consultas em um sistema mais escalável, extensível e completo para produção, equilibrando efetivamente o poder expressivo de modelos generativos com os requisitos de confiabilidade da busca industrial.