Resumo Técnico: Fortress – Um Estudo de Caso na Estabilização de Recomendações de Busca

Declaração do Problema

Em sistemas de busca e recomendação, modelos preditivos frequentemente sofrem com instabilidade temporal. Isso ocorre quando características de entrada específicas fazem com que as pontuações de saída para o mesmo par consulta-entidade flutuem significativamente em diferentes períodos de tempo. Tal volatilidade degrada a confiabilidade do modelo e a experiência do usuário, particularmente em sistemas multiestágio, onde previsões consistentes são essenciais para a tomada de decisões a jusante.

Embora avanços recentes em Modelos de Linguagem de Grande Escala (LLMs) e características semânticas baseadas em BERT tenham melhorado a relevância contextual e a generalização, eles frequentemente carecem de cobertura total de consultas ou entidades. Por outro lado, características baseadas em engajamento (derivadas de comportamentos orgânicos dos usuários, como cliques e buscas) oferecem forte poder preditivo, mas são propensas a introduzir inconsistências temporais. O desafio central abordado por este trabalho é o trade-off entre a alta precisão preditiva dos sinais de engajamento e a volatilidade de pontuação que eles introduzem.

Metodologia: O Framework Fortress

Os autores propõem o Fortress, um framework geral projetado para aprimorar a estabilidade e a precisão do modelo, identificando e podando características que contribuem para pontuações de previsão inconsistentes ao longo do tempo. O framework opera com base na percepção de que, embora certas características possam ser preditivas em instantâneos isolados, elas podem introduzir volatilidade quando avaliadas ao longo do tempo.

Fortress segue um processo de quatro etapas:

1. Coleta de Dados: O sistema coleta instantâneos históricos, que são conjuntos de dados particionados temporalmente capturando flutuações de pontuação para a mesma entidade em diferentes períodos.
2. Identificação de Amostras Instáveis: O método identifica amostras que exibem alta variância de pontuação entre esses instantâneos. Especificamente, ele visa o percentil 75 das amostras com o maior Coeficiente de Variação (CV).
3. Isolamento e Poda de Características: Para as amostras de alta variância identificadas, o CV é calculado para cada característica individual. Características com os maiores CVs são sinalizadas como candidatas à remoção. O framework emprega uma abordagem de busca gulosa: remove iterativamente características candidatas e retreina o modelo. Crucialmente, a remoção de características só prossegue se resultar em uma melhoria estatisticamente significativa no PR-AUC no conjunto de validação em comparação com a linha de base.
4. Retreinamento do Modelo: O modelo final é retreinado usando o conjunto de características reduzido (excluindo as características que induzem instabilidade) e todos os instantâneos históricos disponíveis.

Esta abordagem se enquadra na classe de métodos de seleção de características do tipo "wrapper", onde subconjuntos de características são escolhidos com base no desempenho de validação.

Configuração Experimental

O framework foi validado em um modelo de relevância de consulta para aplicativo em grande escala dentro de um marketplace comercial de aplicativos. A tarefa envolvia classificar pares consulta-aplicativo como relevantes (BOA/EXCELENTE) ou irrelevantes (RUIM).

• Dados: O conjunto de dados consistiu em instantâneos diários, divididos em 70% para treinamento, 15% para validação e 15% para teste. Aproximadamente 40% dos pares foram classificados como RUIM.
• Características: O modelo utilizou duas categorias principais:
  • Representação Semântica (RS): Características baseadas em LLM (usando um Modelo de Fundação proprietário) e características baseadas em DistilBERT (arquitetura de duas torres com perda de triplet). Estas fornecem relevância baseada em conteúdo independente de engajamento.
  • Características de Engajamento: Interações históricas de usuários não personalizadas e altamente agregadas (cliques, buscas). Estas foram atualizadas várias vezes ao dia e constituíram a principal fonte de instabilidade de pontuação.
• Modelo: Um classificador XGBoost foi utilizado por sua velocidade e robustez ao ruído.
• Métricas:
  • PR-AUC: Para avaliar o desempenho de classificação.
  • Coeficiente de Variação (CV): Definido como o desvio padrão dividido pela média das pontuações de previsão entre instantâneos, usado para medir a estabilidade da pontuação.

Resultados Principais

Os experimentos demonstraram que, embora a adição de características de engajamento melhore o desempenho de classificação, ela simultaneamente aumenta a volatilidade da pontuação. O Fortress mitigou com sucesso este trade-off:

• Melhoria na Estabilidade: Em comparação com a linha de base usando todas as características, o Fortress reduziu o Coeficiente de Variação (CV) em 3,44% (de 0,5462 para 0,5274).
• Melhoria na Precisão: O framework alcançou um aumento de 0,24% no PR-AUC (de 0,9572 para 0,9595), superando tanto a linha de base "Todas as características" quanto a abordagem "Multi-instantâneo com todas as características".
• Impacto no Nível do Sistema: Como efeito a jusante da melhoria na estabilidade, o Fortress reduziu a taxa de "flip-flop" (pares que aparecem na etapa final de recomendação em um instantâneo, mas estão ausentes em outro) em 25,8% globalmente. As reduções regionais variaram de 14,7% a 49,6%.
• Análise de Características: O estudo confirmou que algumas características benéficas em um único instantâneo degradam o desempenho quando avaliadas ao longo do tempo, reforçando a necessidade de análise temporal multi-instantâneo para seleção de características robusta.

Significado e Alegações

O artigo posiciona o Fortress como um método principiado para incorporar sinais de engajamento enquanto gerencia sua volatilidade inerente. Os autores afirmam que:

1. Aplicabilidade Geral: Embora demonstrado em uma tarefa de relevância de consulta para aplicativo, a técnica é amplamente aplicável a qualquer cenário onde um modelo de pontuação avalia a mesma entidade ao longo do tempo, como recomendações de usuário-item.
2. Confiabilidade do Sistema: Em pipelines de recuperação e classificação multiestágio, a volatilidade nas pontuações de produção pode se propagar e causar mudanças significativas e indesejadas na dinâmica do sistema. O Fortress aborda isso mantendo a estabilidade da pontuação, o que é crítico para garantir confiabilidade e desempenho.
3. Otimização Equilibrada: O framework resolve com sucesso a tensão entre a generalização das características semânticas e o poder preditivo das características de engajamento, levando a modelos que são tanto mais estáveis quanto mais precisos.

O trabalho conclui que entregar uma experiência de usuário de alta qualidade exige que os sistemas de recomendação produzam resultados que não sejam apenas relevantes, mas também consistentes e previsíveis ao longo do tempo.