Unified Learning-to-Rank for Multi-Channel Retrieval in Large-Scale E-Commerce Search

Each language version is independently generated for its own context, not a direct translation.

Imagine que você é o gerente de um mega-mercado gigante (como o Target, mencionado no artigo) e tem milhões de produtos nas prateleiras. Quando um cliente entra na loja e pede "tênis de corrida", você não pode simplesmente pegar todos os tênis do mundo e mostrar um por um; seria impossível e demorado demais.

Para resolver isso, o mercado usa vários "caçadores de produtos" especializados (os canais de recuperação):

O Caçador de Popularidade: Pega os tênis que todo mundo já comprou.
O Caçador de Novidades: Pega os tênis que acabaram de chegar.
O Caçador de Tendências: Pega os tênis que estão "da moda" agora.
O Caçador de Sazonalidade: Pega tênis de inverno se estiver frio.

O Problema: A Confusão na Entrada

Antes dessa nova ideia, esses caçadores trabalhavam sozinhos. Eles traziam suas listas de tênis para a mesa do gerente (o sistema de busca) e o gerente tinha que decidir como misturar tudo.

O método antigo era como se o gerente tivesse uma fórmula fixa: "Sempre coloque 50% dos produtos do Caçador de Popularidade e 50% do Caçador de Novidades".

O erro: Se o cliente está procurando um presente de última hora, ele não quer o que é popular há anos, ele quer o que é novo! A fórmula fixa não entendia a intenção específica daquele momento. Era como tentar usar a mesma receita de bolo para o café da manhã e para o jantar.

A Solução: O "Mestre de Cerimônias" Inteligente

Os autores deste artigo criaram um novo sistema, uma espécie de Mestre de Cerimônias (o modelo de Aprendizado de Classificação Unificado).

Em vez de usar uma fórmula fixa, esse Mestre é um detetive super-rápido que olha para cada cliente individualmente e decide, em milésimos de segundo, quais produtos mostrar.

Como ele funciona?

Ele ouve todos os caçadores: Recebe as listas de todos os especialistas (popularidade, novidade, etc.).
Ele lê a mente do cliente: Olha o que o cliente clicou, o que colocou no carrinho e o que comprou recentemente. Se o cliente está comprando um presente de Natal, o Mestre entende que o "Caçador de Sazonalidade" é mais importante agora. Se o cliente está apenas explorando, o "Caçador de Novidades" ganha destaque.
Ele mistura tudo de forma perfeita: Ele não joga as listas juntas aleatoriamente. Ele cria uma única lista final onde o produto mais relevante para aquele cliente está no topo.

A Magia dos "Sinais de Comportamento"

O segredo desse Mestre é que ele não é estático. Ele aprende com o comportamento recente.

Analogia: Imagine que você está em uma festa. Se você está conversando com alguém sobre música, você presta mais atenção a quem está tocando música. Se de repente alguém começa a falar de comida, você muda sua atenção.
O sistema faz o mesmo: se o usuário começou a clicar em "tênis de corrida", o sistema entende que a intenção mudou e ajusta a lista na hora, priorizando produtos que levam a uma compra (o objetivo final do mercado).

O Resultado: Mais Vendas e Rapidez

O artigo conta que eles testaram isso no site do Target e os resultados foram incríveis:

Mais Vendas: A taxa de conversão (pessoas que compraram) aumentou em 2,85%. Em um mercado gigante, isso significa milhões de dólares a mais.
Velocidade: Tudo isso acontece em menos de 50 milissegundos. É mais rápido do que você piscar um olho. O sistema é tão eficiente que não atrasa a experiência do cliente.

Resumo em uma Frase

Em vez de usar uma regra rígida para misturar produtos de diferentes fontes, o novo sistema usa uma inteligência adaptativa que entende o que o cliente quer agora, misturando os melhores produtos de todos os especialistas para criar a lista perfeita, resultando em mais vendas e uma experiência mais rápida.

Each language version is independently generated for its own context, not a direct translation.

Aqui está um resumo técnico detalhado do artigo "Unified Learning-to-Rank for Multi-Channel Retrieval in Large-Scale E-Commerce Search", traduzido e estruturado em português:

1. Problema e Contexto

Em sistemas de busca de e-commerce em larga escala (como o Target.com), o catálogo contém milhões de produtos com diversas categorias, faixas de preço e estágios de vida. Para equilibrar a satisfação do usuário e objetivos de negócios (como promover itens mais vendidos, novos, em tendência ou sazonais), os sistemas modernos utilizam múltiplos canais de recuperação especializados. Cada canal é otimizado para um objetivo distinto (ex.: relevância léxica, similaridade semântica, novidade, tendências regionais).

O desafio central reside na fusão (merging) desses documentos provenientes de canais heterogêneos em uma única lista ranqueada, sob restrições estritas de latência e otimizando KPIs de negócios (como conversão).

Limitações das abordagens atuais: Métodos de fusão baseados em ranqueamento, como Reciprocal Rank Fusion (RRF) e Weighted Interleaving, utilizam pesos globais fixos para os canais. Eles tratam os canais de forma independente, falhando em capturar a utilidade específica de cada canal para uma consulta (query-dependent utility) e as interações entre canais.
Desafios de modelagem: A utilidade de um canal varia drasticamente dependendo da consulta e do contexto temporal. Além disso, a latência deve ser mantida baixa (geralmente < 50ms) para não impactar a experiência do usuário.

2. Metodologia

Os autores propõem reformular a fusão multi-canal como um problema de Aprendizado para Ranqueamento (Learning-to-Rank - LTR) dependente da consulta sobre fontes candidatas heterogêneas.

2.1 Arquitetura do Sistema

O sistema opera em um pipeline de múltiplos estágios:

Recuperação: Vários canais independentes recuperam listas ranqueadas de itens.
Truncamento: Apenas os top- $n$ itens de cada canal são passados para o próximo estágio.
Re-rankeamento Unificado: Um único modelo de LTR funde e ranqueia todos os candidatos combinados.

2.2 Representação de Dados e Sinalização Temporal

Granularidade: As instâncias de treinamento são definidas no nível Consulta-Item-Semana. Isso permite que o modelo capture dinâmicas temporais, como mudanças de intenção do usuário e tendências sazonais.
Janelas de Lookback: São utilizadas janelas temporais múltiplas para calcular características comportamentais, equilibrando popularidade de longo prazo com sinais de curto prazo (velocidade de tendências).

2.3 Construção de Rótulos (Labels)

Para otimizar múltiplos objetivos de negócios simultaneamente, os autores propõem uma estratégia de agregação ponderada baseada na hierarquia de conversão:

Hierarquia: Impressão $\to$ Clique $\to$ Adicionar ao Carrinho $\to$ Compra.
Fórmula: O rótulo escalar $L(q, i, w)$ é calculado como uma soma ponderada: $a \cdot P + b \cdot A + c \cdot C + d \cdot V$ .
Calibração: Os pesos ( $a, b, c, d$ ) são calibrados com base nas estatísticas de conversão do corpus, dando maior peso a ações mais raras e valiosas (ex: $a=1$ para compras, $d=0$ para visualizações).
Normalização: Os rótulos são normalizados por consulta para garantir comparabilidade.

2.4 Características (Features)

O modelo utiliza três categorias principais de características:

Características do Item: Atributos intrínsecos e agregados comportamentais de longo prazo.
Características Consulta-Item Sensíveis ao Canal: Incluem as pontuações de recuperação de todos os canais. Isso permite que o modelo aprenda a utilidade de cada canal para uma consulta específica e as interações entre eles.
Características de Engajamento: Incluem cliques, adições ao carrinho e compras recentes, agregadas com decaimento temporal para capturar a intenção de curto prazo.

2.5 Modelo e Treinamento

Algoritmo: Utiliza Gradient Boosted Decision Trees (GBDT) (implementado na biblioteca Yggdrasil), escolhido por seu desempenho robusto em conjuntos de dados estruturados e heterogêneos, além de eficiência computacional em produção.
Função de Objetivo: Otimização via LambdaMART, que maximiza diretamente a qualidade do ranqueamento (NDCG) através de atualizações de gradiente par a par.
Regularização: Uso de penalidades L2, shrinkage e divisões oblíquas esparsas para evitar overfitting e lidar com espaços de características de alta dimensão.

3. Contribuições Principais

Framework Unificado: Apresentação de um modelo de ranqueamento único que funde candidatos heterogêneos de múltiplos canais, substituindo estratégias de fusão heurísticas estáticas.
Estratégia de Dados e Rótulos: Proposta de uma representação temporal (semanal) e uma estratégia de rotulagem ponderada que otimiza conjuntamente cliques, adições ao carrinho e compras, incorporando objetivos específicos de cada canal.
Sinais Comportamentais: Demonstração da importância crítica de sinais de comportamento recente do usuário para capturar mudanças de intenção e melhorar a conversão.
Validação em Produção: Implementação e teste em larga escala no Target.com, atendendo a requisitos rigorosos de latência.

4. Resultados

Os experimentos foram conduzidos através de testes A/B online no Target.com, comparando o modelo proposto contra a linha de base Weighted Interleaving (WI).

Métricas Offline: O modelo unificado (UR) melhorou o NDCG@8 de 0.6620 (WI) para 0.7169. A adição de características de engajamento (UR + EF) elevou para 0.7799, e o uso de rótulos ponderados por conversão (UR + EF + CL) atingiu 0.7994.
Métricas Online (Levantamento de Lift):
- Conversão (Purchase): Aumento de +2.85% (estatisticamente significativo).
- Adição ao Carrinho (Add-to-Cart): Aumento de +2.81%.
- CTR (Click-Through Rate): Aumento de +1.46%.
Latência: O modelo atendeu aos requisitos de produção, com uma latência p95 inferior a 50 ms.

5. Significado e Conclusão

O trabalho demonstra que a fusão de recuperação multi-canal não precisa depender de pesos fixos ou heurísticas simples. Ao reformular o problema como um LTR unificado e dependente da consulta, é possível:

Capturar dinamicamente qual canal é mais útil para uma determinada consulta.
Otimizar diretamente para KPIs de negócios complexos (conversão) em vez de apenas relevância estática.
Manter a eficiência computacional necessária para ambientes de alto tráfego.

Os resultados provam que a integração de sinais comportamentais recentes e a modelagem explícita da utilidade do canal levam a ganhos mensuráveis e significativos na conversão de usuários, estabelecendo um novo padrão para sistemas de busca em e-commerce de grande escala. Trabalhos futuros focarão em melhorar o tratamento de consultas de cauda longa (tail queries) e na avaliação de viés e justiça entre os canais.