T-REX: Transformer-Based Category Sequence Generation for Grocery Basket Recommendation

O artigo propõe o T-REX, uma arquitetura baseada em transformadores que gera recomendações de categorias personalizadas para o comércio eletrônico de supermercados, superando limitações de modelos anteriores ao combinar dependências de curto prazo, preferências de longo prazo e um esquema de mascaramento causal para prever com precisão os próximos itens em cestas de compras.

O essencial

Imagine que você vai ao supermercado. Às vezes, você sabe exatamente o que quer: "Preciso de leite, pão e café". Mas, muitas vezes, você entra na loja com uma ideia vaga e deixa que o que você vê te guie. O grande desafio para as lojas online (como a Amazon) é: como a gente sabe o que colocar na sua lista de compras antes mesmo de você escrever?

Este paper apresenta uma solução chamada T-REX. Vamos descomplicar como ele funciona usando analogias do dia a dia.

1. O Problema: A Diferença entre Comprar um Sofá e Comprar Leite

Comprar um sofá é algo que você faz uma vez na vida. Você pesquisa, compara e compra. É uma "exploração".
Comprar comida é diferente. É um hábito repetitivo. Você compra leite toda semana, ovos a cada 10 dias e talvez um vinho no fim de mês.

Os sistemas antigos de recomendação eram como um vendedor que só lembrava do que você comprou mais vezes no passado (ex: "Você comprou leite 50 vezes, então vou te sugerir leite"). Isso funciona, mas é chato e não ajuda a montar a lista completa de uma vez só. O T-REX quer ser um assistente pessoal que entende o seu ritmo de vida, não apenas uma calculadora de frequência.

2. A Solução: O T-REX (O "Dinossauro" que Aprende Padrões)

O T-REX é uma inteligência artificial baseada em Transformers (a mesma tecnologia que faz o ChatGPT funcionar). Mas, em vez de escrever poemas, ele escreve listas de compras.

Aqui estão os três "superpoderes" que o tornam especial:

A. O Cortador de Sequência Dinâmico (O "Pivô")

Imagine que você tem um diário de compras de 5 anos. O T-REX não lê tudo de uma vez de forma rígida. Ele escolhe um momento aleatório no tempo (o "pivô") e diz:

• "Ok, tudo o que foi comprado antes deste momento é o que o cliente já sabe (o contexto)."
• "Tudo o que foi comprado depois é o que o cliente precisa aprender a prever (o alvo)."

Ele faz isso milhares de vezes, cortando a história em pedaços diferentes. É como se ele estivesse praticando: "Se eu soubesse o que você comprou até terça-feira, conseguiria adivinhar o que você comprou na quarta?". Isso o torna muito esperto para prever o futuro, mesmo com dados esparsos.

B. O Relógio Adaptável (Codificação Posicional)

Na internet, as compras acontecem em momentos estranhos. Você pode comprar leite hoje e só comprar pão daqui a 3 semanas.
A maioria das IAs usa um relógio rígido (1º item, 2º item, 3º item). O T-REX usa um relógio flexível. Ele entende que a distância entre as compras importa. Ele aprende que "comprar leite" e "comprar cereal" podem estar separados por 2 dias ou por 2 semanas, e ajusta sua "atenção" de acordo com o tempo real, não apenas a ordem da lista.

C. O Mapa de Categorias (O "Organizador")

Em vez de tentar lembrar de 29.000 produtos diferentes (que é uma loucura para qualquer cérebro ou computador), o T-REX pensa em categorias.
Em vez de pensar "Preciso do Leite Integral Marca X", ele pensa "Preciso de Laticínios".

• Por que isso é legal? É mais fácil para o computador. É mais fácil para você (ninguém faz lista pensando em códigos de barras, mas todo mundo pensa em "hortifruti" ou "limpeza").
• O resultado: O sistema é mais rápido e menos propenso a erros.

3. Por que não usar o "BERT" (o irmão mais velho)?

O paper explica que modelos famosos como o BERT (usado para entender texto) tentam "adivinhar" palavras escondidas em uma frase olhando para o futuro e o passado ao mesmo tempo.

• O problema: Na hora de recomendar o próximo item da lista, você não pode "olhar para o futuro". Se o modelo olhar para o que você vai comprar amanhã para te ajudar hoje, ele está "trapaceando" (vazamento de informação).
• A solução do T-REX: Ele usa uma máscara causal. É como se ele fosse um leitor que só pode olhar para o que já foi escrito, mas nunca para o que ainda será escrito. Isso força a IA a aprender a lógica real da sequência de compras, tornando a previsão muito mais precisa.

4. Os Resultados: Funciona na Vida Real?

Sim! A Amazon testou o T-REX em milhões de clientes reais.

• Comparação: O T-REX venceu o sistema antigo (que só olhava para o que você comprou mais vezes) em quase todos os testes.
• Para quem é novo: Funciona muito bem para clientes novos, porque ele aprende padrões de todos os clientes, não apenas do seu histórico curto.
• Vendas: O uso do T-REX aumentou as vendas em cerca de 23% a mais do que os sistemas de recomendação comuns da Amazon.

Resumo em uma frase

O T-REX é um assistente de compras inteligente que, em vez de apenas repetir o que você já comprou, aprende a lógica do seu tempo e a organização da sua despensa, sugerindo o que você precisa comprar agora para montar sua lista de compras perfeita, tudo isso entendendo que a vida (e as compras) não segue um relógio rígido.

Resumo técnico

Título: T-REX: Geração de Sequências de Categorias Baseada em Transformer para Recomendação de Cesta de Compras de Mercado

1. Definição do Problema

O artigo aborda o desafio da Recomendação de Próxima Cesta (Next Basket Recommendation - NBR) no contexto de compras de supermercado online. Diferente do e-commerce tradicional (que foca em compras únicas e exploratórias), o mercado de alimentos é caracterizado por:

• Padrões de compra repetitivos: Os clientes compram os mesmos itens periodicamente.
• Relações complexas entre itens: Necessidade de capturar tanto itens complementares (ex: café e leite) quanto dependências temporais entre sessões de compra.
• Desafios dos modelos existentes: Abordagens tradicionais de personalização (como modelos de similaridade de clientes) e até mesmo técnicas avançadas de Masked Language Modeling (como BERT4Rec) mostram-se inadequadas. O BERT4Rec, por exemplo, sofre de "vazamento de informação" (o modelo pode "olhar" para itens futuros durante o treinamento bidirecional) e não se alinha bem com a natureza sequencial causal da geração de uma cesta inteira.

O objetivo é gerar cestas de compras personalizadas que se alinhem aos padrões estabelecidos do cliente, focando na ordem de apresentação das categorias para otimizar a eficiência na construção da cesta.

2. Metodologia: Arquitetura T-REX

Os autores propõem o T-REX, uma arquitetura Transformer de codificador-decodificador (Encoder-Decoder) projetada especificamente para a geração de cestas em nível de categorias (e não de produtos individuais), mapeando 29.000 produtos para 35 (e posteriormente 280) categorias.

Principais Componentes e Inovações:

1. Estratégia de Amostragem e Divisão Dinâmica de Sequência:

   • Em vez de dividir sessões fixas, o modelo utiliza uma divisão dinâmica. Para cada histórico de um cliente, um "pivô" temporal é selecionado aleatoriamente.
   • As compras anteriores ao pivô formam a entrada do Encoder (contexto histórico).
   • As compras subsequentes ao pivô formam o alvo do Decoder (cesta a ser prevista).
   • Isso permite treinar o modelo em diferentes pontos temporais, melhorando a generalização para novos clientes e lidando com históricos de tamanhos variados.

2. Codificação Posicional Adaptativa:

   • Compras de mercado ocorrem em intervalos irregulares (dias ou semanas), o que desafia as codificações posicionais padrão (senoidais) usadas em NLP.
   • O T-REX adota uma codificação baseada na posição relativa normalizada ao pivô (dias antes/depois da compra pivô). Isso captura melhor os padrões temporais irregulares inerentes ao comportamento de compra de mercado.

3. Modelagem em Nível de Categoria:

   • Reduz a dimensionalidade do problema de 29k produtos para 35-280 categorias.
   • Vantagens: Torna a inferência em tempo real viável, modela dependências cruzadas de forma mais robusta (em vez de relações esparsas produto-a-produto) e alinha-se com a forma como os clientes planejam suas compras (pensando em "laticínios", "hortifruti", etc.).

4. Arquitetura Encoder-Decoder com Máscara Causal:

   • Encoder: Aprende padrões gerais de composição de cestas e contextos populacionais sem máscaras, incorporando sinais adicionais (buscas, navegação).
   • Decoder: Gera previsões personalizadas usando máscara causal (causal masking). Diferente do BERT (que prevê tokens mascarados em qualquer posição), o Decoder do T-REX prevê apenas o próximo item com base nos anteriores, alinhando-se à natureza sequencial da geração de cestas e evitando vazamento de informação.
   • Utiliza mecanismos de atenção cruzada (Cross-Attention) para conectar os padrões históricos do encoder ao contexto de geração atual.

3. Contribuições Chave

• Arquitetura Específica para Mercado: Adaptação bem-sucedida de Transformers para o domínio de mercado, superando as limitações de modelos baseados apenas em BERT (como BERT4Rec) para tarefas de geração sequencial.
• Novo Método de Avaliação (Rank-Matching): Introdução de uma métrica que quantifica o quão bem a ordem das categorias recomendadas alinha-se com a frequência de compra histórica do cliente. Isso é crucial, pois a ordem de apresentação afeta a eficiência do cliente ao montar a cesta.
• Estratégia de Divisão Dinâmica: Uma técnica de pré-processamento que melhora a generalização temporal e lida com a variabilidade dos históricos de compra.

4. Resultados Experimentais

Os resultados foram validados através de dados offline em larga escala e testes A/B online na Amazon.

• Comparação com Baseline (P-Top): O modelo foi comparado com o Personal Top Frequency (P-Top), um baseline robusto que recomenda as categorias mais compradas historicamente pelo cliente.

  • Desempenho: O T-REX superou consistentemente o P-Top em todas as métricas de Precision@k e Recall@k (para k=2 a 14).
  • Consistência: A análise de variância mostrou que o T-REX oferece uma qualidade de geração mais consistente, não apenas memorizando regras de frequência, mas aprendendo padrões generalizáveis.
  • Clientes Novos e Cestas Pequenas: O modelo demonstrou vantagem significativa (até 30% em cestas muito pequenas <5 itens) sobre o baseline, especialmente para clientes com histórico limitado, pois consegue aproveitar padrões aprendidos da base de clientes global.
  • Alinhamento de Rank: O T-REX alcançou 30% de correspondência exata de rank (vs 27% do P-Top) e 60% dentro de uma posição de rank (vs 48% do P-Top), indicando que as categorias mais importantes para o cliente aparecem mais cedo na recomendação.

• Testes A/B em Produção:

  • Implementado em uma versão expandida para 280 categorias.
  • Resultou no maior taxa de cliques (CTR) entre widgets de recomendação comparáveis.
  • Gerou um aumento nas vendas de produtos e no lucro bruto, com um lift de vendas aproximadamente 23% maior do que os sistemas de recomendação típicos da Amazon.

5. Significado e Impacto

O trabalho T-REX demonstra que a arquitetura Transformer, quando devidamente adaptada (com codificação temporal adaptativa, modelagem em nível de categoria e divisão dinâmica), é superior às abordagens baseadas em frequência para recomendações de mercado.

O sucesso do modelo reside na capacidade de equilibrar padrões populacionais (aprendidos pelo Encoder) com preferências individuais (geradas pelo Decoder), resolvendo o problema de dados esparsos e padrões temporais irregulares típicos do varejo de alimentos. A implementação em produção valida a eficácia prática da abordagem, melhorando a experiência do cliente ao tornar a construção de cestas mais eficiente e relevante.

O artigo também destaca que, embora o T-REX seja eficaz, há oportunidades futuras para comparações mais profundas com outros modelos baseados em Transformer (como SASRec) e estudos de ablação para refinar ainda mais os componentes de codificação posicional e divisão de sequência.