Resumo Técnico: JourneyFormer

Declaração do Problema

Em plataformas de e-commerce de dois lados como o Airbnb, o ranking de busca é crítico para conectar hóspedes a estadias adequadas. Embora a modelagem de sequências tenha ganhado tração em sistemas de recomendação para capturar a intenção do usuário, sua implementação prática em ranking de busca em produção enfrenta obstáculos significativos. Especificamente, as jornadas dos hóspedes no Airbnb são caracterizadas por:

1. Sequências Longas e Exploratórias: Os hóspedes costumam navegar extensivamente entre diferentes destinos e datas, resultando em sequências que abrangem centenas de milhares de eventos. Essas sequências contêm ruído significativo, pois muitas visualizações são exploratórias em vez de indicativas de intenção de reserva.
2. Complexidade de Eventos: As interações dos hóspedes variam amplamente em frequência e significado. Eventos de alta frequência (ex: visualizações) frequentemente carecem de uma intenção clara, enquanto eventos de baixa frequência (ex: reservas, cancelamentos, avaliações) são altamente informativos, porém esparsos.
3. Rótulos Esparsos: Ao contrário das plataformas de redes sociais que otimizam para engajamento, o Airbnb prioriza a conversão de reserva. O sinal alvo (reserva) é extremamente esparso em comparação com os sinais de engajamento, tornando difícil treinar modelos que generalizem bem sem sofrer overfitting para dados de engajamento ruidosos.
4. Escalabilidade de Produção: Abordagens anteriores dependiam de recursos (features) manuais agregados ao longo de janelas temporais. Embora eficazes, essas abordagens tornaram-se difíceis de manter e escalar à medida que o número de recursos crescia, muitas vezes falhando em capturar intenções complexas e não lineares dos hóspedes.

Metodologia: JourneyFormer

O JourneyFormer é uma solução de modelagem de sequência projetada para codificar jornadas de hóspedes em representações compactas para ranking de busca. A arquitetura e as escolhas de design são impulsionadas por restrições de produção e pela natureza específica dos dados do Airbnb.

1. Seleção de Dados e Construção de Sequência

Para gerenciar a escala e o ruído dos dados dos hóspedes, os autores empregam uma estratégia de seleção de eventos baseada em frequência:

• Sequência de Longo Prazo: Captura eventos infrequentes e de alto valor (reservas, avaliações, cancelamentos, tickets de atendimento ao cliente) dos últimos 7 anos.
• Sequência de Curto Prazo: Captura eventos de alta frequência (visualizações) dos últimos 21 dias.
• Limitação (Capping): As sequências são limitadas a 80 eventos para longo prazo e 200 para curto prazo para garantir a eficiência da memória da GPU durante o treinamento, cobrindo os 2% superiores de hóspedes com os históricos mais longos.

2. Representação de Recursos (Features)

Um pool de recursos compartilhado é usado em sequências de hóspedes, consultas de busca e candidatos a listagens para facilitar o aprendizado de embeddings:

• Recursos de ID: IDs de listagem, IDs de anfitrião e IDs de S2Cell hierárquicos (indexação geográfica do nível 0 ao 13) são processados usando Unified Embedding. Esta técnica utiliza uma tabela de embedding única e compartilhada com sementes de hashing aleatórias para lidar eficientemente com IDs de alta cardinalidade, superando os embeddings de ID separados.
• Recursos Categóricos e Contínuos: Recursos categóricos são transformados em embeddings, enquanto recursos contínuos (ex: preço) são normalizados via batch normalization.
• Semântica Bruta: O modelo utiliza recursos brutos sem engenharia de recursos manual extensiva, delegando a modelagem de interação para a arquitetura neural.

3. Arquitetura do Modelo

• Codificador de Sequência: Um codificador baseado em Transformer com autoatenção multi-cabeça (multi-head self-attention) e máscara causal é utilizado. A máscara causal garante que eventos futuros não influenciem a codificação de eventos passados, evitando vazamento de informação. Notavelmente, os autores descobriram que as camadas feed-forward (comuns em Transformers padrão) degradavam o desempenho e retardavam o treinamento, por isso foram excluídas.
• Modelo de Ranking: O embedding da sequência é concatenado com os embeddings da consulta e do candidato à listagem. Um MLP (Perceptron Multicamadas) leve pontua as listagens.
• Atribuição de Rótulo: Para lidar com a esparsidade de rótulos, uma reserva é atribuída a todas as buscas realizadas nos 7 dias anteriores. Apenas buscas com pelo menos uma reserva são usadas para treinamento, com até quatro buscas amostradas por dia por hóspede para manter a diversidade.

4. Estratégias de Treinamento e Servimento

Diversas estratégias foram implementadas para acelerar o treinamento e a inferência em aproximadamente 4x:

• Bucketing de Sequência: Sequências são agrupadas por comprimento (ex: 4, 16, 44, 88, 148, 280) para minimizar o overhead de padding durante o batching.
• Batching de Buscas: Embeddings intermediários do codificador de sequência (para eventos precedentes ao evento final) são reutilizados como embeddings de sequência para buscas subsequentes dentro da mesma jornada, reduzindo passagens redundantes de forward/backward.
• Cálculo Esparso: Apenas buscas não preenchidas (non-padded) são passadas para o modelo de ranking, evitando computação desnecessária em dados com padding.
• Servimento Híbrido: O codificador de sequência é executado em modo batch (diário) para pré-computar embeddings de hóspedes, enquanto o modelo de ranking roda em tempo real utilizando esses embeddings pré-computados, equilibrando latência e custo.

Principais Contribuições

1. Design Orientado à Produção: O artigo detalha as trocas específicas necessárias para implantar modelos de sequência em um ambiente industrial, indo além da pura novidade algorítmica para abordar seleção de dados, atribuição de rótulos e escalabilidade de servimento.
2. Implantação do JourneyFormer: A implantação bem-sucedida de um modelo de sequência baseado em Transformer no ranking de busca do Airbnb, substituindo a engenharia de recursos manual por embeddings de sequência aprendidos.
3. Validação Empírica: Análise offline e online extensiva demonstrando que o modelo melhora tanto as métricas de ranking quanto os principais resultados de negócio.
4. Lições Aprendidas: Os autores fornecem insights sobre escolhas de design que foram exploradas mas rejeitadas (ex: codificadores bidirecionais, inferência de sequência em tempo real, aprendizado multitarefa com rótulos de visualização) devido à falta de ganho online ou aumento de complexidade.

Resultados

Desempenho Offline

• Melhoria no NDCG: O JourneyFormer superou significativamente o forte baseline de produção (que dependia de recursos manuais). O modelo completo (usando sequências de longo e curto prazo) alcançou uma melhoria de +1,48% no NDCG.
• Análise de Comprimento de Sequência: O desempenho melhorou com sequências de longo prazo mais longas. No entanto, as sequências de curto prazo mostraram pico de desempenho com 11-20 eventos, declinando após isso, validando a hipótesia de que excesso de visualizações introduz ruído.
• Ablações de Design: Remover embeddings de ID (especialmente IDs de S2Cell) ou adicionar camadas feed-forward resultou em quedas de desempenho, confirmando a importância da granularidade de localização e das escolhas específicas de arquitetura.

Testes A/B Online

• Ranking de Busca: Durante um período de três semanas, o JourneyFormer-Full mostrou ganhos significativos em métricas de negócio chave:
  • Bookers (Reservantes): +0,55%
  • Noites Reservadas: +0,82%
  • Visualizações: +0,90%
• E-mails Promocionais: Quando aplicado ao ranking de listagem de e-mails, o modelo aumentou as taxas de clique em e-mails em +5,04%, junto com ganhos significativos em reservantes e noites reservadas.
• Mudança de Distribuição: O modelo manteve desempenho consistente (>1,4% de melhoria no NDCG) ao longo de um mês de dados de avaliação pós-treinamento, indicando robustez a mudanças de distribuição e reduzindo a necessidade de retreinamento frequente.

Significância e Alegações

O artigo afirma que o JourneyFormer consegue preencher a lacuna entre a modelagem de sequência teórica e o implante em escala industrial. Sua significância reside em:

1. Provar Eficácia em Ambientes de Rótulos Esparsos: Demonstrar que a modelagem de sequência pode efetivamente inferir a intenção de reserva apesar da esparsidade dos rótulos de conversão e do ruído da navegação exploratória.
2. Escalabilidade: Mostrar que, com engenharia cuidadosa (bucketing, inferência de busca em lote, embeddings unificados), modelos de sequência complexos podem ser treinados e servidos eficientemente na escala de milhões de eventos diários do Airbnb.
3. Impacto de Negócio: Fornecer evidência concreta de que a modelagem de sequência leva a crescimento tangível de negócios (mais reservas e noites) em um sistema de ranking de busca altamente otimizado e maduro, onde até pequenas melhorias são difíceis de alcançar.
4. Guia Prático: Oferecer um roteiro para outros profissionais sobre o que funciona (máscara causal, IDs de localização hierárquicos, capping baseado em frequência) e o que não funciona (inferência de sequência em tempo real para retargeting, aprendizado multitarefa com rótulos de engajamento ruidosos) no ranking de busca de e-commerce.