Resumen Técnico: JourneyFormer

Planteamiento del Problema

En las plataformas de comercio electrónico de dos lados como Airbnb, el ranking de búsqueda es crítico para conectar a los huéspedes con estancias adecuadas. Si bien el modelado de secuencias ha ganado tracción en los sistemas de recomendación para capturar la intención del usuario, su implementación práctica en el ranking de búsqueda en producción enfrenta obstáculos significativos. Específicamente, los viajes de los huéspedes de Airbnb se caracterizan por:

1. Secuencias Largas y Exploratorias: Los huéspedes suelen navegar extensamente a través de diferentes destinos y fechas, lo que resulta en secuencias que abarcan cientos de miles de eventos. Estas secuencias contienen un ruido significativo, ya que muchas visualizaciones son exploratorias en lugar de indicativas de una intención de reserva.
2. Complejidad de Eventos: Las interacciones de los huéspedes varían ampliamente en frecuencia y significado. Los eventos de alta frecuencia (por ejemplo, visualizaciones) a menudo carecen de una intención clara, mientras que los eventos de baja frecuencia (por ejemplo, reservas, cancelaciones, reseñas) son altamente informativos pero dispersos.
3. Etiquetas Dispersas: A diferencia de las plataformas de redes sociales que optimizan el compromiso (engagement), Airbnb prioriza la conversión de reservas. La señal objetivo (reserva) es extremadamente dispersa en comparación con las señales de compromiso, lo que dificza el entrenamiento de modelos que generalicen bien sin sobreajustarse a los datos de compromiso ruidosos.
4. Escalabilidad en Producción: Los enfoques anteriores dependían de características diseñadas manualmente agregadas sobre ventanas de tiempo. Aunque efectivos, estos enfoques se volvieron difíciles de mantener y escalar a medida que crecía el número de características, fallando a menudo al capturar intenciones de huéspedes complejas y no lineales.

Metodología: JourneyFormer

JourneyFormer es una solución de modelado de secuencias diseñada para codificar los viajes de los huéspedes en representaciones compactas para el ranking de búsqueda. La arquitectura y las decisiones de diseño están impulsadas por las restricciones de producción y la naturaleza específica de los datos de Airbnb.

1. Selección de Datos y Construcción de Secuencias

Para gestionar la escala y el ruido de los datos de los huéspedes, los autores emplean una estrategia de selección de eventos basada en la frecuencia:

• Secuencia a Largo Plazo: Captura eventos infrecuentes y de alto valor (reservas, reseñas, cancelaciones, tickets de atención al cliente) de los últimos 7 años.
• Secuencia a Corto Plazo: Captura eventos de alta frecuencia (visualizaciones) de los últimos 21 días.
• Limitación (Capping): Las secuencias se limitan a 80 eventos para el largo plazo y 200 para el corto plazo para garantizar la eficiencia de la memoria de la GPU durante el entrenamiento, cubriendo al 2% de los huéspedes con los historiales más largos.

2. Representación de Características

Se utiliza un conjunto de características compartido entre las secuencias de los huéspedes, las consultas de búsqueda y los candidatos de listados para facilitar el aprendizaje de embeddings:

• Características de ID: Los IDs de listados, los IDs de anfitriones y los IDs de S2Cell jerárquicos (indexación geográfica desde el nivel 0 al 13) se procesan mediante Unified Embedding. Esta técnica utiliza una tabla de embeddings compartida con semillas de hashing aleatorias para manejar IDs de alta cardinalidad de manera eficiente, superando a los embeddings de ID separados.
• Características Categóricas y Continuas: Las características categóricas se transforman en embeddings, mientras que las características continuas (por ejemplo, precio) se normalizan mediante normalización por lotes (batch normalization).
• Semántica Cruda: El modelo utiliza características puras sin ingeniería de características manual extensa, delegando la modelación de interacciones a la arquitectura neuronal.

3. Arquitectura del Modelo

• Codificador de Secuencias: Se utiliza un codificador basado en Transformer con autoatención de múltiples cabezales y enmascaramiento causal. La máscara causal asegura que los eventos futuros no influyan en la codificación de los eventos pasados, evitando la fuga de información. Notablemente, los autores descubrieron que las capas de alimentación hacia adelante (feed-forward layers) (comunes en los Transformers estándar) degradaban el rendimiento y ralentizaban el entrenamiento, por lo que fueron excluidas.
• Modelo de Ranking: El embedding de la secuencia se concatena con los embeddings de la consulta y del candidato de listado. Un Perceptrón de Capas Múltiples (MLP) ligero califica los listados.
• Atribución de Etiquetas: Para abordar la dispersión de las etiquetas, una reserva se atribuye a todas las búsquedas realizadas en los 7 días anteriores. Solo se utilizan para el entrenamiento las búsquedas con al menos una reserva, muestreando hasta cuatro búsquedas por día por huésped para mantener la diversidad.

4. Estrategias de Entrenamiento y Servicio

Se implementaron varias estrategias para acelerar el entrenamiento y la inferencia aproximadamente 4 veces:

• Bucketing de Secuencias: Las secuencias se agrupan por longitud (por ejemplo, 4, 16, 44, 88, 148, 280) para minimizar la sobrecarga de relleno (padding) durante el procesamiento por lotes.
• Agrupación de Búsquedas (Batching of Searches): Los embeddings intermedios del codificador de secuencias (para eventos precedentes al último) se reutilizan como embeddings de secuencia para las búsquedas subsecuentes dentro del mismo viaje, reduando las pasadas redundantes de forward/backward.
• Cálculo Disperso (Sparse Calculation): Solo las búsquedas sin relleno se pasan al modelo de ranking, evitando cálculos innecesarios en datos con relleno.
• Servicio Híbrido: El codificador de secuencias se ejecuta en modo por lotes (batch mode) (diario) para precomputar los embeddings de los huéspedes, mientras que el modelo de ranking se ejecuta en tiempo real utilizando estos embeddings precomputados, equilibrando latencia y costo.

Contribuciones Clave

1. Diseño Orientado a la Producción: El artículo detalla los compromisos específicos requeridos para desplegar modelos de secuencias en un entorno industrial, yendo más allá de la pura novedad algorítmica para abordar la selección de datos, la atribución de etiquetas y la escalabilidad del servicio.
2. Despliegue de JourneyFormer: El despliegue exitoso de un modelo de secuencias basado en Transformer en el ranking de búsqueda de Airbnb, reemplazando la ingeniería de características manual por embeddings de secuencia aprendidos.
3. Validación Empírica: Análisis exhaustivos offline y online que demuestran que el modelo mejora tanto las métricas de ranking como los resultados de negocio clave.
4. Lecciones Aprendidas: Los autores proporcionan información sobre las decisiones de diseño que fueron exploradas pero rechazadas (por ejemplo, codificadores bidireccionales, inferencia de secuencia en tiempo real, aprendizaje multitarea con etiquetas de visualización) debido a la falta de ganancia online o al aumento de la complejidad.

Resultados

Rendimiento Offline

• Mejora en NDCG: JourneyFormer superó significativamente al fuerte baseline de producción (que dependía de características diseñadas manualmente). El modelo completo (usando tanto secuencias de largo como de corto plazo) logró una mejora de +1.48% en NDCG.
• Análisis de Longitud de Secuencia: El rendimiento mejoró con secuencias de largo plazo más largas. Sin embargo, las secuencias de corto plazo mostraron un rendimiento máximo con 11-20 eventos, declinando después de eso, validando la hipótesis de que el exceso de visualizaciones introduce ruido.
• Ablaciones de Diseño: Eliminar los embeddings de ID (especialmente los IDs de S2Cell) o añadir capas de alimentación hacia adelante resultó en caídas de rendimiento, confirmando la importancia de la granularidad de la ubicación y las elecciones específicas de la arquitectura.

Pruebas A/B Online

• Ranking de Búsqueda: Durante un periodo de tres semanas, JourneyFormer-Full mostró ganancias significativas en métricas de negocio clave:
  • Bookers (Huéspedes que reservan): +0.55%
  • Noches Reservadas: +0.82%
  • Visualizaciones: +0.90%
• Correos Electrónicos Promocionales: Al aplicarse al ranking de listados de correos electrónicos, el modelo aumentó las tasas de clics en correos electrónicos en un +5.04%, junto con ganancias significativas en huéspedes que reservan y noches reservadas.
• Cambio de Distribución: El modelo mantuvo un rendimiento constante (>1.4% de mejora en NDCG) durante un mes de evaluación post-entrenamiento, indicando robustez ante cambios de distribución y reduciendo la necesidad de reentrenamientos frecuentes.

Significación y Reivindicaciones

El artículo afirma que JourneyFormer logra cerrar la brecha entre el modelado de secuencias teórico y el despliegue a escala industrial. Su significación radica en:

1. Demostrar Efectividad en Entornos de Etiquetas Dispersas: Demostrar que el modelado de secuencias puede inferir eficazmente la intención de reserva a pesar de la dispersión de las etiquetas de conversión y el ruido de la navegación exploratoria.
2. Escalabilidad: Mostrar que con una ingeniería cuidadosa (bucketing, inferencia de búsqueda por lotes, embeddings unificados), los modelos de secuencias complejos pueden entrenarse y servirse eficientamente a la escala de los millones de eventos diarios de Airbnb.
3. Impacto de Negocio: Proporcionar evidencia concreta de que el modelado de secuencias conduce a un crecimiento empresarial tangible (más reservas y noches) en un sistema de ranking de búsqueda altamente optimizado y maduro donde incluso las pequeñas mejoras son difíciles de lograr.
4. Guía Práctica: Ofrecer una hoja de ruta para otros profesionales sobre qué funciona (enmascaramiento causal, IDs de ubicación jerárquicos, limitación por frecuencia) y qué no funciona (inferencia de secuencia en tiempo real para retargeting, aprendizaje multitarea con etiquetas de compromiso ruidosas) en el ranking de búsqueda de comercio electrónico.