T-REX: Transformer-Based Category Sequence Generation for Grocery Basket Recommendation

El artículo presenta T-REX, una arquitectura basada en transformadores diseñada para Amazon que mejora las recomendaciones de carritos de compras en línea mediante la generación de secuencias de categorías personalizadas, resolviendo desafíos como patrones repetitivos y dependencias temporales mediante innovaciones en muestreo, codificación posicional y modelado causal.

Lo esencial

¡Claro que sí! Imagina que la compra de comestibles en línea es como intentar adivinar qué ingredientes necesita un chef para su próxima cena, pero con un giro: este chef es muy predecible, compra cosas repetitivas y su lista de la compra cambia con el tiempo.

Aquí tienes la explicación del paper T-REX (una arquitectura basada en Transformers) traducida a un lenguaje sencillo, usando analogías de la vida real:

🛒 El Problema: La Diferencia entre Comprar un Sofá y Comprar Leche

En la compra online normal (como comprar un sofá o un vestido), la gente suele hacer compras "de una sola vez". Es exploratoria: "¿Qué hay de nuevo?".

Pero en la compra de supermercado, la cosa es diferente. Es como un ritual.

• Si compras leche, siempre volverás a comprarla.
• Si compras pan, probablemente también quieras mantequilla.
• La gente no suele explorar "nuevos" productos cada semana; más bien, rellena su carrito con lo que sabe que necesita.

Los sistemas antiguos de recomendación (llamados "Top Frecuencia" o P-Top) funcionaban como un libro de apuntes aburrido: "Este cliente compró leche 10 veces, así que le recomendaré leche la próxima vez". Funcionaba bien, pero era muy básico y no entendía el contexto (por ejemplo, que si compró leche, quizás también necesita galletas hoy, no solo la leche de siempre).

🦖 La Solución: T-REX (El Dinosaurio Inteligente)

Los autores de Amazon crearon T-REX, un modelo de Inteligencia Artificial basado en una tecnología llamada "Transformer" (la misma que usan los chatbots avanzados). Pero T-REX no es un chatbot normal; es un chef personal que aprende tus hábitos.

Aquí están sus tres trucos secretos (sus innovaciones):

1. El Cortador de Películas (División Dinámica de Secuencias)

Imagina que tienes una película de tus compras de los últimos 5 años.

• El problema: Si le muestras toda la película al modelo de una vez, se abruma. Si le muestras solo un fotograma, no entiende la historia.
• La solución de T-REX: En lugar de ver la película entera, T-REX elige un momento aleatorio en el tiempo (un "pivote") y corta la película.
  • Mira lo que compraste antes de ese momento (para entender tu estilo).
  • Intenta predecir lo que compraste después de ese momento.
  • Luego, elige otro momento y lo hace de nuevo.
• La analogía: Es como estudiar para un examen haciendo muchos "simulacros" diferentes en lugar de memorizar el libro entero de corrido. Esto ayuda al modelo a aprender patrones generales, no solo a memorizar fechas específicas.

2. El Reloj Flexible (Codificación Posicional Adaptativa)

En las películas, los cuadros van uno tras otro (1, 2, 3...). En las compras, el tiempo es raro.

• Puedes comprar leche el lunes, y luego volver a comprarla 3 semanas después.
• Los modelos antiguos pensaban que el "paso 1" y el "paso 2" estaban siempre juntos.
• La solución de T-REX: Usa un reloj flexible. En lugar de decir "esto fue el día 1", le dice al modelo: "Esto fue hace 3 días desde tu última compra grande".
• La analogía: Es como si un entrenador te dijera: "Hiciste ejercicio ayer" en lugar de "Hiciste ejercicio el 12 de marzo". T-REX entiende que el tiempo entre compras es irregular y se adapta a eso.

3. La Lista de Categorías (Modelado a Nivel de Categoría)

Amazon tiene 29.000 productos diferentes. ¡Eso es mucho ruido!

• El problema: Si el modelo intenta predecir si comprarás "Leche Entera 1L Marca X" o "Leche Deslactosada 1L Marca Y", se confunde.
• La solución de T-REX: Reduce todo a 35 categorías (o 280 en la versión final).
• La analogía: En lugar de intentar adivinar si comprarás "Manzanas Fuji", el modelo piensa: "¿Necesitas Fruta hoy?".
  • Esto hace que el modelo sea mucho más rápido y preciso, porque la gente piensa en categorías ("necesito leche, huevos y pan") más que en marcas específicas.

🚫 ¿Por qué no usar el modelo "BERT" normal?

Los modelos como BERT (usados en chatbots) funcionan como un lector que puede ver el final del libro antes de empezar.

• Si le preguntas a BERT "¿Qué sigue en la historia?", a veces "trampa" y lee la respuesta en el mismo párrafo.
• En una tienda real, no puedes ver el futuro. T-REX usa una máscara causal: está obligado a mirar solo hacia atrás (lo que ya compraste) para predecir lo que viene. Es como jugar al ajedrez: solo puedes mover las piezas basándote en lo que ya pasó, no en lo que va a pasar.

🏆 Los Resultados: ¿Funciona de verdad?

Los autores probaron T-REX en la vida real (en Amazon) contra el sistema antiguo (el "Libro de Apuntes" o P-Top).

1. Más Preciso: T-REX acertó mucho más en qué productos pondrías en tu carrito.
2. Mejor para principiantes: Si eres un cliente nuevo con pocas compras, el sistema antiguo no sabía qué recomendarte. T-REX, al aprender de todos los clientes, pudo decirte: "Oye, la gente que compra pan suele comprar mantequilla también".
3. Orden inteligente: No solo recomendaba los productos correctos, sino que los ponía en el orden correcto. Si tu categoría más importante es "Lácteos", T-REX te lo muestra primero, ahorrándote tiempo.
4. Dinero real: En las pruebas reales, T-REX aumentó las ventas en un 23% más que los sistemas normales de recomendación.

🎯 En Resumen

T-REX es como tener un asistente de compras superinteligente que:

1. No solo recuerda qué compraste, sino cuándo y en qué contexto.
2. Entiende que compras por categorías (Fruta, Lácteos) y no por marcas específicas.
3. Aprende de millones de otros clientes para ayudarte incluso si eres nuevo.
4. Te ahorra tiempo poniendo tus productos favoritos al principio de la lista.

Es un paso gigante desde "recomendar lo que más se vende" a "recomendar lo que tú necesitas para completar tu cesta de la compra hoy".

Resumen técnico

Resumen Técnico: T-REX para Recomendación de Cestas de Compras

1. Planteamiento del Problema

El comercio electrónico de comestibles presenta desafíos únicos para los sistemas de recomendación secuencial que difieren de la venta minorista tradicional (como ropa o electrónica):

• Patrones de compra repetitivos: A diferencia de las compras de un solo evento, la compra de comestibles implica adquisiciones recurrentes y relaciones complejas entre artículos dentro de una misma sesión.
• Limitaciones de los modelos actuales: Los enfoques tradicionales de personalización (similitud de clientes, afinidad latente) y los basados en frecuencia personal (Personal Top Frequency o P-Top) luchan para capturar la naturaleza estructurada y repetitiva de las cestas de comestibles.
• Inadecuación de modelos bidireccionales: Técnicas como BERT4Rec, que utilizan enmascaramiento bidireccional, sufren de "filtración de información" (information leakage) al predecir el siguiente artículo, ya que pueden "mirar hacia el futuro" en la secuencia, lo cual no es realista en escenarios de recomendación en tiempo real.
• Objetivo: Generar cestas de compra completas y personalizadas que alineen tanto con dependencias a corto plazo (dentro de la sesión) como con preferencias a largo plazo, capturando tanto artículos complementarios como dependencias temporales.

2. Metodología: Arquitectura T-REX

Los autores proponen T-REX, una arquitectura basada en transformadores diseñada específicamente para la generación de cestas a nivel de categoría (en lugar de producto individual).

A. Modelado a Nivel de Categoría

• Se mapean ~29,000 productos a 35 categorías principales (luego expandidas a 280 en producción) utilizando la taxonomía de Amazon.
• Ventajas: Reduce la dimensionalidad, maneja mejor la variabilidad del tamaño de la cesta, modela dependencias cruzadas directamente y captura patrones estacionales más estables que las fluctuaciones de productos individuales.

B. Arquitectura del Transformador (Codificador-Decoder)
A diferencia de los modelos de solo codificador (como BERT), T-REX utiliza una estructura separada de Codificador y Decodificador:

• Codificador: Aprende patrones generalizables de composición de cestas en toda la base de clientes. Es flexible para incorporar señales adicionales (consultas de búsqueda, navegación). No utiliza máscaras para ver el contexto completo.
• Decodificador: Genera predicciones personalizadas utilizando el contexto del codificador (a través de cross-attention) y el historial de compras individual. Utiliza enmascaramiento causal para asegurar que las predicciones dependan solo de compras pasadas, alineándose con la naturaleza secuencial de la generación.

C. Innovaciones Clave

1. División Dinámica de Secuencias (Dynamic Sequence Splitting):
   • En lugar de dividir por sesiones fijas, se selecciona un "pivote" temporal aleatorio en el historial del cliente.
   • Las compras anteriores al pivote forman la entrada del codificador; las siguientes $n$ compras forman el objetivo del decodificador.
   • Esto permite entrenar con contextos temporales diversos y facilita la generación de recomendaciones durante una sesión (tiempo real).
2. Codificación Posicional Adaptativa:
   • Reconociendo que las sesiones de compra de comestibles pueden estar separadas por días o semanas (patrones temporales irregulares), se rechaza la codificación sinusoidal estándar.
   • Se implementa una codificación posicional normalizada relativa al pivote, donde las posiciones se representan en días antes/después de la compra pivote. Esto captura mejor la densidad temporal.
3. Estrategia de Muestreo Eficiente:
   • Permite entrenar con historiales parciales, mejorando la generalización para nuevos clientes con poca historia.

D. Entrenamiento e Inferencia

• Se utiliza Teacher Forcing con pérdida de entropía cruzada.
• El modelo tiene 6 capas en codificador y decodificador, 6 cabezas de atención y una dimensión oculta de 2048 (~50.4M parámetros).
• Se entrena con ~900k sesiones de 85k clientes cualificados.

3. Contribuciones Clave

1. Arquitectura Específica para Comestibles: Un diseño de transformador que prioriza la generación secuencial causal sobre la comprensión bidireccional, resolviendo el problema de la filtración de información en la predicción de cestas.
2. Nueva Métrica de Evaluación (Rank-Matching): Introducción de una matriz de coincidencia de rangos que mide no solo la precisión, sino qué tan bien el orden de las recomendaciones generadas se alinea con la frecuencia de compra real del cliente. Esto es crucial para la eficiencia al construir la cesta.
3. Validación de Nivel de Categoría: Demostración de que modelar a nivel de categoría mejora la eficiencia computacional y la intuición del usuario sin sacrificar la calidad de la recomendación.

4. Resultados y Evaluación

Los experimentos se realizaron con datos offline a gran escala y pruebas A/B en producción.

• Comparación con Baselines (P-Top):
  • T-REX superó consistentemente al modelo Personal Top Frequency (P-Top) en todas las métricas de Precisión y Recall ($k=2$ a $14$).
  • Consistencia: T-REX mostró una calidad de generación más consistente (menor varianza) en comparación con las reglas basadas en frecuencia.
  • Clientes Nuevos: El modelo mostró mejoras sustanciales para clientes con historiales cortos, donde los baselines fallan por falta de datos.
  • Cestas Pequeñas: T-REX mantuvo una ventaja del 10% al 30% en cestas pequeñas (<15 ítems), demostrando capacidad para inferir patrones con poco contexto.
• Alineación de Rangos:
  • T-REX logró un 30% de coincidencia exacta en la clasificación de categorías (vs. 27% de P-Top) y un 60% dentro de un rango de error (vs. 48% de P-Top).
  • Esto significa que los clientes encuentran sus categorías más importantes más rápido en la lista de sugerencias.
• Despliegue en Producción (A/B Testing):
  • Implementado en Amazon Grocery para recomendaciones de "Consumibles" en 280 categorías.
  • Resultados: Logró el mayor Click-Through Rate (CTR) entre widgets de recomendación comparables.
  • Impacto Comercial: Aumento de ventas de productos en pedidos, ventas compuestas y beneficio bruto. El lift (incremento) de ventas fue aproximadamente un 23% superior al de los sistemas de recomendación promedio de Amazon.

5. Significado e Impacto

El trabajo T-REX demuestra que los modelos de transformadores pueden superar significativamente a los enfoques basados en frecuencia en dominios de alta repetición como los comestibles, siempre que se adapten correctamente a las particularidades del dominio (temporalidad irregular, necesidad de generación causal y modelado a nivel de categoría).

La investigación valida que:

1. La separación de codificador y decodificador es superior a los enfoques de solo codificador para tareas de generación de secuencias en comercio electrónico.
2. La ingeniería de características temporales (codificación posicional adaptativa) es crítica para datos de comportamiento humano no uniformes.
3. La optimización de la experiencia de usuario (orden de las categorías) tiene un impacto directo y medible en los ingresos comerciales.

Este sistema representa un avance significativo en la personalización de la experiencia de compra de comestibles, pasando de simples listas de "lo que compraste antes" a una generación inteligente de cestas completas y contextualizadas.