Resumen Técnico: Mind the Gap: Cerrando la brecha de los silos conductuales con LLMs en recomendaciones multiverticales

1. Declaración del problema

En los ecosistemas de comercio electrónico multiverticales como DoorDash, la expansión hacia nuevos dominios (por ejemplo, comestibles, retail, belleza) crea un desafío de personalización significativo: el problema del "arranque en frío" (cold start). Los usuarios suelen carecer de historial de interacción en estos verticales emergentes, lo que dificulta la generación de recomendaciones relevantes. Por el contrario, estas plataformas poseen datos conductuales ricos de verticales establecidos y de alto tráfico (por ejemplo, pedidos de restaurantes). El núcleo del desafío abordado en este trabajo es cómo transferir eficazmente el conocimiento latente de los verticales con abundancia de datos a aquellos con escasez de datos para mejorar la calidad de la recomendación sin depender de interacciones históricas directas en el nuevo dominio.

2. Metodología

Los autores proponen un marco novedoso que utiliza Modelos de Lenguaje de Gran Escala (LLMs) para realizar ingeniería de características semánticas, sintetizando características de afinidad de usuario estructuradas a partir de datos conductuales no estructurados.

2.1 Generación Aumentada por Recuperación Jerárquica (RAG)

El sistema emplea un pipeline de RAG jerárquico para mapear señales de usuario no estructuradas (historiales de pedidos de restaurantes y consultas de búsqueda) a una taxonomía de productos interna de cuatro niveles (L1–L4).

• Inferencia en cascada: El proceso opera mediante una estrategia de inferencia en cascada. El modelo primero identifica afinidades taxonómicas amplias y de alto nivel (L1, L2). Estas clasificaciones de alta confianza luego restringen el espacio de búsqueda generativa para las recuperaciones subsiguientes más granulares en niveles inferiores (por ejemplo, L3). Este refinamiento iterativo evita la generación de subcategorías plausibles pero incorrectas.
• Enfoque en características: Para el ranker de Aprendizaje Multitarea (MTL) de producción, el sistema se enfoca específicamente en las afinidades L2 y L3, ya que L1 suele ser demasiado general y L4 sufre de una excesiva escasez de datos.

2.2 Síntesis de Características Generativas

El marco genera dos clases distintas de características para aumentar la representación del usuario:

1. Perfil de Afinidad Transversal de Largo Plazo: Captura preferencias latentes e históricas inferidas de la historia acumulada de pedidos de restaurantes.
2. Perfil de Intención de Corto Plazo: Modela intereses recientes y transitorios derivados de la actividad de búsqueda en la plataforma.

2.3 Ingeniería de Prompts y Control

Para asegurar salidas de alta fidelidad y deterministas, los autores implementaron controles estrictos de ingeniería de prompts:

• Entrada Contextual: Los prompts concatenan nombres de restaurantes históricos e ítems pedidos cronológicamente, priorizando el comportamiento reciente, junto con las consultas de búsqueda.
• Filtrado de Confianza: Se instruye al modelo para que asigne una puntuación de confianza a cada afinidad generada. Solo se incluyen las taxonomías que superan un umbral de confianza de 0.8. Esto actúa como un mecanismo de autocorrección para filtrar asociaciones espurias.
• Restricciones de Salida: El modelo está restringido a devolver la ortografía exacta de la taxonomía de una lista proporcionada, evitando la invención de categorías inexistentes.

2.4 Integración en el MTL de Producción

Las características derivadas del LLM se integran en el modelo de ranking MTL de producción existente:

• Aumento de Características: Las nuevas características dispersas ($u_{LLM}$), que representan las afinidades del usuario, se concatenan con los vectores de interacción de usuario existentes ($u_{eng}$) y los vectores de características de ítem ($i_{eng}$).
• Estrategia de Embedding: Las características categóricas de longitud variable (listas de IDs de taxonomía) se mapean a vectores densos a través de una tabla de embeddings compartida y se agregan mediante pooling de media para manejar tensores de entrada irregulares.
• Arquitectura del Modelo: El vector de características aumentado alimenta un tronco MLP compartido seguido de cabezales de predicción específicos de la tarea, optimizando conjuntamente objetivos como la tasa de clics (CTR), añadir al carrito y compra.

2.5 Optimización

• Selección de Modelo: Un análisis de costo-rendimiento identificó a GPT-4o-mini como el modelo óptimo, entregando una calidad comparable a GPT-4o con un costo computacional sustancialmente menor.
• Reducción de Costos: La implementación de caché de prompts (para instrucciones estáticas y taxonomía) y la materialización de características justo a tiempo (actualizando las afinidades solo ante nuevas acciones del usuario) redujo los costos computacionales totales en aproximadamente un 80%.

3. Evaluación Experimental

3.1 Evaluación Offline

El modelo propuesto fue evaluado contra un modelo base MTL entrenado exclusivamente con interacciones históricas y atributos de ítems utilizando un conjunto de datos de retención de 15 días.

• Métricas: El rendimiento se midió mediante el Área Bajo la Curva de Característica Operativa del Receptor (AUC-ROC) y el Rango Recíproco Medio (MRR).
• Análisis de Cohortes:
  • Población General: El modelo propuesto logró un incremento relativo del 4.4% en AUC-ROC y un 4.8% en MRR.
  • Consumidores de Arranque en Frío (Cold-Start): Esta cohorte observó un incremento del 4.0% en AUC-ROC y un 1.1% en MRR, validando la hipótesis de que las preferencias de gusto históricas pueden transferirse eficazmente entre verticales.
  • Consumidores de Alto Consumo (Power Consumers): Este grupo se benefició más de la señal de consulta de búsqueda, logrando un incremento del 5.2% en AUC-ROC y un 2.2% en MRR.

3.2 Despliegue en Sombra Online

Para validar los hallazgos offline, el sistema se desplegó en modo sombra contra el tráfico en vivo.

• Resultados: El modelo aumentado por LLM demostró una mejora del 4.3% en AUC-ROC y un aumento del 3.2% en MRR sobre el baseline para la población general, confirmando la eficacia en el mundo real.

3.3 Evaluación de Calidad de Características

Las evaluaciones cualitativas y cuantitativas confirmaron la relevancia de las características generadas:

• Evaluación Humana: Las características derivadas de las consultas de búsqueda fueron calificadas como "Altamente Personalizadas" en el 70.7% de los casos, en comparación con el 53.0% de los pedidos de restaurantes.
• LLM-as-a-Judge: Utilizando GPT-4o para puntuar la relevancia, las consultas de búsqueda nuevamente superaron al historial de pedidos (61.6% altamente personalizado frente a 56.6%), alineándose con la naturaleza explícita de la intención de búsqueda.

4. Contribuciones Clave y Significado

El artículo afirma ofrecer un camino práctico hacia la construcción de sistemas de recomendación más holísticos y adaptativos al abordar la brecha de datos conductuales en mercados multiverticales.

• Marco Novedoso: La introducción de un pipeline de RAG jerárquico para derivar características taxonómicas de múltiples niveles a partir de datos de usuario no estructurados.
• Puente Semántico: Demostrar que los LLMs pueden actuar efectivamente como un puente semántico, transfiriendo conocimiento de verticales con abundancia de datos (restaurantes) a verticales con escasez de datos (comestibles/retail) para resolver el problema de arranque en frío.
• Viabilidad en Producción: El trabajo demuestra que las características generadas por LLM pueden integrarse en modelos de ranking MTL de producción con ganancias significativas de rendimiento mientras se gestionan los costos computacionales mediante la selección estratégica de modelos y el uso de caché.
• Perspectiva Conductual: Los resultados validan que las afinidades latentes del usuario inferidas de un vertical pueden mejorar significativamente la personalización en otro, particularmente para usuarios sin historial directo en el dominio objetivo.

5. Trabajo Futuro

Los autores delinean tres direcciones específicas para la investigación futura:

1. Prompting Avanzado: Investigar paradigmas como Chain-of-Thought y autocorrección, así como explorar el ajuste fino (fine-tuning) de dominio específico de modelos LLM más pequeños y eficientes.
2. Integración en el Funnel: Integrar las características generativas más temprano en el embudo de recomendación, específicamente dentro de la etapa de recuperación de candidatos, para crear un sistema de extremo a extremo más sinérgico.
3. Dinámicas Temporales: Explorar las dinámicas temporales de las afinidades para construir modelos de recomendación más adaptables y conscientes de la sesión.