Scaling Multilingual Semantic Search in Uber Eats Delivery

Este artículo presenta un sistema de recuperación semántica multilingüe y multi-vertical para Uber Eats que, mediante el ajuste fino de un modelo Qwen2 con aprendizaje de representaciones matryoshka y una combinación de funciones de pérdida, logra mejoras significativas en la recuperación de tiendas, platos y artículos de supermercado en múltiples mercados.

Lo esencial

¡Hola! Imagina que Uber Eats es como una biblioteca gigante y desordenada que tiene millones de libros (restaurantes), capítulos (platos) y revistas (comida de supermercado) en todos los idiomas del mundo.

Antes, si alguien buscaba "tacos", el sistema era un poco torpe: leía la palabra "tacos" y solo mostraba cosas que tenían esa palabra escrita exactamente igual. Si escribías "comida picante mexicana", el sistema se confundía y no te daba nada. Además, tenían que usar diferentes "bibliotecarios" (sistemas) para cada tipo de comida, lo cual era lento y costoso.

Este paper cuenta la historia de cómo crearon un super-bibliotecario inteligente que entiende lo que realmente quieres, no solo las palabras exactas. Aquí te explico cómo lo hicieron, usando analogías sencillas:

1. El Gran Unificador (El Sistema de Dos Torres)

Imagina que antes tenían dos bibliotecarios separados: uno solo para libros y otro solo para revistas. Ahora, crearon un sistema de dos torres que funcionan juntas pero por separado:

• La Torre de Pregunta: Escucha lo que el usuario escribe (ej. "cena rápida").
• La Torre de Respuesta: Conoce todos los restaurantes y platos del mundo.

Ambas torres usan la misma "lengua" interna (un modelo de inteligencia artificial llamado Qwen2). En lugar de buscar palabras clave, convierten la pregunta y la respuesta en huellas digitales matemáticas (llamadas embeddings). Si la huella de tu pregunta se parece mucho a la huella de un restaurante, ¡los emparejan! Esto funciona igual de bien en inglés, español, japonés o francés.

2. El Entrenamiento: De "Estudiante" a "Experto"

El modelo no nació sabiendo todo sobre Uber Eats. Lo entrenaron en dos fases, como un estudiante universitario:

• Fase 1 (El Relleno de Datos): Le mostraron cientos de millones de ejemplos de lo que la gente realmente hizo (hizo clic en un restaurante o agregó algo al carrito). Fue como darle un libro de texto gigante con miles de millones de páginas para que aprendiera patrones generales.
• Fase 2 (El Entrenamiento de Elite): Aquí fue la magia. Usaron una IA más avanzada para encontrar los casos difíciles. Por ejemplo, si alguien buscó "pizza" pero hizo clic en "tacos", la IA aprendió que quizás quería "comida italiana" o "comida rápida", no necesariamente pizza. Esto afinó el sistema para entender las intenciones ocultas.

3. La Caja de Matryoshka (Ajuste de Tamaño)

Imagina una muñeca rusa (Matryoshka) que tiene muchas muñecas dentro, una más pequeña que la otra.

• El sistema crea una huella digital gigante (muy detallada, pero pesada).
• Pero, gracias a una técnica llamada MRL, pueden cortar esa muñeca gigante en pedazos más pequeños sin perder la esencia.
• ¿Para qué sirve? Si el usuario está en un móvil lento o en una zona con mala señal, el sistema usa la "muñeca pequeña" (rápida y ligera). Si el usuario tiene una conexión rápida y quiere resultados perfectos, usan la "muñeca grande" (más detallada). ¡Todo con el mismo modelo!

4. El Formato JSON (La Etiqueta de la Caja)

Antes, el sistema leía el texto como un bloque de palabras sueltas. Ahora, les dan la información en una caja con etiquetas claras (formato JSON).

• En lugar de decir "Restaurante: La Pizza, Comida: Italiana", el sistema ve:
  • Nombre: La Pizza
  • Tipo: Restaurante
  • Cocina: Italiana
    Esto ayuda al "bibliotecario" a entender exactamente qué es cada cosa, evitando confusiones (como pensar que "Pan" es un panadero o un pan de molde, dependiendo del idioma).

5. El Resultado: Más Rápido y Más Preciso

¿Qué lograron con todo esto?

• Menos búsquedas sin resultado: Antes, si escribías algo raro, no salía nada. Ahora, el sistema entiende tu intención y te muestra opciones, reduciendo los "no encontrados" en casi un 70%.
• Más ventas: Al mostrar lo que la gente realmente quiere, hay más gente que termina pidiendo comida (aumentaron las conversiones).
• Ahorro de dinero: Al usar las "muñecas pequeñas" (huellas comprimidas) y técnicas de compresión, guardan menos datos en los servidores, lo que hace que el sistema sea más barato de mantener y más rápido.

En Resumen

Este paper describe cómo Uber Eats dejó de buscar palabras sueltas para empezar a entender intenciones. Crearon un cerebro único que habla todos los idiomas, entiende que "hamburguesa" y "comida rápida" están relacionados, y se adapta a la velocidad de tu internet. Es como pasar de buscar en un diccionario de papel a tener un asistente personal que conoce tus gustos mejor que tú mismo.

Resumen técnico

Resumen Técnico: Escalado de Búsqueda Semántica Multilingüe en Uber Eats

1. El Problema

La búsqueda es el punto de entrada principal para los usuarios de Uber Eats. Históricamente, el sistema de recuperación dependía de soluciones fragmentadas:

• Modelos separados por vertical: Se utilizaban modelos basados en BERT distintos para restaurantes, platos y artículos de supermercado/tienda.
• Búsqueda léxica simple: Dependencia excesiva de coincidencia de palabras clave (keyword matching).
• Limitaciones: Este enfoque aumentaba la complejidad operativa, limitaba la generalización entre diferentes tipos de entidades y no aprovechaba el potencial de rendimiento de los modelos modernos. Además, existía una necesidad crítica de unificar la recuperación en múltiples mercados (idiomas) y verticales bajo una sola arquitectura escalable.

2. Metodología

El equipo propuso un sistema de recuperación semántica unificado, multilingüe y multi-vertical basado en una arquitectura de dos torres (two-tower) y optimizado para producción.

A. Arquitectura del Modelo

• Base: Se utiliza un modelo Qwen2 (específicamente gte-Qwen2-1.5B), un modelo de lenguaje grande (LLM) de código abierto de tipo decoder-only.
• Diseño de Dos Torres:
  • Torre de Consulta (Query Encoder): Codifica la búsqueda del usuario.
  • Torre de Documento (Document Encoder): Codifica las entidades (tiendas, platos, artículos).
  • Ambas torres tienen pesos no compartidos, lo que permite precalcular las incrustaciones (embeddings) de los documentos de forma offline y servir en tiempo real mediante búsqueda de vecinos más cercanos aproximados (ANN).
• Entrada Estructurada: En lugar de concatenar texto plano, las consultas y documentos se formatean como objetos JSON. Esto permite al modelo entender el contexto (país, idioma) y el tipo de entidad (nombre de tienda, categoría, descripción) de manera explícita, mejorando la desambiguación.
• Agrupación (Pooling): Se utiliza el token de Fin de Oración (EOS) para generar el vector de incrustación final, demostrando un rendimiento superior al pooling promedio o al último token.

B. Estrategia de Entrenamiento

El proceso de entrenamiento es de dos etapas y utiliza millones de interacciones de usuarios (clics y "añadir al carrito"):

1. Adaptación de Dominio (InfoNCE): Se utiliza la pérdida InfoNCE con muestras negativas dentro del lote (in-batch negatives) sobre cientos de millones de pares consulta-documento. Esto adapta el modelo al dominio de Uber Eats.
2. Ajuste Fino (Triplet NCE): Se refina el modelo con datos de alta calidad etiquetados por un LLM (oráculo). Se utiliza una pérdida de Triplet NCE con ejemplos "difíciles" (hard negatives) minados de los registros para afilar los límites de decisión en casos complejos.
3. Aprendizaje de Representación Matryoshka (MRL): Se implementa MRL para entrenar un único modelo que genera incrustaciones jerárquicas. Esto permite truncar el vector final (de 1536 dimensiones) a tamaños menores (ej. 256, 512) sin perder significativamente la calidad, permitiendo compensaciones dinámicas entre latencia y precisión.

C. Implementación en Producción

• Indexación: Se utilizan índices Lucene Plus soportados por grafos HNSW.
• Cuantización: Se indexan tanto vectores de punto flotante (FP32) como cuantizados (INT8) para optimizar el almacenamiento y la latencia.
• Puntuación No Lineal: Se explora una función de distancia neuronal (FFN) para el reordenamiento (re-ranking) micro, superando las limitaciones de la similitud coseno lineal.

3. Contribuciones Clave

1. Sistema Unificado de Dos Torres: Un único modelo escalable que recupera tiendas, platos y artículos de supermercado en múltiples idiomas, eliminando la fragmentación de modelos anteriores.
2. Receta de Entrenamiento Escalable: Una pipeline robusta que combina InfoNCE para adaptación masiva y Triplet NCE con ejemplos difíciles para ajuste fino, validada en datos reales de producción.
3. Incrustaciones Flexibles con MRL: Implementación de MRL que permite servir incrustaciones de diferentes tamaños desde un solo modelo, optimizando costos y latencia según el caso de uso.
4. Evaluación Exhaustiva: Validación en seis mercados internacionales y tres verticales, demostrando mejoras significativas frente a líneas base fuertes.
5. Innovación en Producción: Insights prácticos sobre indexación ANN, cuantización INT8 y funciones de distancia aprendidas, junto con una pipeline automatizada de reentrenamiento y despliegue.

4. Resultados

A. Rendimiento Offline (Recuperación)

• Mejoras Significativas: El modelo final (Qwen2 ajustado en dos etapas) superó a la línea base heredada (Mini-LM) en un 88% en métricas de alta precisión (Recall@20 para tiendas) y un 31% en métricas de alta recuperación (Recall@200).
• Multilingüismo: Se observaron las mayores mejoras porcentuales en mercados con líneas base históricamente más bajas (Japón y Taiwán), demostrando la capacidad de generalización del modelo.
• Eficiencia con MRL: Reducir la dimensión de 1536 a 256 mediante MRL resultó en una caída de rendimiento casi nula (0.002 puntos en Recall@200), pero redujo el tamaño del índice a un 16% y el costo a un 23%.
• Cuantización INT8: La versión cuantizada (INT8) en 256 dimensiones mantuvo el rendimiento de recuperación casi idéntico a la versión FP32 en pruebas online, reduciendo el tamaño del índice a un 4% del original.

B. Resultados Online (Negocio)

• Conversión (CVR): El modelo mejoró la tasa de conversión de búsquedas intencionales en +0.44%.
• Eficiencia de Búsqueda: Aumento de +0.54% en CoPSU (Pedidos/Clics por Unidad de Búsqueda).
• Tasa de Resultados Cero: Reducción drástica del 69.10% en la tasa de búsquedas sin resultados, mejorando la cobertura en escenarios multilingües y multi-verticales.
• Latencia: La latencia de recuperación se mantuvo estable, aunque la latencia total del embudo de búsqueda aumentó un 18% debido a un conjunto de candidatos de mayor calidad que requiere más procesamiento en la etapa de clasificación (ranking).

5. Significado e Impacto

Este trabajo demuestra que es posible unificar la búsqueda semántica en plataformas de comercio electrónico complejas y multilingües utilizando LLMs modernos.

• Eficiencia Operativa: La adopción de MRL y cuantización permite reducir drásticamente los costos de infraestructura (almacenamiento y cómputo) sin sacrificar la calidad del usuario.
• Calidad del Servicio: La mejora en la recuperación semántica se traduce directamente en métricas de negocio clave (ventas, satisfacción del usuario) y reduce la frustración por búsquedas fallidas.
• Escalabilidad: La arquitectura propuesta ofrece una hoja de ruta clara para escalar a modelos más grandes (7B/14B) e integrar señales multimodales (imágenes) en el futuro, manteniendo una gestión de ciclo de vida automatizada y segura.

En resumen, Uber Eats ha logrado transitar de un sistema fragmentado y basado en palabras clave a una infraestructura de búsqueda semántica unificada, eficiente y de alto rendimiento, estableciendo un nuevo estándar para la recuperación en aplicaciones de consumo masivo.