🤖 machine learning

MMRM: A Multiplex Multimodal Representation Model for Product Ranking in E-commerce Search

El artículo propone MMRM, un marco unificado que alinea los Modelos de Lenguaje de Gran Escala Multimodales con diversas señales colaborativas para generar representaciones multiplex de ítems y usuarios, mejorando significativamente el rendimiento y la eficiencia del ranking de búsqueda en el motor de búsqueda de JD.

Autores originales: Zhen-Lin Chen, Maosen Sheng, Peng Lin, Jianmin Chen, Zhuojian Xiao, Dongyue Wang, Xiwei Zhao

Publicado 2026-07-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhen-Lin Chen, Maosen Sheng, Peng Lin, Jianmin Chen, Zhuojian Xiao, Dongyue Wang, Xiwei Zhao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que diriges un centro comercial digital masivo y ultrarrápido (como JD.com) donde millones de personas buscan el par de jeans perfecto. Para ayudarlos a encontrar lo que desean, necesitas un asistente inteligente que no solo lea el texto en la etiqueta de un producto, sino que también "vea" la imagen, entienda el estilo y sepa exactamente qué está buscando el comprador.

Durante mucho tiempo, estos asistentes tuvieron un problema complicado. Eran como estudiantes que solo estudiaban para un examen específico a la vez. Si estudiaban para "Búsqueda", eran excelentes emparejando una consulta de texto con un producto. Si estudiaban para "Carrito", eran buenos sabiendo qué ponía la gente en sus carritos de compra. Pero intentar que un solo estudiante estudiara para todos estos diferentes exámenes a la vez solía resultar en un caos de confusión. Los métodos antiguos intentaban forzar a un "superestudiante" (un Modelo de Lenguaje Grande Multimodal general) a aprender de un solo tipo de señal, o trataban las notas del estudiante como una lista genérica de hechos que no ayudaba realmente a predecir lo que un usuario específico quería después.

El artículo presenta un nuevo sistema llamado MMRM (Modelo de Representación Multimodal Multiplex) que resuelve esto actuando como un maestro chef con una cocina única y de alta tecnología, pero con cuatro libros de recetas especializados.

La Gran Idea: Una Cocina, Cuatro Chefs Especializados
En lugar de construir cuatro cocinas (modelos) separadas para cada tarea, MMRM utiliza un "backbone" o columna vertebral compartido (la cocina misma) pero le otorga cuatro "sombreros" o tokens especiales: [SEARCH], [CLICK], [CART] y [ORDER].

Piénsalo como un actor versátil. Cuando se pone el sombrero de [SEARCH], actúa como un detective que empareja una pista de texto con un producto. Cuando cambia al sombrero de [CART], actúa como un estilista que sabe qué artículos suelen comprarse juntos. La magia es que este actor puede cambiar de sombrero instantáneamente sin necesidad de abandonar el escenario. En un solo viaje a través de la cocina, el modelo aprende de cuatro tipos diferentes de pistas (señales) al mismo tiempo:

Clicks de búsqueda: Cuando alguien escribe "jeans" y hace clic en un resultado.
Sesiones de clic: Cuando alguien hace clic de un artículo a otro en secuencia.
Sesiones de carrito: Cuando alguien añade artículos a su carrito en una secuencia.
Sesiones de pedido: Cuando alguien realmente compra una secuencia de artículos.

Los autores descubrieron que estas señales son muy diferentes. Un clic de búsqueda es como un "me interesa" general, mientras que una sesión de pedido es un "realmente, realmente quiero esta combinación específica". Al ignorar las diferencias y tratar todas por igual, los modelos antiguos perdían información valiosa. MMRM, sin embargo, aprende las cuatro a la vez, creando cuatro "representaciones" (o mapas mentales) distintas del mismo producto, cada una ajustada para un trabajo diferente.

La Estrategia de Usuario "Multiplex"
Una vez que el modelo tiene estos cuatro mapas diferentes de los productos, necesita averiguar qué es lo que tú quieres. El artículo argumenta que no puedes usar simplemente un mapa genérico para todos. En su lugar, MMRM utiliza una estrategia de "representación de usuario multiplex".

Imagina que estás navegando. El sistema observa tu historial. Si solo estás buscando, utiliza el mapa de [SEARCH] para encontrar artículos similares a los que hiciste clic. Si estás armando un carrito, cambia al mapa de [CART] para ver qué suele combinar bien. Es como tener un comprador personal que cambia su estrategia dependiendo de si solo estás mirando vitrinas o si estás listo para comprar. Toman tu secuencia de comportamiento específica y la cotejan con el "sombrero" adecuado del producto, creando una recomendación altamente personalizada.

Lo que Descartaron
El artículo argumenta explícitamente en contra de dos enfoques comunes:

Usar una sola señal: Demuestran que entrenar un modelo solo con datos de búsqueda (o solo con datos de carrito) lo deja ciego ante las otras relaciones importantes. No puedes simplemente elegir una e ignorar el resto.
El embedding de "talla única": Encontraron que simplemente tomar una descripción de producto genérica y meterla en un modelo de clasificación no funciona bien para escenarios multitarea. Esto causa un "entrelazamiento de embeddings", donde el modelo se confunde porque intenta usar la misma nota para una búsqueda y para una predicción de carrito simultáneamente. MMRM rechaza esto manteniendo las representaciones separadas (desentrelazadas) para cada tarea.

La Prueba: Números Reales, Resultados Reales
Los autores no solo adivinaron; lo probaron a una escala masiva.

Datos de Entrenamiento: Utilizaron un enorme conjunto de datos de 0.3 mil millones de tríos (grupos de tres artículos relacionados) recolectados durante seis meses para búsquedas, e incluso conjuntos de datos más grandes para comportamientos de carrito y pedido (hasta 3 años de datos para pedidos).
El Modelo: Entrenaron un modelo de 4 mil millones de parámetros (una IA muy grande) en 8 GPUs NVIDIA H800.
Los Resultados: En sus pruebas, MMRM superó a todos los modelos anteriores de "tarea única" y a los modelos "multitarea" que no utilizaban este sistema especial de sombreros.
Impacto en el Mundo Real: No se detuvieron en simulaciones por computadora. Implementaron esto en el motor de búsqueda real de JD.com. En una prueba de una semana con millones de usuarios diarios, el nuevo sistema mejoró:
- La Tasa de Clics (CTR) en un 0.42%
- La Tasa de Añadir al Carrito (ACR) en un 0.37%
- La Tasa de Conversión (CVR) en un 0.35%

Los autores señalan que, aunque estos porcentajes parecen pequeños, en una plataforma con millones de usuarios, incluso un aumento del 0.10% genera un crecimiento masivo de ingresos. Debido a estas ganancias probadas, el sistema ya está plenamente operativo y ayudando a millones de personas a encontrar sus productos.

En resumen, MMRM es una forma más inteligente y flexible de enseñar a la IA cómo entender las compras. Deja de intentar ser un "aprendiz de todo" que no domina nada, y en su lugar se convierte en un maestro de muchos oficios utilizando un cerebro único y eficiente con cuatro modos especializados.

Resumen Técnico: MMRM para el Ranking de Productos en E-commerce

1. Planteamiento del Problema

El ranking de búsqueda en e-commerce requiere capturar las preferencias finas de los usuarios a través de múltiples objetivos (por ejemplo, Tasa de Clics [CTR], Tasa de Añadir al Carrito [ACR], Tasa de Conversión [CVR]). Aunque los enfoques recientes ajustan (fine-tune) modelos de Lenguaje de Gran Escala Multimodales (MLLM) generales para generar representaciones de artículos, los autores identifican dos limitaciones críticas en los métodos actuales:

Dependencia de una Única Señal Colaborativa: Los métodos actuales suelen ajustar los MLLM utilizando únicamente un tipo de señal (por ejemplo, clics de consulta-a-artículo basados en búsquedas o clics de artículo-a-artículo basados en comportamientos). Los autores argumentan que las señales de e-commerce son inherentemente heterogéneas. Las señales de búsqueda capturan una relevancia amplia, mientras que los comportamientos secuenciales (carrito, pedido) reflejan similitudes más finas y relaciones complementarias. Ignorar esta diversidad impide que los modelos aprendan las representaciones integrales necesarias para el ranking multiobjetivo.
Subutilización en el Ranking Aguas Abajo (Downstream): Los modelos de ranking existentes suelen tratar las representaciones multimodales como características regulares de los artículos, utilizando una única tabla de embeddings para la interacción de características o un agrupamiento simple de comportamientos. Este enfoque no logra capturar los "intenciones de usuario múltiples" (multiplex user intents), lo que provoca una pérdida de información y el enredo de los embeddings en escenarios de múltiples tareas.

2. Metodología

La solución propuesta, el Modelo de Representación Multimodal Multiplex (MMRM), es un marco unificado diseñado para alinear los MLLM con diversas señales colaborativas e integrarlos en sistemas de ranking de múltiples tareas.

2.1 Construcción del Conjunto de Datos

Los autores construyeron cuatro conjuntos de datos de tripletas distintos para capturar señales heterogéneas:

Dataset Q2I (Búsqueda): Construido a partir de clics de consulta-artículo ( $q2i\_click$ ), que representa la señal más generalizada pero de grano grueso. Los negativos difíciles (hard negatives) se muestrean de la misma categoría principal pero de diferentes subcategorías.
Datasets I2I (Comportamiento): Se construyen tres conjuntos de datos ( $i2i\_click$ $i 2 i_c l i c k$ , $i2i\_cart$ $i 2 i_c a r t$ , $i2i\_order$ $i 2 i_or d er$ ) mediante enfoques basados en grafos.
- Los artículos se conectan basándose en comportamientos secuenciales de usuarios dentro de ventanas de tiempo específicas (por ejemplo, 10 minutos para clics, 30 minutos para carritos).
- Para mitigar el dominio de artículos populares (hot-items), los artículos ancla se submuestrean utilizando una función de probabilidad similar a word2vec.
- Los negativos difíciles se muestrean de la misma subcategoría que el artículo positivo para mejorar el aprendizaje contrastivo.

2.2 Arquitectura MMRM

MMRM emplea un backbone de MLLM compartido (inicializado desde Qwen3-VL-4B-Instruct) con modificaciones arquitectónicas específicas para manejar el aprendizaje de múltiples tareas:

Tokens Específicos de Tarea: Se añaden cuatro tokens especiales —[SEARCH], [CLICK], [CART] y [ORDER]— a las entradas para desentrelazar las tareas.
Capas de Proyección: El estado oculto del token de tarea específico se proyecta mediante un MLP (Perceptrón Multicapa) específico de la tarea para generar la representación final del artículo específica de la tarea ( $r^t_i$ ).
Objetivo de Entrenamiento: El modelo se entrena sobre una mezcla uniforme de los cuatro conjuntos de datos. Para cada tarea $t$ , la pérdida de aprendizaje contrastivo se calcula utilizando pares positivos de esa tarea, mientras que los artículos de otras tareas sirven como negativos dentro del lote (in-batch negatives). Esto permite que el modelo aprenda de diversas señales simultáneamente sin degradación del rendimiento.

2.3 Aplicación de Ranking Multitarea

Los autores introducen una estrategia de representación de usuario multiplex para el modelo de ranking aguas abajo:

Búsqueda Suave (Soft Search): Para una consulta y un artículo objetivo dados, el sistema extrae una subsecuencia de comportamiento relevante top- $K$ utilizando la tabla de embeddings multimodales específica de la tarea actual (por ejemplo, usando embeddings de [CART] para la predicción de ACR).
Representación de Usuario: Las representaciones de usuario específicas de la tarea ( $U_t$ ) se derivan utilizando un módulo de Atención de Objetivo de Cabezales Múltiples (MHTA) sobre la secuencia de comportamiento filtrada.
Integración de MMoE: Todas las representaciones de usuario específicas de la tarea y otras características son procesadas por un módulo de Mezcla de Expertos con Compuertas Múltiples (MMoE) para producir estados ocultos específicos de la tarea.
Predicción: Estos estados se alimentan a torres específicas de la tarea (CTR, ACR, CVR) para generar las predicciones finales.

3. Contribuciones Clave

Marco Unificado: MMRM alinea eficazmente los MLLM con cuatro señales colaborativas diversas (búsqueda, clic, carrito, pedido) utilizando un backbone compartido y tokens específicos de tarea, permitiendo la generación eficiente de representaciones de artículos multiplex en una sola pasada de inferencia.
Estrategia de Usuario Multiplex: El artículo propone una estrategia novedosa para derivar representaciones de usuario específicas de la tarea a partir de representaciones de artículos multiplex, abordando el problema del enredo de embeddings en el ranking de múltiples tareas.
មាន
Escalabilidad: Los autores demuestran que MMRM puede entrenarse eficientemente en datos a gran escala (0.3 mil millones de tripletas) utilizando técnicas como GradCache para manejar tamaños de lote grandes en MLLM modernos.

4. Resultados Experimentales

4.1 Evaluación del Modelo de Representación

Rendimiento: MMRM superó consistentemente a los baselines de una sola tarea y a un baseline "Vanilla-Multi" (que utilizaba embeddings compartidos con prompts de tarea).
Eficiencia: MMRM genera los cuatro embeddings de tarea en una sola pasada hacia adelante (forward pass), mientras que los baselines requerían cuatro pasadas separadas.
Ablación: Los experimentos confirmaron que los tamaños de lote más grandes (logrados mediante GradCache) aumentan significativamente el rendimiento, validando la importancia de los negativos diversos dentro del lote.

4.2 Evaluación del Modelo de Ranking

Offline: El modelo de ranking propuesto utilizando filtrado multiplex ( $SIM_{soft}(item_{MMRM[ALL]})$ ) logró los mejores puntajes GAUC en las tareas CTR, ACR y CVR en comparación con los baselines que utilizan tablas de embeddings únicas o filtrado basado en categorías.
Prueba A/B Online: Desplegado en el motor de búsqueda de e-commerce de JD, el sistema mostró mejoras significativas sobre el baseline online:
- Tasa de Clics del Usuario (UCTR): +0.42%
- Tasa de Añadir al Carrito del Usuario (UACR): +0.37%
- Tasa de Conversión del Usuario (UCVR): +0.35%
- Los autores señalan que, dado el tráfico masivo de la plataforma, estas mejoras se traducen en un crecimiento sustancial de los ingresos.

5. Significado y Reivindicaciones

El artículo afirma que MMRM aborda con éxito las limitaciones de los sistemas de ranking multimodales actuales al aprovechar la heterogeneidad de las señales de e-commerce. Al alejarse del ajuste fino de una sola señal y del modelado de ranking de una sola tabla de embeddings, MMRM proporciona una comprensión más integral de la intención del usuario. El despliegue exitoso en JD.com, que atiende a millones de usuarios diarios, valida la eficacia práctica y la escalabilidad del marco propuesto en un entorno real de alto nivel. El trabajo subraya el valor de las representaciones "multiplex" para desentrelazar los complejos comportamientos de los usuarios con múltiples objetivos.