🤖 AI

WHALE: A Scalable Unified Model for Recommendation with Wukong-HSTU Architecture

El artículo presenta WHALE, una arquitectura de recomendación unificada y escalable que integra las estructuras base Wukong y HSTU a través de un novedoso mecanismo de fusión para modelar conjuntamente características de no-secuencia y de secuencia, logrando mejoras significativas de rendimiento tanto en offline como en online en sistemas de producción industrial.

Autores originales: Renqin Cai, Dawei Sun, Yuanjun Yao, Zhiyong Wang, Velvin Fu, Maggie Zhuang, Yu Shi, Zhongnan Fang, Xuan Cao, Jing Qian, Rui Li

Publicado 2026-07-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Renqin Cai, Dawei Sun, Yuanjun Yao, Zhiyong Wang, Velvin Fu, Maggie Zhuang, Yu Shi, Zhongnan Fang, Xuan Cao, Jing Qian, Rui Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás caminando por una ciudad digital masiva y bulliciosa donde millones de personas están constantemente desplazándose, haciendo clic y mirando. Este es el mundo de los sistemas de recomendación en línea, los motores invisibles detrás de tus feeds de redes sociales, sugerencias de videos y listas de compras. Su trabajo es adivinar qué quieres ver a continuación. Para hacer esto, generalmente observan dos tipos de pistas muy diferentes. Primero, están tus detalles "estáticos": quién eres, qué te gusta, la hora del día y el artículo específico que se muestra. Es como un detective que observa el expediente de un sospechoso y la escena del crimen. Segundo, están tus acciones "dinámicas": el rastro largo y desordenado de todo lo que has hecho clic, visto o comprado en el pasado. Esto es como un detective que observa la historia de vida completa de un sospechoso desarrollándose en tiempo real.

Durante mucho tiempo, los sistemas de recomendación trataron estas dos pistas por separado. Algunos modelos superinteligentes eran excelentes mezclando los detalles estáticos (como "este usuario le gusta la ciencia ficción" + "es viernes por la noche"), mientras que otros modelos eran expertos en leer la larga historia de tu comportamiento pasado (como "viste tres películas espaciales seguidas, así que probablemente quieras una cuarta"). La gran pregunta era: ¿podríamos construir un supermodelo que fuera igualmente brillante en ambos, sin volverse demasiado lento o demasiado costoso de ejecutar? Si pudiéramos, podría significar ver contenido que se sienta perfectamente adaptado exactamente a quién eres y a lo que has estado haciendo últimamente, todo al mismo tiempo.

Presentamos WHALE, una nueva arquitectura desarrollada por investigadores de Meta que intenta resolver este rompecabezas. Piensa en WHALE como un equipo de detectives gigante y de múltiples capas trabajando juntos. En lugar de tener un detective leer el expediente y otro observar el video, WHALE pone a ambos en la misma habitación, capa por capa. En cada una de las capas del modelo, hay un equipo "Wukong" (el experto en mezclar detalles estáticos) y un equipo "HSTU" (el experto en leer la larga historia de tus acciones). Pero aquí está el truulo de magia: no solo trabajan uno al lado del otro; charlan constantemente. El equipo Wukong le pregunta al equipo HSTU: "Oye, basándote en este artículo específico que estoy mirando, ¿qué parte de la larga historia del usuario es más importante en este momento?". El equipo HSTU entonces se enfoca en ese recuerdo específico y se lo devuelve. Esto sucede una y otra vez a medida que los datos se mueven a través del modelo, permitiendo que el sistema refine constantemente su comprensión.

El artículo sugiere que este "intercambio progresivo" es un cambio de paradigma. Cuando los investigadores probaron WHALE con enormes cantidades de datos del mundo real de una plataforma de redes sociales, descubrieron que consistentemente mejoraba en la predicción de lo que los usuarios harían clic a medida que agrandaban el modelo y le daban una historia más larga para leer. Específicamente, cuando aumentaban la longitud de la historia del usuario que el modelo podía ver, la calidad de las recomendaciones mejoraba. También descubrieron que hacer el modelo más profundo (más capas) y más ancho (más potencia de procesamiento) seguía arrojando mejores resultados, lo que sugiere que el sistema escala bien.

Sin embargo, los investigadores también probaron una forma más simple de combinar estos dos tipos de modelos, que llaman un enfoque de "híbrido superficial". En este método más antiguo, la historia se comprime en un resumen diminuto antes de mezclarse con los detalles estáticos. El artículo argumenta que esto es un error porque se pierden los detalles finos. Sus experimentos mostraron que el diálogo profundo, capa por capa, de WHALE era significativamente mejor que este enfoque superficial, demostrando que mantener a los dos equipos en comunicación constante es crucial.

Por supuesto, construir un sistema tan complejo es costoso. El equipo tuvo que inventar un código de computadora especial y personalizado (usando algo llamado "kernels de Triton") para asegurarse de que WHALE pudiera ejecutarse lo suficientemente rápido como para ser usado por millones de personas a la vez. En pruebas del mundo real, WHALE sí mejoró las méticas principales de la interacción del usuario, pero trajo consigo un pequeño costo: el sistema podía manejar aproximadamente un 5% menos de solicitudes por segundo en comparación con el sistema anterior. A pesar de esta ligera ralentización, la mejora en la calidad de la recomendación se consideró una victoria, y el sistema ya ha sido implementado en producción. El artículo concluye que, si bien no podemos simplemente hacer los modelos infinitamente grandes para resolverlo todo, unificar estas dos formas diferentes de pensar sobre los datos —detalles estáticos e historia dinámica— en una arquitectura única e interactiva es un camino poderoso y práctico hacia el futuro de las recomendaciones.

Resumen Técnico: WHALE - Un Modelo Unificado Escalable para Recomendación con la Arquitectura Wukong-HSTU

1. Planteamiento del Problema

Los sistemas de recomendación a gran escala deben modelar dos fuentes distintas pero complementarias de señales de clasificación: características no secuenciales (atributos de usuario/ítem, contexto y cruces explícitos) y características secuenciales (historiales de comportamiento del usuario).

Limitaciones Actuales: Las arquitecturas existentes suelen tratar estas señales por separado. Las arquitecturas Wukong sobresalen en el escalado de interacciones de alto orden entre características no secuenciales, pero carecen de mecanismos para modelar la evolución temporal en secuencias de comportamiento. Por el contrario, las arquitectes HSTU (Unidad de Transducción de Secuencia Jerárquica) modelan eficazmente secuencias de comportamiento largas y heterogéneas, pero no escalan explícitamente los cruces estáticos y contextuales de alto orden entre las características de usuario, ítem y solicitud.
La Brecha: Los enfoques híbridos superficiales, que comprimen los historiales de comportamiento en resúmenes fijos antes de alimentarlos en modelos de interacción de características, crean un cuello de botella. Una vez comprimidos, las interacciones de características de alto orden ya no pueden recuperar selectivamente evidencia detallada de eventos específicos en el historial del usuario. Esto limita el "intercambio progresivo" entre las interacciones de características estáticas y los patrones secuenciales dinámicos, lo cual es crítico para la relevancia en escenarios donde diferentes candidatos requieren diferentes partes del mismo historial.

2. Metodología: La Arquitectura WHALE

Los autores proponen WHALE (Wukong-HSTU-based scALable unified modEl), una arquitectura recursiva que unifica Wukong y HSTU dentro de un solo modelo, manteniendo ambos backbones activos a lo largo de la red.

2.1 Arquitectura Central

WHALE consiste en una capa de entrada seguida de una pila de capas WHALE recursivas. Cada capa contiene tres módulos distintos:

Módulo Wukong: Opera en la rama no secuencial (usuario, ítem, contexto y características de cruce). Utiliza bloques de factorización apilados (FMB) y bloques de compresión lineal (LCB) para construir representaciones de interacción de alto orden ( $H_w$ ).
Módulo HSTU: Opera en la rama secuencial (historial de comportamiento del usuario). Utiliza mecanismos basados en atención con sesgo de atención relativa para codificar evidencia temporal detallada y dependencias, produciendo representaciones de comportamiento conscientes de la secuencia ( $H_s$ ) que mantienen la longitud completa de la secuencia ( $L$ ).
Módulo de Fusión Basado en Atención: Esta es la innovación central que permite el intercambio progresivo.
- Mecanismo: Trata las representaciones de interacción de Wukong ( $H_w$ ) como consultas (queries) y las representaciones de comportamiento de HSTU ( $H_s$ ) como claves (keys) y valores (values).
- Función: Esto permite que los cruces de características dependientes del candidato y del contexto recuperen selectivamente la evidencia conductual más relevante del historial del usuario.
- Refinamiento: La salida de la atención se concatena con la representación original de Wukong, se proyecta mediante un MLP de fusión y se pasa a través de un SwiGLU FFN (red de alimentación hacia adelante con compuerta) con pre-normalización para producir una representación fusionada ( $H_f$ ).
- Propagación: La representación fusionada ( $H_f$ ) se convierte en la entrada no secuencial para la siguiente capa, mientras que la salida de HSTU ( $H_s$ ) se propaga independientemente hacia el módulo de secuencia de la siguiente capa. Este diseño asegura que las interacciones estáticas y los patrones dinámicos se condicionen mutuamente de forma repetida a través de las capas.

2.2 Optimizaciones de Eficiencia

Para hacer que WHALE sea viable para el despliegue industrial, los autores implementaron varias optimizaciones a nivel de sistema:

Kernels de Triton Personalizados:
- Clave-Valor Compartido: Dado que la atención de rama cruzada está limitada por memoria, los autores comparten los tensores de Clave y Valor ( $K=V$ ), reduciendo a la mitad el tráfico de memoria de GPU del lado de KV.
- Variantes de Retropropagación Asimétrica: Reconociendo la forma asimétrica (pocas consultas frente a un historial largo), el sistema selecciona dinámicamente entre un esquema de retropropagación paralelo a KV o paralelo a Q para minimizar los costos de reducción de gradiente.
SwiGLU FFN de Compuerta Compartida: Las matrices de la compuerta y de la proyección ascendente en el SwiGLU FFN están vinculadas ( $W_{gate} = W_{up}$ ), reduciendo las multiplicaciones de matrices de tres a dos sin degradar la calidad.
Precisión Mixta y Optimización del Compilador: El backbone denso se ejecuta en BF16, mientras que los componentes sensibles (pérdida, arquitectura de la tarea) permanecen en FP32. Se utiliza torch.compile para fusionar operadores y optimizar el uso de la memoria.
Optimizaciones de Inferencia: Incluye AOTInductor para la fusión de operadores y "tensores de pista de forma" (shape hint tensors) para eliminar los cuellos de botella de sincronización GPU-CPU durante los cálculos de forma dinámica, reduciendo la latencia en 1–5 ms.

3. Contribuciones Clave

Arquitectura Unificada: WHALE se presenta como la primera arquitectura de recomendación escalable que unifica Wukong (interacción de características no secuenciales) e HSTU (modelado de comportamiento secuencial) dentro de un solo modelo, utilizando un intercambio de rama cruzada progresivo por capa en lugar de un acoplamiento superficial.
Co-diseño de Sistema-Modelo: El desarrollo de kernels personalizados y optimizaciones de entrenamiento/inferencia que permiten el despliegue en línea de un modelo unificado tan complejo bajo estrictas restricciones de latencia y rendimiento (throughput).
Validación Empírica: Demostración de que WHALE escala efectivamente con la longitud de la secuencia, la profundidad del modelo y el ancho del modelo, superando a bases sólidas de un solo paradigma tanto en entornos offline como online.

4. Resultados Experimentales

Los experimentos se realizaron en una plataforma de redes sociales de videos cortos a gran escala (80 mil millones de muestras de entrenamiento, 4 mil millones de muestras de evaluación).

Rendimiento Offline (Escalabilidad):
- Comparación de Arquitecturas: WHALE superó consistentemente a las bases que solo utilizaban Wukong o solo HSTU a través de diversas complejidades de modelo (8, 14 y 32 GFLOPs).
- Leyes de Escala (Scaling Laws): WHALE mostró ganancias consistentes a medida que aumentaba la longitud de la secuencia (hasta 15k), la profundidad del modelo (hasta 8 capas) y el ancho del modelo (hasta 512 dimensiones).
- Estudios de Ablación: Eliminar el mecanismo de atención (reemplazándolo por promedio de pooling) o eliminar el Fusion MLP/SwiGLU FFN resultó en caídas significativas de calidad, confirmando la necesidad del diseño de fusión específico.
Rendimiento Online (Prueba A/B):
- Desplegado en producción durante 14 días.
- Métrica Primaria: Logró una ganancia de +0.113% sobre la base online.
- Métricas Secundarias: Ganancias de +0.824% y +1.820% en métricas de soporte.
- Compromiso (Trade-off): El modelo incurrió en una regresión del -5% en el QPS de inferencia (rendimiento), lo cual los autores señalan que sigue siendo aceptable dentro del presupuesto de servicio.

5. Significado y Reivindicaciones

El artículo sostiene que WHALE proporciona un ejemplo práctico de cómo dos fuentes distintas de información —las interacciones de características estáticas y los comportamientos secuenciales dinámicos— pueden ser unificadas de forma escalable en un entorno industrial.

Los autores argumentan que la siguiente etapa de escalado de los recomendadores industriales no vendrá únicamente de hacer los backbones individuales más grandes, sino de unificar progresivamente arquitecturas complementarias en cada capa. Al permitir que los cruces de características de alto orden recuperen repetidamente evidencia detallada de historiales de usuario largos, WHALE aborda las limitaciones de la hibridación superficial y demuestra que la interacción profunda de rama cruzada es un principio de diseño viable y efectivo para sistemas de clasificación a gran escala.