Resumen Técnico: Más allá de los IDs de Ítems – Escalamiento de la Recomendación de Vídeos de Formato Corto mediante el Modelado de Secuencias Largas de Naturaleza Semántica

1. Declaración del Problema

Los sistemas de recomendación de vídeos de formato corto se enfrentan a un doble cuello de botella al intentar modelar secuencias de comportamiento de usuario ultra-largas (longitud $L > 10^3$):

1. Cuello de Botella de Representación: Los tradicionales IDs de vídeo ortogonales son semánticamente dispersos. Tratan a los ítems como tokens independientes, fallando en capturar las relaciones de contenido y lo que conduce a una generalización deficiente en contenidos de arranque en frío (cold-start). Además, requieren tablas de embeddings que escalan de forma ilimitada con el tamaño del corpus, creando problemas de almacenamiento y dispersión.
2. Cuello de Botella Computacional: Las arquitecturas Transformer estándar dependen de mecanismos de auto-atención con complejidad cuadrática ($O(L^2)$). Esto restringe la longitud máxima de la secuencia bajo estrictas restricciones de latencia y recursos industriales, lo que a menudo requiere filtrado heurístico o agrupamiento jerárquico que descarta señales o requiere precomputación compleja fuera de línea.

2. Metodología

Los autores proponen un marco desplegado en producción que sinergiza Representaciones de Naturaleza Semántica con un Transformer Comprimido con Conciencia Global para modelar secuencias de hasta $L=2000$ a una escala de mil millones de usuarios.

2.1 Representación de Naturaleza Semántica (SIDs)

Para abordar el cuello de botella de representación, el sistema reemplaza los IDs de vídeo atómicos por Identificadores Semánticos (SIDs) de naturaleza de contenido generados mediante un VAE de Cuantización Residual (RQ-VAE).

• Cuantización Jerárquica: El RQ-VAE proyecta los embeddings multimodales en un espacio latente discreto y jerárquico, produciendo una tupla de códigos $(c_1, c_2, \dots, c_D)$ que representa una jerarquía semántica de grueso a fino.
• Estrategia de Granularidad Asimétrica: Para equilibrar la expresividad y la eficiencia en secuencias ultra-largas, los autores emplean una estrategia de Bi-grama de Truncamiento de Profundidad:
  • Lado de la Secuencia (Grano Grueso): Los ítems del historial del usuario se restringen a los dos primeros niveles de la jerarquía $(c_1, c_2)$. Estos se proyectan en un ID entero unificado ($ID_{seq} = c_1 \cdot |V| + c_2$). Esto limita el tamaño de la tabla de embeddings independientemente de la expansión del corpus y generaliza naturalmente a ítems de arranque en frío mediante prefijos semánticos compartidos.
  • Lado de Objetivo/No-Secuencia (Grano Fino): Los ítems candidatos y las características de interacción cruciales (por ejemplo, el último vídeo visto) retienen la jerarquía semántica de profundidad completa para asegurar un emparejamiento discriminativo preciso.

2.2 Transformer Comprimido con Conciencia Global

Para superar la barrera de escalamiento de la secuencia, los autores introducen una arquitectura Transformer que reduce la complejidad computacional sin una agregación con pérdida de información.

• Plegado Temporal Libre de Parámetros: En lugar de realizar un pooling, la secuencia de entrada $X \in \mathbb{R}^{L \times d}$ se particiona en ventanas de tamaño $k$ y se apila por canales para formar "super-tokens". Esto transforma la entrada de $(L, d)$ a $(L/k, k \cdot d)$. Esta operación intercambia explícitamente la resolución temporal por la dimensionalidad de las características, capturando dependencias densas entre "super-eventos" mientras reduce la longitud de la secuencia por un factor de $k$.
• Fusión de Representación Global-Local: Se antepone a la secuencia comprimida un Token de Consulta Global ($G_{init}$) aprendible. A diferencia de la inicialización basada en el perfil del usuario, este token es agnóstico a las características, obligando al mecanismo de atención a derivar representaciones únicamente de las interacciones dinámicas. Actúa como un sumidero de atención para estabilizar la optimización.
• Mean Pooling Enmascarado Unificado: La representación final del usuario se calcula fusionando el estado global con las señales secuenciales granulares mediante una operación de mean pooling enmascarado, equilibrando la intención global con los detalles locales.

2.3 Arquitectura del Sistema

El marco opera dentro de un Marco Híbrido Síncrono-Asíncrono:

• Módulo Síncrono de Corto Plazo: Codifica las colas de interacción inmediata ($S_{short}$) en tiempo real.
• Módulo Asíncrono de Largo Plazo: Modela la secuencia ultra-larga ($S_{long}$) utilizando el SID propuesto y el Transformer Comprimido. Ambos módulos comparten un backbone y un objetivo de optimización para asegurar que las representaciones mapeen a un espacio latente compartido, evitando el desalineamiento de características.

3. Contribuciones Clave

1. Representación de Naturaleza Semántica a Escala: Un despliegue industrial a gran escala de SIDs basados en RQ-VAE con una estrategia de Bi-grama de Truncamiento de Profundidad. Esto desacopla el almacenamiento de embeddings del tamaño del corpus y mejora significativamente la generalización al contenido de arranque en frío.
2. Arquitectura de Secuencia Eficiente de Alta Expresividad: Un Transformer Comprimido con Conciencia Global que utiliza plegado temporal no paramétrico. Esto logra una reducción de la complejidad computacional preservando el rendimiento, mientras expande las dimensiones de las características para capturar interacciones locales complejas dentro de secuencias ultra-largas.
   3.Validación Industrial a Gran Escala: Evaluaciones rigurosas offline y online en una plataforma de vídeo corto de gran envergadura que sirve a miles de millones de usuarios, demostrando reducciones sustanciales en los costos de memoria y computación junto con ganancias significativas en métricas online.

4. Resultados Experimentales

El marco fue evaluado en tráfico de producción con una longitud de secuencia de $L=2000$, comparado contra un baseline de vanguardia que utiliza $L=800$ Video IDs.

• Eficacia de los IDs Semánticos: Reemplazar los Video IDs con Bi-gram SIDs ($L=160$) resultó en un aumento del +0.86% en Vistas Satisfechas y un aumento del +6.81% en Frescura (vistas satisfechas con contenido subido recientemente), confirmando una mejor generalización de arranque en frío. Esto también redujo los parámetros de embedding en un 38.07% y el tamaño de almacenamiento en un 39.33%.
• Escalabilidad: El AUC offline mostró incrementos monótonos consistentes a medida que la longitud de la secuencia escalaba de 400 a 2000. El modelo se benefició significativamente del aumento de anchura (dimensión oculta) y profundidad (capas), validando su capacidad para capturar patrones de interacción intrincados.
• Eficiencia y Rendimiento: El plegado temporal con $k=4$ logró una mejora de Pareto:
  • Tiempo de Paso de Entrenamiento: Reducido en un 83.9% (41.1ms $\to$ 6.6ms).
  • Memoria de Activación Pico: Reducida en un 92.2% (5758 MiB $\to$ 448 MiB).
  • Precisión: A pesar de la compresión, el AUC mejoró en un +0.06% (Tarea 1) y un +0.15% (Tarea 2), atribuido al de-noising local y la expansión de la expresividad de las características.
• Impacto Total del Sistema: La actualización integral (SID + Compresión + $L=2000$) produjo ganancias online significativas:
  • Usuarios Activamente Comprometidos: +0.52%
  • Tiempo de Visualización Satisfecho: +1.42%
  • Vistas Satisfechas: +1.08%

5. Significado y Reivindicaciones

El artículo afirma proporcionar un plano práctico para la próxima generación de motores de recomendación de contexto infinito. Al resolver el cuello de botella del vocabulario mediante la representación semántica y el cuello de botella computacional mediante la reorganización estructural (plegado temporal), los autores demuestran que el modelado de secuencias ultra-largas es factible a la escala de mil millones de usuarios sin costos de recursos prohibitivos.

El trabajo sostiene que la sinergia de las representaciones de contenido nativo y la compresión eficiente permite capturar señales de interés de usuario a largo plazo más ricas, anteriormente inaccesibles para los modelos base. Los autores posicionan esto como un paso hacia los Modelos de Recomendación Grandes (LRMs), con el objetivo de investigar más a fondo las leyes de escala de secuencias y el co-diseño de algoritmos y hardware en trabajos futuros.