Versioned Late Materialization for Ultra-Long Sequence Training in Recommendation Systems at Scale

1. Declaración del Problema: El Cuello de Botella de la "Fila Gorda"

Los Modelos de Recomendación de Aprendizaje Profundo (DLRM) modernos siguen leyes de escalado donde la calidad del modelo mejora de manera monótona con secuencias de Historial de Interacciones de Usuario (UIH) más largas (pasando de $10^4$ a más de $10^5$ eventos). Sin embargo, el enfoque estándar de la industria para manejar estos datos crea un cuello de botella crítico en la infraestructura conocido como el problema de la "Fila Gorda".

• Redundancia de Pre-materialización: Los sistemas actuales duplican físicamente (pre-materializan) toda la secuencia de UIH en cada ejemplo de entrenamiento individual para garantizar la consistencia de Online a Offline (O2O).
• Amplificación K-Fold: Si un usuario tiene $N$ días de historial y genera $K$ solicitudes de clasificación dentro de una ventana de retroceso, los mismos datos históricos se almacenan $K$ veces. Esto conduce a una redundancia masiva de almacenamiento y E/S.
• El Muro de Recursos: A medida que aumentan las longitudes de secuencia, el consumo de recursos de los servicios de soporte de datos (almacenamiento, ingestión, preprocesamiento) supera la capacidad de los clústeres de entrenamiento de GPU. Esto crea una trampa de "rendimientos decrecientes" donde los costos de infraestructura limitan la capacidad de escalar las longitudes de secuencia, impidiendo efectivamente la adopción de arquitecturas de próxima generación como HSTU y ULTRA-HSTU.
• Penalización Multi-tenant: En conjuntos de datos de unión compartidos que sirven a múltiples inquilinos de modelos (por ejemplo, modelos de recuperación frente a modelos de clasificación con diferentes necesidades de longitud de secuencia), el paradigma de "Fila Gorda" obliga a todos los modelos a leer la longitud de secuencia máxima, causando una amplificación innecesaria de E/S para los modelos de secuencias más cortas.

2. Metodología: Materialización Tardía Versionada

Los autores proponen un cambio de paradigma desde la pre-materialización pesada en almacenamiento hacia un enfoque de materialización tardía centrado en la computación. La idea central es que la UIH es una secuencia inmutable, ordenada temporalmente y solo de adición. Por lo tanto, el estado exacto del historial de un usuario en cualquier momento de inferencia $t$ puede reconstruirse de manera determinista sin almacenar instantáneas físicas.

A. El Protocolo

El sistema emplea un protocolo bifurcado para garantizar la consistencia O2O y prevenir la filtración futura:

1. Instantáneas en Tiempo de Inferencia:
   • En lugar de registrar la UIH completa, el sistema registra solo metadatos de versión ligeros (límites temporales start_ts, end_ts, longitud de secuencia y una suma de verificación) junto con la porción mutable (reciente) de la UIH.
   • Esto desacopla la amplificación de escritura del registro de la longitud total de la secuencia (metadatos $O(1)$ frente a datos $O(longitud\_secuencia)$).
2. Reconstrucción en Tiempo de Entrenamiento:
   • Durante el preprocesamiento de los datos de entrenamiento, el sistema realiza una reconstrucción de "Viaje en el Tiempo".
   • Recupera la UIH mutable reciente del ejemplo de entrenamiento y realiza un escaneo de rango acotado contra un almacenamiento de UIH normalizado e inmutable utilizando los límites temporales registrados.
   • Los dos componentes se concatenan para recrear el estado exacto del momento de inferencia.

B. Arquitectura de Almacenamiento

• Almacenamiento Híbrido:
  • UIH Mutable: Un almacén en tiempo real para eventos recientes (frescura a nivel de segundos), al que solo se accede durante la inferencia.
  • UIH Inmutable: Un almacén normalizado y optimizado para lectura para el historial a largo plazo. Utiliza una disposición de un solo nivel con archivos preordenados y cronológicamente ordenados para garantizar E/S puramente secuencial durante los escaneos de rango.
• Proyección Multidimensional: El almacén inmutable organiza los datos por user_id, grupo_de_características y subsecuencia_timestamp. Esto permite que el sistema empuje las proyecciones hacia abajo en la capa de almacenamiento:
  • Proyección de Longitud de Secuencia: Los modelos más cortos solo escanean el número requerido de franjas temporales.
  • Proyección de Grupo de Características: Los modelos solo leen las columnas de características relevantes.
• Codificación Consciente de Atributos: Utiliza codificación columnar (codificación delta, mapas de bits, compresión de diccionario) para manejar características dispersas frente a densas, permitiendo la decodificación selectiva a nivel de byte.

C. Optimización de la Pipeline de Entrenamiento

Para evitar que el proceso de reconstrucción detenga el entrenamiento de GPU (hambre de GPU), el sistema implementa:

• Preprocesamiento de Datos Desagregado (DPP): Descarga la pesada E/S y la decodificación a un clúster separado y elásticamente escalable de trabajadores de preprocesamiento.
• Prefetching de E/S en Pipeline: Superpone la lectura del siguiente lote de entrenamiento con la búsqueda de secuencias del lote actual para enmascarar la latencia.
• Fragmentación por Afinidad de Datos: Asegura que los ejemplos de entrenamiento y sus datos de UIH correspondientes residan en la misma fragmentación de almacenamiento (mediante particionamiento hash idéntico), minimizando la expansión de red y maximizando las tasas de acierto de caché para trabajos por lotes.

3. Contribuciones Clave

1. Formalización del Problema de la Fila Gorda: Análisis cuantitativo que demuestra que la redundancia de UIH pre-materializada impulsa el uso de infraestructura de datos más allá de la capacidad de entrenamiento de GPU, limitando la escalabilidad del modelo.
2. Protocolo de Materialización Tardía Versionada: Una solución unificada para el entrenamiento por lotes y en streaming que garantiza la consistencia O2O y previene la filtración futura utilizando metadatos de versión ligeros y predicados temporales.
3. Arquitectura de Nivel de Producción: Un sistema que combina almacenamiento inmutable optimizado para lectura, empuje de proyecciones multi-tenant y preprocesamiento desagregado para enmascarar la latencia de reconstrucción, manteniendo el rendimiento de entrenamiento limitado por la GPU.
4. Despliegue a Escala: Despliegue exitoso en DLRM de producción de Meta, permitiendo una escalada agresiva de la longitud de secuencia (hasta $10^5$ eventos) mientras se reduce el uso de recursos de infraestructura.

4. Resultados

El sistema se evaluó en tres inquilinos de modelos que comparten un conjunto de datos de unión y dos plataformas de recomendación de producción.

• Eficiencia del Sistema:

  • Ancho de Banda de Escritura: Reducción del ancho de banda de escritura principal en un 46.2% al eliminar la redundancia K-fold.
  • Ancho de Banda de Lectura: Reducción del ancho de banda de lectura por trabajo entre 47–70%. Los modelos de secuencias más cortas (B y C) vieron ganancias adicionales (hasta una reducción del 70%) debido al empuje de proyecciones.
  • Latencia: A pesar de agregar búsquedas de secuencias, el sistema mantuvo una baja latencia. El Modelo A (secuencia larga) vio solo un aumento del 9.7% en la latencia de carga de datos, absorbido por la escalabilidad elástica del DPP. Los Modelos B y C vieron mejoras de latencia del 26–36% debido al empuje de proyecciones.
  • Rendimiento: El almacenamiento inmutable entregó un rendimiento de lectura 3.4 veces mayor por unidad de recurso de host en comparación con el almacenamiento de solo adición de la línea base.

• Rendimiento del Modelo:

  • Avance en Escalabilidad: El sistema rompió el "Muro de la Fila Gorda" (donde los costos de datos superan los costos de GPU a una longitud de secuencia de ~4K).
  • Ganancias de Calidad:
    • Plataforma A: Logró una ganancia adicional del 1.2% en Entropía Normalizada (NE) acumulada al escalar de 4K a 64K eventos (ganancia total >5%).
    • Plataforma B: Logró una ganancia del 0.65% en NE al escalar de 4K a 10K eventos.
  • Impacto en Línea: Las pruebas A/B confirmaron mejoras significativas en las métricas de participación (Principal, Consumo, Participación Explícita) al escalar las longitudes de secuencia, ganancias que eran imposibles anteriormente bajo el paradigma de la Fila Gorda.

5. Significado

Este artículo establece que la infraestructura de datos es una palanca de escalado de primera clase para los sistemas de recomendación, complementaria a los avances en la arquitectura del modelo. Al tratar la UIH como una secuencia versionada e inmutable en lugar de una instantánea estática, los autores eliminaron los muros de almacenamiento y E/S que anteriormente impedían que la industria entrenara en secuencias ultra-largas. Este paradigma permite el despliegue práctico de marcos de recomendación generativa y transductores secuenciales de billones de parámetros, desbloqueando mejoras significativas en la calidad del modelo que anteriormente eran prohibitivas en costos.