Resumen Técnico: Aprendizaje de Secuencias Múltiples Constructivo (CMSL) para Sistemas de Recomendación

1. Planteamiento del Problema: Contaminación de Contexto en la Recomendación Secuencial

Si bien el aprendizaje de secuencias ha superado a los modelos tradicionales de Aprendizaje Profundo para Recomendación (DLRM) al capturar matices temporales, las arquitecturas de vanguardia actuales suelen depender de una analogía limitante: tratar el historial del usuario como una secuencia cronológica monolítica, similar a una oración en un Modelo de Lenguaje Grande (LLM).

Los autores identifican una divergencia fundamental entre el lenguaje natural y los datos de recomendación:

• Falta de Unidad Estructural: A diferencia del texto, que sigue reglas sintácticas lineales y lógicas, el historial del usuario es un "mosaico ruidoso" de intereses fragmentados, diversos, clics exploratorios e interacciones accidentales.
• Contaminación de Contexto: En el modelado de secuencia única, comportamientos no relacionados compiten por el mismo presupuesto de atención. Esta señal "ruidosa" diluye el enfoque del modelo, forzándolo a computar dependencias entre intenciones semánticamente distintas (por ejemplo, aprendizaje profesional frente a entretenimiento casual). Esto conduce a correlaciones espurias, cuellos de botella en la representación y predicciones subóptimas.

El artículo argumenta que los sistemas de recomendación deberían pasar de "modelar pasivamente una secuencia" a "construir activamente el contexto", abordando el problema poco explorado de la contaminación de contexto en la recomendación secuencial.

2. Metodología: Aprendizaje de Secuencias Múltiples Constructivo (CMSL)

CMSL propone un cambio de paradigma de la ingestión pasiva de secuencias hacia la "ingeniería de contexto" activa. En lugar de alimentar el historial bruto como un único prompt, CMSL construye múltiples secuencias latentes coherentes en el espacio latente para desenredar las intenciones del usuario.

2.1 Preprocesamiento de Características

• Características No Secuenciales: Las características densas (ej. edad, precio) se normalizan y proyectan; las características dispersas (ej. país, categoría) se integran mediante embeddings.
• Características de Secuencia: Los historiales de interacción del usuario (clics, "me gusta", comentarios) se agrupan por atributos compartidos (ej. misma superficie de producto) y se comprimen en una sola secuencia mediante un mecanismo de suma con compuerta (gated summation). Esto reduce la carga computacional mientras preserva la información de interacción.

2.2 Arquitectura CMSL

El núcleo de CMSL consiste en $N$ bloques apilados, cada uno con cuatro componentes clave:

1. Construcción de Secuencias Múltiples:

   • Desenredo de Intenciones: Las características no secuenciales se proyectan en $K$ conjuntos específicos de contexto utilizando $K$ cabezales de proyección, desenredando efectivamente las intenciones del usuario en diferentes contextos.
   • Construcción de Secuencia: Un módulo de Construcción de Secuencia aprendible utiliza atención cruzada (cross-attention). La representación de la secuencia actual sirve como consulta ($Q$), mientras que las características de contexto proyectadas sirven como claves ($K$) y valores ($V$). Esto genera $K$ secuencias latentes distintas ($\tilde{X}^{(l,k)}$), cada una enfocada en un aspecto diferente del contexto del usuario.

2. Autoatención (Aproximación Lineal):

   • Cada una de las $K$ secuencias construidas se somete a autoatención de forma independiente para capturar correlaciones temporales internas sin interferencia entre intenciones.
   • Para abordar la complejidad cuadrática de la atención estándar y el aumento de computación de factor $K$, CMSL emplea un mecanismo de atención de tiempo lineal.
   • Este mecanismo aproxima la atención HSTU (ampliamente utilizada en Meta) utilizando una expansión de la serie de Taylor de la función de activación SiLU. Descompone la operación en un término de atención lineal ($\phi(Q)\phi(K)^\top V$) y un término disperso ($AV$) que captura entradas grandes, reduciendo significativamente el costo computacional.

3. Resumen de Secuencia:

   • Tras la autoatención, se utiliza el Agrupamiento por Atención de Múltiples Cabezales (PMA) para resumir cada secuencia en un vector de longitud fija.
   • Este paso extrae señales globales relevantes para el estado actual del usuario (usando características no secuenciales como consultas) y suprime datos históricos redundantes, evitando la acumulación de ruido a través de las capas.

4. Compresión de Secuencia:

   • Para evitar que el conteo de secuencias explote a través de las capas, las $K$ secuencias resumidas se concatenan y se proyectan de nuevo en una sola secuencia latente mediante un MLP. Esto permite un aprendizaje jerárquico profundo manteniendo un conteo constante de secuencias por capa.

2.3 Fusión Final

La representación final se forma mediante la concatenación de los vectores resumidos de la capa final y se pasa a cabezales específicos de la tarea para las predicciones de Tasa de Clics (CTR) y Tasa de Conversión (CVR).

3. Principales Contribuciones

El artículo detalla cuatro contribuciones primordiales:

1. Nueva Perspectiva: Identifica la "Contaminación de Contexto" como un modo de falla crítico en la recomendación secuencial y propone un paradigma de construcción de secuencias múltiples para mitigarlo.
2. Módulo de Construcción de Secuencias Múltiples: Un módulo aprendible que transforma el historial bruto en múltiples flujos latentes utilizando atención cruzada para una curación de contexto adaptativa y consciente de la intención.
3. Autoatención Lineal Escalable: Un mecanismo de atención eficiente de tiempo lineal que reduce el costo computacional de modelar múltiples secuencias, permitiendo la escalabilidad.
4. Validación a Escala Industrial: Despliegue y validación exitosos en cuatro superficies principales de Meta, gestionando miles de millones de usuarios activos diarios.

4. Resultados Experimentales

CMSL fue evaluado en tareas de Clasificación (Ranking) y Recuperación (Retrieval) en el entorno de producción de Meta.

• Evaluación de Clasificación (Ranking):

  • Métrica: Entropía Normalizada (NE), donde valores más bajos indican un mejor desempeño.
  • Configuración: Evaluado en cuatro superficies a gran escala. La Superficie 1 utilizó un enfoque de entrenamiento directo, mientras que las Superficies 2–4 utilizaron una arquitectura de dos etapas (modelo de usuario ascendente asíncrono) para gestionar la latencia.
  • Hallazgos: CMSL demostró mejoras estadísticamente significativas. En la Superficie 1, las mejoras de NE oscilaron entre -0.31% y -0.62% para las tareas de "Me gusta" y "Comentario". En las Superfidades 2–4, la integración de los embeddings de CMSL produjo ganancias de NE de -0.06% a -0.13% en las tareas de CTR y CVR.

• Evaluación de Recuperación (Retrieval):

  • Configuración: Pruebas A/B en línea en la Superficie 5.
  • Hallazgos: Los embeddings de usuario de CMSL resultaron en mejoras estadísticamente significativas en las cuatro métricas de interacción medidas, con ganancias que oscilaron entre +0.092% y +0.171%.

5. Significado y Reivindicaciones

El artículo afirma que CMSL representa un cambio de tratar el historial del usuario como un "prompt bruto" para ser leído, a un "contexto" para ser construido. Al desenredar activamente el historial del usuario en hilos temáticos coherentes, CMSL mitiga la interferencia semántica inherente a los datos heterogéneos del usuario.

Los autores enfatizan que este enfoque se alinea con la filosofía de "ingeniería de contexto" de los LLM, pero lo adaptan para sistemas de recomendación donde los IDs de los ítems carecen de semántica explícita, requiriendo un enfoque implícito y aprendible. El marco se presenta como una solución práctica para sistemas a escala de producción, ofreciando ganancias consistentes sobre bases secuenciales sólidas mientras permanece computacionalmente viable mediante la atención lineal y la compresión de secuencias.