Resumen Técnico: MEMOIR – Memoria de Comportamiento Temporal para la Recomendación a través del Espectro de Deriva de Preferencias

1. Declaración del Problema

Los modelos de recomendación secuencial existentes (p. ej., SASRec, BERT4Rec) y los métodos recientes mejorados con LLM suelen tratar las preferencias de los usuarios ya sea como resúmenes estáticos o como subproductos de la predicción del siguiente ítem. Aprenden implícitamente patrones de comportamiento, pero no logran modelar explícitamente la evolución de las preferencias. Los autores argumentan que dos usuarios con historiales de compra actuales idénticos pueden tener necesidades muy diferentes si sus trayectorias difieren (p. ej., un entusiasta del fitness de mucho tiempo frente a un novato).

El análisis empírico del conjunto de datos Amazon Reviews 2023 revela que la deriva de preferencias es omnipresente:

• La divergencia media de Jensen-Shannon entre distribuciones de categorías mensuales adyacentes es de 0.795 (de un máximo de 1.0).
• El 92.2% de los ítems con los que se interactuó en cualquier ventana dada son nuevos para el usuario.
• Incluso los usuarios en el cuartil inferior de las puntuaciones de deriva exhiben cambios sustanciales.

Los enfoques actuales mejorados con LLM suelen utilizar los LLM como pasos de preprocesamiento offline para generar resúmenes o vistas aumentadas para arquitecturas base basadas en IDs. Estas señales semánticas se descartan típicamente en el momento de la inferencia, y la arquitectura central sigue basada en IDs, fallando en trasladar la estructura de la evolución de las preferencias hacia la puntuación final de recomendación.

2. Metodología: El Marco MEMOIR

MEMOIR (Memory-based Evolution MOdel for Inference in Recommendation) invierte la relación estándar: el LLM actúa como un codificador de memoria temporal de primera clase, y el aprendizaje contrastivo codifica la estructura de la evolución directamente en la representación.

2.1 Componentes de la Arquitectura

1. Segmentación Temporal y Codificación de Memoria:

   • Los historiales de interacción del usuario se particionan en ventanas temporales basadas en meses calendario.
   • Cada ventana se serializa en una descripción de lenguaje natural (p. ej., "El usuario calificó muy alto 'zapatillas de running'...").
   • Un codificador LLM (TinyLlama-1.1B-Chat con ajuste fino LoRA) mapea estas descripciones a incrustaciones (embeddings) de memoria semántica ($m_t$).
   • Esto genera una secuencia de memorias de comportamiento $M_u = [m_1, \dots, m_W]$.

2. Pérdida Contrastiva de Preservación de la Evolución ($L_{evo}$):

   • Suavidad Temporal ($L_{smooth}$): Impone continuidad entre ventanas adyacentes utilizando una pérdida de tipo InfoNCE, tratando las ventanas adyacentes del mismo usuario como pares positivos.
   • Consistencia Direccional ($L_{dir}$): Asegura que la dirección de la evolución sea coherente. Calcula vectores de dirección ($d_t = \hat{m}_{t+1} - \hat{m}_t$) y penaliza el desalineamiento entre vectores de dirección consecutivos. Esto codifica el sesgo inductivo de que los cambios de preferencia (p. ej., de casual a ropa deportiva) deben seguir una trayectoria consistente.

3. Predicción de Trayectoria:

   • Una GRU procesa la secuencia de memoria para producir un estado oculto final.
   • Un MLP proyecta este estado para predecir la siguiente memoria en el tiempo ($\hat{m}_{W+1}$).
   • Una pérdida de extrapolación de trayectoria ($L_{extrap}$) supervisa esta predicción utilizando una última ventana de reserva (hold-out).

4. Agregación Consciente de la Evolución:

   • En lugar de un promedio simple, la representación final del usuario ($u^*$) es una fusión por MLP de tres señales:
     • Estado Actual: Agregado ponderado por recencia de las memorias ($\bar{m}$).
     • Dirección: El vector de dirección de la evolución ($d$).
     • Futuro Predicho: La memoria del siguiente paso extrapolada ($\hat{m}_{W+1}$).
   • Esto garantiza que los usuarios con estados actuales idénticos pero trayectorias diferentes reciban representaciones distintas.

5. Pérdida de Consistencia de Comportamiento ($L_{con}$):

   • Un regularizador que penaliza la distancia entre la memoria agregada normalizada y la incrustación (embedding) del ítem objetivo normalizado. Esto ancla la trayectoria semántica al espacio real de incrustación de ítems, evitando la deriva hacia regiones semánticamente desconectadas.

2.2 Objetivo de Entrenamiento

La pérdida total combina recomendación, evolución, consistencia y extrapolación:
$$L = L_{rec} + \lambda_1 L_{evo} + \lambda_2 L_{con} + \lambda_3 L_{extrap}$$
donde $L_{rec}$ es una pérdida de recomendación InfoNCE sobre los productos punto usuario-ítem.

3. Principales Contribuciones

• Cambio Arquitectónico: Propone un marco donde el LLM es el codificador de usuario primario para las ventanas temporales, y el aprendizaje contrastivo es el mecanismo para aprender la estructura de la evolución, en lugar de ser un paso auxiliar offline.
• Representación Consciente de la Evolución: Introduce un método para fusionar el estado actual, la dirección de la evolución y el futuro predicho en una única incrustación de usuario.
• Análisis Estratificado por Deriva: Va más allá de las métricas agregadas para analizar el rendimiento a través de un espectro de la deriva de preferencia del usuario, revelando que las ganancias se concentran en segmentos de usuarios específicos.

4. Resultados Experimentales

Los experimentos se realizaron en las categorías Electronics y Clothing_Shoes_and_Jewelry de Amazon Reviews 2023 (99,355 usuarios).

4.1 Rendimiento Agregado

• MEMOIR logró un NDCG@10 de 0.0643, empatado estadísticamente con el baseline más fuerte, UniSRec (0.0641).
• Los modelos dividieron las cuatro métricas reportadas en 2–2:
  • MEMOIR lidera: NDCG@10 y MRR.
  • UniSRec lidera: HR@10 y HR@20.
• Ambos superaron significativamente a seis otros baselines (incluyendo SASRec, CL4SRec y SRA-CL).
• SASRec-Text (SASRec con incrustaciones semánticas congeladas reemplazando las incrustaciones de ID) tuvo un rendimiento inferior al SASRec vanilla, lo que indica que las características semánticas por sí solas no mejoran la recomendación sin mecanismos de alineación arquitectónica específicos.

4.2 Estudio de Ablación

Sorprendentemente, ningún componente arquitectónico individual (pérdida contrastiva de preservación de la evolución, término de consistencia direccional o segmentación de ventana temporal) explicó por sí solo la mayor parte de la ganancia de MEMOIR sobre los baselines basados en ID.

• Eliminar cualquier componente individual resultó en un rendimiento dentro del 2% del modelo completo en el NDCG@10 agregado.
• Incluso reemplazar los codificadores de ítems preentrenados con incrustaciones de ID aleatorias ("w/ Random-Init Items") produjo el mejor NDCG@10 entre las variantes de ablación (0.0650), lo que sugiere que la ganancia agregada no es impulsada por un módulo aislado.

4.3 Análisis Estratificado por Deriva (El Hallazgo Central)

Cuando el rendimiento se estratificó por una puntuación de deriva de preferencia compuesta (Alta, Media, Baja):

• Extremos de Deriva Alta y Baja: MEMOIR superó a UniSRec en métricas de calidad de ranking (NDG@10, MRR).
• Deriva Media (50% de los usuarios): UniSRec lideró en las cuatro métricas.
• Conclusión: El "empate" agregado enmascara un patrón específico: la ventaja de MEMOIR se concentra en los extremos de la distribución de deriva, mientras que UniSRec domina la banda media y las métricas orientadas al volumen (HR) en todos los estratos.

5. Significado y Afirmaciones

El artículo postula que su hallazgo más sustantivo y reproducible no es el empate cercano agregado con UniSRec, ni la contribución de cualquier componente ablacionado individual, sino que la clave es el patrón de rendimiento estratificado por deriva:

• MEMOIR es específicamente efectivo para usuarios en los extremos de deriva alta y baja de la distribución, donde modelar la trayectoria (dirección y futuro) proporciona una ventaja en la calidad del ranking.
• El supuesto de consistencia direccional del modelo (que asume una deriva monotónica) puede ser menos efectivo para los usuarios de "deriva media" que exhiben preferencias más oscilantes o estacionales, lo que explica por qué UniSRec domina ese segmento.

Los autores concluyen que, si bien MEMOIR ofrece representaciones más ricas conscientes de la evolución, sacrifica la simplicidad de inferencia y la latencia de sub-milisegundos de los enfoques basados en ID (como SASRec) por el costo computacional de las incrustaciones de ventana derivadas de LLM. El artículo deja abierta la explicación mecánica de por qué la ganancia se concentra en los extremos de la deriva, identificando esto como una dirección para trabajos futuros.