Resumen Técnico: Difusión Consciente del Tiempo basada en el Desentrelazamiento de Preferencias para la Recomendación Generativa (TDPM)

1. Planteamiento del Problema

Los Recomendadores Generativos (GRs) han emergido como un paradigma transformador al reemplazar los IDs de artículos tradicionales por Índices Semánticos (SIDs), lo que permite a los modelos generar directamente el siguiente artículo con el que es probable que un usuario interactúe. Si bien trabajos recientes han explorado el uso de modelos de difusión como el núcleo de los GRs debido a sus capacidades generativas, persiste una limitación crítica: los GRs basados en difusión existentes aplican un proceso de difusión uniforme a todos los artículos en el historial de interacción de un usuario.

Esta uniformidad no tiene en cuenta la naturaleza no estacionaria y evolutiva en el tiempo de las preferencias del usuario. En la realidad, las preferencias de los usuarios están moldeadas por factores multifacéticos:

• Consistencia a largo plazo: Intereses estables acumulados a lo largo del tiempo (por ejemplo, un entusiasta del fútbol que compra consistentemente equipo de fútbol).
• Desviaciones a corto plazo: Cambios abruptos en los intereses provocados por eventos focales recientes o estímulos externos (por ejemplo, comprar repentinamente un mando de videojuegos).

Los modelos de difusión estándar tratan todos los artículos históricos de manera indiscriminada, asumiendo una distribución uniforme que contradice la dinámica temporal del comportamiento del usuario. Este artículo argumenta que, para cerrar esta brecha, el proceso de difusión debe adaptarse para integrar explícitamente las preferencias del usuario que evolucionan con el tiempo.

2. Metodología: Marco de Trabajo TDPM

Los autores proponen TDPM (Difusión Consciente del Tiempo basada en el Desentrelazamiento de Preferencias), un nuevo marco de GR que modifica el proceso de difusión estándar para la recomendación basada en SID. La innovación central reside en desentrelazar la preferencia del usuario en dos componentes distintos para impulsar una estrategya de enmascaramiento de tokens consciente del tiempo.

2.1 Generación de Identificadores Semánticos (SID)

Siguiendo los GRs basados en SID existentes, TDPM primero convierte los metadatos de los artículos (texto, categorías, etc.) en embeddings densos utilizando un Modelo de Lenguaje Grande (LLM). Estos embeddings se comprimen luego en SIDs discretos y multinivel utilizando Cuantización Residual K-Means (RQ-KMeans). Esto crea una secuencia de tokens jerárquica para cada artículo, preservando la proximidad semántica.

2.2 Desentrelazamiento de Preferencias

TDPM descompone la preferencia del usuario en dos variables latentes:

1. Preferencia de Periodo ($p_{period}$): Representa perfiles de usuario estables y a largo plazo. Se modela como una función monótonamente creciente de la función del índice temporal (posición en el historial), reflejando la intuición de que las interacciones recientes tienen más peso para los intereses actuales.
2. Preferencia de Punto ($p_{point}$): Representa desviaciones de interés transitorias y a corto plazo. Se calcula basándose en la desviación semántica (por ejemplo, la distancia de coseno) entre artículos adyacentes en el historial de interacción. Una gran desviación indica un cambio repentino en el interés.

2.3 Difusión de Tokens Consciente del Tiempo

En lugar de la adición de ruido estándar, TDPM emplea el enmascaramiento de tokens consciente del tiempo como el proceso de difusión hacia adelante. La probabilidad de enmascaramiento ($p_j$) para el $j$-ésimo artículo en el historial se determina dinámicamente fusionando las preferencias de periodo y de punto:
$$p_j = \alpha + \beta \cdot [\lambda \cdot p_{period} + (1 - \lambda) \cdot p_{point}]$$

• Ponderación Adaptativa ($\lambda$): Un hiperparámetro que equilibra las dos preferencias. Crucialmente, $\lambda$ no es fijo; sigue un esquema de crecimiento de ley de potencia durante el entrenamiento, desplazando gradualmente el enfoque hacia la preferencia de periodo a medida que el modelo se estabiliza.
• Mecanismo: Los artículos con mayores probabilidades de enmascaramiento (que indican mayor importancia o desviación) se enmascaran de forma más agresiva. Esto obliga al modelo a aprender a reconstruir estas señales críticas, capturando así tanto patrones estables como cambios abruptos.

2.4 Estrategia de Optimización

El entrenamiento sigue un paradigma de dos etapas:

1. Etapa de Calentamiento (Warm-up): Utiliza el enmascaramiento de tokens uniforme para preentrenar el modelo en el vocabulario de SID y los patrones de coocurrencia, asegurando una inicialización estable.
2. Etapa de Enmascaramiento de Tokens Consciente del Tiempo: Reemplaza el enmascaramiento uniforme con la propuesta estrategia de desentrelazamiento de preferencias. El SID del artículo objetivo se enmascara completamente para alinearse con la tarea de inferencia (predicción del siguiente artículo).

2.5 Inferencia

Durante la inferencia, el modelo recibe el historial de SID del usuario seguido de $m$ tokens de máscara. Realiza una generación autorregresiva utilizando una búsqueda de haz restringida (constrained beam search) guiada por un árbol de prefijos (Trie) construido a partir del vocabulario de SID, asegurando que la secuencia generada corresponda a un artículo válido.

3. Contribuciones Clave

El artículo reclama las siguientes contribuciones:

• Primera Integración de Preferencias que Evolucionan con el Tiempo: Hasta donde saben los autores, este es el primer trabajo que integra la propiedad de evolución temporal de la preferencia del usuario en la recomendación generativa basada en difusión.
• Nuevo Mecanismo de Desentrelazamiento: La propuesta de TDPM, que desentrelaza la preferencia del usuario en una preferencia de periodo estable y una preferencia de punto transitoria, permitiendo al modelo gobernar de forma adaptativa la intensidad de la difusión para cada artículo.
• Superioridad de Rendimiento: Experimentos extensos demuestran que TDPM supera significativamente a los métodos de referencia (baselines) de última generación (incluyendo modelos secuenciales tradicionales, GRs basados en SID y otros recomendadores basados en difusión).

4. Resultados Experimentales

Los autores evaluaron TDPM en tres conjuntos de datos reales públicos de Amazon: Beauty, Sports and Outdoors, y Toys and Games.

• Baselines: El estudio compara contra modelos secuenciales basados en RNN/CNN/Transformer (GRU4Rec, SASRec, BERT4Rec), GRs basados en SID (TIGER, LC-Rec) y otros recomendadores basados en difusión (PreferDiff, DDSR, PreferGrow).
• Rendimiento: TDPM logró mejoras significativas sobre los mejores métodos de referencia.
  • HR@20: Mejora de hasta un 29.21%.
  • NDCG@20: Mejora de hasta un 25.45%.
• Estudios de Ablación:
  • Eliminar la Preferencia de Punto resultó en una caída de rendimiento de aproximadamente un 10%, indicando la necesidad de capturar las desviaciones de interés.
  • Eliminar la Preferencia de Periodo causó una caída mayor (~20%), resaltando que las preferencias estables a largo plazo forman la base esencial.
  • Eliminar ambas (revirtiendo al enmascaramiento uniforme) resultó en el peor rendimiento, confirmando que la difusión uniforme estándar es insuficiente para la recomendación secuencial.
• Sensibilidad de Hiperparámetros: El estudio encontró que un equilibrio inicial moderado ($\lambda_{start} \approx 0.5$) combinado con una gran curvatura de crecimiento ($k=2.0$) produce resultados óptimos, permitiendo que el modelo aprenda ambos tipos de preferencia antes de enfocarse en la consistencia a largo plazo.

5. Significado y Reivindicaciones

El artículo afirma que la principal importancia de TDPM radica en cerrar la brecha entre el proceso de difusión hacia adelante uniforme de los modelos estándar y la distribución inherentemente no uniforme y evolutiva en el tiempo de las preferencias del usuario.

Al modelar explícitamente la consistencia de la preferencia y las desviaciones de interés, TDPM va más allá de la naturaleza "agnóstica al artículo" de los GRs previos basados en difusión. Los autores afirman que su difusión de tokens consciente del tiempo no es simplemente una mejora incremental, sino una adaptación necesaria para que los modelos de difusión sean efectivos en escenarios de recomendación secuencial. Los resultados sugieren que el desentrelazamiento de las preferencias permite que el proceso de difusión se concentre en las partes más informativas del historial de interacción, lo que conduce a predicciones del siguiente artículo más precisas y robustas.