Quality-Constrained Preference Fading Model for Discrete Diffusion Recommendation

Resumen Técnico: Modelo de Desvanecimiento de Preferencias con Restricción de Calidad para la Difusión Discreta en Recomendación

Planteamiento del Problema

Los modelos de difusión discreta han emergido como un paradigma prometedor para los sistemas de recomendación, enmarcando el proceso de recomendación como un mecanismo de "desvanecimiento y crecimiento de preferencias" dentro de un espacio de ítems discretos. Sin embargo, los métodos de difusión discreta existentes dependen típicamente de una estrategia de muestreo aleatorio uniforme durante la etapa de desvanecimiento de la preferencia hacia adelante (forward preference fading). En entornos de recomendación masivos y dispersos, este enfoque genera estados de preferencia corruptos que carecen de valor informativo. En consecuencia, el proceso de eliminación de ruido inverso recibe una supervisión discriminativa inadecuada, lo que limita la capacidad del modelo para realizar un ranking Top-K refinado. Además, el reemplazo aleatorio estándar corre el riesgo de introducir "falsos negativos" (reemplazar un ítem objetivo con uno que al usuario realmente le gusta pero con el que aún no ha interactuado), lo que induce a error al proceso de entrenamiento.

Metodología: Desvanecimiento de Preferencias con Restricción de Calidad (QCPF)

Los autores proponen QCPF, un módulo de mejora exclusivo para el entrenamiento que reconstruye el proceso de desvanecimiento de la preferencia hacia adelante sin alterar la arquitectura generativa inversa ni la de inferencia. La innovación central radica en reemplazar la distribución uniforme por una distribución mixta consciente de la calidad e implementar un mecanismo de filtrado consciente de falsos negativos.

1. Distribución de Reemplazo Mixta Consciente de la Calidad

En lugar del muestreo aleatorio uniforme, QCPF construye una mezcla ponderada de tres fuentes de evidencia negativa para crear una trayectoria de degradación más desafiante e informativa:

• Negativos Aleatorios Simples ($q_e$): Muestreados uniformemente del corpus global de ítems para mantener la cobertura de exploración espacial y evitar que la trayectoria de degradación colapse en regiones locales.
• Candidatos Difíciles a Nivel de Lote ($q_h$): Extraídos de los ítems únicos en el lote de entrenamiento actual. Estos ítems reflejan los intereses genuinos de los usuarios concurrentes, actuando como señales "deceptivas" fuertes que proporcionan una supervisión de ranking altamente discriminativa.
• Proxies de Exposición Basados en Popularidad ($q_p$): Muestreados según la frecuencia de los ítems dentro del lote actual (suavizada por un coeficiente $\alpha$). Este componente prioriza ítems de alta exposición pero no clickeados, cerrando la brecha entre el ruido generado y las distribuciones de exposición reales para mitigar los riesgos de falsos negativos asociados con las interacciones no observadas.

La distribución mixta inicial se formula como:
$$q_{QCPF}(i | u, x_0) = \lambda_e q_e(i) + \lambda_h q_h(i | B) + \lambda_p q_p(i | B)$$
donde $\lambda$ representa los coeficientes de mezcla.

2. Filtrado Consciente de Falsos Negativos

Para evitar que los candidatos de alta calidad (como los ítems populares o los negativos difíciles) sean accidentalmente verdaderos positivos para el usuario, QCPF introduce un mecanismo de filtrado ligero. Se aplica una función indicadora de validez $\phi(i, u, x_0)$ a la distribución mixta, imponiendo dos restricciones:

• Filtrado de Identidad: Asegura que el ítem de reemplazo $i$ no sea idéntico al ítem positivo objetivo $x_0$.
• Filtrado de Interacción Histórica: Asegura que $i$ no esté presente en la secuencia de interacción histórica $H_u$ del usuario.

La distribución se renormaliza entonces sobre el conjunto de candidatos válidos. Este filtrado se implementa mediante operaciones de tensores vectorizados en paralelo para garantizar una carga computacional nula durante el entrenamiento.

3. Proceso de Ida (Forward) y Vuelta (Reverse)

• Fase de Ida (Forward): El ítem positivo objetivo del usuario $x_0$ se desvanece gradualmente hacia un estado corrupto $x_t$ utilizando la distribución de reemplazo de alta calidad construida.
• Fase de Vuelta (Reverse): La red de eliminación de ruido (por ejemplo, un modelo de auto-atención como SASRec) aprende a recuperar $x_0$ a partir de $x_t$ estimando las proporciones de preferencia relativa mediante la Pérdida de Entropía de Score (Score Entropy Loss). Crucialmente, la arquitectura de la red inversa permanece idéntica a la línea base (por ejemplo, PreferGrow); solo se mejora la calidad de los datos de entrenamiento (los estados corruptos).

Contribuciones Clave

1. Mecanismo QCPF: El diseño de una estrategia de desvanecimiento híbrida que integra datos de múltiples fuentes (negativos aleatorios, difíciles y basados en popularidad) para mejorar significativamente el valor informativo de las trayectorias de degradación de la preferencia.
2. Restricción de Falsos Negativos: La introducción de un mecanismo de filtrado estricto y ligero que mitiga el riesgo de supervisión ruidosa causada por reemplazos inválidos, todo ello imponiendo cero carga de inferencia y preservando la arquitectura original del modelo.
3. Validación Empírica: Experimentos exhaustivos en cinco conjuntos de datos de referencia públicos del mundo real (MovieLens, Steam, Beauty, Toys, Sports) que demuestran mejoras consistentes en el Ratio de Acierto (HR) Top-K y la Ganancia de Rendimiento del Descuento Normalizado (NDCG).

Resultados Experimentales

Los autores evaluaron QCPF frente a los recomendadores discriminativos tradicionales (SASRec, Caser, GRU4Rec) y varios modelos basados en difusión (DreamRec, DiffRec, PreferDiff, PreferGrow).

• Rendimiento: QCPF logró mejoras significativas sobre la línea base discreta de vanguardia PreferGrow en todos los conjuntos de datos y métricas (HR@K y NDCG@K para K=5, 10, 20). Por ejemplo, en MovieLens, QCPF mejoró el HR@5 de 0.1413 (PreferGrow) a 0.1476.
• Estudios de Ablación: Eliminar cualquier componente de la distribución mixta (Batch Hard, Easy Proxy o Pop Proxy) causó que el rendimiento se degradara hacia la línea base de desvanecimiento uniforme. La eliminación de los candidatos Batch Hard resultó en la caída más significativa, resaltando su papel en la provisión de señales discriminativas. Desactivar el Filtro de Falsos Negativos resultó en un declive marginal del rendimiento, pero sirve como una red de seguridad crítica contra el colapso del entrenamiento.
• Eficiencia: El método introduce cero parámetros adicionales y ninguna latencia de inferencia, ya que el muestreo y el filtrado complejos se limitan estrictamente a la fase de entrenamiento.

Significado y Reivindicaciones

El artículo sostiene que la calidad de la trayectoria de degradación de la preferencia hacia adelante es un determinante crítico del límite superior en las recomendaciones de difusión discreta. Al optimizar el proceso de corrupción hacia adelante para que sea "con restricción de calidad", el modelo obliga a la red inversa a aprender señales de ranking más robustas y detalladas.

Los autores enfatizan que QCPF ofrece una ventaja única: mejora las capacidades de aprendizaje de características durante el entrenamiento mientras mantiene la misma eficiencia de inferencia exacta que el modelo base. Esta "mejora exclusiva de entrenamiento" hace que el enfoque sea altamente factible para el despliegue industrial, abordando el compromiso común entre el rendimiento del modelo y la latencia de inferencia. El estudio sugiere que el trabajo futuro podría refinar esto integrando características semánticas (por ejemplo, vía LLMs) y un aprendizaje de currículo adaptativo para los pesos de mezcla.