Resumen Técnico: FEDIN – Red de Interés Profundo Mejorada por Frecuencia para la Predicción de Tasa de Clics

Enunciado del Problema

Los modelos de recomendación secuencial para la predicción de la Tasa de Clics (CTR) enfrentan desafíos significativos para capturar patrones periódicos latentes dentro de los intereses de los usuarios. Las secuencias de comportamiento de los usuarios en el mundo real suelen ser una mezcla de hábitos periódicos a largo plazo y ruido estocástico a corto plazo. Los enfoques puramente temporales, incluidos aquellos que utilizan Redes Neuronales Recurrentes (RNN), Transformadores y Modelos de Espacio de Estados (SSM), tienden a ser sensibles al ruido punto a punto. Estos modelos a menudo luchan por desacoplar patrones periódicos estables de clics aleatorios, particularmente en secuencias largas.

Si bien el análisis en el dominio de la frecuencia ofrece una perspectiva global adecuada para la eliminación de ruido y el reconocimiento de patrones, los enfoques existentes basados en frecuencia (por ejemplo, FMLP-Rec, FEARec, DIFF) suelen tratar las secuencias de usuarios de forma aislada. Aplican el análisis de frecuencia a la secuencia de comportamiento cruda sin considerar el contexto del elemento objetivo. Los autores argumentan que este filtrado "agnóstico al objetivo" es subóptimo porque la secuencia de comportamiento de un usuario es polimórfica; sin el elemento objetivo específico como contexto, el modelo no puede distinguir eficazmente entre los componentes de frecuencia que representan una señal verdadera y aquellos que representan ruido de fondo.

Metodología: Arquitectura FEDIN

La propuesta Red de Interés Profundo Mejorada por Frecuencia (FEDIN) aborda estas limitaciones mediante una arquitectura de doble rama que fusiona perspectivas del dominio temporal y del dominio de frecuencia. El marco toma una secuencia de comportamiento de usuario $X \in \mathbb{R}^{L \times D}$ y un elemento objetivo $X_{tar} \in \mathbb{R}^D$ como entradas para predecir una representación de interés del usuario $U$.

1. Preprocesamiento

El modelo emplea la Normalización de Instancia Reversible (RevIN) como paso de preprocesamiento para mitigar los desplazamientos de distribución y la naturaleza no estacionaria de los comportamientos de los usuarios antes de alimentar los datos a las ramas.

2. Rama del Dominio Temporal (Evolución Local)

Esta rama se centra en capturar la evolución secuencial local de los intereses:

• Filtrado Grueso mediante Atención al Objetivo: Un mecanismo de atención consciente del objetivo calcula puntuaciones ponderadas para filtrar el ruido punto a punto mientras preserva la resolución temporal, produciendo una secuencia ponderada $X_{attn}$.
• Evolución de Alta Granularidad mediante Transformador de Parches: Para manejar secuencias largas de manera eficiente y capturar semánticas temporales locales, $X_{attn}$ se segmenta en parches no superpuestos. Un codificador Transformador modela las dependencias entre estos parches, generando la representación de interés temporal $X_{time}$.

3. Rama del Dominio de Frecuencia (Periodicidad Global)

Esta rama es la innovación central, diseñada para aislar patrones armónicos estructurados utilizando un mecanismo de filtrado espectral consciente del objetivo:

• Espectro Condicionado al Objetivo: A diferencia de trabajos anteriores que transforman secuencias crudas, FEDIN primero calcula puntuaciones de atención al objetivo $X_{score}$ para capturar la relevancia de cada comportamiento histórico con respecto al elemento objetivo. Estas puntuaciones se transforman al dominio de la frecuencia mediante la Transformada Rápida de Fourier (FFT) para crear un espectro condicionado al objetivo $\hat{X}_{score}$.
• Filtrado Espectral Consciente del Objetivo: El espectro se modula mediante las puntuaciones de atención ($\hat{X}_{attn}$) para resaltar los componentes de frecuencia donde el usuario muestra una fuerte resonancia con el objetivo.
• Filtro Espectral Aprendible: Un MLP de Valor Complejo actúa como un filtro aprendible sobre el espectro complejo. Amplifica adaptativamente las frecuencias armónicas dominantes mientras suprime el ruido de alta entropía, produciendo una representación de frecuencia limpia $\hat{X}_{freq}$.
• Escala de Resonancia Adaptativa: Un mecanismo de puerta adaptativa escala la salida de la rama de frecuencia basándose en la claridad espectral (entropía) del espectro condicionado al objetivo. Esto asegura que el modelo confíe en la visión de frecuencia solo cuando se detecten patrones de resonancia claros, recurriendo al dominio temporal en caso contrario.

4. Agregador de Interés del Usuario

Las salidas de ambas ramas ($X_{time}$ y $X_{freq}$) se suman para formar una representación mixta. Luego se aplica un mecanismo de Atención al Objetivo Top-k para derivar el interés final del usuario $U$. Este mecanismo retiene solo los $k$ elementos con la mayor similitud al objetivo, utilizando una estrategia de enmascaramiento para garantizar la diferenciabilidad y evitar la dilución de señales fuertes por otras débiles o conflictivas.

Contribuciones Clave

1. Observación Empírica: Los autores identifican que las puntuaciones de atención de los usuarios exhiben distribuciones de entropía espectral distintas cuando se condicionan a elementos objetivos positivos versus negativos. Los intereses reales de los usuarios se manifiestan como patrones espectrales altamente concentrados con menor entropía, mientras que los comportamientos irrelevantes aparecen como ruido de alta entropía. Esto proporciona una base teórica para la recomendación espectral consciente del objetivo.
2. Marco FEDIN: La propuesta de un marco híbrido que integra una rama de frecuencia consciente del objetivo con el modelado temporal tradicional. Este diseño combina eficazmente la robustez global ante el ruido del análisis de frecuencia con la precisión secuencial local del modelado temporal.
3. Rendimiento y Robustez: Experimentos extensivos demuestran que FEDIN supera consistentemente a las líneas base secuenciales más avanzadas y exhibe una robustez superior ante el ruido.

Resultados Experimentales

El modelo se evaluó en tres conjuntos de datos públicos: Tmall, Taobao y Alipay.

• Líneas Base: Se realizaron comparaciones contra seis modelos de última generación (DIN, DIEN, SASRec, BERT4Rec, GRU4Rec, BST, DIFF) y una línea base de Agrupación por Suma.
• Rendimiento: FEDIN logró el mejor rendimiento en todos los conjuntos de datos en las métricas GAUC y AUC. Por ejemplo, en el conjunto de datos Tmall, FEDIN logró un GAUC de 0.9658 y un AUC de 0.9666, superando significativamente a la mejor línea base (DIN: 0.9547/0.9518).
• Estudios de Ablación: Eliminar cualquiera de las ramas del Dominio Temporal o del Dominio de Frecuencia resultó en una degradación del rendimiento, confirmando la necesidad de ambas. Eliminar el aspecto "Consciente del Objetivo" del filtro de frecuencia (reemplazándolo por un filtro estático) también causó una caída, validando la hipótesis de que el contexto del objetivo es crucial para un filtrado espectral efectivo.
• Resistencia al Ruido: Los experimentos con ruido sintético (Ruido de Eliminación y Ruido de Reemplazo) mostraron que la Rama del Dominio de Frecuencia mantiene una estabilidad significativamente mayor a medida que aumentan las tasas de ruido en comparación con la Rama del Dominio Temporal. El filtrado espectral atenúa eficazmente los componentes de ruido de alta entropía.

Significado y Afirmaciones

El artículo afirma que FEDIN ofrece una perspectiva novedosa sobre la recomendación secuencial aprovechando la naturaleza condicionada al objetivo de los patrones espectrales. Los autores afirman que simplemente analizar la secuencia de comportamiento cruda en el dominio de la frecuencia es insuficiente; el elemento objetivo actúa como una condición necesaria para activar patrones de resonancia específicos.

Al integrar el análisis del dominio de la frecuencia como un complemento y no como un reemplazo del modelado temporal, FEDIN logra un equilibrio entre capturar periodicidades globales y preservar detalles secuenciales locales. El trabajo demuestra que este enfoque de doble rama proporciona una robustez superior ante el ruido inherente y la dispersión de los registros de comportamiento de usuarios en el mundo real, lo que conduce a predicciones de CTR más estables y precisas en diversos conjuntos de datos. Los autores señalan que el costo computacional de la rama de frecuencia es $O(L \log L)$ debido a las operaciones FFT, ofreciendo una ventaja de eficiencia sobre los mecanismos de autoatención estándar ($O(L^2)$) para secuencias largas.