Generative Long-term User Interest Modeling for Click-Through Rate Prediction

Resumen Técnico: Modelado Generativo de Intereses de Usuario a Largo Plazo para la Predicción de la Tasa de Clics (GenLI)

Planteamiento del Problema
La predicción de la Tasa de Clics (CTR) es una tarea fundamental en los sistemas de publicidad y recomendación, que depende en gran medida de un modelado preciso de los intereses de usuario a largo plazo derivados de secuencias masivas de comportamiento histórico. Los enfoques actuales más avanzados suelen emplear un marco de dos etapas que consta de una Unidad de Búsqueda General (GSU) y una Unidad de Búsqueda Exacta (ESU). La GSU recupera un subconjunto de comportamientos relevantes basándose en la similitud con el elemento objetivo, mientras que la ESU los agrega mediante mecanismos de atención.

Los autores identifican tres limitaciones críticas en los enfoques de GSU centrados en el objetivo existentes:

1. Representación Incompleta de Intereses: Al centrarse únicamente en los comportamientos relevantes para el elemento objetivo específico, estos modelos ignoran otros intereses latentes del usuario, lo que conduce a características de intereses sesgadas e incompletas.
2. Cuello de Botella Computacional: El proceso de recuperación basado en coincidencias requiere calcular puntuaciones de similitud par a par entre el elemento objetivo y cada comportamiento histórico. A medida que crecen las secuencias de comportamiento del usuario (a menudo hasta miles de elementos), esto se convierte en un cuello de botella que consume tiempo para los servicios en línea.
3. Interacciones Conductuales Ignoradas: La arquitectura par a par compara el elemento objetivo con comportamientos individuales de forma aislada, descuidando la información de interacción y los patrones que existen entre los comportamientos históricos del usuario.

Metodología: Marco GenLI
Para abordar estos problemas, los autores proponen GenLI, un marco generativo de modelado de intereses de usuario a largo plazo. A diferencia de los métodos tradicionales basados en recuperación, GenLI adopta un enfoque generativo independiente del objetivo. El marco consta de tres módulos principales:

1. Módulo de Generación de Intereses (IGM):

   • Entrada: El IGM utiliza una secuencia de comportamiento a corto plazo (los $l$ comportamientos más recientes) en lugar del elemento objetivo.
   • Mecanismo: Emplea Atención Multi-Cabeza (MHA) para procesar estos comportamientos a corto plazo. Los vectores de consulta consisten en la incrustación del último comportamiento y un vector de consulta aprendible para capturar conocimiento de interacción.
   • Salida: El módulo genera múltiples distribuciones discretas de intereses que representan diferentes aspectos de los intereses del usuario en tiempo real:
     • Interés Explícito ($\mathbf{p}_E$): Derivado de interacciones directas (por ejemplo, clics), optimizado mediante la verosimilitud negativa en los elementos seleccionados.
     • Interés Implícito ($\mathbf{p}_I$): Derivado de elementos expuestos (impresiones sin clics), representando preferencias estables a largo plazo.
     • Interés Relativo ($\mathbf{p}_R$): Definido como la diferencia entre las distribuciones explícita e implícita ($\mathbf{p}_E - \mathbf{p}_I$), capturando la tendencia cambiante de los intereses del usuario y el contraste en la toma de decisiones.
   • Característica Clave: Este proceso es independiente del objetivo, asegurando que las distribuciones generadas abarquen un rango más amplio y diverso de intereses del usuario.

2. Módulo de Recuperación de Comportamientos (BRM):

   • Mecanismo: En lugar de calcular similitudes par a par, el BRM realiza una simple operación de búsqueda. Para cada distribución de intereses generada, se asignan puntuaciones a los comportamientos históricos basándose en sus identificadores únicos mapeados a los índices de la distribución (mediante una operación modular).
   • Eficiencia: Esto reduce la complejidad temporal para ponderar cada comportamiento a $O(1)$.
   • Selección: El módulo selecciona los $k$ comportamientos principales para cada una de las tres distribuciones de intereses ($\mathbf{B}_I, \mathbf{B}_E, \mathbf{B}_R$), resultando en un total de $K$ comportamientos recuperados. Este proceso incorpora inherentemente información de interacción de la fase de generación y filtra el ruido.

3. Módulo de Fusión de Intereses (IFM):

   • Agregación: Los comportamientos seleccionados de cada distribución se agregan por separado utilizando Atención Multi-Cabeza, donde la incrustación del elemento objetivo actúa como consulta.
   • Fusión: Las incrustaciones de interés resultantes se concatenan y procesan a través de un mecanismo de puerta (MLP con activación sigmoide) para producir el vector final de características de interés de usuario a largo plazo ($\mathbf{x}_l$).
   • Predicción: Esta característica se concatena con intereses a corto plazo, información lateral y la incrustación del elemento objetivo para predecir la CTR mediante un MLP estándar.

Contribuciones Clave

• Primer Enfoque Generativo para Intereses a Largo Plazo: Los autores afirman ser los primeros en introducir métodos generativos específicamente para modelar intereses de usuario a largo plazo en tareas de predicción de CTR, alejándose de la recuperación centrada en el objetivo.
• Marco de Extremo a Extremo: GenLI integra la Generación de Intereses, la Recuperación de Comportamientos y la Fusión de Intereses en un marco unificado y entrenable de extremo a extremo que puede conectarse fácilmente a modelos de CTR existentes.
• Diversidad y Eficiencia: Al generar distribuciones independientes del objetivo, el modelo captura intereses diversos e completos del usuario. Simultáneamente, la recuperación basada en búsqueda reduce significativamente la complejidad computacional en comparación con los métodos basados en coincidencias.

Resultados Experimentales
Los autores evaluaron GenLI en tres conjuntos de datos: Amazon (Libros), TaoBao y un conjunto de datos industrial a gran escala de Meituan.

• Rendimiento Offline:

  • En los conjuntos de datos de Amazon y TaoBao, GenLI logró un rendimiento de Estado del Arte (SOTA), superando a líneas base sólidas como TWIN, SIM y ETA. Específicamente, mostró mejoras absolutas de AUC del 0.61% (Amazon) y del 1.03% (TaoBao) sobre la mejor línea base.
  • En el conjunto de datos industrial, GenLI mejoró el AUC en un 0.22% sobre TWIN mientras reducía el tiempo de inferencia (4.6 ms frente a 7.9 ms para TWIN).
  • Los estudios de ablación confirmaron que las tres distribuciones generadas (Explícita, Implícita, Relativa) contribuyen al rendimiento, siendo el interés explícito el que tiene el impacto más directo.

• Rendimiento Online:

  • En una prueba A/B en la plataforma de entrega de alimentos de Meituan (gestionando el 30% del tráfico), GenLI demostró un aumento del 0.776% en la CTR y un aumento del 1.567% en los Ingresos por Mil (RPM) en comparación con la línea base de producción.
  • El modelo ha sido desplegado completamente en el sistema publicitario del mundo real, sirviendo a cientos de millones de usuarios diariamente.

Significado y Afirmaciones
El artículo afirma que GenLI equilibra con éxito la precisión y la eficiencia, un requisito crítico para los sistemas industriales de CTR. Al cambiar del paradigma de recuperación centrada en el objetivo a un enfoque de modelado generativo independiente del objetivo, GenLI supera las limitaciones de la captura incompleta de intereses y la alta latencia computacional. Los autores enfatizan que la capacidad de modelar intereses latentes diversos sin el cuello de botella de la coincidencia par a par permite una personalización más robusta a escala. El despliegue exitoso y las métricas online positivas validan el valor de aplicación práctica de los métodos generativos en el modelado de intereses de usuario a largo plazo.