Resumen Técnico: Optimización del Compromiso del Usuario a Largo Plazo mediante el Aprendizaje de Recompensas Aguas Abajo Independiente del Modelo

1. Definición del Problema

El artículo aborda el desafío de optimizar el compromiso y la retención de los usuarios a largo plazo en sistemas de recomendación a gran escala, específicamente en el contexto de Pinterest. Mientras que los sistemas modernos optimizan eficazmente las señales de comportamiento a corto plazo (por ejemplo, clics inmediatos), la optimización de la retención a largo plazo es difícil debido a tres factores principales:

1. Dispersión y Ruido: Las etiquetas de retención (por ejemplo, si un usuario regresa en una semana) son dispersas, ruidosas y solo débilmente observables.
2. Retraso y Atribución: Las señales de retención están retrasadas, lo que dificulta la atribución de resultados futuros a recomendaciones específicas realizadas anteriormente.
3. Cambio de Distribución: Los intereses de los usuarios y las distribuciones de datos evolucionan con el tiempo, lo que provoca que los objetivos sustitutos fijos se vuelvan obsoletos y desalineados con los comportamientos que impulsan el valor a largo plazo.

Los enfoques existentes que utilizan Aprendizaje por Refuerzo (RL) o modelado secuencial a menudo requieren una ingeniería de recompensas específica para la tarea, una sobrecarga computacional sustancial y son difíciles de generalizar a través de diferentes superficies de producto (por ejemplo, Homefeed, Búsqueda, Pines Relacionados).

2. Metodología

Los autores proponen un marco unificado de recompensas aguas abajo (DR) independiente del modelo. En lugar de optimizar directamente para las etiquetas de retención retrasadas, el sistema aprende a optimizar las "recompensas aguas abajo": señales proxy derivadas de patrones de acción observados del usuario que son predictivas de la retención futura.

2.1 Marco de Cribado Offline

Antes de definir las recompensas, los autores desarrollaron un marco de cribado offline para identificar comportamientos a nivel de sesión que sirvan como proxies válidos. Utilizando un análisis de día pivote en usuarios de bajo compromiso, cribaron cientos de características candidatas frente a tres criterios:

1. Correlación: Debe correlacionarse con el compromiso sostenido futuro (no solo con la actividad inmediata).
2. Observabilidad: Debe ser observable dentro o poco después de la sesión.
3. Predictividad Incremental: Debe seguir siendo predictiva tras controlar las señales correlacionadas.

Hallazgos Clave del Cribado:

• Profundidad sobre Amplitud: El compromiso profundo (por ejemplo, guardados, visualizaciones detalladas prolongadas, exploración de "agujeros de conejo" P2P) se correlaciona positivamente con la retención, mientras que la navegación superficial de alto volumen suele ser engañosa una vez que se controla el volumen de exposición.
• Exploración P2P: La densidad de exploración dentro del "agujero de conejo" Pin-to-Pin (P2P) es un fuerte predictor de un retorno más rápido.
• Longitud de la Sesión: Las sesiones más largas están vinculadas empíricamente a visitas más rápidas.

2.2 Diseños de Recompensas Aguas Abajo

Basándose en los conocimientos del cribado, los autores definen tres familias de recompensas complementarias:

1. Recompensas para un Compromiso de Sesión más Profundo:

   • Calcula la suma acumulada descontada de acciones de alta intención (guardados, descargas, capturas de pantalla) que ocurren aguas abajo de una recomendación dentro de una sesión.
   • Fórmula: $R_{eng}(S_{u,t}) = \sum \gamma^{i-1} r_{eng}$, donde $\gamma$ es un factor de descuento que favorece los eventos más cercanos a la recomendación inicial.

2. Recompensas Negativas (Visualizaciones Superficiales):

   • Penaliza explícitamente las interacciones "superficiales" que indican una mala experiencia de usuario.
   • Define una "visualización superficial" como una visualización detallada con un tiempo de permanencia por debajo de un umbral específico del estado del usuario (por ejemplo, <1s para usuarios principales, <0.5s para no principales) que no es seguida por ninguna acción de alta intención aguas abajo.
   • Esta señal se trata como una recompensa negativa para desalentar al modelo de presentar contenido que conduzca al abandono inmediato.

3. Recompensas para la Adopción de Casos de Uso:

   • Alienta al modelo a presentar contenido que expanda el espacio de intereses del usuario más allá de sus grupos (clusters) establecidos.
   • Se activa una recompensa si un usuario interactúa con un elemento cuyo embedding es disímil a todos sus clusters de interés precomputados (similitud < $\eta$).
   • Esto actúa como un proxy para expandir la intención del usuario manteniendo la alineación con los objetivos de compromiso.

2.3 Infraestructura e Ingeniería

Para abordar la complejidad combinatoria de las definiciones de recompensa y la necesidad de iteración rápida, los autores construyeron una infraestructura DRv2:

• DRv1 (Legado): Tablas pre-agregadas que requerían la recomputación completa mediante auto-uniones de Spark para cualquier cambio en la definición de la recompensa (semanas para iterar).
• DRv2 (Propuesto): Almacena la interacción del usuario como secuencias diarias reutilizables. Las etiquetas de recompensa se computan bajo demanda dentro de un dataloader basado en Ray utilizando Funciones Definidas por el Usuario (UDF) configurables.
• Impacto: Esto redujo el tiempo de experimentación de ~3 semanas a ~2 días y mantuvo los costos de entrenamiento incremental dentro del 5% de la línea base.

2.4 Integración con Modelos de Clasificación (Ranking)

El marco es independiente del modelo y puede aplicarse a cualquier modelo de clasificación supervisado o basado en RL. En producción, las recompensas aguas abajo se integran como cabezales auxiliares en modelos de aprendizaje multitarea. La puntuación final es una combinación lineal de las predicciones de compromiso inmediato y las predicciones de recompensa aguas abajo, con pesos ajustados mediante HyperOPT para equilibrar la experiencia inmediata con la retención a largo plazo.

3. Resultados Experimentales

Los autores realizaron extensas pruebas A/B online en el Homefeed, Búsqueda, Pines Relacionados y Notificaciones de Pinterest.

3.1 Resultados del Homefeed

• Recompensas de Sesión más Profunda: Condujeron a un aumento de +0.36% en Sesiones Exitosas (SS) y un aumento de +0.10% en el Tiempo Total Pasado. Los Usuarios Activos Semanales (WAU) aumentaron en +0.1%.
• Recompensas Negativas: Tras optimizar los umbrales por estado de usuario (principal vs. no principal), el modelo logró un aumento de +0.16% en SS, una disminución de -0.40% en sesiones no exitosas y un aumento de +0.35% en el tiempo total pasado. Crucialmente, esta configuración mantuvo tendencias de retención positivas tanto para usuarios principales como no principales, a diferencia de un enfoque de umbral uniforme que perjudicaba la retención de los no principales.
• Adopción de Casos de Uso: Mejoró los guardados en el Homefeed en un +0.42% e incrementó la proporción de usuarios que interactúan con múltiples casos de uso en un +0.18%.

3.2 Escalabilidad a otras Superficies

El marco se extendió con éxito a Búsqueda, Pines Relacionados y Notificaciones:

• Búsqueda: +0.25% de aumento en la Tasa de Cumplimiento de Búsqueda.
• Pines Relacionados: +0.15% de aumento en Sesiones Exitosas.
• Notificaciones: +0.14% de aumento en Sesiones Exitosas y una ganancia de +0.11% en WAU.
• Especificaciones de P2P: Desplegar una penalización de visualización superficial específica en el clasificador de P2P (con un umbral de 2s) resultó en un +0.14% de SS y un aumento de +0.70% en sesiones de más de 5 minutos.

4. Contribuciones Clave

1. Perspectivas para el Modelado de Retención de Usuarios: Un marco de evaluación offline que identifica señales a nivel de sesión (específicamente la exploración profunda de P2P y los guardados) como proxies válidos para la retención a largo plazo, filtrando señales superficiales engañosas.
2. Recompensas Aguas Abajo Independientes del Modelo: Un marco unificado que genera señales de recompensa complementarias (positivas, negativas y de adopción de casos de uso) aplicables a diferentes modelos de aprendizaje profundo y superficies de producto.
3. Infraestructura de Generación de Etiquetas de Recompensa: Una infraestructura escalable basada en Ray (DRv2) que permite una iteración rápida en las definiciones de recompensa sin una pesada sobrecarga de ingeniería.
4. Evaluaciones Empíricas: Validación mediante pruebas A/B online a largo plazo que demuestran mejoras consistentes en las métricas de compromiso y retención en múltiples superficies de Pinterest.

5. Significado y Reivindicaciones

El artículo afirma que este marco proporciona una solución práctica y escalable para optimizar el valor del usuario a largo plazo en sistemas de recomendación industriales sin la complejidad del despliegue de un Aprendizaje por Ref Reinforcement Learning completo. Al cambiar el enfoque de los clics inmediatos hacia las "recompensas aguas abajo" que capturan la calidad y profundidad de las sesiones de usuario, el sistema logra mitigar la dispersión y el retraso de las etiquetas de retención.

Los autores enfatizan que el marco es generalizable e independiente del modelo, lo que permite su despliegue en diversas superficies (Homefeed, Búsqueda, P2P) con una reingeniería mínima. Los resultados sugieren que optimizar la calidad del viaje del usuario (profundidad, diversidad y evitar interacciones superficiales) es más efectivo para la retención a largo plazo que optimizar el volumen bruto de actividad. El trabajo se ha implementado totalmente en producción en Pinterest, demostrando que equilibrar el compromiso inmediato con el valor aguas abajo es posible y beneficioso tanto para la experiencia del usuario como para las métricas de negocio.