Resumen Técnico: PRL-PUTS para el Ajuste de Utilidad Personalizada

1. Definición del Problema

Los sistemas de recomendación a gran escala, como el Homefeed de Pinterest, suelen emplear modelos de clasificación multi-tarea que predicen múltiples resultados de participación del usuario (por ejemplo, clics, guardados/Repins) simultáneamente. Estas predicciones se agregan en una única puntuación de utilidad mediante una suma ponderada lineal para determinar la clasificación final.

El documento identifica tres limitaciones críticas en el enfoque manual actual para ajustar estos pesos de utilidad:

1. Ineficiencia Operativa: La selección de pesos depende de análisis ad hoc fuera de línea y ciclos prolongados de pruebas A/B en línea (semanas a meses), lo que dificulta la adaptación rápida a prioridades comerciales cambiantes.
2. Obsolescencia: Los pesos globales a menudo se tratan como constantes estáticas. A medida que el clasificador subyacente se actualiza con nuevos datos y características, los pesos previamente ajustados se desalinean con la distribución actual del modelo.
3. Falta de Personalización: Los pesos globales imponen un único compromiso de objetivo en todos los usuarios y contextos, sin tener en cuenta las intenciones heterogéneas de los usuarios. Enumerar manualmente los compromisos dependientes del contexto es intratable a escala de producción.

El desafío central es crear un sistema que permita compromisos multi-objetivo rápidos, sensibles al contexto y gobernables, mientras se adhiere a restricciones de producción estrictas (frecuencia limitada de reentrenamiento de modelos y complejidad en tiempo de servicio).

2. Metodología: PRL-PUTS

Los autores proponen PRL-PUTS (Marco de Aprendizaje por Refuerzo listo para producción, independiente del clasificador, para el Ajuste de Pesos de Utilidad Personalizada con Barrido de Pareto). El marco plantea el ajuste de pesos de utilidad como un problema de Aprendizaje por Refuerzo (RL) basado en valores de un solo paso.

2.1 Formulación Central

• Estado ($s$): Representa el contexto de la solicitud, incluyendo señales del perfil del usuario, preferencias a largo plazo (incrustaciones), historial de acciones recientes y contexto en tiempo de servicio (dispositivo, superficie, hora).
• Acción ($a$): Un vector de pesos de utilidad aplicado a las predicciones por objetivo existentes del clasificador. Para gestionar la complejidad y el riesgo, el sistema controla un subconjunto discreto de pesos (específicamente para Repins y impresiones P2P en la implementación de Pinterest) mientras fija los demás. El espacio de acciones se discretiza en un conjunto compacto de valores candidatos.
• Recompensa ($r$): Un vector de resultados de participación a nivel de solicitud correspondientes a los objetivos controlados. Para estabilizar el aprendizaje, las recompensas se recortan a valores binarios (0 o 1) según si el evento ocurrió o no.
• Objetivo: El agente aprende a seleccionar un vector de pesos $w$ para una solicitud dada $s$ para maximizar las recompensas de participación inmediatas. El problema se modela como un Bandido Contextual (MDP de un paso con $\gamma=0$).

2.2 Arquitectura del Modelo

PRL-PUTS utiliza un Modelo de Valor de Dos Cabezales:

• Entrada: Concatenación de incrustaciones de estado (derivadas del historial del usuario y el contexto mediante Transformadores y MLP) e incrustaciones de acción (pesos de utilidad normalizados).
• Columna Vertebral: Un MLP compartido de tres capas con Normalización por Lotes y ReLU.
• Cabezales de Salida: Dos cabezales separados predicen la recompensa esperada para cada objetivo ($Q_{Repin}$ y $Q_{P2P}$). Las salidas se acotan a $[0, 1]$ utilizando una función sigmoide, interpretadas como probabilidades de éxito condicionales.
• Entrenamiento: El modelo se entrena con registros de exploración imparciales utilizando una suma de pérdidas de Error Cuadrático Medio (MSE) para los dos objetivos.

2.3 Barrido de Pareto en Tiempo de Inferencia

Una innovación clave es la separación del aprendizaje de la selección de políticas.

• En lugar de entrenar una sola política para un compromiso fijo, el modelo aprende funciones de valor específicas de cada objetivo.
• En tiempo de inferencia, se introduce un parámetro de escalarización $\alpha \in [0, 1]$ para controlar la importancia relativa de los objetivos:
  $$a^* = \arg\max_{a \in A} \left( \alpha Q_{P2P}(s, a) + (1 - \alpha) Q_{Repin}(s, a) \right)$$
• Al barrer $\alpha$ sobre una cuadrícula fuera de línea, el sistema induce una familia de políticas deterministas a partir de un único modelo entrenado.
• Gobernanza: Estas políticas se evalúan fuera de línea utilizando Evaluación de Políticas Fuera de Política (OPE) en registros de exploración retenidos para construir una frontera de Pareto empírica. Las partes interesadas pueden visualizar compromisos factibles y seleccionar una política operativa (un $\alpha$ específico) mediante configuración sin reentrenar el modelo.

2.4 Integración en Producción

• Independencia del Clasificador: PRL-PUTS opera como una capa de control desacoplada sobre el clasificador multi-tarea existente. No modifica las predicciones internas del clasificador ni la generación de candidatos.
• Latencia: El marco se ejecuta en paralelo con la inferencia de clasificación. Añade una latencia de servicio insignificante porque solo requiere características a nivel de solicitud y no depende de características a nivel de elemento ni de cálculos intermedios del clasificador.
• Respuesta de Emergencia: Mecanismos de respuesta de emergencia robustos aseguran que, si la inferencia falla o se agota el tiempo, el sistema vuelva a los pesos de producción estáticos.

3. Contribuciones Clave

1. Formulación de RL Independiente del Clasificador: El documento introduce un enfoque de RL basado en valores de un solo paso donde las acciones son vectores de pesos de utilidad aplicados a las predicciones existentes del clasificador, permitiendo control contextual a nivel de solicitud sin reentrenar el clasificador central.
2. Gobernanza Accionable mediante Barrido de Pareto: El marco utiliza el barrido en tiempo de inferencia de un parámetro de escalarización para generar una familia de políticas y una frontera de Pareto empírica. Esto permite a las partes interesadas seleccionar políticas operativas alineadas con los objetivos comerciales actuales sin reentrenar el modelo.
3. Integración en Producción: El sistema está diseñado para ejecutarse junto con la inferencia de clasificación con latencia de servicio añadida cero y ha sido implementado con éxito en el Homefeed de Pinterest.
4. Evidencia de Extremo a Extremo: Los autores demuestran que las estimaciones de compromisos barridas por Pareto fuera de línea predicen de manera fiable los movimientos de métricas en línea, validando que las ganancias se deben a la personalización contextual y no a simples cambios globales de pesos.

4. Resultados Experimentales

El marco se validó utilizando registros de exploración imparciales de tráfico de producción aleatorizado y pruebas A/B en línea en el Homefeed de Pinterest.

• Consistencia Fuera de Línea a En Línea: Hubo una fuerte correlación (correlación de Pearson > 0.98) entre las estimaciones de OPE fuera de línea y los movimientos de métricas en línea a través de diferentes políticas operativas.
• Rendimiento de la Política Global:
  • Una política inclinada hacia P2P ($\alpha=0.24$) logró un aumento del +0.13% en Sesiones Exitosas (una métrica central de participación), junto con un aumento del +0.66% en Repins y del +0.30% en impresiones P2P en comparación con la línea base.
  • Se observaron compromisos como se esperaba: las políticas inclinadas hacia Repin aumentaron los Repins pero redujeron ligeramente las impresiones P2P, mientras que las políticas inclinadas hacia P2P hicieron lo contrario.
• Personalización vs. Ajuste Global:
  • Al comparar PRL-PUTS con una línea base estática ajustada para igualar los pesos promedio producidos por PRL-PUTS, la línea base estática mostró resultados neutros o negativos.
  • PRL-PUTS logró un aumento del +0.12% en Repins y del +0.21% en impresiones P2P, demostrando que las mejoras provienen de la selección de pesos dependiente del contexto (personalización) y no de un reponderamiento global de la función de utilidad.
• Análisis de Cohortes: El sistema aplicó con éxito diferentes valores de $\alpha$ a diferentes cohortes de usuarios (CORE, CASUAL, REST), demostrando desplazamientos controlables a lo largo de la curva de compromiso para segmentos de usuarios específicos.

5. Significado y Afirmaciones

El documento afirma que PRL-PUTS aborda la "deuda operativa y de producto" asociada con el ajuste manual de utilidades en recomendadores a gran escala. Al desacoplar la capa de control del clasificador, permite:

• Velocidad: Actualizaciones rápidas de políticas operativas mediante cambios de configuración ($\alpha$) en lugar de ciclos de reentrenamiento de semanas.
• Gobernanza: Una frontera de Pareto transparente y visualizable que permite a las partes interesadas tomar decisiones informadas sobre compromisos.
• Seguridad: Una superficie de control pequeña y revisable (acciones de pesos discretas) que respalda reversiones seguras e implementaciones incrementales.

Los autores posicionan este trabajo como una solución práctica para entornos de producción donde el reentrenamiento de modelos es infrecuente y la latencia de servicio es crítica, demostrando que el RL puede aplicarse eficazmente a la capa de agregación de utilidades para lograr una optimización multi-objetivo personalizada.

6. Limitaciones y Trabajo Futuro

El documento reconoce varias limitaciones:

• Horizonte: La formulación de un solo paso optimiza para resultados inmediatos a nivel de solicitud y no captura explícitamente efectos a largo plazo como la retención o la participación futura.
• Número de Objetivos: La implementación actual se centra en dos objetivos para la interpretabilidad; extenderlo a tres o más objetivos requiere métodos de escalarización o selección restringida más complejos.
• Espacio de Acciones: El uso de un conjunto de acciones discreto limita el riesgo de exploración, pero puede pasar por alto políticas óptimas de grano fino en comparación con espacios continuos.

Se sugiere trabajo futuro para explorar la toma de decisiones de horizonte más largo (que requiere registro de trayectorias y métodos de bootstrapping) y la escalabilidad a espacios de acción más ricos manteniendo la eficiencia de la muestra y la seguridad.