Contextual Scalarisation Thompson Sampling for multi-objective decisions in public media

Resumen Técnico: Muestreo de Thompson con Escalarización Contextual para Decisiones Multiobjetivo en Medios Públicos

Planteamiento del Problema
Las organizaciones de medios de servicio público se enfrentan a un complejo problema de optimización multiobjetivo al programar contenidos. A diferencia de los sistemas comerciales que suelen priorizar el compromiso (engagement) a corto plazo, los radiodifusores públicos deben equilibrar criterios contrapuestos como el alcance de la audiencia, los valores culturales, la diversidad, la relevancia local, la representación de minorías y las restricciones operativas (por ejemplo, la gestión de derechos y el presupuesto). Los enfoques tradicionales que dependen de combinaciones fijas de objetivos o de la optimización basada en Pareto no logran adaptarse a los cambios en las prioridades según los diferentes contextos de difusión (por ejemplo, franjas horarias, temporadas o eventos competitivos). Además, las herramientas de programación existentes suelen carecer de la capacidad de modelar dinámicamente los compromisos editoriales (tradeoffs), lo que obliga a los curadores a ponderar manualmente diversos factores para cada decisión, un proceso que no escala bien con catálogos extensos.

Metodología
Los autores proponen el Muestreo de Thompson con Escalarización Contextual (CSTS, por sus siglas en inglés), un algoritmo de bandidos contextuales multiobjetivo diseñado para aprender pesos dependientes del contexto para múltiples señales de valor.

• Marco de trabajo: El CSTS formula el problema de la programación como un bandido multibrazo contextual. En cada paso de tiempo $t$, dado un contexto $x_{c,t}$ (que describe la franja, el canal, la temporada y la competencia) y un conjunto de acciones candidatas $A_t$ (películas disponibles), el sistema calcula un vector de $N$ señales de valor acotadas $\phi(a_t, x_{c,t})$. En este estudio, $N=5$, que representan:

  1. Potencial de audiencia
  2. Diversidad
  3. Novedad
  4. Competencia (programas que se emiten simultáneamente)
  5. Gestión de derechos/contratos

• Escalarización Adaptativa: En lugar de utilizar pesos globales fijos, el CSTS aprende una función de ponderación $w(x_{c,t})$ que mapea el contexto a un vector de probabilidad sobre los objetivos. Esto se parametriza como un modelo de compuerta lineal pasado a través de una función softmax:
  $$w_\theta(x_{c,t}) = \text{softmax}(U x_{c,t} + b)$$
  La utilidad escalar para una acción se calcula entonces mediante el producto punto de estos pesos dependientes del contexto y el vector de señales de valor: $u(a_t, x_{c,t}) = w_\theta(x_{c,t})^\top \phi(a_t, x_{c,t})$.

• Estrategia de Exploración: Para equilibrar la exploración y la explotación, el algoritmo emplea el Muestreo de Thompson sobre los parámetros del modelo $\theta = (U, b)$. En cada paso, se muestrean los parámetros $\tilde{\theta}_t$ de una distribución centrada en la estimación actual (con la incertidencia modelada mediante un acumulador de tipo RMS). Esto permite que el sistema explore diferentes compromisos plausibles entre objetivos en lugar de inyectar ruido arbitrario en las puntuaciones de los elementos.

• Aprendizaje y Retroalimentación: El sistema actualiza los parámetros basándose en la retroalimentación binaria (selección del curador) utilizando una función de pérdida logística. Además, incorpora una pérdida auxiliar para alinear los pesos aprendidos con la retroalimentación explícita de los curadores respecto a las prioridades de señales específicas, dirigiendo eficazmente el modelo hacia la intención editorial.

Contribuciones Clave

1. Ponderación Dependiente del Contexto: A diferencia de trabajos previos que dependen de pesos fijos o fronteras de Pareto estáticas, el CSTS ajusta dinámicamente la importancia relativa de los objetivos basándose en el contexto observado.
2. Interpretabilidad y Eficiencia: Al descomponer la calidad de la recomendación en señales de valor acotadas y aprender un vector de pesos dependiente del contexto, el método retiene la eficiencia de datos e interpretabilidad de los bandidos de recompensa escalar, mientras gestiona múltiples objetivos.
3. Sistema de Soporte a la Decisión: El enfoque está diseñado específicamente para asistir a los curadores humanos, presentando una lista corta clasificada de candidatos plausibles que se alineen con las prácticas de curaduría experta, en lugar de automatizar completamente la programación.

Resultos
Los autores evaluaron el CSTS utilizando dos años de datos históricos de programación de Radio Télévision Suisse (RTS), comparándolo con pesos globales estáticos, maximización de audiencia (objetivo único), Thompson Sampling convencional y LinUCB.

• Relevancia Contextual: El CSTS logró la mayor relevancia contextual relajada (Hit@10 = 98.7%, NDCG@10 = 0.376), superando significativamente al Thompson Sampling convencional (80.0%) y a los pesos estáticos (92.0%). Esto demuestra el beneficio de adaptar los pesos al contexto específico.
• Coincidencia Estricta: Bajo una coincidencia estric rather (donde la relevancia se define únicamente como la película históricamente elegida), los pesos globales estáticos funcionaron ligeramente mejor (Hit@10 = 20.0% frente al 18.7% del CSTS). Los autores atribuyen esto a que algunas elecciones históricas fueron reacciones puntuales a restricciones de último minuto no capturadas totalmente por las características del contexto, y a que los pesos globales definidos por expertos sirven como una base sólida.
• Análisis de Compromisos (Tradeoff): El CSTS mostró un perfil de preferencia distinto en comparación con los métodos estáticos. Mientras que las recomendaciones estáticas favorecieron consistentemente la Novedad, el CSTS aprendió a priorizar la Diversidad y la Urgencia de Derechos en 3 de los 4 contextos probados, alineándose más estrechamente con la eficiencia del catálogo y la gestión de derechos.
• Estudios de Ablación: La eliminación de cualquier señal de valor degradó el rendimiento, confirmando la necesidad del enfoque multiobjetivo. La eliminación de las señales de "Competencia" o "Audiencia" causó las mayores caídas en la relevancia. El ajuste de la exploración (mediante el parámetro $\kappa$) mostró que una exploración moderada produce la mejor precisión, evitando el sobreajuste mientras mantiene la cobertura.

Significancia y Reivindicaciones
El artículo afirma que el CSTS ofrece una mejora significativa en la relevancia contextual y la alineación con las prácticas de curaduría experta en comparación con los enfoques de pesos fijos o de bandidos contextuales estándar. Demuestra con éxito que un bandido multiobjetivo puede aprender a navegar los compromisos inherentes a la programación de medios de servicio público sin requerir una política estática de "talla única".

Los autores señalan modestamente que, si bien el CSTS mejora la recuperación de listas de reproducción relevantes, aún no replica completamente las elecciones históricas exactas de los curadores, lo que sugiere que la toma de decisiones humana involucra factores más allá de las características de contexto capturadas. Enfatizan que el sistema está destinado a ser una herramienta de soporte a la decisión para ayudar a los curadores a navegar catálogos extensos, en lugar de un reemplazo para el juicio editorial humano. Se propone como trabajo futuro pasar de señales diseñadas manualmente a un proceso de diseño más sistemático e integrar mediciones de audiencia digital.