Contextual Scalarisation Thompson Sampling for multi-objective decisions in public media

Résumé Technique : Échantillonnage de Thompson par Scalarisation Contextuelle pour les Décisions Multi-Objectifs dans les Médias Publics

Énoncé du Problème
Les organisations de médias de service public sont confrontées à un problème d'optimisation multi-objectif complexe lors de la programmation des contenus. Contrairement aux systèmes commerciaux qui privilégient souvent l'engagement à court terme, les diffuseurs publics doivent équilibrer des critères concurrents tels que la portée de l'audience, les valeurs culturelles, la diversité, la pertinence locale, la représentation des minorités et les contraintes opérationnelles (par exemple, la gestion des droits et le budget). Les approches traditionnelles reposent sur des combinaisons fixes d'objectifs ou sur une optimisation de type Pareto, qui ne parviennent pas à s'adapter aux changements de priorités selon les différents contextes de diffusion (par exemple, les créneaux horaires, les saisons ou les événements concurrents). De plus, les outils de programmation existants manquent souvent de la capacité de modéliser dynamiquement les compromis éditoriaux, laissant aux curateurs le soin de pondérer manuellement chaque facteur pour chaque décision, un processus qui ne passe pas à l'échelle avec de larges catalogues.

Méthodologie
Les auteurs proposent l'Échantillonnage de Thompson par Scalarisation Contextuelle (CSTS - Contextualualised Scalarisation Thompson Sampling), un algorithme de bandit contextuel multi-objectif conçu pour apprendre des poids dépendants du contexte pour plusieurs signaux de valeur.

• Cadre : Le CSTS formule le problème de programmation comme un bandit multi-bras contextuel. À chaque étape $t$, étant donné un contexte $x_{c,t}$ (décrivant le créneau, la chaîne, la saison et la concurrence) et un ensemble d'actions candidates $A_t$ (films disponibles), le système calcule un vecteur de $N$ signaux de valeur bornés $\phi(a_t, x_{c,t})$. Dans cette étude, $N=5$, représentant :

  1. Le potentiel d'audience
  2. La diversité
  3. La nouveauté
  4. La compétition (programmes diffusés simultanément)
  5. La gestion des droits/contrats

• Scalarisation Adaptative : Au lieu d'utiliser des poids globaux fixes, le CSTS apprend une fonction de pondération $w(x_{c,t})$ qui associe le contexte à un vecteur de probabilité sur les objectifs. Elle est paramétrée comme un modèle de porte linéaire passant par une fonction softmax :
  $$w_\theta(x_{c,t}) = \text{softmax}(U x_{c,t} + b)$$
  L'utilité scalaire pour une action est ensuite calculée par le produit scalaire de ces poids dépendants du contexte et du vecteur de signaux de valeur : $u(a_t, x_{c,t}) = w_\theta(x_{c,t})^\top \phi(a_t, x_{c,t})$.

• Stratégie d'Exploration : Pour équilibrer l'exploration et l'exploitation, l'algorithme utilise l'échantillonnage de Thompson sur les paramètres du modèle $\theta = (U, b)$. À chaque étape, il échantillonne les paramètres $\tilde{\theta}_t$ à partir d'une distribution centrée sur l'estimation actuelle (l'incertitude étant modélisée via un accumulateur de type RMS). Cela permet au système d'explorer différents compromis plausibles entre les objectifs plutôt que d'injecter du bruit arbitraire dans les scores des éléments.

• Apprentissage et Feedback : Le système met à jour les paramètres sur la base d'un feedback binaire (sélection du curateur) en utilisant une fonction de perte logistique. Il incorpore également une perte auxiliaire pour aligner les poids appris avec le feedback explicite des curateurs concernant les priorités de signaux spécifiques, orientant ainsi efficacement le modèle vers l'intention éditoriale.

Contributions Clés

1. Pondération Dépendante du Contexte : Contrairement aux travaux antérieurs qui reposent sur des poids fixes ou des frontières de Pareto statiques, le CSTS ajuste dynamiquement l'importance relative des objectifs en fonction du contexte observé.
2. Interprétabilité et Efficacité : En décomposant la qualité de la recommandation en signaux de valeur bornés et en apprenant un vecteur de poids dépendant du contexte, la méthode conserve l'efficacité des données et l'interprétabilité des bandits à récompense scalaire tout en gérant plusieurs objectifs.
3. Système d'Aide à la Décision : L'approche est spécifiquement conçue pour assister les curateurs humains en présentant une liste restreinte classée de candidats plausibles qui s'alignent sur les pratiques de curation expertes, plutôt que d'automatiser entièrement la programmation.

Résultats
Les auteurs ont évalué le CSTS en utilisant deux années de données de programmation historiques de la Radio Télévision Suisse (RTS), en comparant le système aux poids globaux statiques, à la maximisation de l'audience (objectif unique), au Thompson Sampling classique et à LinUCB.

• Pertinence Contextuelle : Le CSTS a obtenu la plus haute pertinence contextuelle relaxée (Hit@10 = 98,7 %, NDCG@10 = 0,376), surpassant de manière significative le Thompson Sampling classique (80,0 %) et les poids statiques (92,0 %). Cela démontre l'avantage d'adapter les poids au contexte spécifique.
• Correspondance Stricte : Sous une correspondance stricte (où la pertinence est définie uniquement par le film historiquement choisi), les poids globaux statiques ont légèrement mieux performé (Hit@10 = 20,0 % contre 18,7 % pour le CSTS). Les auteurs attribuent cela au fait que certains choix historiques étaient des réactions ponctuelles à des contraintes de dernière minute non pleinement capturées par les caractéristiques du contexte, et que les poids globaux définis par les experts servent de base solide.
• Analyse des Compromis : Le CSTS a montré un profil de préférence distinct par rapport aux méthodes statiques. Alors que les recommandations statiques favorisaient systématiquement la Nouveauté, le CSTS a appris à prioriser la Diversité et l'Urgence des Droits dans 3 contextes testés sur 4, s'alignant davantage sur l'efficacité du catalogue et la gestion des droits.
• Études d'Ablation : La suppression de n'importe quel signal de valeur a dégradé les performances, confirmant la nécessité de l'approche multi-objectif. La suppression des signaux "Compétition" ou "Audience" a provoqué les baisses de pertinence les plus importantes. Le réglage de l'exploration (via le paramètre $\kappa$) a montré qu'une exploration modérée produit la meilleure précision, évitant le surapprentissage tout en maintenant la couverture.

Signification et Revendications
L'article affirme que le CSTS offre une amélioration significative de la pertinence contextuelle et de l'alignement avec les pratiques de curation experte par rapport aux approches de bandits contextuels à poids fixes ou standards. Il démontre avec succès qu'un bandit multi-objectif peut apprendre à naviguer dans les compromis inhérents à la programmation des médias de service public sans nécessiter une politique statique universelle.

Les auteurs notent avec modestie que, bien que le CSTS améliore la récupération de sélections pertinentes, il ne reproduit pas encore totalement les choix historiques exacts des curateurs, suggérant que la prise de décision humaine implique des facteurs au-delà des caractéristiques de contexte capturées. Ils soulignent que le système est destiné à être un outil d'aide à la décision pour aider les curateurs à naviguer dans de larges catalogues, plutôt qu'un remplacement du jugement éditorial humain. Des travaux futurs sont proposés pour passer de signaux artisanaux à un processus de conception plus systématique et pour intégrer les mesures d'audience numériques.