Contextual Scalarisation Thompson Sampling for multi-objective decisions in public media

Technische Samenvatting: Contextual Scalarisation Thompson Sampling voor Multi-Objective Besluitvorming in Publieke Media

Probleemstelling
Publieke omroeporganisaties worden geconfronteerd met een complex multi-objective optimalisatieprobleem bij het plannen van programmering. In tegen tegenstelling tot commerciële systemen die vaak de nadruk leggen op korte termijn engagement, moeten publieke omroepen concurrerende criteria balanceren, zoals publieksbereik, culturele waarden, diversiteit, lokale relevantie, representatie van minderheden en operationele beperkingen (bijv. rechtenbeheer en budget). Traditionele benaderingen vertrouwen op vaste combinaties van doelstellingen of Pareto-gebaseerde optimalisatie, wat tekortschiet wanneer het gaat om het aanpassen aan veranderende prioriteiten in verschillende uitzendcontexten (bijv. tijdsloten, seizoenen of concurrerende evenementen). Bovendien missen bestaande planningsinstrumenten vaak het vermogen om redactionele afwegingen dynamisch te modelleren, waardoor curatoren genoodzaakt zijn om factoren voor elke beslissing handmatig te wegen, een proces dat niet goed schaalbaar is bij grote catalogi.

Methodologie
De auteurs stellen Contextual Scalarisation Thompson Sampling (CSTS) voor, een multi-objective contextual bandit algoritme dat ontworpen is om contextafhankelijke gewichten te leren voor meerdere waardesignalen.

• Framework: CSTS formuleert het planningsprobleem als een contextual multi-armed bandit. Op elk tijdstip $t$, gegeven een context $x_{c,t}$ (beschrijvend van het tijdslot, kanaal, seizoen en competitie) en een verzameling kandidaat-acties $A_t$ (beschikbare films), berekent het systeem een vector van $N$ begrensde waardesignalen $\phi(a_t, x_{c,t})$. In deze studie is $N=5$, representatief voor:

  1. Publiekspotentieel
  2. Diversiteit
  3. Nieuwigheid (Novelty)
  4. Competitie (gelijktijdige programma's)
  5. Rechten/Contractbeheer

• Adaptieve Scalarisatie: In plaats van vaste globale gewichten te gebruiken, leert CSTS een wegingsfunctie $w(x_{c,t})$ die de context in kaart brengt naar een waarschijnlijkheidsvector over de doelstellingen. Dit wordt geparametriseerd als een lineair gating-model dat door een softmax-functie wordt geleid:
  $$w_\theta(x_{c,t}) = \text{softmax}(U x_{c,t} + b)$$
  De scalaire utiliteit voor een actie wordt vervolgens berekend als het inproduct van deze contextafhankelijke gewichten en de waardesignaalvector: $u(a_t, x_{c,t}) = w_\theta(x_{c,t})^\top \phi(a_t, x_{c,t})$.

• Exploratiestrategie: Om exploratie en exploitatie te balanceren, gebruikt het algoritme Thompson Sampling op de modelparameters $\theta = (U, b)$. Op elk stap wordt een selectie van parameters $\tilde{\theta}_t$ gemaakt uit een distributie gecentreerd rond de huidige schatting (waarbij onzekerheid wordt gemodelleerd via een RMS-type accumulator). Dit stelt het systeem in staat om verschillende plausibele afwegingen tussen doelstellingen te verkennen, in plaats van willekeurige ruis in itemscores te injecteren.

• Leren en Feedback: Het systeem werkt parameters bij op basis van binaire feedback (selectie door de curator) met behulp van een logistische loss-functie. Daarnaast wordt een hulp-loss geïntegreerd om de geleerde gewichten af te stemmen op expliciete feedback van de curator over specifieke signaalprioriteiten, wat het model effectief stuurt richting de redactionele intentie.

Belangrijkste Bijdragen

1. Contextafhankelijke Weging: In tegen tegenstelling tot eerder werk dat steunt op vaste gewichten of statische Pareto-fronten, past CSTS de relatieve belangrijkheid van doelstellingen dynamisch aan op basis van de geobserveerde context.
2. Interpreteerbaarheid en Efficiëntie: Door de kwaliteit van aanbevelingen te deconstrueren in begrensde waardesignalen en een contextafhankelijke gewichtvector te leren, behoudt de methode de data-efficiëntie en interpreteerbaarheid van scalar reward bandits, terwijl het meerdere doelstellingen kan afhandelen.
3. Besluitvormingsondersteunend Systeem: De aanpak is specifiek ontworpen om curatoren te ondersteunen door een gerangschikte shortlist van plausibele kandidaten aan te bieden die aansluiten bij deskundige curatiepraktijken, in plaats van de planning volledig te automatiseren.

Resultaten
De auteurs evalueerden CSTS met behulp van twee jaar historische programmeringsdata van Radio Télévision Suisse (RTS), waarbij CSTS werd vergeleken met statische globale gewichten, publieksmaximalisatie (single-objective), vanilla Thompson Sampling en LinUCB.

• Contextuele Relevantie: CSTS behaalde de hoogste relaxed contextual relevance (Hit@10 = 98,7%, NDCG@10 = 0,376), waarmee het vanilla Thompson Sampling (80,0%) en statische gewichten (92,0%) aanzienlijk versloeg. Dit demonstreert het voordeel van het aanpassen van gewichten aan de specifieke context.
• Strikte Matching: Onder strikte matching (waarbij relevantie uitsluitend wordt gedefinieerd als de historisch gekozen film), presteerden statische globale gewichten iets beter (Hit@10 = 20,0% versus 18,7% voor CSTS). De auteurs wijten dit aan het feit dat sommige historische keuzes punctuele reacties waren op laat-komende beperkingen die niet volledig door de contextfeatures werden gevangen, en dat door experts gedefinieerde globale gewichten een sterke baseline vormen.
• Afwegingsanalyse: CSTS vertoonde een duidelijk voorkeursprofiel vergeleken met statische methoden. Terwijl statische aanbevelingen consequent de voorkeur gaven aan Nieuwigheid, leerde CSTS om in 3 van de 4 geteste contexten prioriteit te geven aan Diversiteit en Urgentie van Rechten, wat nauwer aansluit bij de efficiëntie van de catalogus en het rechtenbeheer.
• Ablatie-studies: Het verwijderen van een enkel waardesignaal verslechterde de prestaties, wat bevestigt dat de multi-objective benadering noodzakelijk is. Het verwijderen van de "Competitie"- of "Publiek"-signalen veroorzaakte de grootste dalingen in relevantie. Exploratie-tuning (via de parameter $\kappa$) toonde aan dat matige exploratie de beste nauwkeurigheid oplevert, wat overfitting voorkomt terwijl de dekking behouden blijft.

Betekenis en Claims
Het artikel claimt dat CSTS een significante verbetering biedt in contextuele relevantie en afstemming met deskundige curatiepraktijken vergeleken met fixed-weight of standaard contextuele bandit-benaderingen. Het demonstreert succesvol dat een multi-objective bandit kan leren navigeren door de afwegingen die inherent zijn aan de planning van publieke omroepen, zonder een statisch, een-maat-voor-allemaal beleid te vereisen.

De auteurs merken bescheiden op dat hoewel CSTS de retrieval van relevante selecties verbetert, het nog niet volledig in staat is om de exacte historische keuzes van curatoren te repliceren, wat suggereert dat menselijke besluitvorming factoren bevat die buiten de gevangen contextfeatures vallen. Zij benadrukken dat het systeem bedoeld is als een besluitvormingsondersteunend instrument om curatoren te helpen bij het navigeren door grote catalogi, in plaats van een vervanging voor het menselijk redactioneel oordeel. Toekomstig werk wordt voorgesteld om over te gaan van handmatige signalen naar een meer systematisch ontwerpproces en om digitale publieksmetingen te integreren.