Contextual Scalarisation Thompson Sampling for multi-objective decisions in public media

Sintesi Tecnica: Thompson Sampling con Scalarizzazione Contestuale per Decisioni Multi-Obiettivo nei Media Pubblici

Problematica
Le organizzazioni di servizio pubblico affrontano un complesso problema di ottimizzazione multi-obiettivo quando pianificano la programmazione. A differenza dei sistemi commerciali che spesso danno priorità al coinvolgimento a breve termine, i broadcaster pubblici devono bilanciare criteri contrastanti quali l'audience, i valori culturali, la diversità, la rilevanza locale, la rappresentanza delle minoranze e i vincoli operativi (ad esempio, gestione dei diritti e budget). Gli approcci tradizionali si affidano a combinazioni fisse di obiettivi o all'ottimizzazione basata su Pareto, che non riescono ad adattarsi ai cambiamenti di priorità in diversi contesti di trasmissione (ad esempio, fasce orarie, stagioni o eventi concorrenti). Inoltre, gli strumenti di programmazione esistenti spesso mancano della capacità di modellare dinamicamente i compromessi editoriali, lasciando ai curatori il compito di pesare manualmente i fattori per ogni decisione, un processo che non scala bene con cataloghi di grandi dimensioni.

Metodologia
Gli autori propongono il Thompson Sampling con Scalarizzazione Contestuale (CSTS), un algoritmo di bandit contestuale multi-obiettivo progettato per apprendere pesi dipendenti dal contesto per molteplici segnali di valore.

• Framework: Il CSTS formula il problema della programmazione come un bandit multi-braccio contestuale. In ogni istante temporale $t$, dato un contesto $x_{c,t}$ (che descrive la fascia oraria, il canale, la stagione e la competizione) e un insieme di azioni candidate $A_t$ (film disponibili), il sistema calcola un vettore di $N$ segnali di valore limitati $\phi(a_t, x_{c,t})$. In questo studio, $N=5$, rappresentando:

  1. Potenziale di audience
  2. Diversità
  3. Novità
  4. Competizione (programmi trasmessi contemporaneamente)
  5. Gestione dei diritti/contratti

• Scalarizzazione Adattiva: Invece di utilizzare pesi globali fissi, il CSTS apprende una funzione di ponderazione $w(x_{c,t})$ che mappa il contesto in un vettore di probabilità sugli obiettivi. Questa è parametrizzata come un modello di gating lineare passato attraverso una funzione softmax:
  $$w_\theta(x_{c,t}) = \text{softmax}(U x_{c,t} + b)$$
  L'utilità scalare per un'azione è quindi calcolata come il prodotto scalare di questi pesi dipendenti dal contesto e del vettore dei segnali di valore: $u(a_t, x_{c,t}) = w_\theta(x_{c,t})^\top \phi(a_t, x_{c,t})$.

• Strategia di Esplorazione: Per bilanciare esplorazione e sfruttamento, l'algoritmo impiega il Thompson Sampling sui parametri del modello $\theta = (U, b)$. Ad ogni passo, il sistema campiona i parametri $\tilde{\theta}_t$ da una distribuzione centrata sulla stima attuale (con l'incertezza modellata tramite un accumulatore di tipo RMS). Ciò consente al sistema di esplorare diversi compromessi plausibili tra gli obiettivi piuttosto che iniettare rumore arbitrario nei punteggi degli elementi.

• Apprendimento e Feedback: Il sistema aggiorna i parametri basandosi sul feedback binario (selezione del curatore) utilizzando una funzione di perdita logistica. Inoltre, incorpora una perdita ausiliaria per allineare i pesi appresi al feedback esplicito dei curatori riguardo a specifiche priorità dei segnali, orientando efficacemente il modello verso l'intento editoriale.

Contributi Chiave

1. Ponderazione Dipendente dal Contesto: A differenza del lavoro precedente che si basa su pesi fissi o frontiere di Pareto statiche, il CSTS adatta dinamicamente l'importanza relativa degli obiettivi in base al contesto osservato.
2. Interpretabilità ed Efficienza: Scomponendo la qualità della raccomandazione in segnali di valore limitati e apprendendo un vettore di pesi dipendente dal contesto, il metodo mantiene l'efficienza dei dati e l'interpretabilità dei bandit a ricompensa scalare pur gestendo molteplici obiettivi.
3. Sistema di Supporto alle Decisioni: L'approccio è progettato specificamente per assistere i curatori umani, fornendo una lista ristretta e classificata di candidati plausibili che si allineano alle pratiche di cura esperte, piuttosto che automatizzare completamente la programmazione.

Risultati
Gli autori hanno valutato il CSTS utilizzando due anni di dati storici di programmazione di Radio Télévision Suisse (RTS), confrontandolo con pesi globali statici, massimizzazione dell'audience (obiettivo singolo), Thompson Sampling vanilla e LinUCB.

• Rilevanza Contestuale: Il CSTS ha ottenuto la più alta rilevanza contestuale rilassata (Hit@10 = 98,7%, NDCG@10 = 0,376), superando significativamente il Thompson Sampling vanilla (80,0%) e i pesi statici (92,0%). Ciò dimostra il beneficio dell'adattamento dei pesi al contesto specifico.
• Corrispondenza Rigida: In termini di corrispondenza rigida (dove la rilevanza è definita esclusivamente dal film storicamente scelto), i pesi globali statici sono stati leggermente migliori (Hit@10 = 20,0% rispetto al 18,7% del CSTS). Gli autori attribuiscono ciò al fatto che alcune scelte storiche erano reazioni puntuali a vincoli dell'ultimo minuto non pienamente catturati dalle caratteristiche del contesto, e che i pesi globali definiti dagli esperti fungono da baseline robusta.
• Analisi dei Compromessi: Il CSTS ha mostrato un profilo di preferenza distinto rispetto ai metodi statici. Mentre le raccomandazioni statiche favorivano costantemente la Novità, il CSTS ha imparato a dare priorità a Diversità e Urgenza dei Diritti in 3 contesti su 4 testati, allineandosi maggiormente all'efficienza del catalogo e alla gestione dei diritti.
• Studi di Ablazione: La rimozione di un singolo segnale di valore ha degradato le prestazioni, confermando la necessità dell'approccio multi-obiettivo. La rimozione dei segnali di "Competizione" o "Audience" ha causato i cali più grandi di rilevanza. La regolazione dell'esplorazione (tramite il parametro $\kappa$) ha mostrato che un'esplorazione moderata produce la migliore accuratezza, prevenendo l'overfitting pur mantenendo la copertura.

Significatività e Rivendicazioni
Il documento afferma che il CSTS offre un miglioramento significativo nella rilevanza contestuale e nell'allineamento con le pratiche di cura esperta rispetto agli approcci a peso fisso o ai classici bandit contestuali. Dimostra con successo che un bandit multi-obiettivo può navigare i compromessi inerenti alla programmazione dei media di servizio pubblico senza richiedere una politica statica e universale.

Gli autori notano con modestia che, sebbene il CSTS migliori il recupero delle liste rilevanti, non riesce ancora a replicare completamente le esatte scelte storiche dei curatori, suggerendo che il processo decisionale umano coinvolga fattori oltre le caratteristiche del contesto catturate. Essi sottolineano che il sistema è inteso come uno strumento di supporto decisionale per aiutare i curatori a navigare in ampi cataloghi, piuttosto che come un sostituto del giudizio editoriale umano. Si propone come lavoro futuro il passaggio da segnali creati manualmente a un processo di progettazione più sistematico e l'integrazione delle misurazioni del pubblico digitale.