Contextual Scalarisation Thompson Sampling for multi-objective decisions in public media

Resumo Técnico: Amostragem de Thompson com Escalarização Contextual para Decisões Multiobjetivo em Mídia Pública

Definição do Problema
As organizações de mídia de serviço público enfrentam um problema complexo de otimização multiobjetivo ao programar conteúdos. Ao contrário dos sistemas comerciais que frequentemente priorizam o engajamento de curto prazo, as emissoras públicas devem equilibrar critérios concorrentes, tais como alcance de audiência, valores culturais, diversidade, relevância local, representação de minorias e restrições operacionais (ex: gestão de direitos e orçamento). As abordagens tradicionais dependem de combinações fixas de objetivos ou de otimização baseada em Pareto, que falham em se adaptar às mudanças de prioridades em diferentes contextos de transmissão (ex: faixas horárias, temporadas ou eventos concorrentes). Além disso, as ferramentas de programação existentes muitas vezes carecem da capacidade de modelar compensações editoriais dinamicamente, deixando aos curadores o peso manual de cada fator para cada decisão, um processo que não escala bem com catálogos extensos.

Metodologia
Os autores propõem a Amostragem de Thompson com Escalarização Contextual (CSTS - Contextual Scalarisation Thompson Sampling), um algoritmo de bandit contextual multiobjetivo projetado para aprender pesos dependentes do contexto para múltiplos sinais de valor.

• Estrutura: A CSTS formula o problema de programação como um bandit contextual multi-braços. Em cada passo de tempo $t$, dado um contexto $x_{c,t}$ (descrevendo a faixa, o canal, a temporada e a competição) e um conjunto de ações candidatas $A_t$ (filmes disponíveis), o sistema computa um vetor de $N$ sinais de valor limitados $\phi(a_t, x_{c,t})$. Neste estudo, $N=5$, representando:

  1. Potencial de audiência
  2. Diversidade
  3. Novidade
  4. Competição (programas transmitidos simultaneamente)
  5. Gestão de Direitos/Contratos

• Escalarização Adaptativa: Em vez de usar pesos globais fixos, a CSTS aprende uma função de ponderação $w(x_{c,t})$ que mapeia o contexto para um vetor de probabilidade sobre os objetivos. Isso é parametrizado como um modelo de portão linear passado através de uma função softmax:
  $$w_\theta(x_{c,t}) = \text{softmax}(U x_{c,t} + b)$$
  A utilidade escalar para uma ação é então calculada como o produto escalar desses pesos dependentes do contexto e do vetor de sinal de valor: $u(a_t, x_{c,t}) = w_\theta(x_{c,t})^\top \phi(a_t, x_{c,t})$.

• Estratégia de Exploração: Para equilibrar exploração e explotação, o algoritmo emprega a Amostragem de Thompson nos parâmetros do modelo $\theta = (U, b)$. Em cada etapa, ele amostra parâmetros $\tilde{\theta}_t$ de uma distribuição centrada na estimativa atual (com a incerteza modelada via um acumulador do tipo RMS). Isso permite que o sistema explore diferentes compensações plausíveis entre objetivos, em vez de injetar ruído arbitrário nas pontuações dos itens.

• Aprendizado e Feedback: O sistema atualiza os parâmetros com base em feedback binário (seleção do curador) usando uma função de perda logística. Adicionalmente, incorpora uma perda auxiliar para alinhar os pesos aprendidos com o feedback explícito do curador sobre prioridades de sinais específicos, efetivamente direcionando o modelo para a intenção editorial.

Principais Contribuições

1. Ponderação Dependente do Contexto: Diferente de trabalhos anteriores que dependem de pesos fixos ou fronteiras de Pareto estáticas, a CSTS ajusta dinamicamente a importância relativa dos objetivos com base no contexto observado.
2. Interpretabilidade e Eficiência: Ao decompor a qualidade da recomendação em sinais de valor limitados e aprender um vetor de peso dependente do contexto, o método retém a eficiência de dados e a interpretabilidade dos bandits de recompensa escalar, enquanto lida com múltiplos objetivos.
3. Sistema de Suporte à Decisão: A abordagem é projetada especificamente para auxiliar curadores humanos, apresentando uma lista curta ranqueada de candidatos plausíveis que se alinham com as práticas de curadoria especializada, em vez de automatizar totalmente a programação.

Resultados
Os autores avaliaram a CSTS utilizando dois anos de dados históricos de programação da Radio Télévision Suisse (RTS), comparando-a com pesos globais estáticos, maximização de audiência (objetivo único), Thompson Sampling puro e LinUCB.

• Relevância Contextual: A CSTS alcançou a maior relevância contextual relaxada (Hit@10 = 98,7%, NDCG@10 = 0,376), superando significativamente o Thompson Sampling puro (80,0%) e os pesos estáticos (92,0%). Isso demonstra o benefício de adaptar os pesos ao contexto específico.
• Correspondência Estrita: Sob correspondência estrita (onde a relevância é definida exclusivamente pelo filme historicamente escolhido), os pesos globais estáticos tiveram um desempenho ligeiramente superior (Hit@10 = 20,0% vs. 18,7% para a CSTS). Os autores atribuem isso ao fato de que algumas escolhas históricas foram reações pontuais a restrições de última hora não totalmente capturadas pelas características do contexto, e que pesos globais definidos por especialistas servem como uma base sólida.
• Análise de Compensação (Tradeoff): A CSTS mostrou um perfil de preferência distinto em comparação com métodos estáticos. Enquanto as recomendações estáticas favoreceram consistentemente a Novidade, a CSTS aprendeu a priorizar a Diversidade e a Urgência de Direitos em 3 de 4 contextos testados, alinhando-se mais proximamente com a eficiência do catálogo e a gestão de direitos.
• Estudos de Ablação: A remoção de qualquer sinal de valor degradou o desempenho, confirmando a necessidade da abordagem multiobjetivo. A remoção dos sinais de "Competição" ou "Audiência" causou as maiores quedas de relevância. O ajuste da exploração (via o parâmetro $\kappa$) mostrou que uma exploração moderada produz a melhor precisão, evitando o sobreajuste (overfitting) enquanto mantém a cobertura.

Significância e Alegações
O artigo afirma que a CSTS oferece uma melhoria significativa na relevância contextual e no alinhamento com as práticas de curadoria especializada em comparação com abordagens de bandit contextual de peso fixo ou padrão. Ela demonstra com sucesso que um bandit multiobjetivo pode aprender a navegar pelas compensações inerentes à programação de mídia de serviço público sem exigir uma política estática e universal.

Os autores observam modestamente que, embora a CSTS melhore a recuperação de listas relevantes, ela ainda não replica totalmente as escolhas históricas exatas dos curadores, sugerindo que a tomada de decisão humana envolve fatores além das características de contexto capturadas. Eles enfatizam que o sistema é pretendido como uma ferramenta de suporte à decisão para ajudar curadores a navegar por grandes catálogos, e não como um substituto para o julgamento editorial humano. O trabalho futuro proposto visa passar de sinais criados manualmente para um processo de design mais sistemático e integrar medições de audiência digital.