Contextual Scalarisation Thompson Sampling for multi-objective decisions in public media

기술 요약: 공공 미디어의 다목적 의사결정을 위한 문맥적 스칼라화 톰슨 샘플링 (Contextual Scalarisation Thompson Sampling)

문제 정의
공공 서비스 미디어 조직은 프로그램 편성 시 복잡한 다목적 최적화 문제에 직면한다. 단기적인 참여도를 우선시하는 상업적 시스템과 달리, 공공 방송사는 시청자 도달 범위, 문화적 가치, 다양성, 지역적 관련성, 소수자 대표성, 그리고 운영상의 제약(예: 권리 관리 및 예산)과 같은 상충하는 기준들 사이에서 균형을 잡아야 한다. 기존의 접근 방식은 고정된 목적 함수의 조합이나 파레토 기반 최적화에 의존하는데, 이는 변화하는 방송 맥락(예: 시간대, 시즌, 또는 경쟁 이벤트)에 따라 달라지는 우선순위에 적응하지 못한다는 한계가 있다. 또한, 기존의 편성 도구들은 편집적 트레이드오프를 동적으로 모델링하는 능력이 부족하여, 큐레이터가 각 결정마다 요인들을 수동으로 가중치를 부여하게 만드는데, 이는 대규모 카탈로그를 다룰 때 확장성이 떨어진다.

방법론
저자들은 여러 가치 신호에 대한 문맥 의존적 가중치를 학습하기 위해 설계된 다목적 문맥적 밴딧 알고리 از인 **문맥적 스칼라화 톰슨 샘플링(CSTualised Scalarisation Thompson Sampling, CSTS)**을 제안한다.

• 프레임워크: CSTS는 편성 문제를 문맥적 다중 팔 밴딧(contextual multi-armed bandit) 문제로 정식화한다. 각 타임스텝 $t$에서, 컨텍스트 $x_{c,t}$(슬롯, 채널, 시즌 및 경쟁 상황을 설명)와 후보 액션 집합 $A_t$(사용 가능한 영화들)가 주어지면, 시스템은 $N$개의 유계된 가치 신호 벡터 $\phi(a_t, x_{c,t})$를 계산한다. 본 연구에서 $N=5$이며, 이는 다음을 나타낸다:

  1. 시청자 잠재력
     2. 다양성
  2. 참신함(Novelty)
  3. 경쟁(동시 방영 프로그램)
  4. 권리/계약 관리

• 적응형 스칼라화(Adaptive Scalarisation): 고정된 전역 가중치를 사용하는 대신, CSTS는 컨텍스트를 목적 함수에 대한 확률 벡터로 매핑하는 가중치 함수 $w(x_{c,t})$를 학습한다. 이는 소프트맥스 함수를 통과하는 선형 게이팅 모델로 매개변수화된다:
  $$w_\theta(x_{c,t}) = \text{softmax}(U x_{c,t} + b)$$
  그 후 액션에 대한 스칼라 효용은 이 문맥 의존적 가중치와 가치 신호 벡터의 내적(dot product)으로 계산된다: $u(a_t, x_{c,t}) = w_\theta(x_{c,t})^\top \phi(a_t, x_{c,t})$.

• 탐색 전략: 탐색(exploration)과 이용(exploitation)의 균형을 맞추기 위해, 알고리즘은 모델 파라미터 $\theta = (U, b)$에 대해 톰슨 샘플링을 적용한다. 각 단계에서 시스템은 현재 추정치(RMS 유형의 누적기를 통해 불확실성을 모델링)를 중심으로 하는 분포로부터 파라미터 $\tilde{\theta}_t$를 샘플링한다. 이를 통해 시스템은 아이템 점수에 임의의 노이즈를 주입하는 대신, 목적 함수 간의 다양한 가능한 트레이드오프를 탐색할 수 있다.

• 학습 및 피드백: 시스템은 이진 피드백(큐레이터의 선택)을 바탕으로 로지스틱 손실 함수를 사용하여 파라미터를 업데이트한다. 또한, 학습된 가중치를 특정 신호 우선순위에 대한 큐레이터의 명시적 피드백과 일치시키기 위해 보조 손실(auxiliary loss)을 통합하며, 이를 통해 모델을 편집 의도에 맞게 유도한다.

주요 기여

1. 문맥 의존적 가중치 부여: 고정된 가중치나 정적인 파레토 프런티어에 의존하는 기존 연구와 달리, CSTS는 관찰된 컨텍스트에 따라 목적의 상대적 중요도를 동적으로 조정한다.
2. 해석 가능성 및 효율성: 추천 품질을 유계된 가치 신호로 분해하고 문맥 의존적 가중치 벡터를 학습함으로써, 이 방법은 다중 목적을 처리하면서도 스칼라 보상 밴딧의 데이터 효율성과 해석 가능성을 유지한다.
3. 의사결정 지원 시스템: 이 접근 방식은 단순히 프로그램을 완전히 자동화하는 것이 아니라, 전문가의 큐레이션 관행과 일치하는 타당한 후보들의 순위 목록을 제시함으로써 인간 큐레이터를 지원하도록 설계되었다.

결과
저자들은 두 해 동안의 Radio Télévision Suisse(RTS) 과거 편성 데이터를 사용하여 CSTS를 정적 전역 가중치, 시청자 극대화(단일 목적), 바닐라 톰슨 샘플링, 그리고 LinUCB와 비교 평가하였다.

• 문맥적 관련성: CSTS는 가장 높은 완화된 문맥적 관련성(Hit@10 = 98.7%, NDCG@10 = 0.376)을 달성하였으며, 이는 바닐라 톰슨 샘플링(80.0%)과 정적 가중치(92.0%)를 크게 상회하는 수치이다. 이는 컨텍스트에 따라 가중치를 조정하는 것의 이점을 입증한다.
• 엄격한 매칭: 엄격한 매칭(관련성이 역사적으로 선택된 영화 자체로 정의됨) 조건에서는 정적 전역 가중치가 약간 더 나은 성능을 보였다(Hit@10 기준 CSTS 18.7% vs 정적 가중치 20.0%). 저자들은 이를 일부 역사적 선택이 컨텍스트 특징에 완전히 포착되지 않은 마지막 순간의 제약에 대한 즉각적인 반응이었기 때문이라고 분석하며, 전문가가 정의한 전역 가중치가 강력한 베이스라인 역할을 한다고 설명한다.
• 트레이드오프 분석: CSTS는 정적 방법들과 구별되는 뚜렷한 선호 프로필을 보여주었다. 정적 추천은 일관되게 참신함을 선호한 반면, CSTS는 테스트된 4개 컨텍스트 중 3개에서 다양성과 권리 긴급성을 우선시하는 법을 학습하였으며, 이는 카탈로그 효율성 및 권리 관리와 더 밀접하게 일치한다.
• 어블레이션 연구(Ablation Studies): 단일 가치 신호를 제거했을 때 성능이 저하되었으며, 이는 다목적 접근 방식의 필요성을 확인시켜 주었다. "경쟁" 또는 "시청자" 신호를 제거했을 때 관련성 하락이 가장 컸다. 탐색 튜닝(파라미터 $\kappa$를 통한) 결과, 적절한 수준의 탐색이 과적합을 방지하면서도 커버리지를 유지하여 최적의 정확도를 제공함을 보여주었다.

의의 및 주장
본 논문은 CSTS가 고정 가중치 또는 표준 문맥적 밴딧 접근 방식에 비해 문맥적 관련성과 전문가 큐레이션 관행과의 일치성 측면에서 유의미한 개선을 제공한다고 주장한다. CSTS는 정적인 '원 사이즈 핏 올(one-size-fits-all)' 정책 없이도 공공 서비스 미디어 편성의 내재된 트레이드오프를 탐색할 수 있음을 성공적으로 입증하였다.

저자들은 CSTS가 관련 슬레이트(slates)의 검색 성능을 향상시키기는 하지만, 아직 큐레이터의 정확한 역사적 선택을 완전히 재현하지는 못한다는 점을 겸허히 언급하며, 이는 인간의 의사결정에 포착된 컨텍스트 특징 이상의 요소들이 포함되어 있음을 시사한다고 밝혔다. 그들은 이 시스템이 인간의 편집적 판단을 대체하는 것이 아니라, 큐레이터가 방대한 카탈로그를 탐색하는 데 도움을 주는 의사결정 지원 도구임을 강조한다. 향후 연구 과제로 수작업으로 제작된 신호에서 보다 체계적인 설계 프로세스로의 전환과 디지털 시청자 측정 데이터의 통합을 제안하였다.