Normative Alignment of Recommender Systems via Internal Label Shift

기술 요약: 내부 라벨 시프트를 통한 추천 시스템의 규범적 정렬 (NAILS)

문제 정의
추천 시스템은 주로 클릭률(CTR)과 같은 사용자 참여 지표를 최적화하도록 설계되어 있으며, 이 과정에서 공정성, 다양성 또는 편집 가치와 같은 광범위한 규범적 목표는 소홀히 다루어지는 경우가 많습니다. 뉴스 분야와 같은 도메인에서 순수하게 행동 기반으로 이루어지는 개인화는 필터 버블을 강화하고 중요하지만 인기가 낮은 콘텐츠의 과소 대표 문제를 야기할 수 있습니다. 기존의 "캘리브레이션(calibration)" 연구는 사용자의 과거 선호도 분포와 추천을 일치시키는 것(사용자 중심)에 초점을 맞추고 있으나, 전체 사용자 집단에 걸쳐 이해관계자(예: 뉴스 조직의 편집국)가 정의한 글로벌 규범적 목표에 추천을 정렬하는 확장 가능한 방법론은 부족한 실정입니다.

방법론: NAILS
저자들은 NAILS(Normative Alignment of recommender systems via Internal Label Shift)를 제안합니다. 이는 가볍고 모델 불가지론적인(model-agnostic) 사후 처리 프레임워크입니다. 재학습이나 복잡한 제약 최적화(예: 혼합 정수 계획법)를 요구하는 방식과 달리, NAILS는 계층적 분류 프레임워크 내에서의 라벨 시프트(label shift) 개념을 활용합니다.

1. 이론적 정식화:

   • 시스템은 사용자 $u$, 아이템 $i$, 아이템 속성 $c$(예: 카테カテゴリ)의 결합 확률을 $p(c, i, u) = p(c|i)p_\theta(i|u)p(u)$로 모델링합니다.
   • 목표는 자연스러운 속성 주변 분포(marginal attribute distribution) $p(c)$를 타겟 규범 분포 $\tilde{p}(c)$(예: 특정 편집 구성 또는 균등 분포)로 대체하는 것입니다.
   • NAILS는 속성이 주어졌을 때의 아이템과 사용자의 조건부 분포가 불변($p(i, u|c) = \tilde{p}(i, u|c)$)이라는 가정을 전제로 합니다.
   • 이 가정하에, 사용자가 특정 아이템과 상호작용할 정렬된 확률은 다음과 같이 유도됩니다:
     $$\tilde{p}(i|u) \propto p_\theta(i|u) \sum_{c \in C} \frac{\tilde{p}(c)}{p(c)} p(c|i)$$
   • 이는 원래 모델의 점수($p_\theta(i|u)$)를 현재 속성 분포 대비 타겟 분포의 비율에 따른 가중치로 재가중하는 효과를 가집니다.

2. 구현:

   • 재가중치 항은 소프트맥스(softmax) 레이어 이전에 $\log(\sum_{c} \frac{\tilde{p}(c)}{p(c)} p(c|i))$를 더해줌으로써 구현할 수 있습니다.
   • 조절 가능한 하이퍼파라미터 $\lambda \in [0, 1]$를 통해 원래의 추천 시스템과 완전히 정렬된 버전 사이의 보간(interpolation)을 수행합니다: $\tilde{p}_\lambda(i|u) = \lambda \tilde{p}(i|u) + (1-\lambda)p_\theta(i|u)$.
   • 이 방법은 결정론적 선택(가장 높은 확률)과 확률적 샘플링을 모두 지원합니다.

주요 기여

• 이해관계자 중심 관점: 본 논문은 개별 사용자의 이력을 캘리브레이션하는 것에서 벗어나, 시스템 전체의 출력을 글로벌 규범적 목표에 정렬하는 것으로 초점을 전환했습니다.
• 효율적인 알고리즘: NAILS는 탐욕적 최적화(greedy optimization)나 재학습의 계산적 오버헤드 없이 단순하고 확장 가능한 솔루션을 제공하여 대규모 배포에 적합합니다.
• 실증적 검증: 이 방법은 3,700만 개 이상의 노출 로그와 8개의 편집 카테고리를 가진 125,000개의 기사를 포함하는 대규모 벤치마크인 EB-NeRD(Ekstra Bladet News Recommendation Dataset) 데이터셋을 통해 평가되었습니다.

실험 결과
저자들은 NRMS 모델을 기본 추천기로 사용하여 NAILS를 CaliRec(탐욕적 사후 처리 베이스라인)과 비교 평가했습니다.

• 정렬 효과성:
  • NAILS는 추천 분포와 타겟(편집 또는 균등) 분포 사이의 쿨백-라이블러(KL) 발산(divergence)을 성공적으로 감소시켰습니다.
  • CaliRec은 KL 최적화를 명시적으로 수행하기 때문에 일부 설정에서 가장 낮은 KL 발산을 달려냈으나, NAILS는 계산 비용을 들이지 않고도 강력한 근사치를 제공했습니다.
  • NAILS는 특히 결정론적 설정에서 CaliRec보다 우수한 커버리지(선택된 고유 기사의 비율)를 보여주었으며, 이는 NAILS가 분포 정렬과 콘텐츠 다양성 사이의 균형을 더 잘 맞춘다는 것을 시사합니다.
• 랭킹 성능 (AUC):
  • 랭킹 품질(AUC로 측정)에 미치는 영향은 타겟 분포에 따라 달랐습니다.
  • 큐레이션된 후보 리스트를 반영하는 **편집 분포(Editorial distribution)**에 정렬했을 때는 NAILS와 CaliRec 모두 AUC가 개선되었습니다.
  • **균등 분포(Uniform distribution)**에 정렬했을 때는 일반적으로 AUC가 감소하였으며, 이는 엄격한 공정성/다양성과 사용자 관련성 사이의 내재적 트레이드오프를 보여줍니다.
• 트레이드오프: 결과는 타겟 분포의 선택이 매우 중요하다는 점을 확인시켜 줍니다. NAILS를 통해 이해관계자는 $\lambda$를 조절함으로써 정렬의 강도와 랭킹 성능 유지 사이의 균형을 맞출 수 있습니다.

의의 및 주장
본 논문은 NAILS가 "가치 중심 추천(value-driven recommendation)"을 위한 실용적이고 원칙적인 메커니즘을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 확장성: 복잡한 딥러닝 모델을 재학습하지 않고도 플랫폼(특히 미션 중심의 뉴스 발행사)이 편집 가치나 다양성 목표를 강제할 수 있게 합니다.
2. 유연성: 규범적 정렬과 랭킹 성능 사이의 트레이드오프를 관리할 수 있는 조절 가능한 노브($\lambda$)를 제공합니다.
3. 향후 방향: 저자들은 NAILS가 효과적이긴 하지만, "최적성(optimality)"이라는 개념은 맥락 의존적이라고 겸허히 밝힙니다. 이들은 본 연구를 캘리브레이션을 사용자 중심 뷰에서 글로벌 규범적 목표로 확장하는 단계로 위치시키며, 이것이 편집 및 정책 중심 시스템을 위한 책임 있는 AI의 필수적인 방향이라고 주장합니다. 또한, 이러한 개입이 실제 환경에서 미치는 장기적인 영향을 이해하기 위해서는 향후 연구가 필요함을 명시했습니다.