FlowTime: Towards Continuous Generative Watch Time Prediction via Flow-based Personalized Priors

기술 요약: FlowTime

문제 정의 및 동기

시청 시간 예측(Watch Time Prediction, WTP)은 숏폼 비디오 추천 시스템에서 사용자 참여를 최적화하기 위한 핵심 지표로, 만족도와 리텐션의 대리 지표 역할을 합니다. 그러나 기존의 WTP 방법론들은 고유한 패러다임별 한계로 인해 사용자-아이템 상호작용 패턴의 본질적인 다중 모드성(multimodality)과 이질성(heterogeneity)을 포착하지 못하고 있습니다.

본 논문은 세 가지 지배적인 패러다임과 그 결함을 식별합니다:

1. 직접 회귀(Direct Regression): 평균 제곱 오차(MSE)를 통해 최적화되는 이 방식은 암묵적으로 단일 모드 가우시안 사전 분포(unimodal Gaussian prior)를 가정합니다. 이는 "평균 붕괴(mean-collapse)" 현상을 초래하여, 모델이 복잡한 다중 모드 분포의 저밀도 영역에 해당하는 평균값을 예측하게 함으로써 실제 서열 구조를 반영하지 못하게 만듭나다.
2. 서열 회귀(Ordinal Regression): 연속적인 시간을 구간으로 나누어 분류하는 방식입니다. 이 방법은 경직된 양자화 오차를 겪으며, 구간 간의 순차적 의존성을 무시한 채 조건부 독립을 잘못 가정합니다.
3. 이산 생성 회귀(Discrete Generative Regression): 언어 모델링을 응용하여 양자화된 시간 토큰을 생성하는 이 방식은 휴리스틱한 어휘 설계와 자기회귀적 디코딩으로 인한 높은 추론 지연 시간이라는 문제에 직면해 있습니다.

이러한 개별적 결함 외에도, 사용자-아이템 상호작용 패턴을 구조적 교란 요인(structural confounders)으로 모델링하지 못한다는 공통된 결함이 존재합니다. 본 논문은 인과 분석을 통해, 동일한 사용자 관심이라 할지라도 특정 사용자의 습관과 아이템의 특성에 따라 서로 다른 시청 시간 분포(예: 이봉 분포 vs 단일 모드 분포)로 나타날 수 있음을 주장합니다. 기존 방법론들은 이러한 패턴 기반의 분포 변화를 대부분 간과하고 있습니다.

방법론: FlowTime

이러한 과제를 해결하기 위해, 저자들은 새로운 패러다임인 연속 생성 회귀(Continuous Generative Regression) 하에서 작동하는 새로운 프레임워크인 FlowTime을 제안합니다. 이 접근 방식은 복잡한 다중 모드 시청 시간 분포를 연속 공간에서 직접 피팅하는 것을 목표로 합니다.

핵심 아키텍처

FlowTime은 온라인 시스템의 저지연 요구 사항과 표현력 사이의 균형을 맞추도록 설계된 1단계 생성 변이형 오토인코더(One-step Generative VAE) 아키텍처를 기반으로 구축되었습니다.

• 확률적 인코더(Probabilistic Encoder): 사용자/비디오 특징과 타겟 시청 시간을 바탕으로 잠재 변수의 사후 분포를 근사하며, 엔드 투 엔드 최적화를 위해 재매개변수화 기법(reparameterization trick)을 활용합니다.
• 생성 디코더(Generative Decoder): 잠재 공간으로부터 시청 시간 분포를 재구성합니다. 반복적인 확산 모델(diffusion models)과 달리, FlowTime은 실시간 추론 효율성을 보장하기 위해 단일 단계 생성 프로세스를 채택합니다.

Flow 기반 개인화 사전 분포(Flow-based Personalized Prior)

핵심적인 혁신은 표준 등방성 가우시안 사전 분포를 Flow 기반 개인화 사전 분포로 대체한 것입니다.

• 패턴 인코딩: 모델은 분위수 통계량(quantile statistics)을 사용하여 사용자 및 아이템의 과거 시청 시간 시퀀스를 인코딩합니다. 이 시퀀스들은 트랜스포머 기반 아키텍처를 통해 처리되어 전역적인 분포 형태를 포착하고 문맥적 임베딩을 생성합니다.
• 매니폴드 워핑(Manifold Warping): **노멀라이징 플로우(Normalizing Flows, NFs)**를 활용하여, 모델은 이러한 과거 패턴에 조건화된 일련의 가역적이고 전단사적인(bijective) 변환을 학습합니다. 이를 통해 단순한 기본 가우시안 분포를 복잡하고 패턴 특화된 잠재 매니폴드로 워핑합니다.
• 적응형 모델링: 이 개인화된 사전 분포를 통해 모델은 다양한 복잡한 선호도 분포를 적응적으로 포착할 수 있으며, 디코더가 사용자-아이템 쌍의 특정 상호작용 패턴을 존중하는 정밀한 예측을 내놓을 수 있게 합니다.

최적화 목적 함수

프레임워크는 결합된 다중 목적 손실 함수를 사용합니다:

1. 정확도 앵커링(Accuracy Anchoring): 관측 공간에서의 Huber loss를 사용하여 점 추정치를 제약하고 회귀 충실도를 향상시킵니다.
2. 잠재 공간 정규화(Latent Space Regularization): KL 발산(KL divergence)을 사용하여 근사 사후 분포를 표준 가우시안과 정렬함으로써, 잠재 공간의 연속성과 식별 가능성을 유지합니다.
3. 분포 정렬(Distribution Alignment): 분위수 표현에 대한 Wasserstein 거리 기반 손실을 도입하여, 생성된 시청 시간 분포를 사용자와 아이템의 과거 상호작용 패턴과 정렬합니다.

주요 기여

1. 새로운 패러다임: 본 논문은 WTP를 위한 네 번째 패러다임으로 연속 생성 회귀를 공식적으로 제안합니다. 이는 이 패러다임이 어떻게 직접 회귀의 평균 붕괴와 서열/이산 생성 방식의 양자화 오차를 극복하는지에 대한 이론적 분석을 제공합니다.
2. FlowTime 프레임워크: 저자들은 이 새로운 패러다임을 위한 첫 번째 프레임워크인 FlowTime을 소개합니다. 이는 1단계 생성 방식과 Flow 기반 개인화 사전 분포를 통합하여, 추론 효율성을 희생하지 않으면서 사전 공간을 패턴 기반 매니폴드로 재형성하여 적응형 모델링을 달성합니다.
3. TimeRec 라이브러리: 데이터 전처리 및 평가의 불일치를 해결하기 위해, 저자들은 최초의 오픈 소스 시청 시간 예측 라이브러리인 TimeRec을 구축했습니다. 이는 평가 프로토콜을 표준화하고 재현된 SOTA 방법론들을 통합하여 엄격한 벤치마킹 표준을 확립합니다.
4. 새로운 지표: 본 논문은 모델이 개인화된 다중 모드 분포를 얼마나 잘 포착하는지 정량화하기 위해 Jensen-Shannon 발산에 기반한 개인화 분포 충실도(Personalized Distributional Fidelity, PDF) 지표를 도입합니다.

실험 결과

저자들은 세 가지 데이터셋(KuaiRand-Pure, KuaiRec, 그리고 대규모 산업용 데이터셋)에 대한 광범한 오프라인 실험과 온라인 A/B 테스트를 수행했습니다.

• 오프라인 성능: FlowTime은 모든 지표에서 SOTA 베이스라인들을 일관되게 능가했습니다.
  • 직접 회귀와 비교했을 때, MAE를 유의미하게 감소시키고 랭킹 능력(XAUC)을 개선하여 평균 붕괴를 효과적으로 완화했습니다.
  • 서열 및 이산 생성 방식과 비교했을 때, 양자화 오차와 휴리스틱한 어휘 제한 문제를 피했습니다.
  • 혼합 밀도 기반 모델(예: EGMN) 대비 복잡한 상호작용 패턴 모델링에서 우수한 유연성을 입증하였으며, 이는 PDF 지표의 유의미한 향상으로 나타났습니다.
• 효율성: FlowTime은 우수한 효율성-성능 트레이드오프를 달 achievement 했습니다. 직접 회귀보다는 약간 느리지만, 반복적 생성 베이스라인인 GR보다 훨씬 빠르며(지연 시간 약 30% 감소) 더 정확합니다.
• 온라인 A/B 테스트: 4억 명 이상의 일일 활성 사용자(DAU)를 보유한 플랫폼에 배포된 결과, FlowTime은 다음과 같은 통계적으로 유의미한 성과를 거두었습니다:
  • 비디오 재생 시간 +1.044%
  • 앱 사용 시간 +1.027%
  • 공유율(Share Rate) +1.236%
• 절제 연구(Ablation Studies): 실험을 통해 노멀라이징 플로우의 필요성(제거 시 성능이 크게 저하됨)과 개인화를 위한 사용자 이력의 결정적 역할을 확인했습니다. 또한, 1단계 아키텍처가 반복적 디노이징에 비해 고희소성(high-sparsity) 시나리오에서 강력한 귀납적 편향(inductive bias)을 제공함을 검증했습니다.

의의

본 논문은 WTP 문제를 점 추정(point estimation)에서 연속 생성 모델링으로 전환함으로써 중요한 진전을 이루었다고 주장합니다. 상호작용 패턴을 구조적 교란 요인으로 인과적으로 식별하고, 노멀라이징 플로우를 사용하여 사전 공간을 워핑함으로써, FlowTime은 기존 방법들이 놓쳤던 사용자 행동의 본질적인 이질성을 성공적으로 포착했습니다. 나아가, TimeRec 라이브러리의 공개는 시청 시간 예측 분야의 공정하고 일관되며 재현 가능한 벤치마킹 표준을 확립하는 데 있어 중요한 단계로 제시됩니다.