Action-Aware Generative Sequence Modeling for Short Video Recommendation

"단기 영상 추천을 위한 행동 인식 생성적 시퀀스 모델링" 논문의 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

기존의 단기 영상용 다중 태스크 추천 시스템은 일반적으로 영상을 단일 전체 개체로 간주하며, 사용자 선호도를 예측하기 위해 이진 분류 (예: 클릭/비클릭, 좋아요/싫어요) 에 의존합니다. 이 접근법은 두 가지 치명적인 한계에 직면해 있습니다:

• 세분성 손실: 단기 영상은 종종 다양한 세그먼트 (예: 메들리 곡이나 다중 주제 인터뷰) 를 포함합니다. 사용자는 특정 세그먼트는 즐기고 다른 세그먼트는 싫어할 수 있습니다. 영상을 전체로 취급하면 이러한 세분화된 선호도가 희석되어 부정확한 임베딩과 열악한 추천으로 이어집니다 (예: 메시 세그먼트만 좋아한 사용자에게 호날두 영상을 추천하는 경우).
• 시간적 역동성 무시: 사용자 소비는 시간적 과정입니다. 행동의 타이밍 (예: 2 초에서 '좋아요'를 누르는 것 vs 16 초에서 누르는 것) 과 행동의 순서 (예: '팔로우' 후 '좋아요' vs '좋아요' 후 '팔로우') 는 사용자 의도에 관해 고유한 의미적 의미를 지닙니다. 기존 모델은 단일 항목 내에서 이러한 시간적 의존성과 행동 순서를 포착하지 못합니다.

핵심 과제는 사용자 행동을 단순한 고립된 이벤트 집합이 아닌, 영상 내 특정 타임스탬프에서 발생하는 시간 순서대로 정렬된 행동 시퀀스로 모델링하여 진정한 세그먼트 수준의 선호도를 포착하는 것입니다.

2. 방법론: 행동 인식 생성적 시퀀스 네트워크 (A2Gen)

저자들은 사용자 행동을 통합된 시퀀스로 연결하여 생성적 예측을 수행하는 새로운 프레임워크인 A2Gen을 제안합니다. 이진 결과를 예측하는 대신, 이 모델은 $\{(A_1, T_1), \dots, (A_m, T_m)\}$ 형태의 완전한 행동 시퀀스를 생성하며, 여기서 $A$는 행동 유형이고 $T$는 타임스탬프입니다.

아키텍처는 세 가지 주요 구성 요소로 구성됩니다:

A. 컨텍스트 인식 어텐션 모듈 (CAM)

NLP 의 표준 셀프 어텐션과 달리, CAM 은 항목별 컨텍스트 특징을 어텐션 메커니즘에 통합합니다.

• 메커니즘: 컨텍스트 정보 (항목 특징) 를 쿼리 벡터에 통합합니다. 이는 두 행동 간의 유사성 계산이 단순히 행동 유형이 아니라 연관된 항목의 특정 콘텐츠에 의존하도록 보장합니다.
• 게이팅: 게이팅 네트워크는 특정 태스크에 대한 다양한 어텐션 헤드의 상대적 중요도를 학습하여 태스크별 최적화를 가능하게 합니다.
• 기능: 행동 유형과 항목 컨텍스트 간의 상호작용을 포착함으로써 입력 시퀀스 (과거 행동) 를 효과적으로 모델링합니다.

B. 계층적 시퀀스 인코더 (HSE)

사용자 히스토리는 단일 항목 내 행동 시퀀스와 시간에 따라 소비된 항목 시퀀스라는 두 가지 차원을 포함합니다. HSE 는 2 단계 인코딩을 통해 이를 해결합니다:

1. 행동 차원: CAM 을 사용하여 각 과거 항목의 행동 시퀀스를 처리하여 항목 수준의 관심 표현 ($Seq_j$) 을 추출합니다.
2. 항목 차원: 과거 항목들의 시퀀스 (각각 $Seq_j$와 항목 특징으로 표현됨) 를 새로운 시퀀스로 간주합니다. CAM 을 다시 적용하여 대상 항목의 특징을 컨텍스트로 사용하여 과거 항목과 현재 후보 간의 개인화된 유사성 가중치를 계산합니다.

• 출력: 세분화된 세그먼트 관심과 장기적인 항목 선호도 모두를 포착하는 포괄적인 사용자 표현 ($Vec_{hist}$).

C. 행동 시퀀스 자기회귀 생성기 (AAG)

이 모듈은 대상 항목에 대한 미래 행동 시퀀스를 예측하기 위해 자기회귀 생성 패러다임을 사용합니다.

• 입력: 사용자 특징, 대상 항목 특징, 그리고 과거 표현 ($Vec_{hist}$).
• 과정: 단계별로 행동을 예측합니다. 각 단계 $i$에서 이전에 생성된 행동 ($A_{1:i-1}, T_{1:i-1}$) 을 기반으로 행동 유형 ($A_i$) 과 타이밍 ($T_i$) 을 예측합니다.
• 학습: 병렬 학습을 가능하게 하기 위해 Teacher Forcing(이전 단계의 정답) 을 사용합니다.
• 손실 함수:
  • 분류 손실: 행동 유형 예측을 위한 교차 엔트로피.
  • 회귀 손실: 영상 길이로 정규화된 타이밍 예측을 위한 평균 제곱 오차 (MSE).
  • 순서 제약 손실 ($L_{order}$): 생성된 타임스탬프가 시간 순서대로 정렬되도록 보장 ($p < q$일 때 $T_p < T_q$), 논리적 불일치를 방지합니다.

3. 주요 기여

1. 패러다임 전환: 이 논문은 이진 분류를 넘어 생성적 시퀀스 모델링 접근법으로 전환하여, 영상 내 사용자 행동의 타이밍과 순서를 명시적으로 모델링합니다.
2. 새로운 아키텍처 (A2Gen): 항목 수준 컨텍스트와 시간적 행동 시퀀스를 포함한 사용자 - 항목 상호작용의 복잡하고 다차원적인 특성을 처리하기 위해 CAM, HSE, AAG 를 통합한 통합 프레임워크를 도입합니다.
3. 행동 타이밍에 대한 통찰: 통계 분석을 통해 행동 타이밍 (예: '좋아요' 분포의 피크) 이 진정한 사용자 관심과 강하게 상관관계가 있음을, 그리고 행동 시퀀스 (예: '팔로우 - 좋아요' 대 '좋아요 - 팔로우') 는 서로 다른 사용자 의도를 드러낸다는 것을 입증합니다.
4. 산업 규모 배포: 하루 4 억 명 이상의 사용자를 서비스하는快手 (Kuaishou) 에서 성공적으로 배포되어 모델의 확장성과 실제 효능을 검증했습니다.

4. 실험 결과

오프라인 성능

• 데이터셋: Tmall 공개 데이터셋(전자상거래) 과 대규모 快手 산업 데이터셋(단기 영상) 에서 평가되었습니다.
• 지표: 행동 분류를 위한 AUC 와 타이밍 회귀를 위한 MAE.
• 결과: A2Gen 은 최신 SOTA 베이스라인 (MMoE, PLE, AdaTask, HoME 등) 을 크게 능가했습니다.
  • 행동 예측: SOTA HoME 모델 대비 '좋아요' 예측 AUC 에서 58 bp (basis point) 향상 달성.
  • 타이밍 예측: HoME 대비 '좋아요' 타이밍 예측 MAE 를 2.60% 감소.
  • 애블레이션 연구: HSE, CAM, 또는 순서 제약 손실 ($L_{order}$) 을 제거할 때마다 일관된 성능 저하가 발생하여 각 구성 요소의 필요성을 입증했습니다.

온라인 A/B 테스트 (快手)

이 모델은 네 가지 최적화 전략을 갖춘 대규모 온라인 환경에 배포되었습니다:

1. 모델 교체: 베이스라인 모델을 직접 대체.
2. 행동 타이밍 인식: 영상 후반부에 발생하는 행동 (더 깊은 참여를 나타냄) 에 대한 랭킹 점수 증폭.
3. 행동 시퀀스 인식: '좋아요 - 팔로우'보다 강한 의도를 나타내는 '팔로우 - 좋아요'와 같은 시퀀스를 우선순위화.
4. 행동 타이밍 분포 인식: 참여 통계적 "피크" 근처에서 발생하는 행동에 대한 점수 증폭.

주요 비즈니스 지표 개선:

• 사용자 시청 시간: +0.34%
• 상호작용률: +8.1%
• 사용자 유지율 (LifeTime-7): +0.162% (약 100 만 명의 추가 일일 활성 사용자에 해당).

5. 의의

이 연구는 사용자 행동을 정적 분류 문제가 아닌 생성적 시퀀스로 취급함으로써 생성형 AI와 추천 시스템 간의 간극을 해소합니다. 사용자 행동의 시간적 차원을 활용함으로써 A2Gen 은 단기 영상 소비에 내재된 "세그먼트 수준 관심" 문제를 해결합니다. 수억 명의 사용자가 있는 플랫폼에서의 성공적인 배포는 세분화된 시간적 역동성을 모델링하는 것이 이론적으로 타당할 뿐만 아니라 현대 콘텐츠 추천 플랫폼에서 비즈니스 성장을 위한 핵심 동력임을 입증합니다.