기술 요약: 생성적 추천을 위한 선호도 분해 기반 시간 인지 확산 모델 (TDPM)

1. 문제 정의

생성적 추천 시스템(Generative Recommenders, GRs)은 전통적인 아이템 ID를 대신하여 시맨틱 인덱스(Semantic Indices, SIDs)를 사용하여 사용자가 다음에 상호작용할 가능성이 높은 아이템을 직접 생성할 수 있게 함으로써 혁신적인 패러다임을 제시했습니다. 최근 연구들은 생성 능력을 활용하기 위해 확산 모델(Diffusion Models)을 GR의 백본으로 탐색해 왔으나, 결정적인 한계가 남아 있습니다: 기존의 확산 기반 GR은 사용자의 상호작용 이력에 있는 모든 아이템에 대해 균일한 확산 프로세스를 적용한다는 점입니다.

이러한 균일성은 사용자 선호의 비정상성(non-stationary) 및 시간 진화적 특성을 반영하지 못합니다. 실제로 사용자 선호는 다면적인 요인에 의해 형성됩니다:

• 장기적 일관성: 시간에 따라 축적된 안정적인 관심사 (예: 축구 애호가가 지속적으로 스포츠 용품을 구매하는 것).
• 단기적 편차: 최근의 특정 사건이나 외부 자극에 의해 유발되는 급격한 관심사 변화 (예: 갑자기 게임패드를 구매하는 것).

표준 확산 모델은 모든 과거 아이템을 무차별적으로 취급하며, 이는 사용자 행동의 시간적 역동성과 모순되는 균일한 분포를 가정합니다. 본 논문은 이 간극을 메우기 위해서는 확산 프로세스가 시간 진화적인 사용자 선호도를 명시적으로 통합하도록 적응되어야 한다고 주장합니다.

2. 방법론: TDPM 프레임워크

저자들은 SID 기반 추천을 위해 표준 확산 프로세스를 수정하는 새로운 GR 프레임워크인 TDPM(Time-Aware Diffusion based on Preference Disentanglement)을 제안합니다. 핵심 혁신은 사용자 선호를 두 가지 별개의 구성 요소로 분해하여 시간 인지 토큰 마스킹 전략을 구동하는 데 있습니다.

2.1 시맨틱 ID (SID) 생성

기존의 SID 기반 GR을 따라, TDPM은 먼저 LLM을 사용하여 아이템 메타데이터(텍스트, 카테고리 등)를 밀집 임베딩(dense embeddings)으로 변환합니다. 그런 다음 이 임베딩을 **잔차 양자화 K-평균(Residual Quantization K-Means, RQ-KMeans)**을 사용하여 이산적인 다단계 SIDs로 압축합니다. 이를 통해 각 아이템에 대해 시맨틱 근접성을 보존하는 계층적 토큰 시퀀스를 생성합니다.

2.2 선호도 분해 (Preference Disentanglement)

TDPM은 사용자 선호를 두 가지 잠재 변수로 분해합니다:

1. 주기적 선호 ($p_{period}$): 안정적인 장기 사용자 프로필을 나타냅니다. 이는 시간적 인덱스(이력 내 위치)의 단조 증가 함수로 모델링되며, 최근의 상호작용이 현재 관심사에 더 많은 가중치를 갖는다는 직관을 반영합니다.
2. 지점 선호 ($p_{point}$): 일시적인 단기 관심사 편차를 나타냅니다. 이는 상호작용 이력 내 인접한 아이템 간의 시맨틱 편차(예: 코사인 유사도)를 기반으로 계산됩니다. 큰 편차는 관심사의 갑작스러운 변화를 의미합니다.

2.3 시간 인지 토큰 확산 (Time-Aware Token Diffusion)

표준 노이즈 추가 대신, TDPM은 시간 인지 토큰 마스킹을 순방향 확산 프로세스로 채택합니다. 이력 내 $j$번째 아이템에 대한 마스킹 확률($p_j$)은 주기적 선호와 지점 선호를 융합하여 동적으로 결정됩니다:
$$p_j = \alpha + \beta \cdot [\lambda \cdot p_{period} + (1 - \lambda) \cdot p_{point}]$$

• 적응형 가중치 ($\lambda$): 두 선호도의 균형을 맞추는 하이퍼파라미터입니다. 결정적으로 $\lambda$는 고정되지 않으며, 훈련 중에 파워 로(power-law) 성장 스케줄을 따르며 모델이 안정화됨에 따라 주기적 선호로 초점을 점진적으로 이동시킵니다.
• 메커니즘: 마스킹 확률이 높은 아이템(높은 중요도 또는 편차를 나타내는)은 더 공격적으로 마스킹됩니다. 이는 모델이 이러한 핵심 신호를 재구성하는 법을 학습하도록 강제하여, 안정적인 패턴과 급격한 변화를 모두 포착하게 합니다.

2.4 최적화 전략

훈련은 두 단계 패러다임을 따릅니다:

1. 웜업 단계 (Warm-up Stage): 균일한 토큰 마스킹을 사용하여 SID 어휘 및 공생 패턴(co-occurrence patterns)에 대해 모델을 사전 훈련하여 안정적인 초기화를 보장합니다.
2. 시간 인지 토크 마스킹 단계 (Time-Aware Token Masking Stage): 균일한 마스킹을 제안된 선호도 분해 전략으로 대체합니다. 타겟 아이템의 SID는 추론 작업(다음 아이템 예측)과 일치하도록 완전히 마스킹됩니다.

2.5 추론 (Inference)

추론 과정에서 모델은 사용자의 SID 이력과 그 뒤에 이어지는 $m$개의 마스크 토큰을 받습니다. 모델은 SID 어휘로부터 구축된 프리픽스 트리(Prefix Tree, Trie)에 의해 가이드되는 **제약된 빔 서치(constrained beam search)**를 사용하여 자기회귀적(autoregressive) 생성을 수행하며, 이를 통해 생성된 시퀀스가 유효한 아이템에 해당함을 보장합니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

• 시간 진화적 선호의 최초 통합: 저자들이 아는 바로는, 확산 기반 생성적 추천에 시간 진화적 특성을 통합한 첫 번째 연구입니다.
• 새로운 분해 메커니즘: 사용자 선호를 안정적인 주기적 선호와 일시적인 지점 선호로 분해하여 모델이 각 아이템에 대해 적응적으로 확산 강도를 조절할 수 있게 하는 TDPM을 제안했습니다.
• 성능 우위: 광범한 실험을 통해 TDPM이 최신 성능의 베이스라인 모델들(전통적인 순차 모델, SID 기반 GR, 기타 확산 기반 추천 모델 포함)을 크게 상회함을 입증했습니다.

4. 실험 결과

저자들은 Amazon의 세 가지 실제 데이터셋인 Beauty, Sports and Outdoors, Toys and Games에서 TDPM을 평가했습니다.

• 베이스라인: RNN/CNN/Transformer 기반 순차 모델(GRU4Rec, SASRec, BERT4Rec), SID 기반 GR(TIGER, LC-Rec), 그리고 기타 확산 기반 추천 모델(PreferDiff, DDSR, PreferGrow)과 비교했습니다.
• 성능: TDPM은 가장 우수한 베이스라인 방법들보다 유의미한 향상을 달را 성취했습니다.
  • HR@20: 최대 29.21% 향상.
  • NDCG@20: 최대 25.45% 향상.
• 절제 연구 (Ablation Studies):
  • **지점 선호(Point Preference)**를 제거했을 때 약 10%의 성능 저하가 발생하여, 관심사 편차를 포착하는 것의 필요성을 보여주었습니다.
  • **주기적 선호(Period Preference)**를 제거했을 때는 더 큰 저하(약 20%)가 발생하여, 안정적인 장기 선호가 필수적인 기초를 형성함을 강조했습니다.
  • 둘 다 제거했을 경우(균일 마스킹으로 회귀) 최악의 성능을 보였으며, 이는 표준 균일 확산이 순차적 추천에는 불충분함을 확인시켜 줍니다.
• 하이퍼파라미터 민감도: 연구 결과, 적절한 초기 균형($\lambda_{start} \approx 0.5$)과 큰 성장 곡률($k=2.0$)을 결합할 때 최적의 결과를 얻었으며, 이는 모델이 장기적 일관성에 집중하기 전에 두 가지 선호 유형을 모두 학습할 수 있게 합니다.

5. 의의 및 주장

본 논문은 TDPM의 주요 의의가 표준 모델의 균일한 순방향 확산 프로세스와 사용자 선호의 본질적인 비균일/시간 진화적 분포 사이의 간극을 메우는 데 있다고 단언합니다.

선호의 일관성과 관심사 편차를 명시적으로 모델링함으로써, TDPM은 기존의 "아이템 불가지론적(item-agnostic)"인 확산 기반 GR을 넘어섭니다. 저자들은 자신들의 시간 인지 토큰 확산이 단순한 점진적 개선이 아니라, 순차적 추천 시나리오에서 확산 모델이 효과적으로 작동하기 위한 필수적인 적응임을 주장합니다. 실험 결과는 선호도를 분해함으로써 확산 프로세스가 상호작용 이력 중 가장 정보가 풍부한 부분에 집중할 수 있게 하여, 더욱 정확하고 견고한 다음 아이템 예측을 가능하게 함을 시사합니다.