MVIGER: Multi-View Variational Integration of Complementary Knowledge for Generative Recommender

"MVIGER: 생성형 추천을 위한 보완적 지식의 다중 뷰 변분 통합" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 정의

이 논문은 생성형 추천 시스템(대규모 언어 모델을 사용하여 직접 아이템 ID 를 생성하는 시스템) 에서 발생하는 치명적인 불일치 문제를 다룹니다. 이러한 시스템은 언어 모델의 추론 능력을 활용하지만, 그 성능은 다음 두 가지 요인에 매우 민감합니다:

1. 프롬프트 템플릿: 자연어 지시문의 변화 (예: "다음 아이템 예측" 대 "다른 아이템 추천") 는 서로 다른 출력 분포를 초래합니다.
2. 아이템 인덱스 유형: 아이템을 토큰으로 인코딩하는 다양한 방법 (예: 사용자 행동 기반의 협업 ID 대 텍스트 메타데이터 기반의 의미론적 ID) 은 아이템 지식의 서로 다른 측면을 포착합니다.

핵심 문제: 동일한 사용자 상호작용 기록을 가지고 있더라도, 프롬프트나 인덱스 유형을 변경하면 상위-$k$ 예측이 크게 달라집니다. 예비 분석에 따르면 이러한 변동은 단순한 노이즈가 아니라 보완적 지식을 인코딩하고 있습니다. 예를 들어, 서로 다른 인덱스 유형 간에 올바르게 예측된 아이템의 중복률은 50% 미만이며, 서로 다른 프롬프트는 고유한 문맥적 뉘앙스를 포착합니다. 기존 방법들은 단일 뷰에 의존하여 보완적 정보를 누락하거나, 인덱스를 단순하게 연결하여 뷰 간의 확률적 관계를 모델링하지 못함으로써 하위 최적적이고 일관성 없는 추천을 초래합니다.

2. 방법론: MVIGER

저자들은 이러한 다양한 뷰를 체계적으로 통합하기 위해 설계된 통합 변분 프레임워크인 MVIGER(Generative Recommender 의 다중 뷰 변분 통합) 를 제안합니다.

A. 이질적 아이템 인덱스 생성

MVIGER 는 서로 다른 지식 소스를 포착하기 위해 모든 아이템에 대해 두 가지 유형의 아이템 인덱스를 구성합니다:

• 협업 인덱스 (CeID): 사용자 - 아이템 상호작용 임베딩 (LightGCN 사용) 에서 파생됩니다.
• 의미론적 인덱스 (SeID): Sentence-T5 를 통해 인코딩된 아이템 메타데이터 (제목, 설명) 에서 파생됩니다.
• 양자화: 두 임베딩 모두 잔차 양자화 변분 오토인코더 (RQ-VAE) 를 사용하여 계층적 이산 토큰 시퀀스로 변환됩니다. 이를 통해 LLM 이 토큰 단위로 아이템 ID 를 자기회귀적으로 생성할 수 있습니다.

B. 다중 뷰 변분 프레임워크

MVIGER 는 특정 프롬프트 템플릿과 아이템 인덱스 유형의 조합을 고유한 "뷰"로 간주합니다.

• 잠재 변수: 주어진 사용자를 위해 특정 뷰 (템플릿 + 인덱스) 를 선택함을 나타내는 범주형 잠재 변수 $z$가 도입됩니다.
• 확률적 공식화: 목표는 사용자 기록 $H(u)$가 주어졌을 때 대상 아이템 $y^*$의 주변 가능도를 최대화하는 것입니다:
  $$p(y^*|H(u)) = \sum_{z} p_\theta(y^*|z) p_\psi(z|H(u))$$
  여기서:
  • $p_\theta(y^*|z)$: 특정 뷰가 주어졌을 때 아이템을 예측하는 가능도 네트워크(생성형 추천기) 입니다.
  • $p_\psi(z|H(u))$: 사용자의 기록을 기반으로 뷰의 관련성 확률을 추정하는 학습 가능한 함수인 사전 네트워크입니다.

C. 훈련 절차 (변분 EM 스타일)

모델은 증거 하한 (ELBO) 을 최적화하도록 훈련됩니다.

1. 사후 확률 계산: 최적의 변분 사후 확률 $q^*(z|H(u), y^*)$는 모든 뷰에 대해 정규화된 가능도와 사전의 곱으로 **폐쇄형 (closed form)**으로 유도됩니다.
2. 분리 최적화:
   • 가능도 네트워크($\theta$) 는 고정된 최적 사후 확률 $q^*$ 하에서 기대 로그 가능도를 최대화하도록 업데이트됩니다.
   • 사전 네트워크($\psi$) 는 학습된 사전과 최적 사후 확률 간의 KL 발산을 최소화하도록 업데이트됩니다.
   • 핵심 혁신: $q^*$가 폐쇄형으로 계산되므로 기울기가 이를 통해 흐르지 않아 두 네트워크의 안정적이고 분리된 업데이트가 가능합니다.

D. 유연한 추론

추론 시에는 대상 아이템을 알 수 없으므로 사후 확률에 접근할 수 없습니다. MVIGER 는 학습된 사전 네트워크를 사용하여 통합을 안내합니다:

1. 단일 뷰 선택: 효율적인 예측을 위해 가장 확률이 높은 뷰 $z^* = \arg\max_z p_\psi(z|H(u))$를 선택합니다.
2. 다중 뷰 집계: 학습된 사전으로 가중치를 부여하여 모든 뷰에 대한 예측을 집계합니다: $p(y|H(u)) = \sum_z p_\theta(y|z) p_\psi(z|H(u))$. 이는 보완적 지식을 활용하여 정확도를 높입니다.

3. 주요 기여

1. 새로운 문제 정의: 이 논문은 생성형 추천기에서 프롬프트와 인덱스의 변동이 단순한 불안정성의 원인이 아니라, 통합될 경우 성능을 크게 향상시키는 보완적 지식을 인코딩한다는 것을 실증적으로 보여줍니다.
2. 통합 변분 프레임워크: MVIGER 는 다양한 템플릿 - 인덱스 조합을 잠재적 뷰로 간주하는 확률 모델을 도입합니다. 이는 고정된 인덱스나 단순 연결 접근법의 한계를 극복하기 위해 사용자에게 조건부인 사전 학습을 통해 이러한 뷰를 적응적으로 선택하거나 집계합니다.
3. 유연한 추론 메커니즘: 이 프레임워크는 효율성과 정확성 사이의 균형을 지원합니다. 사용자는 학습된 사전 분포에 의해 제어되며 재훈련 없이 단일 뷰를 실행 (빠름) 하거나 여러 뷰를 집계 (정확함) 할 수 있습니다.
4. 최첨단 성능: 광범위한 실험을 통해 MVIGER 가 여러 데이터셋에서 기존 베이스라인 (P5, TIGER, EAGER 및 LLM 기반 방법 포함) 보다 우수한 성능을 발휘함을 입증했습니다.

4. 실험 결과

• 데이터셋: Amazon Beauty, Amazon Sports, Yelp에서 평가되었습니다.
• 성능: MVIGER 는 모든 데이터셋에서 가장 높은 Hit Ratio(H@5, H@10) 와 NDCG(N@5, N@10) 를 달성했습니다.
  • 특히, MVIGER 는 더 작은 백본 (T5-small) 을 사용했음에도 불구하고 더 큰 LLM 기반 베이스라인 (Llama-7B 기반의 EAGER-LLM 등) 보다 우수한 성능을 보였으며, 이는 이 맥락에서 모델 규모보다 보완적 지식의 효과적인 통합이 더 중요함을 증명했습니다.
• 절대 실험 (Ablation Studies):
  • 인덱스 선택: 단일 뷰 모델 (CeID 전용 또는 SeID 전용) 은 통합된 MVIGER 보다 성능이 현저히 낮아 협업 및 의미론적 신호의 보완성을 확인했습니다.
  • 집계: MVIGER 의 학습된 사전 집합은 "자기 일관성 (Self-Consistency, 다수결 투표)" 및 "균일 사전 (Uniform Prior, 동등 가중치)"과 같은 단순 베이스라인보다 우수하여 사용자별 뷰 가중치 학습의 가치를 입증했습니다.
• 사전 분석: 학습된 사전의 시각화 결과, 콜드 스타트 사용자는 의미론적 ID(텍스트 기반) 에 더 의존하는 반면, 풍부한 상호작용 기록을 가진 사용자는 협업 ID(행동 기반) 에 더 의존하는 것으로 나타났습니다. 이는 모델이 의미 있고 문맥을 인식하는 가중치 전략을 학습함을 확인시켜 줍니다.
• 효율성: 사전 네트워크의 추론 오버헤드는 무시할 수준이며 (~사용자당 0.01 초), 배치 처리를 통해 효율적인 다중 템플릿 추론이 가능합니다.

5. 의의

• 생성형 추천기의 안정성: MVIGER 는 프롬프트/인덱스 민감성으로 인한 생성형 추천기의 "불안정성" 문제를 버그가 아닌 기능 (보완적 뷰) 으로 전환함으로써 해결합니다.
• 확률적 통합: 휴리스틱 연결이나 단순 앙상블 방법을 넘어, 이질적인 정보 소스를 융합하기 위한 엄격한 확률 프레임워크 (변분 추론) 를 제공합니다.
• 확장성 및 적응성: 이 프레임워크는 특정 인덱스 유형 (CeID/SeID 또는 P5 의 CID/SemID 등) 에 구애받지 않으며, 집계할 뷰의 수를 선택함으로써 다양한 계산 예산에 적응할 수 있습니다.
• 미래 방향: 이 연구는 "다중 뷰" 학습이 차세대 추천 시스템을 위한 유망한 방향임을 강조하며, 향후 연구가 시각, 가격, 외부 지식 등을 추가적인 뷰로 포함하도록 확장할 수 있음을 시사합니다.