기술 요약: HiGR - 산업 규모의 계층적 생성형 슬레이트 추천 프레임워크

1. 문제 정의

사용자에게 정렬된 아이템 리스트를 한 번에 보여주는 슬레이트 추천(Slate recommendation)은 비디오 피드나 뉴스 애그리게이터와 같은 플랫폼에서 매우 중요합니다. 시맨틱 ID(Semantic IDs, SIDs)를 사용하는 최근의 생성형 추천 방식들이 유망한 결과를 보여주고 있지만, 이를 산업 규모의 슬레이트 추천에 직접 적용하는 데에는 세 가지 근본적인 불일치(disconnect)가 존재합니다:

1. 얽힌 SID 공간(Entangled SID Spaces): 기존의 시맨틱 ID 방식은 접두사(prefix)가 공유된 의미를 안정적으로 포착하지 못하는 코드 공간을 생성하는 경우가 많습니다. 이러한 "얽힘" 현상은 고수준의 리스트 계획(high-level list planning)을 방해하며, 관련성(relevance)과 다양성(diversity)을 유도하는 것을 어렵게 만듭니다.
2. 비효로적인 자기회귀 디코딩(Inefficient Autoregressive Decoding): $M$개의 아이템으로 구성된 슬레이트를 생성하려면 $M \times D$개의 토큰(여기서 $D$는 아이템당 SID 토큰 수)을 디코딩해야 합니다. 전체 시퀀스에 대한 자기회귀 빔 서치(beam search)는 상당한 지연 시간을 초래하며, 아이템 내부의 의미와 아이템 간의 전이를 얽히게 만들어 전역적인 슬레이트 구조를 모호하게 만듭니다.
3. 정렬되지 않은 목적 함수(Misaligned Objectives): 표준적인 토큰 수준의 가능도(likelihood) 학습은 홀리스틱한 슬레이트 품질을 직접 최적화하지 못합니다. 실제 플랫폼에서는 랭킹 충실도(ranking fidelity), 진정한 사용자 관심(genuine user interest), 리스트 내 다양성(intra-list diversity)과 같은 여러 리스트 수준의 목적 함수를 동시에 최적화해야 합니다.

2. 방법론: HiGR 프레임워크

HiGR(Hierarchical Generative Recommendation)은 긴밀하게 결합된 세 가지 구성 요소로 이루어진 공동 설계 파이프라인을 통해 이러한 과제들을 해결합니다.

A. 접두사 대조적 잔차 양자화 VAE (Prefix-Contrastive Residual Quantized VAE, PCRQ-VAE)

제어 가능한 계획(planning)을 위한 구조화된 SID를 학습하기 위해, HiGR은 수정된 Residual Quantized VAE를 사용하여 구조화된 SIDs를 학습합니다.

• 전역 양자화(Global Quantization): 각 레이어를 독립적으로 최적화하는 표준 RQ-VAE와 달리, PCRQ-VAE는 전역 양자화 목적 함수를 도입합니다. 이는 집계된 양자화 표현을 원래의 잠재 임베딩(latent embedding)과 정렬시켜, 코드북 레이어 전반에 걸쳐 정보가 풍부한 잔차(residual)를 보존하고 잔차 소멸(residual vanishing)을 방지합니다.
• 접두사 수준 대조 정렬(Prefix-Level Contrastive Alignment): 시맨틱 및 협업 신호를 주입하기 위해, 모델은 첫 $D-1$개 코드북 레이어(접두사)에 대조 학습(InfoNCE 손실)을 적용합니다. 이를 통해 시맨적으로 또는 협업적으로 유사한 아이템들이 높은 수준의 SID 접두사를 공유하도록 강제하는 한편, 마지막 코드북 레이어는 미세한 아이템 식별을 위해 남겨둡니다.

B. 계층적 슬레이트 디코더 (Hierarchical Slate Decoder, HSD)

HSD는 생성 과정을 토큰 수준의 디코딩에서 조대-세밀(coarse-to-fine) 계층적 접근 방식으로 전환하여 지연 시간을 줄이고 전역적인 계획을 가능하게 합니다.

• 조대 단위 슬레이트 플래너(Coarse-Grained Slate Planner): $M \times D$개의 토큰을 순차적으로 디코딩하는 대신, 플래너는 먼저 $M$개의 "선호 임베딩(preference embeddings)"을 생성합니다. 각 임베딩은 슬레이트 내 특정 위치를 위한 의도된 의미를 나타냅니다. 이 단계는 리스트의 전역 구조를 모델링합니다.
• 세밀 단위 아이템 생성기(Fine-Grained Item Generator): 경량화된 생성기는 대응하는 선호 임베딩을 조건으로 하여 각 아이템의 특정 $D$-토큰 SID 시퀀스를 디코딩합니다.
• 효율성: 비용이 많이 드는 빔 서치를 (사전 계획된 임베딩을 조건으로 하는) 짧은 아이템 수준 디코딩으로 제한함으로써, 전역 구조를 유지하면서도 추론 지연 시간을 크게 단축합니다.
• 다양성 정규화(Diversity Regularization): 플래너는 계획된 선호 임베딩 간의 쌍별 유사성을 최소화하는 리스트 내 다양성(ILD) 항을 포함하여, 사후 추정 없이도 다양한 슬레이트를 장려합니다.

C. 리스트 단위 선호도 정렬 (Listwise Preference Alignment, ORPO)

토큰 생성과 사용자 경험 사이의 간극을 메우기 위해, HiGR은 Odds Ratio Preference Optimization(ORPO)을 사용하여 리스트 단위의 다목적 정렬 메커에즘을 채택합니다.

• 삼중 목적 함수 최적화(Triple-Objective Optimization): 모델은 다음 세 가지 상호 보완적인 목적 함수에 대해 최적화됩니다:
  1. 랭킹 충실도 (O1): 순서가 사용자 참여와 일치하도록 보장합니다.
  2. 진정한 사용자 관심 (O2): 긍정적인 피드백을 받은 아이템에 집중함으로써 노출 노이즈를 필터링합니다.
  3. 슬레이트 다양성 (O3): 반복적인 추천과 "정보의 울타리(information cocoons)" 현상을 방지합니다.
• 선호 쌍 구축(Preference Pair Construction): 긍정적인 슬레이트는 재정렬된 사용자 참여 시퀀스로부터 구축됩니다. 부정적인 슬레이트는 순서를 변경하거나, 부정적 피드백을 받은 아이템으로 교체하거나, 다양성 제약을 테스트하기 위해 시맨적으로 유사한 아이템을 추가하는 방식으로 생성됩니다.
• 참조 모델 없음(Reference-Free): 계산 비용을 줄이고 목적 함수 드리프트(objective drift)를 완화하기 위해 참조 모델이 필요 없는 방식인 ORPO를 사용하여, 모델을 핵심 비즈니스 지표에 직접 정렬시킵니다.

3. 주요 기여

1. HiGR 프레임워크: 구조화된 토큰화, 효율적인 계층적 생성, 그리고 리스트 단위 선호 정렬을 통합한 엔드 투 엔드 생성형 슬레이트 추천 프레임워크입니다.
2. PCRQ-VAE: 접두사 수준의 대조 정렬을 강제하여, 높은 수준의 접두사가 신뢰할 수 있는 시맨틱을 인코딩하고 제어 가능한 계획을 용이하게 하는 구조화된 SID 공간을 만드는 새로운 토큰화 방법입니다.
3. 계층적 슬레이트 디코더 (HSD): 전역 슬레이트 계획과 아이템 생성을 분리하여, 품질을 유지하면서도 베이스라인 대비 5배의 추론 속도 향상을 달elles achieve하는 2단계 디코딩 아키텍처입니다.
4. 삼중 목적 ORPO: 별도의 참조 모델 없이 랭킹, 관심, 다양성을 공동 최적화하는 리스트 단위 정렬 메커니즘입니다.

4. 실험 결과

오프라인 성능

• 품질: 대규모 산업용 텐센트 데이터셋과 공개 데이터셋인 KuRec 모두에서, HiGR은 추천 품질 지표(NDCG@5, Hit Rate, Recall)에서 SOTA 베이스라인들(ListCVAE, SASRec, TIGER, HSTU, OneRec 포함)을 10% 이상 상회했습니다.
• 절제 연구(Ablation Studies):
  • PCRQ-VAE에서 접두사 수준의 대조 제약을 제거하면 SID 충돌률이 크게 증가하여(~2.4%에서 ~8.7%로), 구조화된 접두사의 필요성을 확인했습니다.
  • ILD 정규화를 제거하면 다양성 지표가 감소하며, 컨텍스트 임베딩을 제거하면 눈에 띄는 성능 저하가 발생합니다.
  • 세 가지 목적 함수(랭킹, 관심, 다양성)를 공동 최적화했을 때 전반적인 성능이 가장 우수했으며, 이는 정확도와 다양성이 상호 보완적임을 보여줍니다.
• 스케일링 법칙(Scaling Laws): 모델 크기(0.05B ~ 2B 파라미터)에 따른 실험은 모델 용량과 성능 사이의 명확한 멱법칙(power-law) 관계를 보여주며, 스케일링을 통한 예측 가능한 이득을 시사합니다.

효율성

• 지연 시간: HiGR은 강력한 생성형 베이스라인인 OneRec과 비교하여 더 높은 정확도를 유지하면서도 5배의 추론 속도 향상을 달성했습니다.
• 리소스 사용량: 온라인 배포 시, HiGR은 OneRec 대비 GPU 수요를 약 60% 감소시키면서 P99 지연 시간을 50ms 미만으로 유지합니다.

온라인 A/B 테스트

수억 명의 사용자를 대상으로 하는 텐센트의 다양한 플랫폼(뉴스, 비디오, 웹 소설)에 배포된 결과, HiGR은 실질적인 개선을 입증했습니다:

• 시청 시간(Watch Time): +1.22%
• 비디오 재생(Video Plays): +1.73%
• 체류 시간(Stay Time): +1.03%
• 요청 횟수(Request Count): +1.57%

5. 의의 및 주장

본 논문은 HiGR이 아이템 수준의 생성과 홀리스틱한 슬레이트 최적화 사이의 단절을 산업 환경에서 성공적으로 연결했음을 주장합니다. 구조화된 SID 공간과 계층적 디코딩 메커니즘을 도입함으로써, 기존 생성형 추천 모델의 효율성 및 제어 가능성 병목 현상을 해결했습니다. 이 프레임워크는 생성형 모델링이 산업 수준으로 확장될 수 있음을 증명하며, 우수한 추천 품질과 상당한 계산 효율성을 동시에 제공합니다. 텐센트 플랫폼에 대한 성공적인 배포는 복잡한 다목적 추천 요구를 가진 수억 명의 사용자를 서비스하는 데 있어 HiGR의 적용 가능성을 검증합니다.