기술 요약: 아이템 ID를 넘어 – 시맨틱 네이티브 롱 시퀀스 모델링을 통한 숏폼 비디오 추천의 스케일링

1. 문제 정의

숏폼 비디오 추천 시스템은 초장기 사용자 행동 시퀀스(길이 $L > 10^3$)를 모델링하려 할 때 두 가지 병목 현상에 직면합니다:

1. 표현 병목 (Representation Bottleneck): 전통적인 직교 비디오 ID(Video IDs)는 시맨틱적으로 희소합니다. 이는 아이템을 독립적인 토큰으로 취급하여 콘텐츠 간의 관계를 포착하지 못하며, 결과적으로 콜드 스타트(cold-start) 콘텐츠에 대한 일반화 성능을 저하시킵니다. 또한, 코퍼스 크기에 따라 무한히 확장되는 임베딩 테이블을 필요로 하므로 저장 공간 및 희소성 문제를 야기합니다.
2. 연산 병목 (Computational Bottleneck): 표준 트랜스포머(Transformer) 아키텍처는 이차 복잡도($O(L^2)$)를 갖는 셀프 어텐션(self-attention) 메커니즘에 의존합니다. 이는 엄격한 산업적 지연 시간 및 리소스 제약 조건 하에서 최대 시퀀스 길이를 제한하며, 이로 인해 신호를 유실하거나 복잡한 오프라인 사전 계산이 필요한 휴리스틱 필터링 또는 계층적 클러스터링을 사용해야 하는 상황을 만듭니다.

2. 방법론

저자들은 수십억 명의 사용자를 대상으로 $L=2000$까지의 시퀀스를 모델링하기 위해, **시맨틱 네이티브 표현(Semantic-Native Representations)**과 **글로벌 인지 압축 트랜스포머(Global-Aware Compressed Transformer)**를 결방한 프로덕션 배포 프레임워크를 제안합니다.

2.1 시맨틱 네이티브 표현 (SIDs)

표현 병목을 해결하기 위해, 본 시스템은 원자적 비디오 ID를 잔차 양자화 VAE(Residual Quantized VAE, RQ-VAE)를 통해 생성된 콘텐츠 네이티브 시맨틱 식별자(SIDs)로 대체합니다.

• 계층적 양자화: RQ-VAE는 멀티모달 콘텐츠 임베딩을 이산적이고 계층적인 잠재 공간으로 투영하여, 조 coarse-to-fine(거친 수준에서 정밀한 수준으로) 시맨틱 계층을 나타내는 튜플 $(c_1, c_2, \dots, c_D)$를 생성합니다.
• 비대칭적 입도 전략 (Asymmetric Granularity Strategy): 초장기 시퀀스를 위한 표현력과 효율성의 균형을 맞추기 위해, 저자들은 깊이 절단 바이그램(Depth-Truncated Bi-gram) 전략을 채택합니다:
  • 시퀀스 측 (Coarse-Grained): 사용자 히스토리 아이템은 계층의 첫 두 단계 $(c_1, c_2)$로 제한됩니다. 이들은 통합된 정수 ID ($ID_{seq} = c_1 \cdot |V| + c_2$)로 투영됩니다. 이는 코퍼스 확장과 무관하게 임베딩 테이블 크기를 제한하며, 공유된 시맨틱 접두사를 통해 콜드 스타트 아이템에 자연스럽게 일반화됩니다.
  • 타겟/비시퀀스 측 (Fine-Grained): 후보 아이템 및 주요 상호작용 피처(예: 마지막 시청 비디오)는 정밀한 변별적 매칭을 보장하기 위해 전체 깊이의 시맨틱 계층을 유지합니다.

2.2 글로벌 인지 압축 트랜스포머 (Global-Aware Compressed Transformer)

시퀀스 스케일링 장벽을 극복하기 위해, 저자들은 정보 손실 없는 집계(lossy aggregation) 없이 계산 복잡도를 줄이는 트랜스포머 아키텍처를 도입합니다.

• 파라미터 프리 템포럴 폴딩 (Parameter-Free Temporal Folding): 풀링(pooling) 대신, 입력 시퀀스 $X \in \mathbb{R}^{L \times d}$를 크기 $k$의 윈도우로 분할하고 이를 채널 방향으로 쌓아 "슈퍼 토큰(super-tokens)"을 형성합니다. 이 연산은 입력을 $(L, d)$에서 $(L/k, k \cdot d)$로 변환합니다. 이 작업은 시간적 해상도를 피처 차원과 명시적으로 교환하며, "슈퍼 이벤트" 간의 조밀한 의존성을 포착하는 동시에 시퀀스 길이를 $k$만큼 줄입니다.
• 글로벌-로컬 표현 퓨전 (Global-Local Representation Fusion): 압축된 시퀀스 앞에 학습 가능한 글로벌 쿼리 토큰 ($G_{init}$)을 전치(prepend)합니다. 사용자 프로필 기반의 초기화와 달리, 이 토큰은 피처 불가지론적(feature-agnostic)이며, 어텐션 메커니즘이 오직 동적인 상호작용으로부터만 표현을 도출하도록 강제합니다. 이는 최적화를 안정화시키는 어텐션 싱크(attention sink) 역할을 합니다.
• 통합 마스크드 평균 풀링 (Unified Masked Mean Pooling): 최종 사용자 표현은 마스크드 평균 풀링 연산을 통해 글로벌 상태와 세밀한 순차적 신호를 융합함으로써 계산됩니다. 이는 글로벌 의도와 로컬 디테일 사이의 균형을 맞춥니다.

2.3 시스템 아키텍처

본 프레임워크는 하이브리드 동기-비동기 프레임워크 내에서 작동합니다:

• 동기식 단기 모듈 (Synchronous Short-Term Module): 실시간으로 즉각적인 상호작용 테일($S_{short}$)을 인코딩합니다.
• 비동기식 장기 모듈 (Asynchronous Long-Term Module): 제안된 SID와 압축 트랜스포머를 사용하여 초장기 시퀀스($S_{long}$)를 모델링합니다. 두 모듈은 동일한 백본과 최적화 목적 함수를 공유하여 표현이 공유 잠재 공간으로 매핑되도록 함으로써 피처 불일치를 방지합니다.

3. 주요 기여

1. 규모 있는 시맨틱 네이티브 표현: RQ-VAE 기반 SID와 깊이 절단 바이그램 전략을 적용한 대규모 산업적 배포. 이는 임베딩 저장 공간을 코퍼스 크기로부터 분리하며, 콜드 스타트 콘텐츠에 대한 일반화 성능을 크게 향상시킵니다.
2. 고표현력 효율적 시퀀스 아키텍처: 비 파라미터적 템포럴 폴딩을 활용하는 글로벌 인지 압축 트랜스포머. 이는 초장기 시퀀스 내의 복잡한 로컬 상호작용을 포착하기 위해 피처 차원을 확장하면서도, 계산 복잡도를 성능 저하 없이 효과적으로 감소시킵니다.
3. 대규모 산업적 검증: 수십억 명의 사용자를 서비스하는 주요 숏폼 플랫폼에서의 엄격한 오프라인 및 온라인 평가를 통해, 메모리 및 계산 비용의 상당한 절감과 함께 유의미한 온라인 지표 상승을 입증했습니다.

4. 실험 결과

본 프레임워크는 시퀀스 길이 $L=2000$인 환경에서 $L=800$의 비디오 ID를 사용하는 최신 SOTA 베이스라인과 비교하여 프로덕션 트래픽에서 평가되었습니다.

• 시맨틱 ID 효능: 비디오 ID를 바이그램 SID($L=160$)로 교체했을 때, 만족 시청(Satisfied Views)에서 +0.86%, 신선도(Freshness, 최근 업로드된 콘텐츠에 대한 만족 시청)에서 **+6.81%**의 상승을 기록하여 콜드 스타트 일반화가 개선됨을 확인했습니다. 또한 임베딩 파라미터를 38.07%, 저장 크기를 39.33% 줄였습니다.
• 확장성: 오프라인 AUC는 시퀀스 길이가 400에서 2000으로 증가함에 따라 지속적인 단조 증가를 보였습니다. 모델은 너비(hidden dimension)와 깊이(layers)가 증가함에 따라 큰 혜택을 입었으며, 이는 복잡한 상호작용 패턴을 포착하는 능력을 검증합니다.
• 효율성 및 성능: $k=4$인 템포럴 폴딩은 파레토 개선(Pareto improvement)을 달성했습니다:
  • 학습 스텝 시간: 83.9% 감소 (41.1ms $\to$ 6.6ms).
  • 피크 활성화 메모리 (Peak Activation Memory): 92.2% 감소 (5758 MiB $\to$ 448 MiB).
  • 정확도: 압축에도 불구하고, 로컬 노이즈 제거와 확장된 피처 표현력 덕분에 AUC가 Task 1에서 +0.06%, Task 2에서 +0.15% 개선되었습니다.
• 전체 시스템 영향: 통합 업그레이드(SID + 압축 + $L=2000$)는 다음과 같은 유의미한 온라인 이득을 가져왔습니다:
  • 활성 참여 사용자 (Actively Engaged Users): +0.52%
  • 만족 시청 시간 (Satisfied Watch Time): +1.42%
  • 만족 시청 (Satisfied Views): +1.08%

5. 의의 및 주장

본 논문은 차세대 무한 컨텍스트 추천 엔진을 위한 실질적인 청사진을 제공한다고 주장합니다. 시맨틱 표현을 통해 어휘(vocabulary) 병목을 해결하고, 구조적 재구성(템포럴 폴딩)을 통해 계산 병목을 해결함으로써, 저자들은 막대한 리소스 비용 없이도 수십억 명의 사용자 규모에서 초장기 시퀀스 모델링이 가능하다는 것을 입증했습니다.

이 연구는 콘텐츠 네이티브 표현과 효율적인 압축의 시너지가 이전의 베이스라인 모델로는 접근할 수 없었던 더 풍부한 장기 사용자 관심 신호를 포착할 수 있게 해준다고 단언합니다. 저자들은 이를 **대규모 추천 모델(Large Recommendation Models, LRMs)**로 나아가는 단계로 규정하며, 향후 연구에서 시퀀스 스케일링 법칙(scaling laws)과 하드웨어-알고리즘 공동 설계(hardware-algorithm co-design)를 더욱 심도 있게 탐구하고자 합니다.