기술 요약: FLUID

문제 정의

현대 추천 시스템은 주로 사용자 상호작용에서 신호를 축적하는 고유 ID 임베딩으로 아이템을 표현하는 ID 기반 협업 필터링에 의존합니다. 그러나 이러한 패러다임은 라이브스트리밍 추천에서 근본적인 불일치를 겪습니다. 전자상거래나 숏폼 비디오 도메인의 장수명 아이템과 달리, 라이브스트리밍 방은 일반적으로 약 45 분만 방송된 후 구식이 됩니다. 결과적으로 아이템 ID 임베딩은 지속적인 콜드스타트 상태에 머무르며, 방의 짧은 수명 내에 수렴하지 못합니다.

이는 두 가지 구체적인 과제를 야기합니다:

1. 신호 부족: 방이 종료되기 전에 ID 임베딩 테이블이 충분한 협업 신호를 기억할 수 없어, 일반화를 위해 ID 를 사용할 수 없게 됩니다.
2. ID 우세 효과: 기존 산업 시스템에서는 멀티모달 특징이 아이템 ID 와 병행된 보조 신호로 종종 추가됩니다. 그러나 랭킹 모델은 ID 신호 (기억) 로 기본화되어 멀티모달 입력을 충분히 활용하지 않는 경향이 있습니다. 라이브스트리밍에서는 ID 신호가 일시적이고 노이즈가 많기 때문에, 이러한 "ID 우세"는 모델의 용량을 급격히 감쇠하는 신호에 낭비하게 하여 멀티모달 특징이 추천을 효과적으로 안내하는 것을 방해합니다.

방법론: FLUID 프레임워크

FLUID(Production-scale 라이브스트리밍 랭커에서 후보 측 아이템 ID 를 완전히 폐지하는 프레임워크) 는 멀티모달 시맨틱 코드로 완전히 대체하여 생산 규모 라이브스트리밍 랭커에서 후보 측 아이템 ID 를 완전히 은퇴시킨 최초의 프레임워크입니다. 파이프라인은 네 단계로 구성됩니다:

1. 크로스도메인 멀티모달 인코더

라이브 데이터의 희소성을 해결하기 위해 FLUID 는 숏폼 비디오와 라이브스트리밍 모두에서 공동 훈련된 싱글 타워 멀티모달 인코더를 사용합니다.

• 아키텍처: 비전 모듈 (SigLIP2-base ViT), 텍스트 모듈 (제목, OCR, ASR, 댓글 등의 토큰화), 그리고 Qwen3-Embedding-0.6B 기반의 퓨전 모듈을 결합합니다.
• 훈련: 인코더는 InfoNCE 손실 함수를 사용하는 쿼리 - 아이템 (Q2I) 대비 목적 함수를 사용합니다. 사전 훈련된 시맨틱을 보존하기 위해 (1) 정렬 (프로젝터만 훈련) 을 거친 후 (2) 공동 미세 조정을 수행하는 2 단계 훈련 레시피를 활용합니다.
• 목표: 이 크로스도메인 전이는 더 밀집되고 노이즈가 적은 숏폼 비디오의 감독 신호를 활용하여 희소한 라이브 도메인을 위한 견고한 시맨틱 표현을 생성합니다.

2. 이산 표현 (LUCID)

인코더에서 나온 연속적인 128 차원 임베딩 ($z$) 은 **Residual Quantization K-Means (RQ-KMeans)**를 사용하여 LUCID(Live Universal Content IDentifier) 코드로 이산화됩니다.

• 구조: LUCID 는 계층적 4 단계 코드워드 튜플 ($c_1, c_2, c_3, c_4$) 입니다.
• 세분화:
  • 슬라이스 수준 LUCID: 스트리머가 채팅에서 노래로 전환하는 것과 같은 2 분 콘텐츠 역동성을 포착합니다.
  • 방 수준 LUCID: 세션 내 모든 슬라이스에 대한 단계별 다수결 투표를 통해 얻어집니다. 이는 일시적인 콘텐츠 변화와 식별자를 분리하여 방에 대한 안정적이고 지속적인 정체성을 제공합니다.

3. 접두사 N-gram 임베딩

LUCID 튜플을 랭커에 매핑하기 위해 FLUID 는 단순한 단계별 디코딩 대신 접두사 n-gram 임베딩 방식을 사용합니다.

• 메커니즘: 각 수준의 임베딩은 전체 접두사 경로 ($\bar{c}_l = \sum c_k \cdot N^{l-k}$) 에 조건부로 설정됩니다. 이는 더 깊은 수준의 동일한 코드워드가 부모 경로에 따라 다른 시맨틱 영역을 나타내도록 하여, 잔차 양자화 내재적 모호성을 해결합니다.
• 구현: 슬라이스 수준 및 방 수준 LUCID 는 안정적인 방 시맨틱과 일시적인 슬라이스 역동성이 혼합되는 것을 방지하기 위해 별도의 임베딩 테이블을 사용합니다.

4. 후기 융합 ID-프리 랭커 및 단계별 웜업

최종 아키텍처는 아이템 ID 토큰을 완전히 LUCID 토큰으로 대체합니다.

• 후기 융합: 슬라이스 및 방 LUCID 는 트랜스포머 기반 랭커 백본에 독립적인 토큰으로 주입됩니다. 이는 모델이 안정적인 방 정체성과 일시적인 슬라이스 역동성 간의 상호작용을 단일 표현으로 강제하지 않고 학습할 수 있게 합니다.
• 단계별 웜업: 온라인 증분 설정에서 ID 기반에서 ID-프리 훈련으로의 전환을 안정화하기 위해 FLUID 는 3 단계 웜업을 사용합니다:
  1. 슬라이스 추가: 수렴된 아이템 ID 와 함께 슬라이스 LUCID 를 새로운 토큰으로 추가합니다.
  2. 아이템 ID 단계적 폐지: 아이템 ID 를 점진적으로 0 으로 만들어 모델이 슬라이스 LUCID 에 의존하도록 강제합니다.
  3. 방 추가: 웜업된 슬라이스 테이블에서 초기화된 방 수준 LUCID 를 도입하여 영구적 정체성의 역할을 수행하게 합니다.

주요 기여

1. 문제 정의: 이 논문은 일시적인 아이템의 경우 "ID 우세" 효과가 참을 수 없는 귀찮음이 아닌 근본적인 병목 현상이라고 주장합니다. 해결책은 더 나은 퓨전 트릭이 아니라 후보 측 아이템 ID 의 완전한 폐지라고 제시합니다.
2. 크로스도메인 인코더: 숏폼 비디오와 라이브스트리밍에서 공동 훈련된 멀티모달 인코더를 도입하여 계층적 LUCID 코드를 생성하며, 이를 유일한 후보 측 콘텐츠 식별자로 사용합니다.
3. ID-프리 아키텍처: LUCID 가 아이템 ID 를 대체하는 후기 융합 랭커 설계로, 온라인 훈련 중 안전한 전환을 보장하는 단계별 웜업 절차로 안정화됩니다.

실험 결과

FLUID 는 합산 사용자 수가 10 억 명 이상인 산업용 라이브스트리밍 플랫폼에 배포되었습니다.

오프라인 지표 (CTR AUC):

• 기준선 (ID 포함) 에 슬라이스 LUCID 를 추가한 결과 AUC 가 +0.22% 증가했습니다.
• 대체물 없이 아이템 ID 를 제거한 경우 significant drop(-0.47%) 이 발생하여 모델이 ID 기억에 의존함을 확인했습니다.
• 최종 FLUID 구성 (ID 없음 + 슬라이스 및 방 LUCID) 은 기준선 대비 **+0.23%**의 향상을 달성했습니다.

온라인 A/B 테스트 결과:
생산 기준선과 비교하여 FLUID 는 여러 지표에서 상당한 향상을 제공했습니다:

• 참여 품질: 품질 시청 시간 +0.55%, 품질 시청 세션 +0.51%.
• 콜드스타트 및 다양성: 콜드스타트 방 조회수 +2.05%, 니치 방 조회수 +2.87%, 고유 시청 태그 +1.63%.
• 유지율: 활성 시간 +0.05%(긍정적 유지율 향상을 달성한 유일한 구성; LUCID 대체 없이 ID 를 제거한 경우 부정적 유지율이 발생함).

어블레이션 통찰:

• 퓨전: ID 와 LUCID 를 병합하는 조기 융합은 모델이 다시 ID 에 의존하도록 붕괴되어 성능 향상을 이루지 못했습니다. 후기 융합이 필수적이었습니다.
• 훈련: 단계별 웜업 없이 LUCID 를 단순하게 훈련하는 것은 실패했습니다. 단계별 웜업은 전환 중 모델이 ID 신호로 붕괴되는 것을 방지하는 데 결정적이었습니다.
• 임베딩: 접두사 n-gram 임베딩은 단계별 디코딩보다 우수했으며, 슬라이스/방 코드용 별도 테이블은 공유 테이블보다 우수했습니다.

의미 및 주장

이 논문은 FLUID 가 단기 수명 추천 도메인을 위한 새로운 원칙을 입증한다고 주장합니다: 아이템이 본질적으로 일시적일 때, 감쇠하는 ID 와 멀티모달 신호를 융합하려는 시도보다 아이템 ID 를 폐지하는 것이 더 원칙적인 치료법입니다.

멀티모달 시맨틱 코드 (LUCID) 로 ID 를 성공적으로 대체하고 단계별 웜업을 통해 전환을 안정화함으로써 FLUID 는 다음을 달성합니다:

1. 복원된 매칭 품질: 모델은 불충분한 ID 히스토리 없이 사용자를 콘텐츠에 효과적으로 매칭할 수 있습니다.
2. 진정한 다양성: 니치 및 콜드스타트 조회수 향상은 나쁜 매칭으로 인한 수동적 트래픽 재분배가 아닌 더 나은 콘텐츠 이해에 의해 주도됩니다.
3. 사용자 유지: 이 프레임워크는 이러한 다양성 및 참여 향상을 실제 사용자 유지로 전환하여, 라이브스트리밍 컨텍스트에서 콘텐츠 기반 랭킹이 ID 기반 기억보다 우수함을 입증합니다.

이 작업은 아이템 수명이 전통적인 협업 필터링이 작동하기에 너무 짧은 도메인에서 콘텐츠 기반 랭킹을 향한 한 걸음으로 자리매김합니다.