🤖 AI

SA-RSQ: A Versatile Sparse Representation Framework for Multi-modal Recommender Systems

본 논문은 희소 활성화 기반 잔차 소프트 양자화(sparse activation-based residual soft quantization)를 활용하여 압축된 (인덱스, 확률) 튜플을 저장함으로써 저장 효율성과 재구성 품질 사이의 균형을 효과적으로 맞추는 동시에 산업 현장에서 CTR 및 CPM을 유의미하게 개선하는 다중 모달 추천 시스템을 위한 다재다능한 프레임워크인 SA-RSQ를 제안한다.

원저자: Xiang Wang, Shigang Quan, Tingzhen Chang, Kang Yang, Sitong Chen, Yabo Fan, Xingxing Wang, Zhaodian He

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiang Wang, Shigang Quan, Tingzhen Chang, Kang Yang, Sitong Chen, Yabo Fan, Xingxing Wang, Zhaodian He

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

오늘날의 방대한 디지털 마켓플레이스에서 추천 시스템은 우리가 다음에 볼 영상, 들을 노래, 또는 주문할 음식을 제안하며 우리 삶의 보이지 않는 사서 역할을 수행합니다. 이를 잘 수행하기 위해, 이 시스템들은 자신이 제공하는 아이템에 대한 깊은 이해에 의존합니다. 최근 몇 년 동안 엔지니어들은 인공지능 모델을 사용하여 이러한 아이템들을 믿기 힘들 정도로 상세하고 고차원적인 지도로 묘사하기 시작했습니다. 제품에 대한 단 하나의 설명을 단순한 라벨이 아니라, 외형, 의미, 그리고 맥락에 관한 수천 가지의 뚜렷한 세부 사항을 담고 있는 복잡하고 다층적인 초상화라고 상상해 보십시오. 이러한 풍부한 묘사는 시스템이 유사한 아이템들 사이의 미묘한 차이를 이해하는 데 도움을 주지만, 그만큼 무거운 대가를 치러야 합니다. 수십억 개의 아이템에 대한 이 거대한 초상화들을 저장하고 처리하는 것은 너무나 많은 컴퓨터 메모리와 에너지를 필요로 하여 전체 시스템을 느리게 만들고, 실질적인 사용에는 너무 느리고 비싸게 만듭니다.

이를 해결하기 위해, 엔지니어들은 전통적으로 고해상도 사진을 하나의 작은 아이콘으로 압축하는 것처럼, 이 상세한 초상화들을 작고 이산적인 코드로 축소하려고 노력해 왔습니다. 그러나 이러한 극단적인 압축은 종 often 이미지를 흐릿하게 만들어, 시스템이 하나의 아이템을 다른 아이템과 구별해 주는 미세한 디테일을 잃게 만듭니다. 이는 어려운 절충안입니다. 풍부한 디테일을 유지하여 시스템을 느리게 만들 것인지, 아니면 데이터를 축소하여 좋은 추천을 만드는 데 필요한 정밀도를 잃을 것인지의 문제입니다. 텐진 대학교와 메이투안(Meituan)의 연구진은 시스템이 상세한 묘사의 풍부함을 유지하면서도 정확도를 희생하지 않고 효율적인 공간에 저장할 수 있도록 하는 중간 지점을 찾는 새로운 접근 방식을 제안했습니다.

연구진은 SA-RSQ(Sparse Activation-based Residual Soft Quantization)라고 불리는 방법을 개발했습니다. 모든 아이템을 하나의 경직된 카테고리나 작은 고정 코드에 강제로 맞추는 대신, 이 새로운 프레임워크는 아이템의 설명을 몇 가지 핵심 구성 요소들의 유연한 조합으로 취급합니다. 이것은 복잡한 맛을 설명할 때 사전에서 단어 하나를 고르는 것이 아니라, 소수의 재료를 선택하고 각 재료를 정확히 얼마나 사용할지 지정하는 것과 같습니다. 시스템은 아이템의 고차원적 묘사를 살펴보고, 방대한 가능성의 라이브러리 중에서 가장 관련 있는 '재료'들을 식별합니다. 그런 다음 선택된 재료들의 이름과 그것들이 혼합되는 정확한 비율만을 저장합니다.

이 접근 방식은 이전 방법들에 비해 상당한 이점을 제공합니다. 기존 기술들은 종종 단일 코드나 밀집된 숫자 블록 중 하나를 선택하도록 강요하여, 뉘앙스를 잃거나 저장 비용이 급증하는 결과를 초래했습니다. 그러나 새로운 방법은 저장 공간의 양을 정보의 복잡성과 분리합니다. 아이템 묘사의 가장 중요한 부분과 그 가중치만을 저장함으로써, 시스템은 필요할 때마다 원래의 아이템 초상화에 대한 매우 정확한 버전을 재구성할 수 있습니다. 결정적으로, 이 과정은 미분 가능하므로, 시스템은 오류를 자주 일으키는 거친 근사치에 의존하는 대신 훈련 과정에서 받는 피드백으로부터 직접 선택을 학습하고 개선할 수 있습니다.

연구팀은 수억 개의 아이템이 포함된 음식 배달 광고 플랫폼의 거대한 실제 데이터셋을 통해 이 프레임워크를 테스트했습니다. 그들은 엄격한 저장 제한(아이템당 8바이트에서 48바이트 사이) 하에서 자신들의 방법을 여러 기존 압축 기술들과 비교했습니다. 결과는 그들의 방식이 다른 방식들을 일관되적으로 능가했다는 것을 보여주었습니다. 매우 작은 저장 크기로 제한되었을 때조차, 새로운 방법은 사용자가 클릭할 것을 예측하는 데 있어 더 높은 수준의 정확도를 유지했습니다. 32 또는 48바이트와 같이 공간이 조금 더 허용되었을 때는 성능이 더욱 향상되어, 테스트된 모든 방법 중 가장 높은 점수를 기록했습니다. 이 시스템은 아이템의 세밀한 디테일을 보존할 수 있었으며, 이를 통해 기존 압축 시스템에서 흔히 발생하는 문제인 서로 다른 아이템이 서로 혼동되는 '충돌' 현상을 방지했습니다.

오프라인 테스트를 넘어, 연구진은 음식 배달 플랫폼의 실제 온라인 실험에 이 시스템을 배치했습니다. 일주일 동안, 그들은 새로운 방법이 실제 사용자 트래픽의 일부에 노출되도록 통제된 테스트를 진행했습니다. 결과는 구체적이었습니다: 이 새로운 프레임ка워크를 사용하는 시스템은 사용자의 광고 클릭률을 2.51% 증가시켰고, 천 회 노출당 생성되는 수익을 3.66% 증가시켰습니다. 이러한 성과는 시스템을 느리게 만들지 않고 달성되었으며, 이는 복잡한 데이터를 압축하면서도 스마트한 추천을 만드는 데 필요한 지능을 잃지 않는 것이 가능하다는 것을 증명했습니다.

또한 연구는 시스템이 단일한 다음 아이템을 예측하는 것이 아니라, 언어 모델이 문장에서 다음 단어를 예측하는 것과 유사하게 다음에 올 가능성이 있는 확률 분포를 예측하는 잠재적인 미래 응용 분야를 탐구했습니다. 이는 예비 조사였으나, 초기 결과는 이러한 확률적 접근 방식이 생성적 추천 작업에 잘 작동할 수 있음을 시사하며, 추천 시스템이 어떻게 진화할지에 대한 새로운 경로를 열어주었습니다. 연구진은 결과가 유망하지만, 이는 독점 데이터와 특정 설정에 기반한 것이며, 이러한 발견을 다양한 도메인 전반에 걸쳐 확인하기 위해 추가적인 작업이 필요하다고 언급했습니다.

궁극적으로, 이 연구는 저장 효율성과 데이터 품질 사이의 경직된 절충안이 불가피한 것이 아님을 보여줍니다. 아이템의 본질을 핵심 특징들의 가중치 조합을 통해 포착하는 유연하고 희소한 표현을 사용함으로써, 빠르면서도 정밀한 추천 시스템을 구축하는 것이 가능합니다. 실제 산업 환경에서의 성공은 이러한 기술이 방대한 양의 데이터를 처리하는 디지털 세계를 움직이는 표준 도구가 될 수 있음을 시사하며, 우리의 선택을 안내하는 시스템이 처리하는 정보만큼이나 지능적이고 미묘한 상태를 유지할 수 있도록 보장할 것입니다.

기술 요약: SA-RSQ

1. 문제 정의

산업용 추천 시스템은 콜드 스타트(cold-start) 대응과 의미론적 이해를 개선하기 위해 멀티모달 거대 언어 모델(MLLM)에서 추출한 고차원 시맨틱 피처(예: 2048차원 이상)를 점점 더 많이 채택하고 있습니다. 그러나 이러한 밀집 벡터(dense vectors)를 대규모로 배포하는 것은 막대한 저장 공간 및 추론 지연 비용을 발생시킵니다.

기존 솔루션들은 다음과 같은 결정적인 트레이드오프에 직면해 있습니다:

극한의 압축 (Hard Quantization): RQ-VAE와 같은 방식은 피처를 짧은 이산적 시맨틱 ID(예: 8바이트)로 압축합니다. 저장 효율은 높지만, 경계 왜곡(boundary distortion)(의미적으로 유사한 아이템이 동일하거나 완전히 다른 이산 ID로 강제 할당되는 현상)과 비미분성(non-differentiability) 문제를 겪습니다. 그래디언트 근사를 위해 Straight-Through Estimator(STE)에 의존하는 방식은 편향을 유발하고 학습을 불안정하게 만들며, 양자화기의 재구성 목적 함수와 다운스트림 추천 목적 함수(CTR/CVR) 사이의 근본적인 불일치를 초래합니다.
Soft Quantization: SoftVQ-VAE와 같은 접근 방식은 밀집한 soft assignment를 사용하여 STE를 피합니다. 그러나 엄격한 저장 예산(예: 32바이트) 하에서 고차원 벡터를 이처럼 좁은 병목 구간으로 투영하면 심각한 의미론적 붕괴(semantic collapse)가 발생할 수 있습니다. 반대로 품질 유지를 위해 차원을 늘리면 저장 용량의 이점이 사라집니다.

현재로서는 정보의 비가역적 손실이나 저장 공간의 팽창 없이 극한의 압축과 고차원 표현 품질 사이를 매끄럽게 조절할 수 있는 원칙적인 메커니즘이 존재하지 않습니다.

2. 방법론: SA-RSQ

저자들은 표현 차원과 저장 공간 점유율을 분리하면서도 미분 가능성을 유지하도록 설계된 프레임워크인 **SA-RSQ (Sparse Activation-based Residual Soft Quantization)**를 제안합니다.

핵심 아키텍처

SA-RSQ는 RQ-VAE와 유사한 계층적 잔차 구조를 가진 인코더-디코더 아키텍처를 활용하되, 미분이 불가능한 arg min 하드 할당 대신 미분 가능한 희소 소프트 라우팅(differentiable sparse soft routing) 메커니즘을 사용합니다.

반복적 잔차 공식화 (Iterative Residual Formulation):
- 입력 임베딩은 잠재 공간(latent space)으로 매핑됩니다.
- 양자화 과정은 $L$ 단계로 계층적으로 진행됩니다. 각 단계 $l$ 에서 잔차 벡터 $r_{l-1}$ 은 코드북 엔트리들의 가중 결합에 의해 근사됩니다.
- 최종 재구성 $\hat{x}$ 는 디코더에 의해 디코딩된 이러한 근사치들의 합입니다.
미분 가능한 희소 라우팅 (Top- $K$ with Masked Softmax):
- 모든 $V$ 개의 코드 워드에 대해 Softmax를 적용하는 대신(저장 공간 측면에서 불가능함), SA-RSQ는 유사도 로짓(similarity logits)을 계산하고 가장 관련성이 높은 Top- $K$ 코드 워드를 선택합니다.
- 마스킹 연산을 통해 선택되지 않은 단어들의 로짓을 $-\infty$ 로 설정한 후, Softmax를 적용하여 희소 확률 분포 $p^{(l)}$ 을 생성합니다.
- 양자화된 표현은 활성화된 코드 워드들을 확률에 따라 가중 결합한 볼록 결합(convex combination)입니다: $\hat{x}_{l-1} = \sum_{i \in \mathcal{I}_K} p^{(l)}_i c^{(l)}_i$ .
- 저장 형식: 오직 Top- $K$ 의 인덱스와 그에 대응하는 비제로(non-zero) 확률만을 압축된 (Index, Prob) 튜플 형태로 저장합니다. 이는 아이템당 저장 용량을 코드북 차원으로부터 분리합니다.
커리큘럼 희소성 어닐링 (Curriculum Sparsity Annealing):
- 조기 프루닝을 방지하고 전역적인 의미론적 탐색을 보장하기 위해, 프레임워크는 코사인 희소성 어닐링(Cosine Sparsity Annealing) 스케줄을 채택합니다. 학습은 완전 밀집 활성화( $K=V$ )에서 시작하여 목표 희소도 $K_{tgt}$ 까지 점진적으로 감소하며, 탐색(exploration)과 활용(exploitation)의 균형을 맞춥니다.

최적화 목적 함수

프레임워크는 다음 네 가지 구성 요소로 이루어진 결합 목적 함수를 사용하여 학습됩니다:

전역 및 계층별 재구성 (Global & Layer-wise Reconstruction): 원래 임베딩과 재구성된 임베딩 사이의 MSE를 최소화하며, 계층적 학습을 안정화하기 위한 계층별 잔차 손실을 포함합니다.
기하학적 정규화 (Orthogonality): 각 단계 내에서 코드북 벡터 간의 직교성을 강제하여 선형 결합의 스팬 능력(spanning capacity)을 극대화하고 공간적 중복을 제거합니다.
상호 정보량 정규화 (Mutual Information Regularization, MIR): 입력과 soft assignment 사이의 상호 정보를 최대화함으로써 코드북 붕괴를 방지합니다. 이는 샘플 엔트로피를 최소화(아이템당 날카로운 분포 유도)하고 배치 엔트로피를 최대화(균일한 코드북 사용 보장)하는 과정을 포함합니다.
전체 손실 함수: $\mathcal{L}_{total} = \mathcal{L}_{recon} + \lambda_1 \mathcal{L}_{residual} + \lambda_2 \mathcal{L}_{ortho} + \lambda_3 \mathcal{L}_{MIR}$ .

배포 패러다임

2단계 패러다임 (Two-Stage Paradigm): 오프라인에서 희소 라우팅 튜플을 생성하고 동결합니다. 온라인에서 모델은 학습 가능한 코드북에 대해 경량 룩업(lookup)과 가중 합산을 수행합니다. 이를 통해 CTR 모델은 메모리 오버헤드를 거의 들이지 않고도 고충실도 시맨틱을 활용할 수 있습니다.
엔드 투 엔드 정렬 (End-to-End Alignment): 하드 ID와 달리, 희소 확률은 미분 가능한 매개체가 됩니다. 고정된 Top- $K$ 서포트를 사용하는 경우, 다운스트림 그래디언트는 가중 합산을 통해 역전파되어 STE 없이 인코더와 코드북을 업데이트할 수 있으며, 이를 통해 표현 학습을 다운스트림 태스크와 정렬시킵니다.

3. 주요 기여

미분 가능한 희소 소프트 양자화: SA-RSQ는 휴리스틱한 STE 기반 라우팅을 미분 가능한 Top- $K$ 희소 라우팅으로 대체하여, 비가역적 왜곡 없이 유연한 저장 성능-성능 트레이드오프(아이템당 8~48 바이트)를 가능하게 합니다.
우수한 압축-성능 트레이드오프: 이 프레임워크는 저장 효율성과 추천 성능 사이의 유리한 균형을 달성합니다. 또한 확률적 표현을 활용하여 생성적 추천을 위한 "다음 분포 예측(Next-Distribution Prediction)" 공식을 도입했습니다.
산업적 검증: 이 방법은 한 음식 배달 광고 플랫폼에 배포되었습니다. 온라인 A/B 테스트 결과, 프로덕션 베이스라인 대비 CTR +2.51%, **CPM +3.66%**의 상대적 개선을 입증했습니다.

4. 실험 결과

실험은 수억 개의 아이템과 2048차원의 MLLM 임베딩을 가진 자체 음식 배달 광고 데이터셋을 대상으로 수행되었습니다.

판별 태스크 (CTR 예측):
- 8 Bytes: SA-RSQ (인덱스만 사용, $L=4, K=1$ )는 8바이트 베이스라인 중 가장 높은 AUC(64.616%)를 기록하며 RQ-VAE 및 R-Kmeans를 능가했습니다.
- 32 & 48 Bytes: 전체 (Index, Prob) 튜플을 저장할 때, SA-RSQ는 밀집 임베딩 베이스라인 및 기타 양자화 방법보다 일관되게 우수한 성능을 보였습니다. 48바이트에서 가장 높은 AUC(64.913%)와 gAUC(63.013%)를 달성했습니다.
- 재구성 품질: SA-RSQ는 기존 방식의 재구성 손실(RL)이 0.3 이상인 것에 비해 0.1553(48바이트 기준)으로 크게 낮추었으며, 이는 미세한 시맨틱 보존 능력이 더 뛰어남을 나타냅니다.
생성적 추천 (예비 연구):
- "다음 토큰 예측(NTP)"과 제안된 "다음 분포 예측(NDP)"을 비교한 연구에서, SA-RS de의 희소 확률을 사용하는 NDP가 이산 ID 베이스라인보다 Recall@K 및 NDCG@K에서 더 높은 이득을 보였습니다.
어블레이션 연구 (Ablation Studies):
- 상호 정보량 정규화를 제거하면 치명적인 코드북 붕패(사용률 24.5%로 하락)가 발생했습니다.
- 커리큘럼 학습을 제거하면 탐색 능력이 저하되었습니다 (사용률 15.9%).
- 프록시 공동 훈련(Proxy Co-training)을 제거하면 시맨틱 응집도가 크게 떨어졌으며, 이는 오프라인 압축을 협업 신호와 정렬하는 것의 중요성을 강조합니다.

5. 의의 및 주장

본 논문은 SA-RSQ가 측정 가능하고 미분 가능한 시맨틱 공간을 구축함으로써 극한의 하드 압축과 메모리 집약적인 밀집 임베딩 사이의 간극을 효과적으로 메운다고 주장합니다.

분리 (Decoupling): 저장 제약 조건과 표현 차원을 성공적으로 분리하여, 시스템이 컴팩트한 튜플을 저장하면서도 온더플라이(on the fly)로 고차원 피처를 재구성할 수 있게 합니다.
미분 가능성 (Differentiability): Straight-Through Estimator를 피함으로써 표현 학습과 다운스트림 목적 함수 간의 진정한 엔드 투 엔드 정렬을 가능하게 합니다.
실용성 (Practicality): 이 프레임워크는 실제 산업 환경에서 측정 가능한 비즈니스 지표 개선을 통해 검증되었습니다.

한계점 및 겸허한 태도:
저자들은 다음과 같은 한계점을 명시하고 있습니다:

결과는 자체 데이터셋을 기반으로 하며, 추가 평가 없이 공개 벤치마크로의 전이성을 주장하지 않습니다.
"다음 분포 예측" 패러다임은 확립된 일반 패러다임이 아닌 예비 연구 단계로 제시되었습니다.
저자들은 공개 데이터의 부재, 반복 실행에 따른 불확실성, 상세한 레이턴시 통계(p99)의 부족을 인정하며, 이는 시스템 수준의 성능에 대한 광범위한 주장의 강도를 제한할 수 있음을 밝히고 있습니다.
보고된 온라인 A/B 테스트 결과는 특정 구성에서의 피크 값이며, 트래픽 수와 신뢰 구간이 공개되지 않았으므로 엄밀한 유의성 분석보다는 배포 증거로서 해석되어야 합니다.