MMQ: Multimodal Mixture-of-Quantization Tokenization for Semantic ID Generation and User Behavioral Adaptation

이 논문은 대규모 및 희소 아이템 코퍼라에서 확장성과 일반화 문제를 해결하기 위해, 멀티모달 시너지와 특이성을 동시에 포착하고 사용자 행동에 적응하는 새로운 '멀티모달 혼합 양자화 (MMQ)' 토크나이저를 제안하여 추천 시스템의 성능을 향상시키는 두 단계 프레임워크를 제시합니다.

핵심

🧐 기존 방식의 문제점: "고유 번호만 외우는 비효율"

예전 추천 시스템은 각 상품 (옷, 신발 등) 에 **고유 번호 (Item ID)**를 붙여 관리했습니다. 마치 옷장에 옷을 넣을 때, "이 옷은 1 번, 저 옷은 2 번"이라고 번호만 외우는 방식이죠.

하지만 이 방식에는 두 가지 큰 문제가 있었습니다.

1. 새로운 옷이 들어오면 당황: 새로운 옷이 들어오면 번호를 새로 배정해야 하고, 그 옷에 대한 데이터가 없으면 추천을 못 합니다. (장기적인 옷장 정리 실패)
2. 비슷한 옷을 구분 못 함: "여름용 민소매"와 "여름용 반바지"는 스타일이 비슷하지만, 번호가 다르면 서로 관련이 없다고 착각합니다.

💡 새로운 해결책: "의미 있는 태그 (Semantic ID)"

연구자들은 "번호 대신 의미 있는 태그를 붙이자"고 생각했습니다.
예를 들어, "여름", "패션", "휴양지" 같은 단어로 옷을 분류하는 거죠. 이렇게 하면 새로운 옷이 들어와도 "아, 이건 '여름' 태그가 있구나!"라고 바로 추천할 수 있습니다.

하지만 여기서 또 두 가지 난관이 생겼습니다.

1. 이미지와 글자의 조화: 옷을 설명할 때 '사진'과 '글자 설명'이 서로 다른 정보를 줍니다. 둘을 섞으면 좋은 정보가 섞여 나오지만, 너무 섞이면 옷의 고유한 특징 (예: 특정 브랜드 로고) 이 사라질 수 있습니다.
2. 이론과 현실의 괴리: "이 옷은 '여름' 태그가 있으니 여름에 잘 팔리겠지?"라고 생각했는데, 실제로는 사람들이 '여름' 태그가 있는 옷을 안 사고 '겨울'에 사기도 합니다. (사용자 행동과 의미의 불일치)

🚀 MMQ 의 등장: "초능력 스타일리스트"

이 모든 문제를 해결하기 위해 MMQ라는 새로운 시스템을 개발했습니다. 이를 세 단계로 나누어 설명해 볼게요.

1 단계: "전문가 팀 구성하기" (다중 전문가 아키텍처)

이 시스템은 옷을 분석할 때 두 종류의 전문가를 동시에 고용합니다.

• 공통 전문가 (Shared Experts): "여름", "패션"처럼 옷과 옷 사이에서 공통적으로 나타나는 특징을 찾아냅니다. (예: "두 옷 다 여름용이네!")
• 전용 전문가 (Specific Experts): "이 옷은 청바지 특유의 질감이 있네", "저 옷은 특정 브랜드 로고가 있네"처럼 각 옷만의 고유한 특징을 잡아냅니다.

이 두 팀이 서로 간섭하지 않고 (직교 정규화) 일하게 해서, 공통점과 고유점을 모두 놓치지 않게 합니다. 마치 패션 디자이너와 세부 수선 전문가가 팀을 이뤄 옷을 완벽하게 분석하는 것과 같습니다.

2 단계: "실제 고객 취향에 맞춰 다듬기" (행동 인식 미세 조정)

이제 분석된 태그들이 실제 고객들이 무엇을 좋아하는지와 맞아야 합니다.
기존 방식은 "태그를 붙이면 끝"이었지만, MMQ 는 **"실제 구매 기록을 보고 태그를 수정"**합니다.

• 예: "여름" 태그가 붙은 옷인데, 실제로는 겨울에 많이 팔렸다면? 시스템이 "아, 이 옷은 '여름'보다는 '실내 활동' 태그가 더 적합하구나"라고 스스로 학습합니다.
• 이때 사진이나 글자 정보가 사라지지 않도록 보호막을 치고, 오직 구매 행동만 반영되도록 조정합니다.

🌟 왜 이것이 중요한가요? (결과)

이 시스템을 실제 알리바바의 쇼핑몰에 적용해 보니 놀라운 결과가 나왔습니다.

• 장기적인 옷 (Long-tail) 추천: 잘 팔리지 않던 옷이나 새로 나온 옷도, 비슷한 스타일의 옷 데이터를 바탕으로 정확하게 추천해 줍니다.
• 실제 매출 증가: 온라인 실험에서 광고 수익이 0.9%, **구매 전환율 (CVR) 이 4.33%**나 늘어났습니다. 이는 수백만 원, 수천만 원의 추가 수익으로 이어집니다.

📝 한 줄 요약

MMQ는 옷을 단순히 번호로 관리하던 구식 방식을 버리고, **사진과 글자의 특징을 모두 파악하는 '전문가 팀'**을 꾸려 옷을 분석한 뒤, 실제 고객의 구매 습관을 반영해 태그를 최종 수정하는 똑똑한 추천 시스템입니다.

이 기술 덕분에 우리는 더 이상 "이 옷은 번호가 1234 번이라서 추천받지 못했네"라는 불평을 하지 않아도 되며, 내 취향에 딱 맞는 옷을 더 정확하게 찾아낼 수 있게 된 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

기존 추천 시스템은 고유 식별자 (ItemID) 를 사용하여 아이템을 표현하지만, 이는 대규모이고 동적인 아이템 코퍼스와 희소한 롱테일 데이터 환경에서 다음과 같은 한계를 보입니다.

• 확장성 및 일반화 부족: 아이템의 빈번한 교체와 인기 트렌드 변화로 인해 정적 ID 기반 임베딩의 안정성이 떨어집니다.
• 데이터 희소성: 롱테일 아이템에 대한 데이터 부족으로 인해 잘 일반화되지 않는 표현이 생성됩니다.

이러한 문제를 해결하기 위해 텍스트와 이미지 등 멀티모달 콘텐츠를 기반으로 시맨틱 ID(Semantic ID) 를 생성하는 접근법이 대두되었으나, 기존 방법들은 두 가지 주요 과제를 해결하지 못했습니다.

1. 모달리티 간 시너지와 고유성의 균형: 텍스트와 이미지 간의 상호작용 (시너지) 을 포착하면서도 각 모달리티만의 고유한 정보 (고유성) 를 유지하는 것 사이의 트레이드오프를 해결하기 어렵습니다. 기존 방법은 이를 통합 (Alignment) 하거나 분리 (Separation) 하는 두 가지 극단적인 접근만 취했습니다.
2. 시맨틱 - 행동 간극 (Semantic-Behavioral Gap): 시맨틱 ID 는 콘텐츠 공간에서 학습되지만, 실제 추천은 사용자 행동에 기반합니다. 순수한 시맨틱 표현은 사용자의 실제 선호도와 불일치할 수 있어 (예: 시맨틱적으로 유사하지만 사용자 반응이 다른 아이템), 추천 성능을 저하시킬 수 있습니다.

2. 제안 방법론 (Methodology: MMQ)

저자들은 위 문제를 해결하기 위해 MMQ(Multimodal Mixture-of-Quantization) 라는 2 단계 프레임워크를 제안합니다.

1 단계: 멀티모달 공유 - 전용 토크나이저 학습 (Multimodal Shared-Specific Tokenizer Training)

이 단계에서는 아이템의 멀티모달 정보를 시맨틱 ID 로 변환하는 토크나이저를 학습합니다.

• 다중 전문가 아키텍처 (Multi-Expert Architecture):
  • 모달리티 공유 전문가 (Modality-Shared Experts): 텍스트와 이미지 간의 상호작용에서 발생하는 시너지 정보를 포착합니다.
  • 모달리티 전용 전문가 (Modality-Specific Experts): 각 모달리티 (텍스트, 이미지) 고유의 고유한 정보를 포착합니다.
  • 게이팅 메커니즘: 입력에 따라 각 전문가의 중요도를 동적으로 가중치하여 융합합니다.
• 직교 정규화 (Orthogonal Regularization): 서로 다른 전문가들이 중복된 정보를 학습하는 것을 방지하고, 각 전문가가 서로 다른 방향의 특징을 학습하도록 유도하여 표현의 다양성을 확보합니다.
• 코사인 거리 기반 양자화 (Cosine Distance Quantizer): 모달리티 간 스케일 불일치를 해결하기 위해 L2 거리가 아닌 코사인 유사도를 사용하여 코드북 (Codebook) 을 조회합니다.
• 손실 함수: 원본 멀티모달 임베딩의 재구성 손실 (Reconstruction Loss) 과 각 모달리티 전용 재구성 손실 (Auxiliary Loss), 그리고 직교 정규화 손실을 결합하여 학습합니다.

2 단계: 행동 인식 미세 조정 (Behavior-Aware Fine-Tuning)

학습된 시맨틱 ID 를 실제 추천 작업에 적응시키는 단계입니다.

• 미분 가능한 소프트 인덱싱 (Differentiable Soft Indexing): 이산적인 (Discrete) 코드북 인덱스 조회로 인해 발생하는 그래디언트 단절 문제를 해결하기 위해, 'Soft Indexing' 전략을 도입합니다. 이는 코드북 벡터들의 가중치 합으로 아이템을 표현하여 그래디언트가 토크나이저까지 역전파되도록 합니다.
• 공동 최적화 (Joint Optimization): 하위 추천 작업 (예: 다음 아이템 예측) 의 목적 함수와 토크나이저의 재구성 손실을 동시에 최적화하여, 시맨틱 공간과 사용자 행동 공간을 정렬 (Align) 시킵니다.

3. 주요 기여 (Key Contributions)

1. 통합된 시맨틱 ID 프레임워크: 멀티모달 시너지와 고유성을 동시에 포착하면서도 사용자 행동에 동적으로 적응하는 최초의 통합 프레임워크를 제안했습니다.
2. 새로운 아키텍처 설계: 직교 정규화를 적용한 다중 전문가 구조를 통해 모달리티 간 공유 정보와 고유 정보를 명확히 분리 (Disentangle) 했습니다.
3. 행동 인식 미세 조정: 시맨틱 - 행동 간극을 해소하기 위해 하위 작업 목적에 따라 시맨틱 ID 클러스터를 동적으로 조정하는 메커니즘을 도입했습니다.
4. 광범위한 검증: 생성형 검색 (Generative Retrieval) 과 판별형 랭킹 (Discriminative Ranking) 작업 모두에서 기존 최첨단 방법론을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 대규모 산업용 데이터 (동남아 이커머스 플랫폼, 3 천만 사용자, 4 천만 광고) 와 공개 데이터셋 (Amazon Beauty) 을 사용했습니다.
• 성능 향상:
  • 재구성 정확도: 기존 방법 (RQ-VAE, RQ-Kmeans, OPQ 등) 대비 재구성 손실 (Reconstruction Loss) 이 가장 낮았습니다.
  • 추천 성능: 생성형 검색 (Recall@N, NDCG@N) 과 판별형 랭킹 (AUC, GAUC) 모두에서 MMQ 가 최상위 성능을 기록했습니다. 특히 생성형 검색에서 R@5 기준 약 32.73% 의 상대적 개선을 보였습니다.
  • 롱테일 아이템: 데이터가 희소한 롱테일 아이템에 대한 추천 성능이 기존 ID 기반 모델 및 다른 시맨틱 ID 방법론 대비 현저히 높았습니다.
• 온라인 A/B 테스트: 실제 이커머스 플랫폼에서 30 일간 수행된 테스트 결과, 광고 수익 (0.90% 증가), 전환율 (CVR, 4.33% 증가), 주문 수 (3.52% 증가) 등 핵심 비즈니스 지표에서 유의미한 개선을 달성했습니다.
• 확장성: 시맨틱 ID 길이를 늘려도 재구성 품질이 유지되면서 추천 성능이 지속적으로 향상되는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 추천 시스템에서 멀티모달 콘텐츠의 풍부한 정보와 사용자 행동 데이터를 효과적으로 결합하는 새로운 패러다임을 제시합니다.

• 기술적 의의: 시맨틱 ID 생성 시 발생하는 '시너지 vs 고유성'의 딜레마와 '콘텐츠 vs 행동'의 간극을 동시에 해결하는 체계적인 솔루션을 제공합니다.
• 실용적 가치: 대규모 산업 환경에서 검증된 MMQ 는 생성형 검색과 판별형 랭킹 모두에 적용 가능한 확장성 높은 솔루션으로, 개인화된 검색, 광고, 크로스 도메인 콘텐츠 이해 등 다양한 분야에 적용 가능성이 큽니다.
• 미래 방향: 계산 오버헤드 감소, 시간적/상호작용 모달리티 (동영상, 오디오) 확장, 데이터가 부족한 환경에서의 적응 등 향후 연구 과제를 제시했습니다.

요약하자면, MMQ 는 멀티모달 정보를 효율적으로 양자화하고 사용자 행동에 맞춰 동적으로 적응시킴으로써, 기존 추천 시스템의 확장성 한계와 롱테일 문제를 해결하는 강력한 프레임워크입니다.