Beyond Text: Aligning Vision and Language for Multimodal E-Commerce Retrieval

이 논문은 전자상거래 검색의 성능을 향상시키기 위해 텍스트와 이미지를 통합하는 새로운 융합 네트워크를 제안하고, 도메인 특화 미세 조정과 2 단계 정렬 전략의 중요성을 실증합니다.

핵심

🛒 1. 문제점: "눈으로 보는 쇼핑"을 "글로만" 이해하는 시스템

지금까지 대부분의 온라인 쇼핑몰 검색 시스템은 **사용자가 입력한 '글자 (텍스트)'**만 보고 상품을 찾아냈습니다. 마치 눈을 가리고 친구의 목소리만 듣고 그 친구가 입은 옷을 맞추는 게임과 비슷하죠.

하지만 실제 쇼핑에서는 어떨까요?

• "빨간 원피스"라고 검색했을 때, 글자만으로는 '어떤 빨간색인지', '원피스의 재질이나 스타일'을 알 수 없습니다.
• 사람들은 **상품 사진 (이미지)**을 보며 "오, 이거 내가 원하는 스타일이다!"라고 결정합니다.

기존 시스템은 이 **시각적 정보 (이미지)**를 무시하고 글자만 분석하니까, 사용자가 원하는 정교한 스타일의 상품을 찾아내지 못해 답답한 경우가 많았습니다.

💡 2. 해결책: "눈과 귀"를 동시에 쓰는 새로운 시스템

이 연구팀은 **"검색 시스템도 사람의 눈 (이미지) 과 귀 (텍스트) 를 모두 사용해야 한다"**고 생각했습니다. 그리고 이를 위해 세 가지 핵심 전략을 제안했습니다.

① "전문가 교육" (도메인 특화 미세 조정)

기존에 훈련된 AI 모델 (CLIP) 은 일반적인 사진과 글을 잘 이해하지만, '쇼핑몰'이라는 특수한 상황에서는 약할 수 있습니다.

• 비유: 일반적인 요리사 (일반 AI) 가 'Target'이라는 특정 레스토랑의 메뉴를 완벽하게 이해하려면, 그 레스토랑의 재료를 직접 보고 맛을 보며 전문 교육을 받아야 합니다.
• 연구팀은 AI 에게 수백만 개의 쇼핑몰 상품 사진과 설명을 보여주며 "이건 옷이야, 이건 가구가 아니야"라고 쇼핑몰 전문가로 재교육시켰습니다.

② "질문과 답을 완벽하게 맞추기" (쿼리 정렬)

사용자가 검색창에 입력한 말 (질문) 과 상품 정보 (답) 가 서로 다른 언어로 되어 있는 경우가 많습니다.

• 비유: 사용자가 "편안한 여름 원피스"라고 검색했는데, 시스템은 "면 소재"라는 글자만 보고 "면"이라는 단어만 강조하면 안 됩니다. 사용자는 **사진 속의 '여름 느낌'과 '원피스 형태'**를 보고 싶어 합니다.
• 연구팀은 AI 가 사용자의 검색어와 상품의 글자뿐만 아니라 상품의 사진까지 동시에 비교하며 학습하게 했습니다.

③ "똑똑한 조합기" (혼합 전문가 네트워크)

글자와 사진을 어떻게 섞을지 고민했습니다. 단순히 두 정보를 더하는 게 아니라, 상황에 따라 어느 쪽을 더 믿을지 판단하게 했습니다.

• 비유: 이 시스템은 현명한 비서와 같습니다.
  • 의류 카테고리: 옷은 디자인이 비슷할 수 있으니, **글자 (브랜드, 소재)**를 더 중요하게 여깁니다.
  • 전자제품 카테고리: 사진으로 모양을 보는 게 중요하니, 이미지를 더 중요하게 여깁니다.
• 이 비서는 상황에 따라 글자와 사진의 비중을 자동으로 조절하고, 두 정보가 서로 어떻게 연결되는지 (예: "이 의자는 '빈티지' 스타일이고 사진도 '빈티지'하다") 까지 분석합니다.

🚀 3. 결과: 더 빠르고 정확한 쇼핑 경험

이 새로운 시스템을 적용한 결과, 기존 방식보다 사용자가 원하는 상품을 찾아내는 정확도가 크게 향상되었습니다.

• 사용자 만족도 (클릭, 구매): 사용자가 실제로 원하는 상품을 더 잘 찾아주어 구매로 이어지는 경우가 늘었습니다.
• 검색 정확도: 글자만으로는 알 수 없었던 미묘한 스타일 차이도 이미지 덕분에 찾아냈습니다.

🌟 4. 요약: 왜 이 연구가 중요한가요?

이 논문은 **"쇼핑은 글자만 읽는 게 아니라, 눈으로 보는 것"**이라는 상식을 AI 에게 가르쳤습니다.

• 기존: "빨간 원피스"라는 글자만 보고 검색.
• 새로운 시스템: "빨간 원피스"라는 글자를 읽으면서, 사진 속 빨간색과 원피스 모양까지 함께 보고 "아, 이거야!"라고 찾아냅니다.

이처럼 텍스트와 이미지를 함께 활용하는 기술은 앞으로 우리가 온라인 쇼핑을 할 때, 마치 매장에 직접 가서 옷을 입어보듯 더 직관적이고 만족스러운 경험을 만들어줄 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

현대 전자상거래 검색 시스템은 사용자의 구매 결정이 텍스트와 시각적 정보 (이미지) 를 종합적으로 고려한다는 점에서 본질적으로 멀티모달 (Multimodal) 성격을 띠고 있습니다. 그러나 기존의 산업용 검색 및 랭킹 시스템은 주로 텍스트 정보에 의존하여 구축되어 있어, 제품 이미지에서 얻을 수 있는 풍부한 시각적 신호를 충분히 활용하지 못하고 있습니다.

• 현실적 한계: 사용자는 종종 제품 이미지 (스타일, 색상, 디테일 등) 를 통해 관련성을 판단하지만, 기존 모델은 텍스트 기반 임베딩만 사용하여 검색을 수행합니다.
• 결과: 텍스트 설명이 부족하거나 모호한 경우, 특히 시각적 차이가 중요한 카테고리 (예: 홈 데코, 패션) 에서 텍스트만 기반한 검색은 관련성 모델링이 최적화되지 않아 성능 저하를 초래합니다.
• 도전 과제: 대규모 전자상거래 환경에서 확장 가능하면서도, 텍스트와 이미지를 효과적으로 융합하여 사용자의 의사결정 신호와 일치하는 검색 모델을 구축하는 것.

2. 제안 방법론 (Methodology)

이 논문은 두 개의 탑 (Two-Tower) 검색 아키텍처를 기반으로 한 통합 텍스트 - 이미지 융합 방식을 제안합니다. 주요 구성 요소는 다음과 같습니다.

가. 모델 아키텍처

• 기반 모델: 사전 학습된 CLIP 모델을 기반으로 텍스트 및 이미지 인코더를 초기화합니다.
• 쿼리 및 아이템 인코딩:
  • 쿼리塔 (Query Tower): 사용자 쿼리를 텍스트 인코더를 통해 임베딩 (h_q) 합니다.
  • 아이템 타워 (Item Tower): 각 제품 (x) 을 제목 (t) 과 이미지 (v) 로 표현하며, 각각 텍스트 및 이미지 인코더를 통해 모달리티별 임베딩 (h_t, h_v) 을 생성합니다.
• 모달리티 퓨전 (Mixture-of-Modality Fusion):
  • 가드 네트워크 (Gating Network): 텍스트와 이미지의 특성에 따라 적응형 가중치 (α) 를 예측하여 두 임베딩을 선형적으로 융합합니다 (h_f = αh_t + (1-α)h_v).
  • 교차 모달 상호작용 (Cross-modal Interaction): 단순한 선형 융합을 넘어, 텍스트와 이미지 임베딩 간의 세밀한 상호작용을 포착하기 위해 멀티헤드 이선형 (Multi-head Bilinear) 상호작용 네트워크를 도입합니다. 이는 각 헤드에서 특징을 투영하고 요소별 곱셈을 수행한 후 MLP 를 통해 통합합니다.
  • 최종 아이템 임베딩 (h_x) 은 융합된 임베딩과 상호작용 특징의 잔차 연결 (Residual Connection) 을 통해 생성됩니다.

나. 학습 전략 (Training Strategy)

• 자기 적대적 부정 샘플링 (Self-Adversarial Negative Sampling): 배치 내의 부정 샘플을 무작위로 선택하는 대신, 쿼리와 유사도가 높은 제품들을 가중치로 사용하여 샘플링함으로써 모델이 혼동하기 쉬운 부정 샘플을 학습하도록 유도합니다.
• 다중 목적 함수 (Multi-objective Training):
  • 참여도 (Desirability): 클릭, 장바구니 담기, 구매 등 사용자 행동 기반 레이블.
  • 관련성 (Relevance): 인간이 주석한 의미적 관련성 레이블.
  • 두 레이블 모두 3 단계 (높음/낮음/없음) 등급으로 처리되며, 3-부분 힌지 손실 (3-part hinge loss) 을 사용하여 학습합니다. 참여도 최적화에 더 높은 가중치를 둡니다.
• 커리큘럼 학습 (Curriculum Training Strategy): 모델이 점진적으로 도메인 특화 및 교차 모달 관련성을 학습하도록 3 단계로 학습을 진행합니다.
  1. 도메인 적응 (Domain Adaptation): 대규모 제품 제목 - 이미지 쌍을 사용하여 CLIP 인코더를 전자상거래 도메인에 맞게 파인튜닝합니다.
  2. 모달리티별 쿼리 정렬 (Modality-Specific Query Alignment): 쿼리를 제품 제목과 이미지에 각각 명시적으로 정렬하여 모달리티별 관련성 신호를 학습합니다.
  3. 멀티모달 퓨전 정렬 (Multimodal Fusion Alignment): 최종적으로 쿼리를 제안된 퓨전 아키텍처로 생성된 통합 제품 임베딩에 정렬합니다.

3. 주요 기여 (Key Contributions)

1. 시각적 신호의 중요성 분석: 전자상거래 검색, 특히 시각적으로 주도되는 카테고리에서 제품 이미지 정보가 검색 효과성을 크게 향상시킨다는 것을 체계적으로 입증했습니다.
2. 새로운 퓨전 아키텍처 제안: 텍스트와 시각적 표현을 효과적으로 통합하는 모달리티 전문가 혼합 (Mixture-of-Modality-Experts) 구조와 이선형 상호작용 네트워크를 제안했습니다. 이는 적응형 가중치와 세밀한 교차 모달 상호작용을 동시에 모델링합니다.
3. 다중 목적 학습 프레임워크: 사용자 참여도 (Engagement) 와 의미적 관련성 (Relevance) 을 동시에 모델링하는 학습 프레임워크를 구축하여, 두 가지 평가 지표 모두에서 일관된 개선을 달성했습니다.

4. 실험 결과 (Experimental Results)

Target 의 대규모 전자상거래 데이터셋 (2 천만 개 쿼리 - 아이템 쌍) 을 기반으로 실험을 수행했습니다.

• 성능 향상: 제안된 모델 (MoE + Bilinear Fusion) 은 텍스트만 사용하는 베이스라인 대비 NDCG@1 에서 참여도 (Desirability) 4.86%, 관련성 (Relevance) 2.36% 향상을 보였습니다. 모든 NDCG 컷오프 지점에서 일관된 개선을 입증했습니다.
• 학습 전략의 효과:
  • 도메인 파인튜닝: 사전 학습된 CLIP 을 전자상거래 도메인에 맞게 파인튜닝하는 것이 성능 향상에 필수적입니다.
  • 쿼리 정렬: 쿼리를 텍스트와 이미지에 명시적으로 정렬하는 2 단계 학습이 사용자 의도와 아이템 표현 간의 불일치를 줄여 추가적인 성능 향상을 가져왔습니다.
• 퓨전 아키텍처 비교: 단순 MLP 퓨전, 어텐션 기반 퓨전 등 다른 방식보다 MoE + Bilinear 방식이 가장 우수한 성능을 기록했습니다. 이는 적응형 모달리티 가중치만으로는 부족하며, 명시적인 교차 모달 상호작용 모델링이 필요함을 시사합니다.
• 학습된 행동 분석: 모델은 카테고리 특성에 따라 적응적으로 가중치를 조정했습니다 (예: 패션은 텍스트 가중치 높음, 가전제품은 이미지 가중치 높음). 또한, 텍스트와 이미지가 모두 중요한 제품 (예: 특정 스타일의 가구) 에서 이선형 상호작용 활성화가 강하게 나타났습니다.

5. 의의 및 결론 (Significance)

이 연구는 대규모 전자상거래 검색 시스템에서 텍스트와 이미지를 통합하는 효율적인 방법을 제시했습니다.

• 실용성: 복잡한 아키텍처를 추가하지 않으면서도 CPU 기반 인프라에서도 배포 가능한 확장 가능한 두 개의 탑 (Two-Tower) 검색을 유지합니다.
• 통찰: 사용자의 의사결정 신호 (시각적 정보 포함) 와 모델의 학습 신호를 정렬 (Align) 하는 것이 멀티모달 검색의 핵심임을 강조합니다.
• 미래 작업: 향후에는 쿼리 타워에도 시각적 인코더를 통합하여 이미지 기반 검색을 지원하고, 텍스트와 이미지를 통합한 쿼리를 처리할 수 있는 방향으로 확장할 계획입니다.

요약하자면, 이 논문은 도메인 특화 파인튜닝, 단계적 쿼리 정렬, 그리고 적응형 모달리티 퓨전을 결합하여 기존 텍스트 중심 검색의 한계를 극복하고, 사용자 경험을 향상시키는 고품질 멀티모달 검색 시스템을 구축하는 데 성공했습니다.