MOON: Generative MLLM-based Multimodal Representation Learning for E-commerce Product Understanding

이 논문은 이커머스 제품 이해를 위해 배경 노이즈를 제거하고 멀티모달 및 속성별 콘텐츠를 정밀하게 모델링하는 생성형 MLLM 기반의 MOON 모델을 제안하고, 이를 평가하기 위한 대규모 벤치마크 MBE 를 공개하여 다양한 다운스트림 작업에서 뛰어난 일반화 성능을 입증합니다.

핵심

🌙 MOON: 쇼핑몰의 '초능력을 가진 쇼핑 도우미'

1. 기존 방식의 문제점: "혼자서 일하는 두 명의 직원"

기존의 상품 이해 기술은 **'이중 흐름 (Dual-flow)'**이라는 방식을 썼습니다.

• 비유: imagine 쇼핑몰에 사진을 보는 직원 A와 글자를 읽는 직원 B가 따로 있습니다.
• 문제: A 는 사진만 보고, B 는 글자만 봅니다. 그리고 둘은 서로 대화하지 않고 각자 결론을 내립니다.
• 한계: 만약 한 상품에 사진이 5 장 (다른 각도, 다른 색상 등) 이 있고 글자는 1 개라면, A 는 5 장의 사진을 따로따로 처리해야 해서 혼란스럽습니다. 마치 5 개의 사진을 각각 다른 사람에게 보여주고 "이게 같은 물건이야?"라고 물어보는 꼴입니다. 또한, 사진 속에 상품 외에 배경 (침대, 소파 등) 이 많이 찍혀 있으면, A 는 "아, 이 침대가 팔리는구나?"라고 오해할 수도 있습니다.

2. MOON 의 해결책: "모든 정보를 한 번에 흡수하는 천재"

MOON 은 **'생성형 멀티모달 대규모 언어 모델 (Generative MLLM)'**을 기반으로 합니다.

• 비유: MOON 은 사진과 글을 동시에 보고, 서로 연결해서 이해하는 **'천재 쇼핑 도우미'**입니다.
• 핵심 기능:
  1. 한 번에 보기: 상품 사진이 5 장이든 10 장이든, 글자가 무엇이든 한 번에 다 보고 "아, 이건 같은 물건의 다양한 모습들이구나!"라고 자연스럽게 이해합니다. (다대일 관계 이해)
  2. 핵심만 집어보기 (Core Detection): 사진 속에 팔리지 않는 배경 (침대, 소파 등) 이 섞여 있어도, MOON 은 **"이건 배경이야, 진짜 상품은 이 쿠션이야"**라고 스스로 잘라내서 핵심만 집중합니다.
  3. 전문가 팀 (Guided MoE): MOON 내부에는 여러 명의 '전문가'가 있습니다. 어떤 전문가는 '카테고리 (의류, 전자제품 등)'를 잘 보고, 다른 전문가는 '세부 속성 (색상, 재질)'을 잘 봅니다. 이들을 지시하여 각자 필요한 부분만 집중하게 만듭니다.

3. 학습 방법: "실제 구매 기록으로 배운다"

기존 모델들은 "이 사진과 이 글자가 짝이 맞아요"라고 단순히 맞추는 연습을 했습니다. 하지만 MOON 은 실제 사람들이 무엇을 샀는지를 학습합니다.

• 비유: "이 사진을 보고 이 글을 읽었을 때, 실제로 사람들이 이 물건을 구매했다"는 데이터를 기반으로 학습합니다.
• 난이도 조절: 단순히 다른 물건을 오답으로 주는 게 아니라, **매우 비슷한 물건 (예: 빨간색 티셔츠 vs 분홍색 티셔츠)**을 오답으로 주어 모델이 미세한 차이까지 구별하도록 훈련시킵니다. 이를 '공간적/시간적 오답 샘플링'이라고 하는데, 마치 시험 문제를 더 어렵고 다양하게 만들어 실력을 키우는 것과 같습니다.

4. 새로운 시험지 (MBE 벤치마크)

연구팀은 이 모델을 평가하기 위해 **새로운 시험지 (MBE 벤치마크)**를 만들었습니다.

• 기존 시험지: 화장품 위주이거나, 실제 구매 행동이 없어서 현실과 동떨어진 경우가 많았습니다.
• 새로운 시험지 (MBE): 중국의 거대 이커머스 플랫폼에서 실제 310 만 건 이상의 구매 기록을 바탕으로 만들었습니다. 사용자가 실제로 검색하고 산 데이터를 바탕으로 하므로, 이 모델이 실제 쇼핑몰에서 얼마나 잘 작동하는지 정확하게 평가할 수 있습니다.

5. 결과: "어떤 일도 척척 해내는 만능 도우미"

실험 결과, MOON 은 다음과 같은 일들을 기존 모델들보다 훨씬 잘 해냈습니다.

• 검색: "이 사진과 비슷한 옷 찾아줘" (이미지 검색) 또는 "편안한 베개 찾아줘" (텍스트 검색) 를 정확히 수행.
• 분류: "이건 의류야, 전자제품이야?"를 정확히 분류.
• 속성 예측: "이 옷의 색상은? 재질은?"을 정확히 예측.

💡 요약

MOON은 단순히 사진과 글을 따로 보는 게 아니라, 실제 구매 행동을 학습하고, 배경 노이즈를 제거하며, 여러 전문가 팀을 운영하여 상품을 완벽하게 이해하는 차세대 쇼핑 AI입니다. 이는 앞으로 온라인 쇼핑에서 사용자가 원하는 상품을 더 빠르고 정확하게 찾아주는 데 큰 도움이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

전자상거래 환경에서 제품 이해 (Product Understanding) 는 검색, 추천, 분류 등 다양한 하위 작업의 핵심입니다. 기존 연구들은 주로 다음과 같은 한계를 가지고 있었습니다:

• 이중 흐름 (Dual-flow) 아키텍처의 한계: 기존 모델들은 시각 (이미지) 과 텍스트 (제목) 를 별도의 인코더로 처리하는 이중 흐름 구조를 주로 사용합니다. 이는 '하나의 제품 제목에 여러 개의 SKU 이미지'가 대응되는 다대일 (Many-to-One) 관계를 직접적으로 모델링하기 어렵습니다.
• 배경 노이즈 문제: 제품 이미지에는 판매 대상이 아닌 배경 (침대, 의자 등) 이나 잡동사니가 포함되어 있어, 모델이 핵심 제품 semantics 에 집중하는 것을 방해합니다.
• 표준 벤치마크 부재: 기존 평가 데이터셋 (예: M5Product) 은 사용자 행동 데이터가 부족하거나, 계층적 카테고리 및 다양한 모달리티가 결여되어 있어 실제 전자상거래 환경에서의 일반화 능력을 평가하기 어렵습니다.
• LLM 의 적용 부족: 일반적인 LLM 은 단일 모달리티 (텍스트) 에 최적화되어 있어, 전자상거래 특유의 계층적 카테고리나 세부 속성 (Attribute) 을 효과적으로 학습하는 데 한계가 있습니다.

2. 제안 방법론 (Methodology: MOON)

저자들은 위 문제들을 해결하기 위해 생성형 멀티모달 대규모 언어 모델 (Generative MLLM) 기반의 새로운 모델 MOON을 제안했습니다. 주요 기술적 구성 요소는 다음과 같습니다.

가. 핵심 제품 감지 (Core Product Detection)

• 문제: 제품 이미지의 배경 노이즈가 모델의 주의를 분산시킴.
• 해결: Qwen2.5-VL 의 비주얼 그라운딩 (Visual Grounding) 능력을 활용하여, 제품 제목에 명시된 '판매 대상'의 핵심 영역을 자동으로 탐지하고 자릅니다 (Cropping).
• 입력: 원본 이미지와 함께 잘라낸 '핵심 제품 이미지'를 모두 MLLM 의 비전 인코더에 입력하여, 모델이 배경 노이즈에 방해받지 않고 제품 자체에 집중하도록 유도합니다.

나. 가이드드 혼합 전문가 (Guided Mixture-of-Experts, MoE)

• 문제: 일반 Transformer 는 다양한 모달리티와 제품 속성 (카테고리, 세부 속성 등) 을 구별하여 학습하는 데 한계가 있음.
• 해결: LLM 의 Feed-Forward Network (FFN) 레이어를 가이드드 MoE 모듈로 대체합니다.
  • 여러 전문가 (Experts) 중 2 개의 전문가를 특별히 지정합니다.
  • 하나는 제품 카테고리 (Category) 정보에, 다른 하나는 제품 속성 (Attribute) 정보에 집중하도록 라우팅 (Routing) 전략을 설계합니다.
  • 이를 통해 모델이 멀티모달 데이터를 적응적으로 처리하면서도, 전자상거래 특유의 계층적 구조와 세부 속성을 명시적으로 학습할 수 있습니다.

다. 사용자 행동 기반 대비 학습 (User Behavior-based Contrastive Learning)

• 문제: 기존 대비 학습은 배치 내 무작위 샘플을 사용하며, 제품 간의 미세한 차이를 구분하기 어렵고 사용자 의도를 반영하지 못함.
• 해결:
  • 실제 구매 데이터 활용: 텍스트/이미지 쿼리와 사용자가 실제로 구매한 제품 (Positive) 을 쌍으로 구성하여 학습합니다.
  • 공간 및 시간적 부정 샘플링 (Spatial and Temporal Negative Sampling):
    • Hard Negative: 쿼리와 같은 카테고리이지만 다른 제품 (Hard Negative) 을 명시적으로 추가하여 학습 난이도를 높입니다.
    • 확장된 샘플 풀: 현재 배치뿐만 아니라 과거 $k$개의 배치 (시간적) 와 분산 학습 노드 전체 (공간적) 에서 부정 샘플을 수집합니다. 이는 기존 대비 학습보다 약 200 배 더 많은 부정 샘플을 제공하여 모델의 판별력을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. MOON 모델 제안: 전자상거래 제품 이해를 위한 최초의 생성형 MLLM 기반 일반 표현 학습 모델을 제안했습니다. 이는 기존의 이중 인코더 패러다임을 넘어, 다중 SKU 이미지와 공유된 제목 간의 다대일 관계를 자연스럽게 모델링합니다.
2. MBE 벤치마크 공개: 실제 전자상거래 플랫폼의 사용자 구매 로그를 기반으로 한 대규모 멀티모달 벤치마크 MBE (Multimodal Benchmark for E-commerce) 를 공개했습니다.
   • 규모: 약 310 만 개의 학습/평가 샘플 (270 만 학습, 41 만 평가).
   • 특징: 텍스트/이미지 기반 검색, 아이템 기반 검색, 제품 분류, 속성 예측 등 다양한 하위 작업을 지원하며, 실제 구매 행동을 기반으로 한 평가 파이프라인을 제공합니다.
3. 성능 입증: 제안된 MBE 와 공개 데이터셋 (M5Product) 에서 Zero-shot 설정을 포함한 다양한 하위 작업에서 SOTA(State-of-the-Art) 성능을 달성했습니다.

4. 실험 결과 (Experimental Results)

• 성능: MOON 은 텍스트 기반 검색, 이미지 기반 검색, 아이템 기반 검색, 제품 분류, 속성 예측 등 5 가지 주요 작업에서 기존 모델 (CLIP, SigLIP2, FashionCLIP, GME, MM-Embed 등) 보다 우수한 성능을 보였습니다.
  • 특히 Recall@1과 같은 엄격한 지표에서 큰 개선을 보이며, 모델이 제품 간의 미세한 차이를 잘 구분함을 입증했습니다.
• Zero-shot 일반화: 추가적인 미세 조정 (Fine-tuning) 없이도 다양한 도메인에서 강력한 일반화 능력을 보여주었습니다.
• Ablation Study:
  • Core-cropping 제거 시: 이미지 기반 검색 성능이 크게 저하되어, 배경 노이즈 제거의 중요성을 입증했습니다.
  • Guided-MoE 제거 시: 카테고리 및 속성 학습 능력이 감소하여, 가이드드 MoE 의 효과성을 확인했습니다.
  • Neg-extension 제거 시: 전반적인 성능이 다소 감소하여, 확장된 부정 샘플링 전략이 모델의 판별력 향상에 기여함을 보였습니다.
• 시각화: 어텐션 히트맵을 통해 모델이 텍스트 입력 시 이미지 내 핵심 제품 영역과 관련 텍스트 토큰에 동시에 주의를 기울이며, 의미론적으로 정렬됨을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 전자상거래 제품 이해 분야에서 생성형 MLLM의 잠재력을 처음으로 성공적으로 입증했습니다. 기존에 텍스트와 이미지를 분리하여 처리하던 방식에서 벗어나, 생성형 모델을 통해 풍부한 멀티모달 정보를 통합적으로 학습하고, 실제 사용자 구매 행동을 지도 신호로 활용함으로써 더 정교한 제품 표현을 학습할 수 있음을 보였습니다.

또한, 공개된 MBE 벤치마크는 향후 전자상거래 검색 및 추천 시스템 연구를 위한 표준 평가 도구로 활용될 수 있으며, 산업계와 학계 모두에게 중요한 자원이 될 것으로 기대됩니다. 이 연구는 제품 이해를 위한 새로운 패러다임을 제시하며, 향후 통합된 제품 표현 학습 연구의 기반을 마련했습니다.