Image Score: Learning and Evaluating Human Preferences for Mercari Search

"Image Score: Mercari 검색을 위한 인간 선호도 학습 및 평가" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

일본 최대의 C2C 전자상거래 마켓플레이스인 머카리는 이미지 품질이 주요 차별화 요소인 검색 결과 최적화라는 과제를 안고 있습니다. 전통적인 전자상거래에서는 제품 제목과 설명이 주를 이루지만, 머카리 앱의 그리드 레이아웃에서 볼 수 있듯이 사용자는 제목을 읽기 전에 이미지와 가격을 기준으로 결정을 내리는 경우가 많습니다.

• 핵심 문제: 암시적 피드백 (클릭) 은 풍부하지만, 관련성과 위치 편향에 의해 크게 교란됩니다. 이러한 다른 요인들로부터 이미지 품질이 사용자 행동에 미치는 구체적인 영향을 분리해 내기는 어렵습니다.
• 데이터 부족: 전통적인 이미지 품질 평가는 비용이 많이 들고 시간이 많이 소요되는 인간 주석에 의존하는데, 이는 수백만 개의 리스팅을 가진 마켓플레이스에서는 확장성이 없습니다.
• 목표: 이미지 품질을 평가하고 관련성에서 분리하며, 이를 검색 순위 및 사용자 참여 (클릭 및 판매) 개선에 활용할 수 있는 비용 효율적인 방법을 개발하는 것입니다.

2. 방법론

저자들은 약한 지도 학습을 위해 대규모 언어 모델 (LLM) 을 활용하여 훈련 라벨을 생성하고, 이를 온라인 배포를 위한 경량 머신러닝 모델 훈련에 사용하는 파이프라인을 제안합니다.

A. 데이터 수집 및 라벨 생성

• 가설: 두 상품이 유사한 관련성과 가격을 가진다면, 이미지 품질이 더 우수한 상품이 더 많은 클릭을 받을 것입니다.
• 데이터 필터링: 팀은 검색 로그를 추출하고 엄격한 필터링을 적용하여 "유사 상품 쌍"을 생성했습니다.
  • 가격 필터링: 첫 번째 클릭된 상품과 특정 가격 범위 내에 있는 상품.
  • 위치 윈도우: 클릭된 상품의 바로 전과 뒤에 있는 상품을 유지 (위치 편향 최소화).
  • 결과: 15 만 개의 훈련 SERP(검색 엔진 결과 페이지) 와 36 천 개의 검증 SERP 데이터셋.
• LLM 주석 (약한 지도 학습):
  • 인간 주석자 대신 GPT-4를 비전 API 를 통해 사용했습니다.
  • 생각의 사슬 (Chain-of-Thought, CoT) 프롬프팅: LLM 에게 미적 요소 (색조 조화, 밝기, 구도 등) 를 분석하도록 프롬프트를 입력하고, 이미지를 개별적으로 평가하는 대신 배치 내에서 서로 비교하여 0~10 점의 점수를 부여하도록 했습니다.
  • 출력: JSON 형식의 미적 점수와 설명 형용사.

B. 모델 아키텍처

• 백본: 저자들은 CLIP(Contrastive Language-Image Pre-training) 임베딩 (특히 번역된 CC12M 으로 사전 훈련된 ViT-B/16) 을 활용했습니다. 고정된 CLIP 임베딩이 이미 품질 속성을 효과적으로 포착한다는 것을 발견했습니다.
• 파인튜닝: 고정된 CLIP 인코더 위에 다층 퍼셉트론 (MLP) 을 추가했습니다.
• 훈련 목적:
  • 쌍별 학습 순위 (Pairwise Learning-to-Rank, LTR) 문제로 공식화되었습니다.
  • 손실 함수: 표준 교차 엔트로피 대신 Focal Loss를 사용했습니다. 이는 (LLM 에서 생성된) 노이즈가 있는 라벨을 처리하고 모델이 '쉬운' 부정적 예제에 압도되는 것을 방지하기 위해 선택되었습니다.
  • 데이터 구성: 쿼리에 대해 LLM 이 이미지 $x_i$를 $x_j$보다 높게 순위 매긴 경우, 모델은 $x_i$에 대해 더 높은 점수를 예측하도록 훈련됩니다.

C. 배포 및 통합

• 추론: 모델은 NVIDIA Triton 추론 서버에 호스팅됩니다.
• 파이프라인: Google Cloud Dataflow 인덱싱 파이프라인에 통합되었습니다. 상품이 업데이트될 때 이미지 점수가 동기적으로 예측되어 Elasticsearch에 인덱싱됩니다.
• 순위 전략: 이미지 점수는 A/B 테스트에서 테스트된 두 가지 접근 방식을 사용하여 Elasticsearch 순위 공식에 통합됩니다.
  1. 곱셈 방식: 최종 점수 = 기존 관련성 점수 * 이미지 점수
  2. 가산 방식: 최종 점수 = 기존 관련성 점수 + 이미지 점수

3. 주요 기여

1. 암시적 피드백에서 관련성 분리: 가격과 관련성을 통제하여 이미지 품질의 영향을 분리하는 새로운 데이터 생성 방식을 통해, 클릭을 이미지 품질 평가의 유효한 지표로 사용할 수 있게 함.
2. LLM 기반 약한 지도 학습: CoT 프롬프팅을 적용한 LLM(GPT-4) 이 인간의 행동과 강하게 상관관계가 있는 고품질, 해석 가능한 이미지 미적 라벨을 생성할 수 있음을 입증하여, 인간 주석에 대한 비용 효율적인 대안을 제시함.
3. 비용 효율적인 모델: CLIP + MLP 로 구성된 경량 모델을 성공적으로 훈련시켜 베이스라인을 능가하도록 함으로써, 고비용의 LLM 추론은 실시간 순위가 아닌 라벨 생성에만 필요함을 증명함.
4. 비즈니스 영향: 온라인 A/B 테스트를 통해 접근 방식을 검증하여 상당한 매출 성장을 입증함.

4. 실험 결과

오프라인 평가

• 지표: 순서 쌍 정확도 (OPA) 및 클릭 정확도 (CA).
• 베이스라인: 무작위 추측, 과거 CTR, CLIP 점수 (제로샷).
• 성능:
  • 이미지 점수 (Focal Loss): 67.75% OPA 및 64.42% CA 달성.
  • 비교: 무작위 추측 (50%) 과 과거 CTR(무작위 추측보다 나쁜 성능, 약 42-44%) 보다 현저히 우수한 성능을 보임.
  • 통찰: 과거 CTR 은 관련성에 의해 교란되어 실패한 반면, 이미지 점수는 품질을 성공적으로 분리해 냄.

온라인 A/B 테스트 (웹 플랫폼)

• 설정: 세 그룹: 통제군 (베이스라인), 가산 부스트, 곱셈 부스트.
• 주요 지표: 사용자당 평균 거래 건수 (ATPU).
• 결과:
  • 변형 1 (가산): ATPU 가 6.99% 증가 (통계적으로 유의미, t-값 2.22).
  • 변형 2 (곱셈): ATPU 가 6.66% 증가.
  • 관찰: 개선 효과는 웹 플랫폼에서 유의미했으나 모바일에서는 부정적/중립적 영향을 보임. 저자들은 웹 사용자가 더 높은 화면 해상도로 인해 시각적 품질에 더 민감하다고 가정함.

5. 의의 및 향후 작업

• 의의: 이 연구는 딥러닝 기반 이미지 품질 평가와 실용적인 전자상거래 최적화 간의 간극을 해소합니다. LLM 이 순위 모델을 훈련시키기 위한 확장 가능한 '인간 대리인'으로 작용하여 데이터 라벨링 비용을 획기적으로 줄이면서도 설명 가능성을 높일 수 있음을 입증합니다.
• 한계:
  • AI 생성 이미지: 현재 시스템은 고품질 실제 사진과 AI 생성 이미지를 구분하는 데 어려움을 겪으며, 이는 점수 시스템을 악용할 수 있습니다.
  • 플랫폼 편차: 모델의 효과는 장치 (웹 vs 모바일) 에 따라 달라지므로, 플랫폼별 가중치가 필요함을 시사합니다.
• 향후 방향:
  • 시스템 악용 방지를 위한 AI 생성 콘텐츠 감지 통합.
  • 실시간 모니터링을 위한 지속적 피드백 루프 개발.
  • 플랫폼별 사용자 선호도를 고려한 모델 정교화.

결론적으로, 이 논문은 이미지 품질을 정량화하여 C2C 마켓플레이스의 검색 관련성을 강화하는 견고하고 확장 가능한 프레임워크를 제시하며, 이는 웹 플랫폼에서 약 7% 의 판매 거래 증가로 직접 이어졌습니다.