REVISION:Reflective Intent Mining and Online Reasoning Auxiliary for E-commerce Visual Search System Optimization

이 논문은 타오바오 비주얼 검색 시스템의 '사용자-검색 시스템 의도 불일치' 문제를 해결하기 위해 오프라인에서 대규모 모델을 활용한 잠재적 의도 마이닝과 온라인에서 실시간 의사결정을 수행하는 새로운 프레임워크 REVISION 을 제안하여 클릭 없는 요청률을 크게 감소시켰음을 보여줍니다.

핵심

🛒 쇼핑할 때 "찾는 게 안 나와요!" - 알리바바의 새로운 AI 비서 'REVISION' 이야기

안녕하세요! 오늘 소개해 드릴 논문은 알리바바 (타오바오) 에서 개발한 **'REVISION'**이라는 아주 똑똑한 쇼핑 시스템에 대한 이야기입니다.

이걸 이해하기 위해 먼저 일상적인 상황을 상상해 볼까요?

🤔 문제: "이거 비슷한 거 찾아줘!"라고 했는데...

여러분이 타오바오 같은 쇼핑몰 앱에서 사진을 찍어 올리고 "이거랑 비슷한 옷 찾아줘!"라고 검색했다고 칩시다.
하지만 검색 결과가 나와도 아무것도 클릭하지 않고 그냥 나가버리는 경우가 많죠?

• 사용자: "이거랑 비슷한 건데... 색상이랑 재질이 좀 달라."
• 기존 시스템: "아, 사진이랑 비슷하게 생긴 옷을 보여드렸는데 왜 안 사시죠?"
• 사용자: "아니, 나는 이 옷을 '입어보고 싶어서' 찍은 게 아니라, '이 스타일의 드레스를 5 만 원 이하로' 찾고 싶은 거야!"

이처럼 **사용자가 말로 표현하지 않은 진짜 의도 (숨겨진 욕구)**와 시스템이 이해한 내용이 맞지 않아서, 사용자가 실망하고 떠나는 현상을 **'사용자 - 시스템 의도 불일치'**라고 합니다. 기존 시스템은 사진이 비슷하면 무조건 보여주는 '단순한 거울' 역할만 했을 뿐, 사용자의 진짜 마음을 읽지 못했던 거죠.

---

💡 해결책: REVISION (리비전) - "생각하는 쇼핑 비서"

연구팀은 이 문제를 해결하기 위해 REVISION이라는 새로운 시스템을 만들었습니다. 이 시스템은 두 단계로 작동하는데, 마치 훌륭한 요리사가 요리를 준비하는 과정과 비슷합니다.

1 단계: 오프라인 (식자재 준비 & 레시피 개발) 📝

• 상황: 매일 수백만 건의 "클릭 없이 떠난" 검색 기록을 모아서 분석합니다.
• 비유: 요리사가 "고객들이 왜 이 요리를 시키고 안 먹었지?"라고 고민하며 레시피를 고쳐 쓰는 과정입니다.
• 작동 원리: 거대한 AI 모델 (Qwen) 을 이용해, "아, 이 사진은 '비싼 명품'이 아니라 '저렴한 대안'을 원하는 거구나", "이건 '색상'이 아니라 '재질'이 중요하구나" 같은 숨겨진 패턴을 찾아냅니다.
• 결과: "다음엔 이런 경우엔 가격을 먼저 보여주고, 저런 경우엔 재질 설명을 강조하자"라는 **새로운 전략 (레시피)**을 만듭니다.

2 단계: 온라인 (실시간 요리 & 서비스) 🍳

• 상황: 실제 사용자가 사진을 올리는 순간, 훈련된 AI 비서 (REVISION-R1) 가 즉석에서 대응합니다.
• 비유: 손님이 주문하자마자, 요리사가 레시피를 보고 "아, 이 손님은 '가성비'를 원하네? 그럼 비싼 건 빼고 저렴한 거부터 보여줘야겠다!"라고 즉흥적으로 전략을 바꿔서 요리를 내놓는 것입니다.
• 작동 원리: 사용자가 올린 사진과 이전 검색 결과를 보고, AI 가 스스로 **"어떤 도구를 써야 할까?"**를 생각합니다.
  • 예: "이건 '색상'이 중요하니까 색상 필터를 켜고, '가격대'도 중요하니까 가격순 정렬을 해보자!"
  • 이렇게 여러 가지 도구 (필터, 정렬, 요약 등) 를 조합해서 가장 적합한 결과를 보여줍니다.

---

🌟 실제 효과: "와, 딱 내 마음대로!"

이 시스템을 적용한 결과, 놀라운 변화가 일어났습니다.

1. 실망하는 고객 줄음: "찾는 게 안 나와서" 떠나는 고객 (클릭 안 함) 이 약 14% 감소했습니다.
2. 구매 증가: 사람들이 더 잘 클릭하고, 주문도 13% 이상 늘었습니다.
3. 매출 상승: 결국 돈도 10% 이상 더 벌어졌습니다.

🎁 핵심 요약: 왜 이것이 특별한가요?

기존 시스템은 **"사진이 비슷하면 무조건 보여줘"**라는 고정된 규칙만 따랐습니다. 하지만 REVISION 은 "사용자가 진짜 원하는 게 뭐지?"라고 스스로 생각하고, 상황에 맞춰 도구를 바꿔 쓰는 지능형 에이전트입니다.

마치 초보 운전사가 정해진 길만 가는 것과, 숙련된 택시 기사가 "고객님이 목적지보다 '편안한 길'을 원하시는 것 같으니 우회로로 가자"라고 상황을 읽고 대처하는 것의 차이와 같습니다.

이 연구는 단순히 쇼핑뿐만 아니라, 우리가 어떤 정보를 찾을 때 AI 가 사용자의 숨은 마음을 읽어주는 새로운 시대를 열었다고 볼 수 있습니다! 🚀

기술 요약

1. 문제 정의 (Problem Definition)

핵심 문제: 사용자 - 검색 시스템 의도 불일치 (User–SearchSys Intent Discrepancy)

• 배경: 이커머스 비주얼 검색 (Taobao 의 Pai Li Tao 등) 은 텍스트 검색보다 촬영 각도, 화질, 사용자 행동 패턴 등 더 다양한 변수의 영향을 받습니다.
• 현상: 대규모 검색 로그 분석 결과, 클릭이 없는 요청 (No-click requests) 이 매우 높은 비율을 차지합니다. 이는 사용자가 단순한 이미지 매칭 이상의 **다양하고 암묵적인 의도 (Implicit Intents)**를 가지고 있음을 시사합니다.
• 한계: 기존 시스템은 주로 '이미지 - 이미지 매칭'에 집중하여 암묵적 의도를 해석하지 못합니다.
  • Challenge 1 (데이터 마이닝): 대규모 로그에서 암묵적 의도를 발견하기 위해 수동 주석이 필요하며, 이는 비효율적이고 확장성이 떨어집니다.
  • Challenge 2 (온라인 최적화): 기존 시스템은 고정된 규칙 기반 전략을 사용하여, 검색 결과의 맥락 (히스토리) 을 고려한 전역적 협업 최적화가 불가능하며, 다중 암묵적 의도를 동시에 처리하는 동적 적응이 어렵습니다.

2. 제안 방법론: REVISION 프레임워크

저자들은 오프라인 (Offline) 단계에서의 의도 마이닝과 온라인 (Online) 단계에서의 실시간 추론 및 실행을 통합한 새로운 프레임워크 REVISION을 제안합니다.

A. 오프라인 단계 (Offline Stage): 의도 마이닝 및 전략 설계

대규모 '클릭 없음 (No-click)' 검색 로그를 분석하여 실행 가능한 최적화 신호를 도출합니다.

1. 다단계 추론 파이프라인:
   • 시각 분석: Qwen2.5VL-72B 를 사용하여 쿼리 이미지와 검색된 상품들의 시각적 특징을 추출합니다.
   • 심층 추론: 추출된 정보에 상품 메타데이터 (가격, 원산지 등) 와 도메인 전문가 규칙을 결합하여 Qwen3-30B-A3B 를 통해 최적화 제안 (예: 검색 조건 정제, 가격대 세분화) 을 생성합니다.
2. 계층적 클러스터링 (Hierarchical Clustering):
   • 생성된 최적화 신호를 텍스트 유사도와 의미적 유사도를 결합하여 계층적으로 클러스터링합니다.
   • 1 단계 (Coarse): 주요 카테고리 할당.
   • 2 단계 (Fine-grained): 하위 카테고리 및 구체적인 실행 도구 (Tool) 로 매핑.
3. 도구 확장: 클러스터링 결과를 바탕으로 기존 검색 파이프라인에 통합할 수 있는 모듈화된 도구 (예: 메타데이터 조정, 결과 요약, 외부 텍스트 검색 등) 를 구성합니다.

B. 온라인 단계 (Online Stage): 실시간 에이전트 최적화

오프라인에서 학습된 데이터를 기반으로 실시간 쿼리에 대응하는 에이전트 모델을 운영합니다.

1. 모델 아키텍처 (REVISION-R1-3B):
   • Qwen2.5VL-3B 기반의 비전 - 언어 모델 (VLM) 입니다.
   • 입력: 쿼리 이미지 + 검색된 상품 이미지 (최대 12 개) + 상품 메타데이터.
   • 학습 데이터: 오프라인 마이닝 결과 (생각 과정 + 도구 순서) 를 기반으로 Supervised Fine-Tuning (SFT) 및 Reinforcement Learning (RL) 을 수행합니다.
2. 학습 전략:
   • SFT: 정답 레이블 (도구 인덱스 순서) 을 예측하도록 학습.
   • RL (GRPO 알고리즘): 모델이 스스로 추론 과정을 생성하도록 유도하며, 형식 준수 (Thinking tags) 와 정답 정확도 (도구 선택 및 순서) 를 기반으로 보상 (Reward) 을 설계하여 성능을 극대화합니다.
3. 실행: 실시간 쿼리에 대해 최적의 도구 시퀀스를 동적으로 예측하고, 검색 파이프라인의 각 단계에서 실행하여 결과를 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 문제 정의: 이커머스 비주얼 검색에서의 '사용자 - 시스템 의도 불일치' 문제를 명확히 정의하고, 이를 해결하기 위한 체계적인 접근법을 제시했습니다.
2. 오프라인 - 온라인 통합 프레임워크: 대규모 로그의 암묵적 의도를 VLM 을 통해 자동 마이닝하고, 이를 실시간 에이전트 의사결정으로 연결하는 엔드 - 투 - 엔드 파이프라인을 구축했습니다.
3. 효율적인 데이터 활용: 수동 주석 없이 대규모 '클릭 없음' 로그를 가치 있는 학습 데이터로 전환하여, 시스템의 적응성을 높였습니다.
4. 에이전트 아키텍처 도입: 단순 이미지 매칭을 넘어, 다중 도구를 협업적으로 호출하여 사용자의 복잡한 의도를 해결하는 에이전트 기반 검색 시스템을 구현했습니다.

4. 실험 결과 (Results)

Taobao 에서 수행된 A/B 테스트 및 평가 결과, REVISION 프레임워크는 기존 시스템 대비显著的인 개선을 보였습니다.

• 온라인 A/B 테스트 (Trigger Subset 기준):
  • 클릭 없음 비율 (No-click Rate): 13.91% 감소 (사용자 만족도 향상).
  • 클릭률 (CTR): 10.73% 증가.
  • 주문 수 (Order Count): 13.60% 증가.
  • 총 거래액 (GMV): 10.73% 증가.
• 오프라인 파이프라인 평가:
  • Top-1 관련성 (Relevance): 37.99% 향상.
  • Top-4 관련성: 34.21% 향상.
• 모델 성능 비교:
  • REVISION-R1 은 GPT-4o, Gemini 2.5 Pro, OmniSearch 등 최신 모델 대비 **생각 과정 정확도 (Thinking Accuracy)**와 **도구 호출 정확도 (Tool Match)**에서 압도적인 우위를 보였습니다 (예: 도구 매칭률 75.2% vs OmniSearch 58.8%).
• 지연 시간 (Latency): 모델 추론으로 인한 추가 지연은 TP99 기준 약 95~100ms 로, 시스템 최적화 효과에 비해 수용 가능한 수준입니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 이커머스 검색 시스템에서 '클릭 없음' 데이터를 부정적 신호가 아닌, 사용자의 숨겨진 니즈를 파악할 수 있는 귀중한 자원으로 재해석하여 비즈니스 성과 (GMV, CTR) 를 직접적으로 향상시켰습니다.
• 기술적 확장성: 수동 규칙에 의존하던 기존 시스템을 데이터 기반의 자동화된 에이전트 시스템으로 전환하는 패러다임을 제시했습니다.
• 미래 전망: 이 프레임워크는 추천 시스템 및 대화형 시스템 등 다른 분야에도 적용 가능하며, 오프라인 흔적과 온라인 미세 신호를 결합한 자기 진화형 에이전트 검색 시스템으로 발전할 잠재력을 가지고 있습니다.

결론적으로, REVISION 은 대규모 언어 모델 (VLM) 과 전통적인 검색 시스템을 융합하여 사용자의 암묵적 의도를 실시간으로 파악하고 대응함으로써, 이커머스 비주얼 검색의 한계를 극복한 획기적인 솔루션입니다.