Visual Product Search Benchmark

1. 문제 정의 (Problem)

산업 및 상업적 응용 분야 (유지보수, 조달, 운영 워크플로우 등) 에서 이미지 기반의 정확한 제품 식별은 필수적입니다. 그러나 기존 시스템은 다음과 같은 심각한 과제를 안고 있습니다.

• 정확한 인스턴스 식별의 필요성: 단순히 시각적으로 유사한 제품을 추천하는 것이 아니라, 유지보수나 조달 과정에서 정확한 물리적 인스턴스 (Exact Instance) 를 식별해야 합니다. 잘못된 매칭은 비용이 큰 다운스트림 실패로 이어질 수 있습니다.
• 복잡한 환경: 조명, 배경, 가림 (Occlusion), 반사 등 다양한 촬영 조건과 카탈로그 이미지 (CAD 렌더링) 와 사용자 촬영 이미지 간의 큰 도메인 격차 (Domain Shift) 가 존재합니다.
• 미세한 차이: 나사, 볼트, 자동차 부품 등 기하학적 치수나 표면 질감의 미세한 차이만으로도 구별해야 하는 경우가 많아, 기존 공개 벤치마크나 범용 모델로는 이러한 세밀한 차이를 포착하기 어렵습니다.
• 평가의 부재: 기존 공개 벤치마크 (Oxford, Paris, SOP 등) 는 실제 산업 환경의 제약 조건 (노이즈, 도메인 시프트, 정밀한 인스턴스 매칭 요구사항) 을 충분히 반영하지 못합니다.

2. 방법론 (Methodology)

이 연구는 현대적인 시각 임베딩 모델들의 인스턴스 레벨 이미지 검색 (Instance-level Image Retrieval) 능력을 체계적으로 평가하기 위해 설계된 벤치마크를 제안합니다.

• 평가 프로토콜:

  • Zero-shot 평가: 모든 모델은 벤치마크 데이터셋에 대해 미세 조정 (Fine-tuning) 이나 후처리 없이, 순수한 이미지 - 이미지 검색 능력만 평가됩니다.
  • 검색 설정: Query-Gallery 설정 (Inter-retrieval) 과 단일 분할 내 검색 (Intra-retrieval) 을 모두 포함하며, 실제 배포 환경을 반영하기 위해 Query-Gallery 설정을 우선시합니다.
  • 지수 및 검색: Qdrant 벡터 데이터베이스를 사용하여 정밀 검색 (Exact Search) 을 수행하며, L2 정규화 후 내적 (Dot Product) 을 유사도 척도로 사용합니다.

• 데이터셋 (8 개):

  • 사내 산업 데이터셋 (4 개): nyris 의 실제 배포 데이터에서 추출.
    • Clips-and-Connectors: 자동차/산업용 체결 부품 (CAD vs 실제 촬영).
    • Furniture: 가구 카탈로그 이미지 vs 사용자 촬영 이미지.
    • DIY: 대형 DIY 소매점의 다양한 도구 및 자재.
    • Automotive: 자동차 부품 (수리소) 의 사용자 촬영 이미지.
  • 공개 벤치마크 (4 개): SOP, Products-10K, ILIAS 등 기존 연구에서 널리 사용되는 데이터셋.

• 평가 모델 (12 개):

  • 범용 기반 모델 (General Foundation): DINOv2/v3, PE-Core, SigLIP2 등.
  • 통합 멀티모달 임베딩 (Unified Multimodal): Jina Embeddings v4, Cohere Embed v4, Google Vertex AI, Gemini Embedding 2, Nomic Embed 등.
  • 도메인 특화 모델 (Domain-Specific): nyris 에서 개발한 AEM v1 (자동차 부품 특화) 및 GEM v5.1 (범용 산업 특화).

• 평가 지표: Recall@1 (R@1), Recall@5 (R@5), mAP@20 (평균 정밀도).

3. 주요 기여 (Key Contributions)

1. 산업 특화 벤치마크 구축: 실제 산업 환경의 제약 (CAD vs 실제 촬영, 미세한 기하학적 차이, 도메인 시프트) 을 반영한 4 개의 새로운 사내 데이터셋과 기존 공개 데이터셋을 통합한 포괄적인 벤치마크를 공개했습니다.
2. 모델 비교 분석: 범용 멀티모달 임베딩 모델, 비전 - 언어 모델 (VLM), 그리고 도메인 특화 비전 전용 모델 간의 성능을 동일한 조건에서 비교하여, 산업용 제품 식별에 적합한 모델 유형에 대한 통찰을 제공했습니다.
3. 투명한 평가 프레임워크: 후처리나 재학습 없이 순수한 임베딩 성능만을 격리하여 평가함으로써, 모델 자체의 검색 능력을 객관적으로 비교할 수 있는 기준을 마련했습니다.
4. 상호작용형 결과 공개: https://benchmark.nyris.io 를 통해 상세한 결과, 시각화, 추가 데이터를 공개하여 연구자와 실무자의 접근성을 높였습니다.

4. 결과 (Results)

• 전체 성능: nyris 의 범용 산업 특화 모델인 GEM v5.1이 모든 데이터셋에서 가장 우수한 평균 성능 (R@1 58.3%, mAP@20 49.5%) 을 기록했습니다. 이는 범용 기반 모델들보다 일관되게 높은 성능을 보였습니다.
• 산업 데이터셋에서의 격차:
  • 산업 데이터셋 (특히 Clips-and-Connectors, Furniture) 에서 범용 모델 (DINOv3, SigLIP2 등) 은 성능이 급격히 하락했습니다. 예를 들어, Clips-and-Connectors 에서 GEM v5.1 은 R@1 63.4% 를 기록한 반면, DINOv3 는 26.4% 에 그쳤습니다.
  • 일부 대형 멀티모달 모델은 산업용 기계 부품이나 반복적인 패턴이 많은 데이터셋에서 아예 실패 (R@1 0%) 하는 경우도 있었습니다.
• 공개 데이터셋에서의 성능: SOP, Products-10K 등 공개 데이터셋에서는 Gemini Embedding 2, Cohere Embed v4 등 최신 범용 멀티모달 모델들이 우수한 성능을 보였으나, 이는 산업 환경에서의 성능을 보장하지는 못했습니다.
• 도메인 특화 모델의 한계와 장점: 자동차 부품에 특화된 AEM v1은 해당 도메인에서는 범용 모델보다 우월했으나, 다른 도메인으로는 일반화되지 않았습니다. 이는 도메인 특화와 범용성 사이의 트레이드오프를 보여줍니다.
• 순위 품질 (Ranking Quality): GEM v5.1 은 Top-1 정확도뿐만 아니라 mAP@20 에서도 압도적인 우위를 보였으며, 이는 사용자가 상위 여러 결과를 검토할 때에도 정확한 후보를 제공하는 안정성을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 시맨틱 유사성 vs 인스턴스 동일성: 이 연구는 "시각적으로 유사한 것"과 "정확한 동일한 인스턴스" 사이의 차이를 강조합니다. 산업용 유지보수 및 운영에서는 유사한 대체품이 아닌 정확한 부품의 식별이 필수적이며, 이를 위해 범용 멀티모달 모델만으로는 부족할 수 있음을 시사합니다.
• 실제 환경 평가의 중요성: 공개 벤치마크에서의 높은 성능이 실제 산업 환경에서의 성능을 보장하지 않습니다. 도메인 시프트와 미세한 시각적 차이를 다루기 위해서는 도메인 특화 데이터로 학습된 모델이나, 산업 환경에 최적화된 임베딩 전략이 필요합니다.
• 향후 연구 방향: 이 벤치마크는 산업용 비전 검색 시스템의 모델 선택을 지원할 뿐만 아니라, 연구계와 산업계가 협력하여 실제 제약 조건을 반영한 더 나은 임베딩 모델을 개발하는 데 기여할 것입니다.

요약하자면, 이 논문은 범용 AI 모델이 산업용 정밀 제품 식별에는 한계가 있으며, 도메인 특화 데이터와 훈련이 필수적임을 체계적인 벤치마크를 통해 입증한 중요한 연구입니다.