Never Seen Before: Benchmarking Genuine Zero-Shot Composed Image Retrieval with Consistent Video-Sourced Datasets

기술 요약: ZeroSight 및 SC4CIR

문제 정의
제로샷 구성 이미지 검색(Zero-Shot Composed Image Retrieval, ZS-CIR)은 참조 이미지와 상대적 캡션을 결一个로 하는 쿼리를 기반으로 타겟 이미지를 검색하는 것을 목표로 하며, 작업 특화된 학습 샘플에 의존하지 않습니다. 저자들은 기존 ZS-CIR 벤치마크(예: CIRR, CIRCO, FashionIQ)에서 두 가지 결정적인 결함을 식별했습니다:

1. 불일치성(Inconsistency): 기존 데이터셋은 종종 참조 이미지와 타겟 이미지 사이의 시각적 및 의미적 불일치 문제를 겪습니다. 이러한 데이터셋은 노이즈가 많거나 크라우드소싱된, 혹은 추상적인 이미지 컬렉션(예: NLVR2 또는 MS COCO)에서 구축되었기 때문에, 참조 이미지와 타겟 이미지는 추상적인 개념(예: "넥타이")만을 공유할 뿐 시각적 내용은 크게 다를 수 있습니다. 이는 구성된 검색(composed retrieval)이 아닌 표준 텍انت-이미지 기술을 통해 해결 가능한 과제가 됩니다.
2. 가짜 제로샷 시나리오(Spurious Zero-Shot Scenarios): 대부분의 기존 데이터셋은 CLIP과 같은 지배적인 시각-언어 모델(VLM)의 사전 학습 데이터에 포함되었던 공개 이미지 소스(예: MS COCO)를 활용합니다. 결과적으로 모델들은 진정한 "제로샷"이 아니라 암기된 연관 관계를 활용하는 것이며, 이는 현재 방법론의 능력을 과장하는 부풀려진 성능 지표를 초래합니다.

방법론
이러한 과제를 해결하기 위해, 본 논문은 새로운 벤치마크인 ZeroSight와 학습이 필요 없는 검색 방법인 SC4CIR을 소개합니다.

• ZeroSight 데이터셋 구축:

  • 출처: 이전 연구들과 달리, ZeroSight는 LAION-2B 릴리스 이후인 2022년 3월 31일 이후에 게시된 비디오에서 프레임 이미지를 추출하여, 데이터가 CLIP의 사전 학습에 포함되지 않았음을 보장합니다.
  • 일관성: 단일 비디오에서 프레임을 추출함으로써, 저자들은 참조-타겟 쌍이 시각적 및 의미적으로 일관되며, 오직 캡션에 기술된 특정 수정 사항만 다르다는 것을 보장합니다.
  • 파이프라인: LLM(GPT-4o 등)을 활용한 다단계 파이프라인을 통해 데이터셋을 구축합니다. 과정은 다음과 같습니다:
    1. 비디오 서브셋에서 중복되지 않는 참조 이미지를 선택합니다.
    2. ViT 및 CLIP을 사용하여 시각적 및 의미적 유사성 임계값을 기준으로 후보 타겟 이미지를 필터링합니다.
    3. 참조에서 타겟으로의 변화를 설명하는 상대적 캡션을 생성합니다.
  • 규모 및 구조: 이 데이터셋은 12,048개의 다양한 비디오로 구성되어 있으며, 197,313개의 이미지와 54,740개의 쿼리 검색 풀을 가집니다. 독특하게도, 각 쿼리에 대해 여러 개의 정답(ground-truth) 포지티브 타겟과 하드 네거티브(hard negative) 타겟(타겟과 유사하지만 캡션 기준을 충족하지 못하는 이미지)을 포함합니다.
  • 쿼리 카테ка리: 추가(Addition), 삭제(Subtraction), 배경 변경(Background Change), 관점 변경(Viewpoint Change), 속성 변경(Attribute Change), 상대적 진술(Relative Statement)의 6가지 카테고리로 분류하여 특정 검색 능력을 테스트합니다.

• SC4CIR (Symmetric Consistency for CIR):

  • 개념: 멀티모달 대규모 언어 모델(MLLM)에 의해 구동되는 학습이 필요 없는 플러그 앤 플레이 방식의 방법으로, 정답과 시각적으로 유사하지만 의미적으로 틀린 "하드 네거티브" 타겟을 식별하고 페널티를 부여합니다.
  • 메커니즘: 세 가지 대칭적 일관성 체크를 수행합니다:
    1. 순방향 검색(Forward Retrieval): $I_r + T \rightarrow I_t$ (표준 검색).
    2. 역방향 프로세스 1(Reverse Process 1): $I_t - T \rightarrow I_r$ (후보를 다시 참조로 변환하기 위한 역방향 지침 $T'$ 생성).
    3. 역방향 프로세스 2(Reverse Process 2): $I_t - I_r \rightarrow T$ (후보와 참조 사이의 차이에 대한 설명을 생성하여 원래의 캡션 $T$와 비교).
  • 재순위화(Re-ranking): 최종 점수는 순방향 유사도와 두 가지 역방향 일관성 점수의 합($S = S_1 + S_2 + S_3$)으로 계산되며, 이를 통해 하드 네거티브를 억제하도록 결과를 재순위화합니다.

주요 기여

1. ZeroSight 벤치마크: 진정한 제로샷 조건(CLIP 사전 학습 중복 없음)과 비디오 소스 데이터를 통한 높은 시각적/의미적 일관성을 보장하는 최초의 ZS-CIR 데이터셋입니다. 또한 여러 정답과 하드 네거티브 타겟을 포함하는 최초의 데이터셋입니다.
2. SC4CIR 방법론: 대칭적 일관성을 검증하여 하드 네거티브를 효과적으로 필터링함으로써, 모델 재학습 없이 검색 성능을 향상시키는 새로운 학습 불필요 MLLM 기반 방식입니다.
3. 새로운 평가 지표 (PNR-mAP): 하드 네거티브의 존재를 무시하는 표준 mAP의 한계를 해결하기 위해, 포지티브와 네거티브의 순위를 고려하는 Positive-Negative Ranking mAP를 제안합니다.
4. 포괄적 평가: 27개의 최첨단(SOTA) 방법론을 평가하여, 기존 벤치마크가 성능을 부풀리고 있음을 밝혀냈습니다.

실험 결과

• 벤치마크 성능: ZeroSight에 대한 실험 결과, 현재의 ZS-CIR 방법들이 기존 데이터셋(예: CIRCO)보다 현저히 낮은 성능을 보였으며, 이는 새로운 벤치마크의 난이도와 유효성을 입증합니다. 예를, SEIZE의 mAP@5는 CIRCO에서의 32.46에서 ZeroSight에서는 16.63으로 급감했습니다.
• 지표 불일치: 방법론들의 ZeroSight 평균 mAP는 PNR-mAP보다 22.93% 높게 나타났으며, 이는 표준 지표가 하드 네거티브의 순위를 무시함으로써 성능을 부풀리고 있음을 보여줍니다.
• SC4CIR 효능: SC4CIR을 통합했을 때 모든 테스트된 방법론에서 성능이 크게 향상되었습니다. 학습이 필요 없는 방법론의 경우 평균 PNR-mAP가 25.66% 개선되었습니다. 이 방법은 특히 LLM 기반 ZS-CIR 접근법에 효과적이며, 성능을 9.12% 향상시켰습니다.
• 일반화 가능성: SC4CIR은 기존의 노이즈가 많은 데이터셋(CIRCO, CIRR, FashionIQ)에도 적용되어 일관되게 베이스라인을 능가하는 성능을 보였으며, 제로샷 방법론이 FashionIQ에서 학습된 CIR 방법론의 성능에 근접하도록 도왔습니다.

의의
본 논문은 기존 ZS-CIR 연구가 진정한 제로샷 시나리오를 반영하지 못하고 시각적 일관성이 부족한 데이터셋으로 인해 모델의 능력을 과대평가하고 있다고 주장합니다. ZeroSight는 엄격한 데이터 일관성과 진정한 제로샷 조건을 강제함으로써 ZS-CIR 방법론을 평가하는 새로운 표준을 확립합니다. SC4CIR의 도입은 추가 학습 없이도 대칭적 일관성 체크를 위한 MLLM 추론을 활용하는 것이 검색 정확도를 크게 향 향상시킬 수 있음을 보여줍니다. 저자들은 자신들의 벤치마크와 방법론이 미세한 시각적 차이가 중요한 고정밀 애플리케이션을 위해, 보다 일반화 가능하고 견고한 구성 이미지 검색 시스템을 개발하는 데 더 신뢰할 수 있는 프레임워크를 제공한다고 결론짓습니다.