Do Composed Image Retrieval Benchmarks Require Multimodal Composition?

기술적 요약: 합성 이미지 검색 벤치마크는 다중 모드 합성이 필요한가?

문제 제기
합성 이미지 검색 (CIR) 은 참조 이미지와 텍스트 수정으로 구성된 쿼리를 사용하여 결합된 의도를 만족하는 대상 이미지를 검색하는 다중 모드 작업입니다. 이 분야는 CIRR, FashionIQ, LaSCo, CIRCO 와 같은 CIR 벤치마크에서 강력한 성능을 내기 위해서는 진정한 다중 모드 합성, 즉 두 모달리티에서 보완적인 정보를 통합하여 통일된 표현을 생성하는 능력이 필요하다고 가정합니다. 그러나 시각적 질문 답변 (Visual Question Answering) 과 같은 관련 분야의 선행 연구는 모델들이 종종 '단축 신호 (shortcut signals)'를 활용하여, 진정한 교차 모달 추론 대신 단일 지배적 모달리티를 사용하여 과제를 해결함을 보여주었습니다. 본 논문은 현재 CIR 벤치마크가 유사한 문제, 즉 높은 검색 정확도가 의도된 합성 추론 대신 단일 모드 단축이나 데이터셋 노이즈에 대한 의존성을 반영하는지 여부를 조사합니다.

방법론
저자들은 11 개의 범용 다중 모드 임베딩 (GME) 모델 풀을 사용하여 널리 사용되는 네 가지 CIR 벤치마크에 대한 2 단계 감사를 수행합니다.

1. 단일 모드 단축 감사:
   저자들은 각 쿼리를 세 가지 조건에서 평가합니다: (i) 다중 모드(전체 쿼리), (ii) 텍스트만(참조 이미지를 검은색 마스크로 대체), (iii) 이미지만(텍스트 수정 제거). 11 개의 테스트된 GME 중 어떤 모델이라도 단일 모달리티만을 사용하여 상위 10 개 결과 내에 정답 대상 이미지를 검색할 수 있다면, 해당 쿼리는 '단일 모드 단축'을 허용하는 것으로 분류됩니다. 단일 모달리티로는 성공하지 못하지만 다중 모드 입력으로는 성공하는 쿼리는 '합성 필요'로 라벨링됩니다. 다중 모드 입력조차 실패하는 쿼리는 '해결되지 않음'으로 라벨링됩니다.

2. 인간 검증 감사:
   단축 해결 가능 쿼리를 제거하는 것만으로는 나머지 세트에 모호하거나 적절하지 않은 인스턴스가 포함되어 있을 수 있음을 인식하여, 저자들은 4,741 개의 단축 없는 쿼리에 대한 인간 검증 연구를 수행합니다. 주석자들은 참조 이미지, 텍스트 수정, 대상 이미지 트립릿의 유효성을 평가합니다. 그들은 다음과 같은 구체적인 실패 모드를 식별합니다:

   • 유효하지 않은 텍스트/참조/대상: 난해한 수정, 저품질 이미지, 또는 불일치하는 대상.
   • 너무 광범위한 쿼리: 갤러리의 여러 이미지가 수정 사항을 타당하게 만족하여 정답 대상이 고유하지 않게 되는 경우.
     이 과정을 통해 CIRCUS(단일 모드 단축이 제거된 합성 이미지 검색) 스위트가 도출되었으며, 특히 잘 형성되고 단축이 없는 쿼리만 포함된 CIRCUSV(검증된) 하위 집합이 포함됩니다.

3. 재평가:
   저자들은 원래 벤치마크, 단축 없는 하위 집합 (CIRCUSSF), 그리고 검증된 하위 집합 (CIRCUSV) 에서 GME 모델을 재평가합니다. 그들은 성능 감소를 분석하고 다중 모드 통합에 대한 의존성을 정량화하기 위해 '합성 간격 (Composition Gap)'(다중 모드와 가장 강력한 단일 모드 기준 간의 정규화된 차이) 을 계산합니다.

주요 기여

1. 단일 모드 단축의 정량화: 이 연구는 표준 CIR 벤치마크의 쿼리 중 상당 부분이 단일 모달리티를 사용하여 해결될 수 있음을 보여줍니다. 구체적으로, CIRR 의 83.6%, FashionIQ 의 32.2%, LaSCo 의 38.7%, CIRCO 쿼리의 74.5% 가 단일 모드 단축을 통해 해결 가능합니다.
2. 데이터셋 노이즈 식별: 인간 검증을 통해 저자들은 단축 없는 쿼리 중에서도 상당 부분이 적절하지 않음을 입증합니다. 감사된 단축 없는 쿼리 중 35.6%(4,741 개 중 1,689 개) 만이 유효한 CIR 인스턴스로 간주되었습니다. 지배적인 문제는 수정 사항이 고유하게 대상을 식별하지 못하는 '너무 광범위한 쿼리'입니다.
3. CIRCUS 벤치마크 스위트: 저자들은 단축 없는 하위 집합과 검증된 하위 집합으로 구성된 정제된 평가 스위트인 CIRCUS 를 공개합니다. 이 스위트는 모델이 성공하기 위해 이미지와 텍스트 입력을 결합하도록 강요하는 다중 모드 합성에 대한 더 진단적인 테스트를 제공합니다.

결과

• 성능 차이: CIRCUS 에서 모델을 재평가하면 보고된 성능이 급격히 감소합니다. 예를 들어, Qwen3-VL-8B 의 CIRR 에서 Recall@10 은 원래 벤치마크의 70.1% 에서 검증된 CIRCUSV 하위 집합에서는 24.1% 로 떨어집니다.
• 모달리티 의존성: 절대적 성능은 감소하지만, 다중 모드 정보에 대한 의존성은 크게 증가합니다. CIRCUSV 에서의 합성 간격 (모달리티 결합의 필요성을 나타냄) 은 원래 벤치마크에 비해 현저히 상승합니다. 예를 들어, CIRR 에서 평균 합성 간격은 (전체) 0.137 에서 (CIRCUSV) 0.361 로 증가합니다.
• 단축의 만연성: 이 분석은 단축 활용이 모델 특정적 인공물이 아니라 데이터셋 수준의 속성임을 확인시켜 주며, 다양한 모델 계열과 아키텍처 전반에 걸쳐 패턴이 유지됨을 보여줍니다.
• 벤치마크별 세부 사항: CIRR 과 CIRCO 는 높은 단축율을 보인 반면, LaSCo 는 해결되지 않은 사례가 지배적입니다 (일반적인 검색 어려움 또는 주석 오류를 시사함). FashionIQ 는 가장 낮은 단축율을 가지지만, 여전히 단축 없는 잔여물에서 상당한 노이즈를 겪습니다.

의의
본 논문은 현재 CIR 벤치마크가 단축 해결 가능, 노이즈가 포함된, 그리고 진정한 합성 쿼리를 혼동하여 다중 모드 합성에서의 모델 능력 과대평가를 초래한다고 주장합니다. 저자들은 이러한 벤치마크에 의존할 경우 모델이 단순히 단일 모드 신호를 활용하고 있을 때조차 합성 추론에서의 진전이 거짓으로 나타날 수 있다고 주장합니다. CIRCUS 를 도입함으로써 이 작업은 모델이 이미지와 텍스트를 얼마나 잘 실제로 결합하는지에 대한 더 정확한 평가를 제공합니다. 저자들은 CIR 의 향후 진보는 검색기가 모달리티를 진정으로 통합하는 정도에 의해 측정되어야 하며, 데이터셋 인공물에 의해 주도되는 과장된 성능 지표를 피하기 위해 정제되고 검증된 하위 집합의 사용이 필요하다고 결론짓습니다.