TEMA: Anchor the Image, Follow the Text for Multi-Modification Composed Image Retrieval

1. 연구 배경 및 문제 정의 (Problem)

컴포지드 이미지 검색 (Composed Image Retrieval, CIR) 은 참조 이미지 (Reference Image) 와 수정 텍스트 (Modification Text) 를 결합하여 사용자의 의도에 맞는 타겟 이미지를 검색하는 작업입니다. 기존 CIR 연구는 주로 간단한 수정 텍스트 (예: "빨간색으로 바꿔줘") 에 의존해 왔으나, 이는 실제 응용 환경에서 다음과 같은 두 가지 주요 한계를 드러냈습니다.

1. 개체 커버리지 부족 (Insufficient Entity Coverage):
   • 기존 데이터셋의 수정 텍스트는 중요한 변화 위주로 간략하게 작성되는 경향이 있습니다.
   • 다중 개체 (Multiple Entities) 가 수정되어야 하는 경우, 모델이 중요한 개체들을 놓치거나 일부만 학습하게 되어 실제 복잡한 수정 요청을 처리하지 못합니다.
2. 절 - 개체 정렬 불일치 (Clause-Entity Misalignment):
   • 실제 상황에서는 하나의 개체에 대해 여러 수정 문장 (Clause) 이 적용되거나 (예: 드레스의 치마, 어깨, 벨트를 동시에 수정), 하나의 수정 문장이 여러 개체를 동시에 수정하는 경우가 많습니다.
   • 기존 모델은 이러한 '1 대 다 (One-to-Many)' 또는 '다 대 1 (Many-to-One)' 관계를 명확히 매핑하지 못해 정밀한 검색 성능이 떨어집니다.

기존 모델들은 이러한 다중 수정 (Multi-Modification) 시나리오에서 성능이 급격히 저하되는 것을 확인했습니다.

---

2. 제안 방법론 (Methodology)

저자들은 위 문제를 해결하기 위해 다중 수정 데이터셋과 이를 위한 새로운 모델 아키텍처 (TEMA) 를 제안했습니다.

A. 데이터셋 구축: M-FashionIQ 및 M-CIRR

기존 CIR 데이터셋 (FashionIQ, CIRR) 의 참조 이미지와 타겟 이미지는 유지하되, 수정 텍스트를 지시 중심의 다중 수정 텍스트 (Multi-Modification Text, MMT) 로 재작성했습니다.

• 생성 과정: Multimodal Large Language Model (MLLM, Llama 3.2) 을 사용하여 참조 이미지와 타겟 이미지의 차이를 상세히 설명하는 MMT 를 자동 생성했습니다.
• 품질 관리: 생성된 텍스트의 환각 (Hallucination) 을 제거하고 일관성, 정확성, 다양성을 검증하기 위해 GPT-4o 와 인간 어노테이터를 활용한 하이브리드 검증 프로세스를 도입했습니다.
• 특징: 기존 텍스트보다 훨씬 길고 상세하며, 여러 개체와 세부적인 속성 변화를 명시적으로 포함합니다.

B. 모델 아키텍처: TEMA (Text-oriented Entity Mapping Architecture)

단순 수정과 다중 수정 모두를 처리할 수 있는 최초의 CIR 프레임워크입니다. 두 가지 핵심 모듈로 구성됩니다.

1. MMT 파싱 어시스턴트 (PA, Parsing Assistant):
   • 목적: '개체 커버리지 부족' 문제 해결.
   • 기능: 학습 단계에서만 작동하며, 긴 MMT 를 요약하여 모든 수정 대상 개체 (To-be-modified entities) 를 추출합니다.
   • 일관성 검사 (Consistency Detector): 생성된 요약문이 원본 MMT 의 모든 개체를 포함하는지 LLM 을 통해 검증하고, 불일치 시 수정합니다. 이를 통해 모델이 중요한 개체들에 집중하도록 유도합니다.
2. MMT 지향 개체 매핑 (EM, Entity Mapping):
   • 목적: '절 - 개체 정렬 불일치' 문제 해결.
   • 기능: 학습된 가변 쿼리 (Learnable Queries) 를 사용하여 텍스트 측면에서 동일한 개체에 해당하는 여러 수정 문장을 집계 (Aggregate) 하고, 이를 이미지 측면의 해당 시각적 개체와 정렬합니다.
   • 효과: 명시적인 정렬 어노테이션 없이도 '1 대 다' 관계를 안정적으로 모델링하여 정밀한 검색을 가능하게 합니다.

---

3. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 데이터셋: 실제 응용에 가까운 다중 수정 시나리오를 위한 M-FashionIQ (패션 도메인) 와 M-CIRR (오픈 도메인) 데이터셋을 구축하고 공개했습니다.
2. TEMA 모델 제안: 다중 수정 요구사항을 충족하면서도 단순 수정에도 강건한 최초의 CIR 프레임워크를 제안했습니다. PA 와 EM 모듈을 통해 개체 커버리지와 문장 - 개체 집계 능력을 학습합니다.
3. 성능 입증: 기존 CIR 벤치마크 (FashionIQ, CIRR) 와 새로 구축된 다중 수정 데이터셋 (M-FashionIQ, M-CIRR) 에서 모두 기존 SOTA 모델들을 압도하는 성능을 보였습니다.

---

4. 실험 결과 (Results)

• 다중 수정 시나리오 (M-FashionIQ & M-CIRR):
  • TEMA 는 FashionIQ 의 R@10 에서 50.59%, M-CIRR 의 평균 성능에서 75.76% 를 기록하여 기존 최상위 모델 (Candidate, BLIP4CIR 등) 보다 유의미한 향상을 보였습니다.
  • 특히 복잡한 다중 개체 수정과 세부적인 속성 변경에 있어 기존 모델들이 보였던 성능 저하를 효과적으로 극복했습니다.
• 기존 CIR 시나리오 (Original FashionIQ & CIRR):
  • TEMA 는 다중 수정 데이터로 학습되었음에도 기존 단순 CIR 데이터셋에서도 최상위 성능을 유지하거나 개선하여, 모델의 범용성 (Generalization) 과 강건성 (Robustness) 을 입증했습니다.
• Ablation Study:
  • PA 모듈 제거 시 성능이 크게 저하되어 개체 추출의 중요성을 확인했습니다.
  • EM 모듈 (텍스트 및 시각적 매핑) 이 다중 문장 집계에 핵심적임을 입증했습니다.
  • 요약 가이드 증류 (Summary-guided Distillation) 와 직교 정규화 (Orthogonal Regularization) 가 최적화에 필수적임을 확인했습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 CIR 연구가 단순한 속성 변경을 넘어, 복잡하고 구체적인 다중 수정 요청을 처리할 수 있는 단계로 도약하는 계기를 마련했습니다.

• 실용성: 기존 CIR 모델이 실제 사용자 환경 (예: 의류 쇼핑, 이미지 편집) 에서 겪는 한계를 데이터와 모델 측면에서 동시에 해결했습니다.
• 기술적 혁신: LLM 을 활용한 지시형 데이터 증강과 텍스트 기반 개체 매핑을 통한 정밀한 다중 객체 제어는 향후 멀티모달 이해 및 생성 작업에 중요한 시사점을 제공합니다.
• 지속 가능성: 제안된 TEMA 는 학습 시에만 LLM 을 사용하므로 추론 시 추가적인 지연 없이 경량화된 구조로 작동하여 실제 배포에 유리합니다.

결론적으로, TEMA 는 "이미지를 앵커로 하고 텍스트를 따라가는 (Anchor the Image, Follow the Text)" 다중 수정 컴포지드 이미지 검색의 새로운 표준을 제시한 연구로 평가됩니다.