FlowCIR: Semantic Transport via Flow Matching for Zero-Shot Composed Image Retrieval

기술 요약: FlowCIR

문제 정의
제로샷 구성 이미지 검색(Zero-Shot Composed Image Retrieval, ZS-CIR)은 도메인 특화된 주석이 달린 트리플릿(triplet)에 의존하지 않고, 자연어 지시사항을 바탕으로 참조 이미지를 편집하여 타겟 이미지를 검색하는 것을 목표로 합니다. 기존의 ZS-CIR 방법들은 주로 **텍스트 인버전(textual inversion)**에 의존하며, 이는 참조 이미지를 소수의 의사 텍스트 토큰(pseudo-text tokens)으로 변환한 뒤 이를 텍스트 임베딩 공간에서 지시사항과 결합하는 방식입니다. 저자들은 이러한 접근 방식이 풍부한 시각적 단서를 몇 개의 토큰으로 압축하는 과정에서 필연적으로 정보를 손실하기 때문에, 세밀한 의미론(fine-grained semantics) 측면에서 **손실이 크고 취약하다(lossy and brittle)**고 주장합니다. 또한, 효과적인 인버전 프로젝터(inversion projector)를 학습시키기 위해서는 상당한 계산 자원(예: 웹 규모 데이터에 대한 멀티 GPU 학습)이 필요합니다. 추가적으로, CLIP과 같은 시각-언어 모델(VLM)은 부정(negation)(예: "no dog" 또는 "remove stripes") 처리에 어려움을 겪습니다. 이는 긍정적 개념과 부정적 개념이 임베딩 공간에서 기하학적으로 붕괴되어, 부정어가 포함된 쿼리에서 검색 실패를 초래하는 경우가 많기 때문입니다.

방법론: FlowCIR
본 논문은 FlowCIR을 제안하며, 이는 ZS-CIR을 사전 학습된 VLM의 임베딩 공간 내에서의 조건부 의미론적 수송(conditional semantic transport) 문제로 재정의합니다.

1. Flow Matching을 통한 조건부 의미론적 수송:
   FlowCIR은 정적인 토큰 조작 대신, 구성을 연속적인 수송 문제로 취급합니다. 이 모델은 참조 이미지 임베딩($x_{Ir}$)을 조건으로 하여, 상대적 지시사항 임베딩($x_{Tr}$)을 타겟에 정렬된 텍스트 임베딩($x_{Tt}$)으로 매핑하는 경량화된 조건부 속도장(conditional velocity field)(신경 ODE)을 학습합니다.

   • 학습: 모델은 **조건부 플로우 매칭(Conditional Flow Matching, CFM)**을 사용하여 합성된 트리플릿으로 학습됩니다. 모델은 예측된 속도장과 선형 경로를 따르는 실제 상수 속도($x_{Tt} - x_{Tr}$) 사이의 회귀 손실(regression loss)을 최소화합니다.
   • 검색 목적 함수: 예측된 타겟 텍스트 임베딩이 실제 타겟 이미지 임베딩과 일치하도록 하는 대조 검색 손실(InfoNCE)이 추가되며, 이때 변별력을 높이기 위해 배치 내에서 추출된 top-$K$ 하드 네거티브(hard negatives)를 사용합니다.
   • 효율성: 모델은 사전 추출된 VLM 임베딩 위에서 동작하며, 이미지나 텍스트 인코더를 업데이트하지 않고 오직 작은 수송 모듈(deep residual MLP)만을 학습합니다. 이를 통해 단일 GPU에서 약 0.5시간 만에 학습이 가능합니다.

2. 멀티 네거티브 스티어링 (추론 전용):
   VLM의 부정 표현에 대한 기하학적 모호성을 해결하기 위해, 저자들은 추론 전용 전략을 제안합니다.

   • 메커니즘: 부정어가 포함된 지시사항(예: "remove X")을 받으면, 경량 파서를 통해 지시사항을 긍정적 의도와 부정된 개념으로 분해합니다.
   • 스티어링(Steering): 이 방법은 긍정적 의도와는 정렬을 유지하면서도, 부정된 개념들의 기하학적 방향(하이퍼 스피어 캡(hyper-spherical caps)으로 모델링됨)으로부터는 명시적으로 밀려나도록 유도된 스티어링된 지시사항 임베딩을 구축합니다. 이는 수송 프로세스가 시작되기 전, CLIP 공간에서 흔히 발생하는 "부정 붕괴(negated collapse)"로부터 표현을 멀어지게 합니다.

주요 기여

1. FlowCIR 패러다임: 정적인 텍스트 인버전을 연속적인 참조 가이드 구성 프로세스로 대체하여, flow matching을 통한 조건부 의미론적 수송을 ZS-CIR의 메커니즘으로 도입했습니다.
2. 멀티 네거티브 스티어링: VLM이 부정 및 제거 지시사항을 처리할 때 발생하는 실패 모드를 완화하기 위한 추론 전용 전략을 제안하여, 부정어가 많은 쿼리에 대한 견고성을 크게 향상시켰습니다.
3. 학습 효율성: 수백 시간의 GPU 시간이나 대규모 TPU 클러스터를 요구하는 기존 인버전 기반 방법들과 대조적으로, 단일 GPU에서 약 0.5시간 동안 학습되는 경량 수송 모듈만으로 경쟁력 있는 성능을 달нима를 입증했습니다.

실험 결과
CLIP ViT-B/32 및 ViT-L/14 백본을 사용하여 CIRR, CIRCO, Fashion-IQ의 세 가지 표준 벤치마크에서 광범위한 실험을 수행했습니다.

• 성능: FlowCIR은 강력하고 경쟁력 있는 성능을 보여주며, 종종 기존의 텍스트 인버전 기반 방법(예: SEARLE, Pic2Word) 및 생성 기반 방법(예: Compo-Diff)을 능가합니다.
  • CIRR (ViT-L/14)에서 이전 최고 공개 데이터 베이스라인 대비 Recall@1을 2.3% 향상시켰습니다.
  • CIRCO (ViT-L/14)에서 mAP@5를 13.0에서 14.9로 14.6% 개선했습니다.
  • Fashion-IQ에서 최상의 평균 Recall@10을 달성했으며 Recall@50에서도 최고 수준을 기록했습니다.
• 효율성: 논문의 성능 대비 비용 분석에서 알 수 있듯이, FlowCIR은 수백 시간의 GPU 시간을 필요로 하는 베이스라인들과 비교하여 매우 적은 학습 시간(RTX 3090 단일 GPU에서 0.5시간)만으로 최상위권의 성능을 달성합니다.
• 절제 연구(Ablation Studies):
  • 조건부 플로우 매칭이 성능의 주요 동력임이 확인되었으며, 구성을 의미론적 수송으로 모델링하는 것이 직접 회귀(direct regression)나 텍스트 전용 베이스라인보다 우수함을 증명했습니다.
  • 멀티 네거티브 스티어링은 특히 부정어가 많은 쿼리에서 일관되고 상보적인 이득을 제공합니다.
  • 타겟 공간: (이미지 임베딩이 아닌) 타겟 텍스트 임베딩을 향해 수송하는 것이 더 나은 결과를 제공하는데, 이는 텍스트 임베딩이 더 의미 중심적인 신호와 더 균질한 매핑을 제공하기 때문입니다.

의의 및 주장
본 논문은 FlowCIR이 텍스트 인버전의 함정과 생성 기반 접근법의 높은 비용을 피하면서, 교차 모달 구성을 위한 원칙적이고 학습 효율적인 메커니즘을 제공한다고 주장합니다. CIR을 조건부 의미론적 수송으로 공식화함으로써, 이 방법은 세밀한 의미론을 더 잘 보존하고 점진적인 참조 가이드 구성을 가능하게 합니다. 저자들은 이 연구가 정적인 구성을 넘어선 새로운 교차 모달 검색 패러다임을 향한 단계라고 위치시키며, 플로우 기반 방법이 최소한의 계산 오버헤드로 높은 정확도를 달성할 수 있음을 강조합니다. 멀티 네거티브 스티어링 전략은 CLIP 스타일 모델의 알려진 약점에 대한 실용적인 해결책으로 제시되며, 추가적인 학습 데이터나 모델 업데이트 없이도 검색의 충실도를 높입니다.