기술 요약: CIRCLED – 도메인 전반에 걸쳐 일관된 대화를 가진 다회전 CIR 데이터셋

1. 문제 제기

기존의 다회전 합성 이미지 검색 (Multi-Turn Composed Image Retrieval, MTCIR) 연구는 두 가지 치명적인 한계에 직면해 있습니다:

1. 일관성 없는 대화 이력: Multi-turn FashionIQ와 같은 현재 데이터셋은 단일 회전 쿼리를 단순히 연결하여 구성됩니다. 이러한 접근법은 중간 회전이 점진적으로 정답 (Ground Truth, GT) 에 도달하도록 보장하지 못합니다. 결과적으로 중간 이미지와 캡션이 목표와 달라져 중간 회전에서의 검색 성능을 평가하거나 현실적인 반복적 검색 행동을 모델링하는 것이 불가능해집니다.
2. 도메인 제한: 이전 연구는 거의 예외 없이 패션 도메인 (예: 드레스, 셔츠) 에 국한되어 있어, 일반 도메인에서의 다회전 CIR 은 대부분 탐구되지 않았습니다.

이러한 한계는 진화하는 사용자 의도와 다양한 시각적 컨텍스트를 처리할 수 있는 견고한 다회전 CIR 시스템의 개발을 저해합니다.

2. 방법론

데이터셋 구축 (CIRCLED)

저자들은 FashionIQ, CIRR, CIRCO라는 세 가지 기존 단일 회전 CIR 데이터셋을 확장하여 구축한 새로운 데이터셋인 CIRCLED를 소개합니다. 구축 과정은 중간 결과에 기반하여 사용자가 검색을 정제하는 것을 시뮬레이션하는 다회전 세션을 생성하는 것을 포함합니다.

• 세션 생성: 정답 이미지 $Z$로 시작하여 $\{(I_1, T_1), \dots, (I_L, T_L)\}$의 회전 시퀀스를 생성합니다.
  • 1 회전: 소스 데이터셋의 원래 참조 이미지와 상대적 캡션을 사용합니다.
  • 후속 회전: GT 가 충분히 높은 순위로 랭크되지 않는 경우, 기준 검색 알고리즘이 상위-$K$ 결과 중 가장 가까운 이미지를 새로운 참조 이미지 ($I_l$) 로 선택합니다. 그런 다음 비전 - 언어 모델 (VLM) 이 선택된 이미지와 GT 간의 차이를 설명하는 새로운 상대적 캡션 ($T_l$) 을 생성하되, 이전 캡션의 반복을 명시적으로 피합니다.
• 기준 검색 알고리즘: 저자들은 세션 생성을 주도하기 위해 CIReVL(Karthik et al., 2024) 의 확장 버전을 사용합니다. 이 파이프라인은 다음을 사용합니다:
  • 이미지 캡션링을 위한 BLIP.
  • 캡션 병합, 차이 설명 생성, 쿼리 업데이트를 위한 GPT-4o-mini.
  • 특징 추출 및 유사도 매칭을 위한 CLIP.
  • 쿼리 업데이트 메커니즘은 선택된 이미지, 선택되지 않은 이미지, 그리고 병합된 텍스트의 특징을 집계하여 검색을 GT 방향으로 유도합니다.

품질 관리 필터

고품질의 일관된 대화를 보장하기 위해 생성된 세션에 네 가지 필터가 적용됩니다:

1. 검색 성공 필터: 6 회전 동안 GT 가 상위 10 후보에 단 한 번도 등장하지 않는 세션을 제거합니다.
2. 다회전 필터: 첫 회전에서 성공하는 세션을 제외하여, 오직 2 회전 이상의 진정한 다회전 상호작용만 유지되도록 합니다.
3. 순위 마진 필터 ($\epsilon$-일관성): 각 회전에서 GT 순위가 개선되거나 (또는 작은 마진 $\epsilon=30$ 이내로 유지됨) $r_{l+1} \le r_l + \epsilon$을 강제합니다. 이는 목표에 대한 단조로운 진전을 보장합니다.
4. 텍스트 중복성 필터 ($\tau$-다양성): 각 회전에서 상대적 캡션이 새로운 정보를 제공하도록, 새로운 캡션과 이전 캡션 간의 코사인 유사도를 제한 ($\tau=0.8$) 합니다.

평가 프로토콜

이 논문은 검색 알고리즘 $S$를 누적적으로 평가하는 회전별 평가 프레임워크를 제안합니다. 길이 $L$의 세션에 대해, 알고리즘은 회전 $l$에서 이력 $\{(I_1, T_1), \dots, (I_l, T_l)\}$을 수신하고 GT 에 대한 순위 $r_l$을 출력합니다.

성능의 다양한 측면을 포착하기 위해 세 가지 지표가 도입되었습니다:

• Hits@10 (회전별): 회전 $l$까지 상위 10 에 도달한 쿼리의 비율.
• 최종 Recall@10: 마지막 회전에서 사용 가능한 모든 정보를 활용한 정확도.
• Hits@10 에 대한 AUC: Hits@10 곡선 아래의 면적으로, 수렴 속도와 초기 도달 가능성을 측정합니다.

3. 주요 기여

1. CIRCLED 데이터셋: 9 개의 하위 집합(패션 및 일반 도메인 포함) 에 걸친 22,608 개의 세션을 포함하는 대규모 다회전 CIR 데이터셋입니다. 202,845 개의 이미지를 포함하며 2~6 회전 세션을 지원하여 Multi-turn FashionIQ의 규모와 일반성을 크게 초과합니다.
2. 일관된 대화 구조: 이전 데이터셋과 달리 CIRCLED 는 $\epsilon$-일관성과 $\tau$-다양성을 강제하여, 모든 회전이 점진적이고 정보적으로 정답을 향해 이동하도록 보장합니다. 이는 임의의 중간 회전에서 검색 성능을 평가할 수 있게 합니다.
3. 광범위한 도메인 커버리지: 이 데이터셋은 패션 영역을 넘어 일반 도메인 (CIRR 및 CIRCO 를 통해) 을 포함하여 다양한 객체 유형과 장면 수정에 대한 다회전 CIR 연구를 촉진합니다.
4. 평가 프레임워크: 회전별 지표 (Hits@10, AUC) 의 도입은 최종 회전 정확도뿐만 아니라 방법론이 역사적 컨텍스트를 얼마나 잘 활용하는지에 대한 세분화된 분석을 가능하게 합니다.

4. 실험 결과

저자들은 Text-only, Image-only, Pic2Word, CIReVL, MagicLens를 포함한 여러 기준 방법을 CIRCLED 에서 평가했습니다.

• 회전별 성능: 결과는 검색 정확도가 일반적으로 회전이 증가함에 따라 향상되지만 종종 정체된다는 것을 보여줍니다. MagicLens는 일반 도메인 데이터 (CIRCO) 에서 강력한 성능을 발휘하는 반면, CIReVL은 패션 도메인에서 탁월합니다.
• 모달리티: Text-only 기준 방법은 모든 하위 집합에서 Image-only 기준 방법보다 일관되게 우월한 성능을 보여, 다회전 설정에서 참조 이미지 단독보다 상대적 캡션이 더 많은 차별적 정보를 담고 있음을 시사합니다.
• 지표 민감도: AUC 지표는 Final Recall@10 이 놓칠 수 있는 성능 차이를 드러냅니다. 예를 들어, CIRR 검증 세트에서 CIReVL 은 2 회전 이후부터 Text-only 보다 우월하지만, 1 회전에서의 약한 성능이 전체 AUC 를 낮추어 전체 궤적을 평가하는 것의 중요성을 부각시킵니다.
• 품질 검증: LLM-as-a-Judge 평가 (GPT-5-mini 사용) 는 필터링되지 않은 세션이나 단일 회전 데이터셋의 단순 연결에 비해 CIRCLED 세션이 일관성, 목표 진전, 전체 품질에서 가장 높은 점수를 받음을 확인했습니다.

5. 중요성과 주장

이 논문은 CIRCLED가 이전 연구의 이력 일관성 부족과 도메인 다양성 문제를 해결하는 실용적이고 고품질의 벤치마크를 제공한다고 주장합니다. 다회전 대화가 일관되고 점진적으로 목표에 수렴하도록 보장함으로써, 이 데이터셋은 이전에 측정 불가능했던 반복적 검색 행동의 연구를 가능하게 합니다.

저자들은 그들의 작업이 다음을 통해 다회전 CIR 에 대한 미래 연구를 촉진한다고 강조합니다:

• 최종 정확도와 수렴 속도를 모두 포착하는 표준화된 평가 프로토콜 제공.
• 패션 도메인을 넘어선 연구를 지원하는 데이터셋 제공.
• 여러 상호작용 회전에 걸쳐 시각적 및 텍스트적 단서를 효과적으로 집계할 수 있는 시스템 개발 가능.

데이터셋과 코드는 재현성과 해당 분야의 추가 발전을 지원하기 위해 공개적으로 제공됩니다.