Show, Don't Ask: Generative Visual Disambiguation for Composed Image Retrieval with Turn-Valid Coverage

기술 요약: 구성된 이미지 검색을 위한 CLARA

문제 정의
구성된 이미지 검색(Composed Image Retrieval, CIR)은 사용자가 참조 이미지와 수정 텍스트(예: "이 옷과 비슷하지만 더 격식 있는 스타일로")를 사용하여 코퍼스를 검색할 수 있게 해줍니다. 기존 시스템은 일반적으로 하나의 쿼리가 단일 타겟 이미지로 매핑된다고 가정하며, 이를 단일 주석에 대한 Recall@K를 통해 평가합니다. 그러나 저자들은 이러한 가정이 결함이 있다고 주장합니다. 구성된 쿼리는 단 하나의 이미지를 특정하기보다는 오히려 "코퍼스의 특정 영역"을 정의하는 경우가 많기 때문입니다. 사용자가 의도한 구체적인 멤버는 쿼리만으로는 결정되지 않습니다.

최근의 시도들은 잔여 불확실성을 해결하기 위해 텍스트 질문을 사용하여 후보 집합을 반환하고 보장된 커버리지 확률을 사용하는 컨포멀 예측(conformal prediction) 레이어를 리트리버에 결합합니다. 저자들은 기존 방식에서 두 가지 결정적인 실패를 식별했습니다:

1. 커버리지 보장의 상실: 컨포멀 커버리지 보장은 데이터 교환 가능성(data exchangeability)에 의존합니다. 시스템이 적응적으로 질문을 던지고 그 답변에 따라 자신의 신념(belief)을 업데이트하면, 이는 **피드백 공변량 변화(feedback covariate shift)**를 유발합니다. 원래의 교정 임계값(calibration threshold)을 업데이트된 신념에 다시 적용하는 것은 커버리지 보장을 무효화하며, 이로 인해 실제 커버리지는 명목 수준보다 현저히 낮게 드리프트됩니다.
2. 비효율적이고 순환적인 명료화: 텍스트 질문은 미세한 시각적 차이(관점, 질감, 스타일)를 전달하기에는 대역폭이 낮은 채널입니다. 또한, 현재의 텍스트 기반 정책은 질문을 선택하기 위해 멀티모달 모델을 사용하여 사용자의 답변을 예측하는데, 이는 모델이 질문을 던지는 동시에 스스로 답하게 함으로써 실제 사용자가 아닌 시뮬레이터를 최적화하게 만드는 순환적 평가를 생성합니다.

방법론: CLARA
저자들은 텍스트 기반의 질문을 생성적 시각적 모호성 해소(generative visual disambiguation)로 대체하면서, 상호작용 라운드 전반에 걸쳐 수학적으로 유효한 커버리지 보장을 유지하는 프레임워크인 CLARA(CLArification by Rendering Alternatives)를 제안합니다.

1. 교정된 신념 및 컨포멀 집합:
   시스템은 쿼리와 상호작용 이력에 조건화된 코퍼스에 대한 신념 분포 $p(I|q, h_m)$을 유지합니다. 이 시스템은 적응형 컨포멀 예측을 사용하여 실제 타겟이 집합 $C$ 안에 있을 확률이 최소 $1-\alpha$가 되도록 후보 집합을 생성합니다. 이 집합의 크기는 모호성의 직접적인 척도로 활용됩니다.

2. 생성적 시각적 모호성 해소 (묻지 말고 보여주기):
   후보 집합이 너무 커지면(높은 모호성을 나타냄), CLARA는 텍스트 질문을 던지지 않습니다. 대신 다음 과정을 수행합니다:

   • 모드 분할(Mode Partitioning): 해석 가능한 모호성 축(보존된 속성, 변경된 속성, 관점, 배경)을 기준으로 후보 집합을 $k$개의 모드로 클러스터링합니다.
   • 생성-커버(Generate-to-Cover): 중복 없이 전체 신념 공간을 대표할 수 있도록 서브모듈러 커버리지-다양성 목적 함수를 최대화하는 모드 부분 집합을 선택합니다.
   • 렌더링 및 스냅(Rendering and Snapping): 조건부 확산 모델(conditional diffusion model)이 각 선택된 모드에 대한 프로토타입 이미지를 렌더링합니다. 결정적으로, 각 렌더링된 프로토타입은 가장 가까운 실제 코퍼스 예시(모드의 중앙값)로 "스냅(snap)"됩니다. 사용자는 렌더링된 이미지를 보지만, 선택하는 것은 실제 코퍼스 부분 집합입니다. 이를 통해 생성된 이미지의 아티팩트가 예측 집합을 부풀리거나 커버리지 보장을 위반하지 않도록 보장합니다.
   • 사용자 상호작용: 사용자는 자신의 의도에 가장 가까운 프로토타입을 단순히 선택합니다. 이는 고대역폭의 모델 프리(model-free) 신호를 제공합니다.

3. 선택 재가중치를 통한 턴 유효 커버리지:
   사용자의 선택으로 인한 피드백 공변량 변화를 해결하기 위해, CLARA는 각 명료화 라운드를 쿼리 분포의 명시적인 변화로 취급합니다.

   • 사용자의 선택 이력과 선택 모델 $\pi$를 기반으로 우도 비(likelihood ratio) 가중치 $w_m$을 계산합니다.
   • **가중 분할 컨포멀 예측(weighted split conformal prediction)**을 적용하여 교정 시 비정상성 점수(nonconformity scores)를 재가중합니다.
   • 명제 1은 이 재가중화를 통해 커버리지 보장($Pr(IT \in C) \geq 1-\alpha$)이 첫 번째 라운드뿐만 아니라 모든 확정된 라운드에서 유지됨을 증명합니다.

4. 신념 업데이트:
   사용자의 선택이 발생하면, 이전 신념에 소프트 멤버십 우도(잘못된 선택 시에도 실제 타겟이 버려지는 것을 방지하기 위해 하한선을 둠)와 선택된 모드를 텍스트 쿼리에 추가하는 시맨틱 업데이트를 곱하는 논리적 재가중치를 통해 신념을 업데이트합니다.

주요 기여

• 피드백 공변량 변화 식별: 본 논문은 적응적 선택으로 인해 표준적인 대화형 컨포럴 커버리지가 첫 번째 턴 이후 실패함을 입증하고, 이를 선택-재가중 컨포럴 예측을 통해 수정하기 위한 이론적 프레임워크를 제안합니다.
• 생성적 시각적 모호성 해소: CLARA는 텍스트 질문을 후보 모드의 커버리지 기반 렌더링으로 대체합니다. 이는 "답변-모델"의 순환성을 제거하고, 시각적 차이를 위한 고대역폭의 시각적 신호를 활용합니다.
• 턴 유효 보장: 저자들은 가중 컨포럴 접근 방식이 모든 상호작용 라운드에서 명목 커버리지를 유지한다는 증명을 제공합니다.
• AmbiCIR-V: 오픈 도메인 및 패션 벤치마크를 시각적 명료화 메트릭(커버리지-스루-턴 및 모호성 축 주석 포함)과 통합하는 새로운 평가 프로토콜 및 데이터셋 확장입니다.

결과
실험은 오픈 도메인(CIRR), 멀티 포지티브(CIRCO), 패션(FashionIQ) 벤치마크에서 수행되었습니다.

• 단일 턴 성능: CLARA는 최신 단일 턴 방법들과 통계적으로 대등하며, 이는 정밀한 쿼리의 경우 해상 레이어가 비용을 발생시키지 않음을 확인시켜 줍니다.
• 커버리지 안정성: 나이브(naive)한 대화형 컨포럴 방법들이 3라운드째에 명목 커버리보다 최대 10%포인트 낮게 떨어지는 것과 달리, CLARA는 모든 라운드와 모호성 축에서 명목 커버리지를 유지합니다.
• 상호작용 효율성: CLARA는 가장 강력한 텍스트 질문 정책(EIG-TEXT)보다 더 적은 라운드 안에 타겟에 도달합니다. 이러한 이점은 관점 및 속성 모호성에서 가장 두드러지며, 여기서 시각적 선택이 텍스트 질문보다 우수함을 보여줍니다.
• 인간 대상 연구: 30명의 참가자를 대상으로 한 연구에서 실제 사용자들이 텍스트 질문보다 시각적 패널을 선호하며, 더 적은 턴으로 더 높은 성공률을 달성함을 확인하여 시뮬레이션 결과를 검증했습니다.
• 강건성: 시스템은 사용자 실수(소프트 우도 업데이트)와 적대적 선택에 대해 강건하며, 커버리지가 파멸적으로 저하되는 대신 완만하게 저하됩니다.

의의 및 주장
본 논문은 CIR을 "하나의 쿼리-하나의 타겟" 작업에서 "교정된 의도 해소" 문제로 재정의함으로써 이 분야를 발전시킨다고 주장합니다. 그 의의는 다음과 같습니다:

1. 이론적 엄밀성: 상호작용적 리트리벌이 피드백 공변량 변화 문제임을 규명하고, 모든 상호작용 턴에서 유효한 커버리지를 보장하는 최초의 방법을 제공합니다.
2. 실용적 사용성: "묻는 것"(텍스트)보다 "보여주는 것"(시각적 렌더링)이 시각적 모호성을 해결하는 데 더 우수한 채널임을 입증하여, 복잡하고 편향될 수 있는 답변 모델의 필요성을 제거합니다.
3. 충실한 합성: 시각화를 위해 생성 모델을 사용하면서도 리트리벌 시스템의 통계적 보장을 해치지 않는 "스냅-투-코퍼스(snap-to-corpus)" 메커니즘을 도입합니다.

저자들은 리트리벌을 시각적으로 상호작용하고 교정되는 과정—모호성을 측정하고, 확신이 들 때 확정하며, 확신이 없을 때 대안을 보여주는 것—으로 다루는 것이 현재의 단일 턴 가정을 넘어선 필수적인 단계라고 결론짓습니다.