기술 요약: SeCo-SBIR

문제 정의

제로샷 스케치 기반 이미지 검색(Zero-Shot Sketch-Based Image Retrieval, ZS-SBIR)은 자유로운 형태의 스케치 쿼리를 사용하여 데이터베이스에서 자연 이미지를 검색하는 것을 목표로 하며, 특히 학습 과정에서 보지 못한 카테고리를 대상으로 합니다. 이 과제는 근본적인 긴장 관계에 직면해 있습니다: 모델은 추상적인 스케치와 상세한 사진 사이의 상당한 교차 모달리티 간극을 메우기 위해 충분히 깊게 적응해야 하지만, 적응을 위해 도입된 어떠한 추가적인 유연성도 CLIP과 같은 사전 학습된 시각-언어 모델(VLM)이 가진 제로샷 일반화 능력을 저해하는 과적합(overfitting)의 위험을 초 มี합니다.

기존의 프롬프트 학습 방법들은 이러한 트레이드오프를 해결하는 데 어려움을 겪는 경우가 많습니다. CLIP-AT와 같은 방식은 텍스트와 시각 브랜치를 독립적으로 취급하며, SpLIP과 같은 양방향 방식은 토큰을 교환하지만 본 카테고리에 대한 과적합을 방지하기 위한 명시적인 정규화 기법이 부족합니다. 결과적으로, 적응된 표현(representations)은 학습된 카테기 분포 쪽으로 편향되어, 본 카테고리와 미학습 카테고리가 공존하는 일반화된 ZS-SBIR(GZS-SBIR) 환경에서 미학습 클래스에 대한 일반화에 실패하게 됩니다.

방법론: SeCo-SBIR

저자들은 SeCo-SBIR(Semantically Consistent Prompt Learning)을 제안합니다. 이는 텍스트 가이드형 다중 모달 프롬프팅과 섭동(perturbation) 기반 일관성 제약을 통해 적응과 일반화 사이의 긴장을 해결하도록 설계된 프레임워크입니다.

1. 텍스트 가이드형 다중 모달 프롬프팅 (Text-Guided Multi-Modal Prompting)

순수하게 시각 인코더 내에서만 학습 가능한 프롬프트 벡터를 학습하는 표준적인 비주얼 프롬프트 튜닝과 달리, SeCo-SBIR은 학습 가능한 프롬프트 벡터를 텍스트 인코더를 통해 먼저 통과시킵니다.

• 메커니즘: 학습 가능한 프롬프트 벡터는 고정된 텍스트 템플릿(예: "a photo of a [category]")의 초기 토큰을 대체합니다. 이 벡터들은 텍스트 인코더의 트랜스포머 레이어를 통과합니다.
• 교차 모달 결합: 텍스트 인코더의 모든 레이어 $l$에서, 중간 프롬프트 표현은 학습 가능한 결합 함수($F_l$)를 통해 시각 인코더의 임베딩 공간으로 투영됩니다.
• 심층 주입 (Deep Injection): 이렇게 투영된 표현들은 (사진과 스케치 브랜치 모두에서) 시각 인코더의 해당 레이어에 시각적 프롬프트로 주입됩니다.
• 근거: 텍스트 인코더는 대규모 언어 감독을 통해 견고하고 추상적인 카테고리 수준의 의미론을 학습했으므로, 이 메커니즘은 언어에 기반한 의미론적 지식을 시각 경로에 직접 주입할 수 있습니다. 이를 통해 모델은 스케치-사진 도메인 간극에 적응하면서도, 학습된 클래스의 시각적 통계가 아닌 언어에 기반하여 적응을 수행할 수 있습니다.

2. 섭동 기반 일관성 제약 (Perturbation-Based Consistency Constraint)

학습 가능한 구성 요소(프롬프트 및 결합 함수)가 학습된 카테고리에 과적합되는 것을 방지하기 위해, 저자들은 적응된 모델을 동결된(frozen) CLIP 참조 모델과 정렬하는 정규화 전략을 도입합니다.

• 비대칭 설계: 주어진 입력에 대해, 증강된 뷰(random erasing, cropping, flipping 적용)는 동결된 CLIP 시각 인코더에 입력되는 반면, 클린(clean) 입력은 학습 가능한(프롬프트가 적용된 적응형) 인코더에 입력됩니다.
• InfoNCE 목적 함수: 모델은 비대칭 InfoNCE 손실을 사용하여 학습됩니다. 학습 가능한 브랜치는 증강된 입력에 대한 동결된 브랜치의 표현보다 다른 샘플들의 표현에 더 가깝게 생성되어야 합니다.
• 근 근거: 이는 학습 가능한 브랜치가 섭동 하에서도 CLIP의 일반화된 특징 공간과 구조적으로 호환되는 입력 불변(input-invariant) 표현을 학습하도록 강제함으로써, 학습 가능한 모델이 단순히 동결된 모델을 복제하는 식의 사소한 해(trivial solutions)를 찾는 것을 방지합니다.

3. 학습 목적 함수 (Training Objective)

프레임워크는 다음을 결합한 다중 목적 함수를 사용합니다:

• 교차 모달 트리플렛 손실 (Cross-Modal Triplet Loss): 일치하는 스케치-사진 쌍은 가깝게 만들고, 일치하지 않는 쌍은 멀어지게 합니다.
• NT-Xent 손실: 스케치-투-포토 및 포토-투-스케치 양방향 모두에 대해 조밀한 배치 수준의 대비 학습(contrastive supervision)을 제공합니다.
• 분류 손실 (Classification Loss): 시각적 특징을 프롬프트가 증강된 텍스트 인코더로부터 유도된 클래스 프로토타입과 정렬합니다.
• 일관성 손실 (Consistency Loss): 위에서 설명한 섭동 기반 InfoNCE 손실입니다.

주요 기여

1. 텍스트 가이드형 다중 모달 프롬프팅: 학습 가능한 결합 함수를 통해 텍스트 인코더의 중간 표현으로부터 시각적 프롬프트를 유도하는 새로운 메커니즘을 제시합니다. 이는 언어에 기반한 카테고리 의미론을 활용하여 시각 경로를 적응시키며, 본질적으로 미학습 클래스로의 일반화를 선호하도록 합니다.
2. 섭동 기반 일관성 제약: 동결된 CLIP 참조 모델과 적응된 임베딩을 정렬하기 위해 비대칭 InfoNCE 목적 함수를 사용하는 정규화 기술입니다. 이는 추가된 학습 가능 파라미터로 인해 발생할 수 있는 학습된 카테고리에 대한 과적합 위험을 효과적으로 완화합니다.
3. 최첨단 성능 (SOTA): 이러한 구성 요소들을 경량 어댑터와 통합하여 모든 표준 ZS-SBIR 벤치마크에서 우수한 결과를 달もの했습니다.

실험 결과

저자들은 Sketchy-Ext, TU-Berlin-Ext, QuickDraw-Ext의 세 가지 표준 벤치마크에서 카테고리별, 일반화된(GZS-SBIR), 그리고 데이터셋 간(across-dataset) 설정에 대해 SeCo-SBIR을 평가했습니다.

• 카테고리별 ZS-SBIR: SeCo-SBIR은 모든 데이터셋의 모든 지표에서 가장 높은 점수를 기록했습니다. 특히, 미세한 카테고리로 인해 과적합에 민감한 TU-Berlin-Ext에서 이전 최고 모델인 SpLIP보다 mAP@all에서 +5.6%, P@100에서 +6.5% 높은 성능을 보였습니다. QuickDraw-Ext에서는 mAP@all이 +1.8% 향상되었습니다.
• 일반화된 ZS-SBIR (GZS-SBIR): 갤러리에 학습된 클래스와 미학 학습 클래스가 혼합된 환경에서, SeCo-SBIR은 TU-Berlin-Ext에서 SpLIP 대비 mAP@all +4.6%, P@100 **+7.5%**의 유의미한 향상을 보여주며 학습된 클래스 편향을 효과적으로 완화했음을 입증했습니다.
• 데이터셋 간 ZS-SBIR: Sketchy-Ext에서 학습하고 미세 조정 없이 TU-Berlin-Ext 및 QuickDraw-Ext에서 테스트했을 때, QuickDraw-Ext에서 mAP@all이 +6.8% 향상되어 도메인 변화에 대한 강건성을 보여주었습니다.
• 절제 연구 (Ablation Studies): 각 구성 요소가 중복되지 않게 기여함을 확인했습니다. 텍스트 가이드 결합은 독립적인 프롬프팅보다 +1.4%의 이득을 주었으며, 일관성 제약은 제거 시 2.6%의 성능 저하를 막아주는 핵심적인 역할을 했습니다. 또한 비대칭 섭동 설계가 양쪽 브랜치 모두에 클린 입력을 사용하는 것보다 우수함이 검증되었습니다.

의의 및 주장

본 논문은 SeCo-SBIR이 ZS-SBIR의 핵심적인 긴장 관계, 즉 심층 적응의 필요성과 제로샷 일반화 능력의 필요성 사이의 문제를 성공적으로 해결했다고 주장합니다. 언어에 기반한 지식(텍스트 인코더를 통해)을 통해 적응을 전달하고, 일관성 제약(섭 through 섭동 기반 제약)을 통해 학습 가능한 구성 요소를 명시적으로 제한함으로써, 이 프레임워크는 사전 학습된 CLIP 백본의 일반화 능력을 희생하지 않으면서 스케치-사진 도메인에 모델을 적응시킵니다.

저자들은 이 연구를 시각-언어 모델을 미학습 카테고리로의 일반화가 요구되는 시나리오에 배포하기 위한 원칙적인 접근 방식으로 규정하며, 의미론적 일관성과 섭동 기반 정규화가 현재의 프롬프트 학습 패러다임의 한계를 극복하는 데 효과적인 전략임을 입증하였습니다.