CLAY: Conditional Visual Similarity Modulation in Vision-Language Embedding Space

이 논문은 사전 훈련된 비전 - 언어 모델의 임베딩 공간을 텍스트 조건부 유사도 공간으로 재정의하여 추가 학습 없이도 사용자의 관심사와 초점에 따라 적응적으로 시각적 유사성을 계산하고 효율적인 다조건 검색을 가능하게 하는 'CLAY' 방법론과 이를 평가하기 위한 데이터셋을 제안합니다.

핵심

안녕하세요! 오늘 소개해 드릴 논문은 CLAY라는 이름의 새로운 이미지 검색 기술에 관한 것입니다. 이 기술을 쉽게 이해하실 수 있도록, 일상생활에 비유하여 설명해 드리겠습니다.

🎨 CLAY란 무엇인가요? "점토 (Clay) 로 모양을 빚다"

이름에서 알 수 있듯, CLAY는 마치 **점토 (Clay)**처럼 이미지를 다루는 기술입니다.

기존의 이미지 검색 시스템은 마치 **"딱딱한 돌"**처럼 고정되어 있었습니다. "이 사진과 비슷한 사진을 찾아줘"라고 하면, 시스템은 무조건 모양, 색감, 전체적인 분위기를 모두 합쳐서 가장 비슷한 사진을 찾아냈습니다. 하지만 사람마다 원하는 것이 다 다르죠?

• 사용자 A: "이 사진 속 **강아지 종 (Species)**이랑 똑같은 종의 강아지 사진을 찾아줘." (색상이나 배경은 상관없음)
• 사용자 B: "이 사진처럼 파란 하늘 (Location/Color) 아래 있는 강아지 사진을 찾아줘." (종은 상관없음)

기존 시스템은 이 두 가지 다른 요구를 동시에 들어주기 어렵습니다. 마치 돌을 깎아서 모양을 바꾸려면 다시 처음부터 조각해야 하듯이, 검색 조건이 바뀔 때마다 모든 데이터를 다시 계산해야 했기 때문입니다.

CLAY는 이 문제를 해결합니다. CLAY 는 **"지능형 점토"**처럼, 사용자가 원하는 조건에 따라 검색 공간의 모양을 유연하게 변형시킵니다.

---

🧠 어떻게 작동할까요? "나만의 안경"을 끼는 것

CLAY 의 핵심 아이디어는 **"이미지 자체를 다시 계산하지 않고, 보는 '안경'만 바꾸는 것"**입니다.

1. 기존 방식 (무거운 짐):

   • 사용자가 "종 (Species)"을 원하면, 시스템은 모든 강아지 사진을 다시 분석해서 종만 추출합니다.
   • 사용자가 "배경 (Location)"을 원하면, 다시 모든 사진을 분석해서 배경만 추출합니다.
   • 문제: 데이터가 많으면 이 과정이 너무 느리고 비쌉니다.

2. CLAY 방식 (가벼운 안경):

   • 시스템은 모든 강아지 사진을 한 번만 분석해서 **"기본 이미지"**를 만들어 둡니다. (이건 한 번만 하면 됩니다!)
   • 사용자가 "종"을 원할 때는, **"종에 집중하는 안경"**을 끼고 기본 이미지를 봅니다.
   • 사용자가 "배경"을 원할 때는, **"배경에 집중하는 안경"**을 끼고 똑같은 기본 이미지를 봅니다.
   • 장점: 안경 (조건) 만 바꾸면 되므로, 검색 속도가 매우 빠르고 효율적입니다.

이 '안경'을 만드는 기술이 바로 **Vision-Language Model (VLM, 이미지와 텍스트를 이해하는 AI)**의 능력을 활용하는 것입니다. 사용자가 "종"이라고 텍스트로 말하면, AI 는 그 의미에 맞춰 이미지들을 비교하는 기준 (비유적 공간) 을 살짝 비틀어줍니다.

---

🛠️ CLAY 가 만든 새로운 도구: "CLAY-EVAL"

이 기술이 얼마나 좋은지 증명하기 위해, 연구팀은 CLAY-EVAL이라는 새로운 시험용 데이터셋을 만들었습니다.

• 왜 필요한가요? 기존 데이터셋은 너무 단순하거나, 실제 사람/물체 사진이라 조건을 정밀하게 통제하기 어려웠습니다.
• 어떻게 만들었나요? 최신 생성 AI 를 이용해, 색상, 모양, 행동, 배경 등을 완벽하게 통제할 수 있는 가상의 사진 1 만 장 이상을 만들었습니다.
  • 예: "빨간색 의자", "파란색 의자", "달리는 사람", "앉아 있는 사람" 등 조건을 조합해 만든 사진들입니다.
• 효과: 이 데이터로 실험한 결과, CLAY 는 기존 방법들보다 훨씬 정확하고 빠르게 원하는 이미지를 찾아냈습니다.

---

💡 요약: CLAY 가 가져오는 변화

1. 유연함: "이거랑 비슷한 거 찾아줘"라고 할 때, "색깔만 비슷하게", "종만 비슷하게", "분위기만 비슷하게" 등 사용자의 의도에 맞춰 검색 기준을 실시간으로 바꿀 수 있습니다.
2. 빠름: 매번 모든 사진을 다시 분석할 필요가 없습니다. 미리 만들어진 이미지를 조건에 맞는 안경으로만 보면 되므로 속도가 매우 빠릅니다.
3. 무료 (Training-free): 별도의 복잡한 학습 과정 없이, 이미 잘 만들어진 AI 모델 (CLIP 등) 을 활용합니다.

한 줄로 정리하자면:

CLAY는 "이 사진과 비슷한 걸 찾아줘"라는 명령을 들을 때, 사용자의 눈높이 (관심사) 에 맞춰 검색 기준을 유연하게 변형시켜주는, 빠르고 똑똑한 이미지 검색 도우미입니다.

이 기술이 발전하면, 나중에 쇼핑몰에서 "이 옷과 색깔은 같지만 스타일은 다른 옷을 찾아줘"라고 말만 하면, 원하는 옷을 순식간에 찾아주는 세상을 만들 수 있을 것입니다!

기술 요약

1. 문제 정의 (Problem Definition)

기존의 이미지 검색 시스템은 시각적 유사성을 고정된 (fixed), 단일한 (monolithic) 척도로 정의하는 경향이 있습니다. 그러나 인간의 시각적 지각은 사용자의 관심사나 목적에 따라 유연하고 적응적 (adaptive) 입니다. 예를 들어, 같은 '개' 이미지라도 사용자는 '품종 (Species)'에 초점을 맞출 수도 있고, '행동 (Action)'이나 '배경 (Location)'에 따라 유사한 이미지를 원할 수도 있습니다.

기존의 조건부 이미지 검색 (Conditional Image Retrieval) 연구는 주로 두 가지 방향으로 진행되었습니다:

1. 특정 속성 변경 (Change): 쿼리 이미지의 특정 속성을 텍스트로 변경하여 타겟 이미지를 찾는 방식 (Composed Image Retrieval, CIR).
2. 특정 속성 집중 (Focus): 쿼리 이미지 내의 특정 속성 (예: 색상, 품종) 에만 초점을 맞춰 유사한 이미지를 찾는 방식.

현재의 한계점:

• 학습 기반 접근법의 비효율성: 기존 방법 (GeneCIS 등) 은 특정 조건에 맞춰 모델을 학습시키거나, 쿼리와 데이터베이스 이미지를 모두 조건에 따라 변형 (modulate) 해야 합니다. 이는 매번 데이터베이스의 모든 이미지 특징을 다시 계산해야 하므로 계산 비용이 매우 높고, 새로운 조건이 추가될 때마다 재학습이 필요하다는 단점이 있습니다.
• 비대칭적 접근의 한계: 일부 방법은 쿼리만 조건에 맞추고 데이터베이스는 고정된 방식을 사용하는데, 이는 데이터베이스 이미지가 조건을 반영하지 못해 최적의 검색 성능을 내기 어렵습니다.

2. 제안 방법: CLAY (Methodology)

저자들은 CLAY를 제안합니다. 이는 추가 학습 (Training-free) 없이 사전 학습된 비전 - 언어 모델 (VLM, 예: CLIP, SigLIP) 의 임베딩 공간을 텍스트 조건에 따라 동적으로 변조하여 유사도를 계산하는 방법입니다.

핵심 아이디어:

• 고정된 시각적 특징 유지: 데이터베이스 이미지의 시각적 특징 (Visual Embeddings) 은 사전에 한 번만 추출하여 고정합니다.
• 조건 기반 유사도 공간 변조: 사용자의 텍스트 조건 (Condition) 에 따라 유사도 계산 공간 (Similarity Space) 만을 동적으로 조정합니다. 즉, 쿼리와 데이터베이스 이미지를 동일한 조건에 맞춰 투영 (Projection) 하여 유사도를 계산합니다.

기술적 세부 사항:

1. 대칭적 (Symmetric) 유사도 계산: 쿼리와 데이터베이스 이미지 모두 동일한 텍스트 조건에 기반하여 변형된 공간에서 비교됩니다. 이는 데이터베이스 특징을 매번 다시 인코딩하지 않으면서도 조건에 민감한 검색을 가능하게 합니다.
2. 매니폴드 인식 텍스트 서브스페이스 (Manifold-aware Textual Subspace):
   • VLM 의 임베딩 공간은 유클리드 공간이 아닌 단위 초구 (Unit Hypersphere) 위에 존재합니다.
   • 기존 SVD(특이값 분해) 기반의 선형 투영은 이 기하학적 구조를 무시합니다.
   • CLAY 는 로그 맵 (Logarithm Map) 을 사용하여 텍스트 특징을 접선 공간 (Tangent Space) 으로 매핑한 후, SVD 를 수행하여 조건에 맞는 투영 행렬 ($P_c$) 을 생성합니다. 이를 통해 임베딩 공간의 곡률을 고려한 정확한 관계 모델링이 가능합니다.
3. 정렬 (Rotation) 및 투영:
   • 시각적 특징과 텍스트 특징 간의 '원뿔 효과 (Conic effect)'로 인한 오차를 줄이기 위해, 데이터베이스 시각적 특징의 평균을 텍스트 조건 평균과 정렬하는 직교 회전 (Orthonormal Rotation, $H(\cdot)$) 을 적용합니다.
   • 이후 회전된 시각적 특징을 접선 공간으로 매핑하고, 미리 계산된 투영 행렬 $P_c$ 를 통해 조건 인식 서브스페이스로 투영합니다.
   • 최종적으로 투영된 벡터 간의 코사인 유사도로 검색을 수행합니다.

장점:

• 학습 불필요 (Training-free): 새로운 조건이 들어와도 데이터베이스 특징을 다시 추출할 필요가 없습니다.
• 고효율: 데이터베이스 크기에 비례하는 추가 계산 없이 실시간 검색이 가능합니다.
• 다중 조건 지원: 여러 텍스트 조건을 결합하여 복잡한 검색 시나리오를 지원합니다.

3. 주요 기여 (Key Contributions)

1. CLAY 알고리즘: 고정된 VLM 임베딩을 활용하여 추가 학습 없이 조건에 적응적인 시각적 유사도를 계산하는 효율적인 방법론 제안.
2. 다중 조건 검색 지원: 단일 조건뿐만 아니라 여러 조건 (예: 색상 + 카테고리) 을 동시에 만족하는 유연한 검색 체계 구축.
3. CLAY-EVAL 데이터셋: 기존 데이터셋의 한계 (단일 조건, 단순한 3D 객체 등) 를 극복하기 위해 생성형 AI(FLUX) 를 활용하여 구축한 대규모 합성 평가 데이터셋.
   • CLAY-Object: 카테고리, 하위 카테고리, 색상 등 다양한 속성 조합.
   • CLAY-Human: 나이, 행동, 배경, 인종 등 인간 관련 속성 조합.
   • 약 14,000 개 이상의 이미지와 정교한 속성 주석을 포함.

4. 실험 결과 (Results)

평가 환경:

• 실제 데이터셋: Stanford40, OxfordPets, Fine-grained 분류 데이터셋 (Flowers, Cars, Aircraft 등).
• 합성 데이터셋: CLEVR4, CLAY-EVAL.
• 비교 대상: CLIP, SigLIP, GeneCIS, FocalLens, InstructBLIP, MagicLens 등.

주요 성과:

• 검색 정확도 (mAP): 단일 조건 및 다중 조건 설정 모두에서 기존 최첨단 방법 (SOTA) 보다 우수한 성능을 기록했습니다. 특히 SigLIP-B 백본을 사용할 때 대부분의 데이터셋에서 1 위를 차지했습니다.
• 계산 효율성: 데이터베이스 특징을 재계산하지 않는 CLAY 는 GeneCIS 등 학습 기반 방법보다 매우 빠른 추론 속도를 보입니다. (예: 2 번째 조건 적용 시 GeneCIS 는 1.6 초 이상 소요되나 CLAY 는 0.1 초 미만).
• 다중 조건 성능: 기존 방법들은 다중 조건 입력을 지원하지 않거나 성능이 급격히 떨어지는 반면, CLAY 는 조건 조합에 따라 높은 정확도를 유지했습니다.
• 시각화 (t-SNE): 조건이 적용된 CLAY 의 임베딩 공간은 기준 모델 (CLIP-B) 에 비해 조건별 (행동, 배경, 나이 등) 로 훨씬 명확하게 분리된 구조를 형성함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 실용적 retrieval 시스템의 패러다임 전환: "데이터베이스를 다시 학습하거나 인코딩할 필요 없이, 오직 쿼리 조건과 유사도 계산 공간만 변조하여 유연한 검색을 가능하게 함"으로써, 대규모 데이터베이스 환경에서의 조건부 검색 실용성을 크게 높였습니다.
• 인간 중심의 검색: 사용자의 의도 (어떤 속성에 집중할지) 를 실시간으로 반영할 수 있어, 더 직관적이고 개인화된 이미지 검색 경험을 제공합니다.
• 확장성: 생성형 AI 와 결합된 평가 데이터셋 (CLAY-EVAL) 은 향후 조건부 검색 연구의 표준 벤치마크로 활용될 수 있으며, VLM 의 기하학적 구조를 활용한 유사도 변조 기법은 이미지 검색을 넘어 멀티모달 생성 모델 등 다른 분야에도 적용 가능한 통찰을 제공합니다.

요약하자면, CLAY는 고정된 VLM 임베딩의 잠재력을 최대한 활용하여, 학습 비용 없이 사용자의 다양한 관심사에 맞춰 정확하고 빠른 이미지 검색을 가능하게 하는 혁신적인 방법론입니다.