Geometry-Aware CLIP Retrieval via Local Cross-Modal Alignment and Steering

1. 문제 정의 (Problem Statement)

기존 CLIP (Contrastive Language-Image Pre-training) 기반의 검색 시스템은 공유 임베딩 공간에서의 점 단위 (pointwise) 유사도 (코사인 유사도) 를 기반으로 이미지를 순위 매깁니다. 그러나 실제 응용 환경에서는 다음과 같은 근본적인 한계가 존재합니다.

• 국소적 기하학적 불일치 (Local Geometric Inconsistencies): CLIP 은 전역적인 (global) 교차 모달 정렬에는 강점이 있지만, 인접한 항목 간의 국소적인 기하학적 구조를 왜곡하는 경우가 많습니다. 예를 들어, 오각형과 육각형처럼 시각적으로 유사하지만 구별해야 할 형태나, 여러 객체가 복합적으로 존재하는 장면에서 객체 간의 관계가 잘못 매칭되는 오류가 빈번합니다.
• 복합적 (Compositional) 검색 실패: "큰 빨간 공과 작은 파란 정육면체"와 같은 복합 질의의 경우, CLIP 은 각 객체의 속성을 하나의 벡터로 압축 (collapse) 하므로 객체 간 관계 (위치, 크기, 색상 등) 가 손실됩니다. 이로 인해 정답이 상위 $k$개 후보에 존재함에도 불구하고 순위가 잘못 매겨지거나 (mis-ranked), 속성과 객체가 잘못 결합되는 (attribute binding failure) 문제가 발생합니다.
• 기존 방법의 한계: 기존 연구는 주로 전역 정렬을 개선하거나 미세 조정 (fine-tuning) 을 통해 점 단위 관련성을 최적화하는 데 집중했습니다. 이는 국소적 이웃 구조 (local neighborhood structure) 자체의 정렬 문제를 해결하지 못합니다.

2. 방법론 (Methodology)

저자들은 검색을 단순한 점 단위 매칭이 아닌 국소적 이웃 구조의 정렬 (Neighborhood Alignment) 문제로 재정의하고, 재학습 없이 추론 시 적용 가능한 두 가지 핵심 기법을 제안합니다.

가. 구조 인식 재순위화 (Structure-Aware Reranking via FGW)

기존 코사인 유사도로 선별된 상위 $k$개 후보를 대상으로, 융합 그로모프-워슈타인 (Fused Gromov-Wasserstein, FGW) 최적 수송 (Optimal Transport) 을 적용하여 재순위화합니다.

• 객체 단위 분해: 질의와 후보 이미지를 전체 벡터가 아닌, 장면 주석 (scene annotations) 을 기반으로 한 객체별 벡터 집합 (sets of per-object vectors) 으로 분해합니다.
• 비용 행렬 정의:
  • 특성 비용 (Feature Cost): 질의 객체와 후보 객체 간의 유사도.
  • 구조 비용 (Structural Cost): 각 집합 내 객체들 간의 거리 행렬 (상대적 관계) 을 비교합니다.
• FGW 목적 함수: 특성 유사도와 구조적 일관성을 동시에 고려하여 최적의 매핑 계획을 찾습니다.
  • $\beta=0$: 단순 할당 (Hungarian matching) 과 유사.
  • $\beta>0$: 객체 간의 관계 기하학 (relational geometry) 을 보존하도록 강제합니다.
• 장점: 단일 벡터로 압축되는 것을 방지하고, 객체 간의 관계 구조를 보존하여 복합적 검색의 정확도를 높입니다.

나. 질의 기반 국소 조향 (Query-Conditioned Local Steering)

검색 결과를 특정 속성 방향으로 조정하기 위해 조향 벡터 (Steering Vectors) 를 활용합니다.

• 개념 방향 추출: 대비되는 개념 (예: '서 있는 병' vs '넘어진 병') 에 대한 텍스트 임베딩 차이를 계산하여 조향 벡터를 생성합니다.
• 국소 적용: 이 벡터를 질의 임베딩에 적용하여 검색 공간의 국소적 이웃 구조를 원하는 속성 방향으로 변형시킵니다.
• 역할: 재순위화가 순서를 개선하는 반면, 조향은 검색 결과의 구조 자체를 변형하여 특정 속성을 강조하거나 제거합니다.

3. 주요 기여 (Key Contributions)

1. 이웃 정렬로서의 재순위화 (Neighborhood Alignment as Reranking):

   • 미세한 검색 실패가 대부분 국소적 이웃의 잘못된 순서에서 비롯됨을 규명하고, 최적 수송 기반의 재순위화 (FGW) 를 통해 구조적 일관성을 회복하는 방법을 제시했습니다.
   • Urban1K 데이터셋에서 CLIP 의 R@1 을 42.8 에서 78.4 로 획기적으로 향상시켰습니다.

2. 제어 가능한 속성 수정 (Controllable Attribute Correction):

   • 재학습 없이 질의 조건에 따른 조향 벡터를 사용하여 국소 검색 이웃을 원하는 속성 방향으로 재구성할 수 있음을 보였습니다. 이는 복합적 검색에서 객체 - 속성 결합 (binding) 오류를 수정하는 데 효과적입니다.

3. 광범위한 평가 및 구조 민감성 입증:

   • 합성 데이터 (Synthetic Shapes, CLEVR-HOPE) 와 실사 데이터 (Urban1K, Visual Genome, SugarCrepe) 를 포괄적으로 평가했습니다.
   • 특히 복합적 (Compositional) 검색 환경에서 기존 CLIP 이나 단순 조향 방식이 실패하는 경우, 구조 인식 재순위화가 R@10 을 0.230 에서 0.682 로, Visual Genome 의 R@1 을 0.091 에서 0.725 로 크게 개선했습니다.

4. 실험 결과 (Results)

• Synthetic Shapes (합성 도형):
  • CLIP 단독: R@1 = 3.5 (도형 구분 실패).
  • Ridge + Local FGW: R@1 = 100.0.
  • FGW 는 오각형/육각형, 별/삼각형과 같은 기하학적 혼동을 효과적으로 해결합니다.
• Urban1K (실사 도시 장면):
  • CLIP 단독: R@1 = 42.8.
  • Local Hungarian (강제 1:1 매칭): R@1 = 78.4.
  • Local FGW (연속적 매칭): R@1 = 56.3 (상위 $k$개 전체 순위에서는 FGW 가 더 우수함).
• CLEVR-HOPE 및 Visual Genome (복합 객체):
  • Naive Multi-object Steering (단순 벡터 평균화): 성능이 오히려 저하됨 (간섭 현상 발생).
  • FGW Reranking: R@10 을 0.230 에서 0.682 로, CAS-noun(객체 단위 개념 할당 점수) 을 크게 향상시킴.
  • 이는 여러 객체 벡터를 하나의 벡터로 합치는 방식이 구조 정보를 파괴함을 시사하며, 구조를 보존하는 FGW 의 우월성을 입증합니다.

5. 의의 및 결론 (Significance)

• 국소 구조의 중요성: 검색의 품질과 제어 가능성은 전역적 유사도보다 국소적 이웃 구조 (Local Neighborhood Structure) 에 의해 결정됨을 밝혔습니다.
• 재학습 없는 개선: 기존 CLIP 모델을 재학습 (Retraining) 하지 않고도, 추론 시 FGW 기반 재순위화와 조향 (Steering) 기법을 적용하여 검색 성능을 획기적으로 개선할 수 있음을 증명했습니다.
• 복합적 추론의 해결: 객체 간 관계와 속성 결합 (Attribute Binding) 이 중요한 복합적 검색 과제를 해결하기 위해, 단순한 점 단위 매칭을 넘어 구조적 정렬 (Structural Alignment) 이 필수적임을 강조했습니다.

이 연구는 CLIP 기반 검색 시스템이 가진 구조적 한계를 기하학적 관점에서 해결하고, 추론 단계에서 유연하게 검색 품질을 제어할 수 있는 새로운 패러다임을 제시합니다.