논문 요약: Relational Visual Similarity (관계적 시각적 유사성)

1. 문제 정의 (Problem Statement)

기존의 컴퓨터 비전 및 시각적 유사성 측정 모델 (LPIPS, CLIP, DINO 등) 은 주로 **속성 유사성 (Attribute Similarity)**에 초점을 맞추고 있습니다. 이는 색상, 형태, 질감, 객체 클래스와 같은 표면적인 시각적 특징을 기반으로 두 이미지가 유사한지 판단합니다.

하지만 인간은 시각적 유사성을 판단할 때 **관계적 유사성 (Relational Similarity)**도 동시에 인지합니다.

• 예시: 지구와 복숭아는 외관 (색상, 크기) 이 전혀 다르지만, '껍질 - 살 - 씨'라는 내부 구조적 관계가 동일하므로 인간은 이 둘을 유사하다고 인식합니다.
• 현황: 기존 모델들은 이러한 추상적이고 논리적인 관계 (예: 시간의 흐름에 따른 변화, 구조적 대응 관계) 를 포착하지 못해, 인간이 유사하다고 느끼는 이미지 쌍을 '다르다'고 판단하는 한계가 존재합니다.

이 논문은 시각적 속성이 아닌, 이미지 내 요소들 간의 논리적 관계와 구조적 대응을 기반으로 한 '관계적 시각적 유사성'을 측정하고 모델링하는 것을 목표로 합니다.

2. 방법론 (Methodology)

저자들은 인지과학의 통찰 (속성 유사성은 지각적, 관계 유사성은 개념적 추상화 필요) 을 바탕으로 다음과 같은 3 단계 파이프라인을 제안합니다.

2.1. 관계적 이미지 데이터셋 구축 (Dataset Curation)

기존 데이터셋 (ImageNet, LAION-2B 등) 은 속성 기반이므로 관계적 학습에 적합하지 않습니다. 이를 해결하기 위해 새로운 데이터셋을 구축했습니다.

1. 이미지 필터링: LAION-2B 에서 114,000 개의 '관계적 흥미 (Relationally Interesting)' 이미지를 선별합니다. Qwen2.5-VL-7B 모델을 미세 조정하여 이미지에 추상적인 논리나 구조가 있는지 분류합니다.
2. 익명 캡션 생성 (Anonymous Captioning):
   • 단일 이미지만으로는 관계적 패턴을 추상화하기 어렵습니다. 따라서 인간이 직접 선별한 532 개의 이미지 그룹 (각 그룹은 동일한 논리를 공유하는 이미지들) 을 구성합니다.
   • 이 그룹들을 VLM(Vision-Language Model) 에 입력하여, 구체적인 객체 명칭을 {subject}, {object}와 같은 플레이스홀더로 대체한 **익명 캡션 (Anonymous Caption)**을 생성합니다.
   • 예: "과일 {Fruit}을 조각하여 {Animal} 모양으로 만드는 과정" (구체적인 사과나 고양이 대신 일반화된 표현 사용).
3. 데이터셋 구성: 최종적으로 {이미지, 익명 캡션} 쌍으로 구성된 114k 개의 데이터셋을 확보합니다.

2.2. 모델 학습 (relsim Training)

• 목표: 두 이미지의 관계적 유사성이 높다면, 해당 이미지의 익명 캡션 간의 유사성도 높아야 한다는 가정을 기반으로 학습합니다.
• 아키텍처:
  • 시각 인코더 ($f_V$): Qwen2.5-VL-7B-Instruct (VLM) 를 사용합니다. 시각적 특징만 추출하는 기존 인코더와 달리, VLM 은 세계 지식과 언어적 추론 능력을 갖추고 있어 관계적 논리를 이해하는 데 필수적입니다.
  • 텍스트 인코더 ($f_T$): Sentence-Transformers (all-MiniLM-L6-v2) 를 사용하여 익명 캡션을 임베딩합니다.
• 손실 함수: InfoNCE 손실 함수를 사용하여 이미지 임베딩과 해당 이미지의 익명 캡션 임베딩 간의 거리를 최소화하고, 다른 캡션과의 거리는 최대화하는 대비 학습 (Contrastive Learning) 을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 유사성 개념 제안: 기존 속성 유사성을 보완하는 관계적 시각적 유사성 (Relational Visual Similarity) 개념을 정립했습니다.
2. 혁신적인 데이터셋: 114,000 개의 {이미지, 익명 캡션} 쌍으로 구성된 대규모 관계적 추상화 데이터셋을 최초로 공개했습니다.
3. 새로운 측정 지표 (relsim): VLM 과 익명 캡션을 활용하여 이미지 간의 관계적 논리를 포착하는 새로운 메트릭 relsim 을 개발했습니다.
4. 기존 모델의 한계 규명: LPIPS, CLIP, DINO 등 최첨단 모델들이 관계적 유사성을 포착하지 못함을 실험적으로 증명했습니다.
5. 하위 작업 적용: 관계적 이미지 검색 (Relational Image Retrieval) 과 유추 기반 이미지 생성 (Analogical Image Generation) 에서의 유효성을 입증했습니다.

4. 실험 결과 (Results)

4.1. 성능 평가 (Evaluation)

• 자동 평가 (GPT-4o): 검색된 이미지와 쿼리 이미지의 관계적 유사성을 0~10 점으로 평가.
  • 기존 모델 (LPIPS, DINO, CLIP-I 등) 의 점수: 4.56 ~ 5.91
  • 제안 모델 (relsim): 6.77 (가장 높은 점수)
• 사용자 연구 (User Study): 인간이 쿼리 이미지에 더 관계적으로 유사하다고 느낀 이미지를 선택하는 실험.
  • 사용자는 baselines 대비 **42.5% ~ 60.7%**의 비율로 제안 모델을 선호했습니다. 이는 인간이 실제로 관계적 유사성을 인지하고 있음을 확인시켜 줍니다.

4.2. 분석 (Ablation Study)

• VLM 의 중요성: 순수 비전 인코더 (CLIP, DINO) 를 익명 캡션 데이터로 미세 조정하더라도 성능이 향상되지만, 여전히 VLM 기반 모델보다 낮았습니다. 이는 관계적 유사성 이해에 세계 지식 (World Knowledge) 과 언어적 추론이 필수적임을 시사합니다.
• 그룹 기반 캡션의 효과: 단일 이미지에서 캡션을 생성하는 방식 (CLIP-T, Qwen-T) 은 객체 정보가 누출되어 관계적 유사성보다 의미적 유사성에 치우치는 경향이 있었습니다. 반면, 그룹 기반 익명 캡션은 추상화를 명확히 하여 성능을 극대화했습니다.

5. 의의 및 응용 (Significance & Applications)

이 연구는 시각적 이해의 새로운 차원을 열었으며, 다음과 같은 분야에서 혁신을 가져올 수 있습니다.

1. 관계적 이미지 검색 (Relational Image Retrieval):
   • 단순히 "비슷한 모양"이 아니라 "비슷한 논리"를 가진 이미지를 검색할 수 있습니다. (예: "시간에 따라 변하는 과정"을 보여주는 다양한 이미지 검색)
2. 유추 기반 이미지 생성 (Analogical Image Generation):
   • 표면적인 속성 변경이 아닌, 개념적 논리를 전달하는 이미지 생성이 가능합니다. (예: "이 이미지의 논리를 유지하면서 다른 객체로 변환" 요청 시, 형태는 다르지만 구조적 유추를 따르는 이미지 생성)
3. 인지과학과 AI 의 연결:
   • 인간이 유추와 창의성을 통해 세상을 이해하는 방식 (관계적 추론) 을 AI 에 구현하려는 시도로, AI 의 추상적 사고 능력을 향상시키는 중요한 발걸음입니다.

결론

본 논문은 기존 시각 모델이 간과해 온 관계적 유사성을 정량화하고 모델링하는 데 성공했습니다. 익명 캡션을 통한 추상화 학습과 VLM 의 세계 지식을 결합한 relsim 은 인간과 유사한 수준의 관계적 추론 능력을 보여주며, 향후 창의적 AI 및 고차원 시각 이해 시스템 개발의 중요한 기반이 될 것입니다.