Shape-of-You: Fused Gromov-Wasserstein Optimal Transport for Semantic Correspondence in-the-Wild

이 논문은 3D 기반 모델의 기하학적 구조 정보를 융합 Gromov-Wasserstein 최적 수송에 통합하여 2D 외관만으로는 해결하기 어려운 기하학적 모호성을 극복하고, 주석 없는 자연 이미지에서 의미적 대응 관계를 위한 새로운 최첨단 성능을 달성한 'Shape-of-You' 프레임워크를 제안합니다.

핵심

1. 문제: "얼굴만 보고 친구 찾기"의 함정

기존의 최신 AI 들은 사진 속 사물의 '색깔'이나 '무늬' 같은 2 차원적인 특징만 보고 친구를 찾습니다. 마치 눈을 가리고 얼굴만 보고 친구를 찾는 상황과 같습니다.

• 상황: 고양이 A 의 왼쪽 귀와 고양이 B 의 오른쪽 귀가 생김새 (색깔, 무늬) 가 똑같다면, AI 는 "아, 이 두 귀가 같은 부분이야!"라고 착각합니다.
• 문제: 하지만 실제로는 고양이 A 의 왼쪽 귀가 고양이 B 의 왼쪽 귀와 짝을 이루어야 합니다. 2 차원적인 특징만 보면 대칭적인 부분 (왼쪽/오른쪽) 이나 반복되는 무늬 때문에 정답을 틀리게 맞추는 실수가 자주 발생합니다.

2. 해결책: "3D 입체 모형"을 활용한 새로운 접근

이 논문은 **"단순히 얼굴 (2D) 만 보는 게 아니라, 몸통의 구조 (3D) 까지 확인하자"**고 제안합니다.

• 비유: 친구를 찾을 때 얼굴만 보는 게 아니라, **"그 친구가 어떤 자세로 서 있는지, 팔과 다리의 연결 구조가 어떻게 되어 있는지"**를 3 차원 입체 모형으로 상상해 봅니다.
• 기술: AI 가 사진을 보고 가상의 3D 점 (Point Cloud) 으로 변환합니다. 그리고 **"이 귀는 몸통에서 얼마나 떨어져 있고, 다른 귀와는 어떤 거리 관계를 맺고 있는가?"**를 계산합니다.
• 효과: 비록 2 차원 사진에서는 왼쪽 귀와 오른쪽 귀가 똑같이 보일지라도, 3D 구조를 보면 "아, 이쪽은 몸통과 더 가깝고 저쪽은 더 멀구나"라고 구별할 수 있게 되어 정확한 짝을 찾을 수 있습니다.

3. 핵심 기술: "최적의 짝짓기"를 위한 수학적 마법 (FGW)

그렇다면 어떻게 2D 특징과 3D 구조를 동시에 고려할까요? 여기서는 **Fused Gromov-Wasserstein (FGW)**이라는 수학적 도구를 사용합니다.

• 비유: 이 기술은 마치 **"매칭 파티"**를 주관하는 DJ 같습니다.
  1. 이름표 (2D 특징): "너와 나는 옷 색깔이 비슷하니까 친구야!" (기존 방식)
  2. 춤추는 위치 (3D 구조): "하지만 네가 서 있는 자리와 내가 서 있는 자리의 거리를 보면, 우리는 서로 반대편에 서 있어야 춤을 잘 추지!" (새로운 방식)
  3. FGW 의 역할: 이 DJ 는 두 가지 조건을 모두 고려해서, 옷 색깔이 비슷하면서도 춤추는 위치도 자연스럽게 맞는 최고의 짝을 찾아냅니다.

4. 실전 적용: "가짜 정답"을 다듬는 과정

이론은 완벽하지만, 3D 구조를 만드는 과정에서도 작은 실수 (노이즈) 가 생길 수 있습니다. 그래서 논문은 두 가지 추가 장치를 도입했습니다.

• 앵커 (Anchor) 전략: 모든 점을 다 비교하면 계산이 너무 느립니다. 그래서 가장 확실한 '핵심 친구' (앵커) 몇 명만 뽑아서 나머지 친구들의 위치를 추정합니다. (예: "코와 귀가 확실하니까, 나머지 얼굴 부분은 이 두 점을 기준으로 배치하자")
• 부드러운 지도 (Soft Target Loss): AI 가 실수를 했다고 해서 "틀렸다!"라고 딱딱하게 꾸짖지 않고, **"이 부분은 비슷하지만 저 부분은 조금 더 가깝지 않을까?"**라고 부드럽게 가르칩니다. 이렇게 하면 AI 가 실수를 두려워하지 않고 더 유연하게 배우게 됩니다.

---

요약: 왜 이것이 중요한가요?

이 기술 (Shape-of-You) 은 3D 구조를 이해하는 능력을 2D 사진 분석에 접목시켰습니다.

• 기존: "색깔이 비슷하면 같은 거야!" (잘못된 짝짓기 많음)
• SoY: "색깔도 비슷하지만, 몸통 구조상 이 부분이 맞아!" (정확한 짝짓기)

이 덕분에 로봇이 물건을 잡을 때, 혹은 사진 편집 프로그램이 배경을 바꿀 때, 어떤 각도에서 찍힌 사진이든, 가려진 부분이 있더라도 사물의 정확한 위치를 찾아내는 데 획기적인 발전을 이루었습니다. 마치 눈을 감고도 손끝으로 사물의 모양을 정확히 느끼는 사람처럼 말이죠.

기술 요약

1. 문제 정의 (Problem Definition)

시맨틱 대응 (Semantic Correspondence) 은 동일한 카테고리 내의 서로 다른 인스턴스 간 의미 있는 픽셀 단위의 정렬을 찾는 작업입니다. 이는 객체 자세 추정, 로봇 조작, 시각적 콘텐츠 편집 등에 필수적입니다.

하지만 "In-the-wild" (실제 환경) 설정에서는 다음과 같은 주요 도전 과제가 존재합니다:

• 명시적 주석의 부재: 카메라 자세, 3D 모델, 뷰포인트 등 명시적인 기하학적 메타데이터가 없는 경우가 많습니다.
• 기존 방법의 한계: 최근 2D 기반 모델 (DINO 등) 을 활용한 비지도 학습은 주로 최이웃 (Nearest-Neighbor, NN) 매칭을 통해 의사 레이블 (pseudo-label) 을 생성합니다.
  • 국소성 (Locality): 특징 공간에서의 국소적 매칭은 전역적인 구조적 관계를 무시합니다.
  • 2D 외관의 한계: 2D 외관 정보만으로는 대칭성이나 반복적인 특징으로 인한 기하학적 모호성 (Geometric Ambiguity) 을 해결하지 못해, 의미론적으로는 타당하지만 기하학적으로 잘못된 대응을 생성하여 학습 노이즈를 유발합니다.

2. 제안 방법론 (Methodology: Shape-of-You, SoY)

저자들은 시맨틱 대응 문제를 퓨즈드 그로모프-워터스타인 (Fused Gromov-Wasserstein, FGW) 최적 운송 문제로 재정의하여 위 문제를 해결합니다.

핵심 아이디어

1. 3D 기하학적 제약의 도입: 2D 특징 공간이 아닌 3D 공간에서 구조적 일관성 (Intra-structure) 을 정의합니다. 이를 위해 사전 학습된 3D 기반 모델 (VGGT) 을 사용하여 2D 이미지를 3D 점 구름 (Point Cloud) 으로 변환합니다.
2. FGW 최적 운송:
   • 외부 비용 (Inter-feature Similarity): 2D 특징 간의 유사성 (기존 OT).
   • 내부 비용 (Intra-structural Consistency): 3D 공간 내 점들 간의 거리 관계 (Gromov-Wasserstein 비용).
   • 이 두 가지를 결합하여 전역적으로 일관된 매칭을 찾습니다.
3. Anchor-based Linearization (효율성 개선):
   • FGW 문제는 비볼록 (non-convex) 2 차 최적화 문제로 계산 비용이 매우 큽니다.
   • 이를 해결하기 위해 고신뢰도 앵커 (Anchor) 쌍을 선택하고, 이를 기반으로 GW 항을 선형화 (Linearization) 합니다.
   • 2 단계 프로세스:
     1. 초기화: 2D 특징만 사용하여 불균형 최적 운송 (Unbalanced OT) 으로 초기 매칭 및 앵커 선정.
     2. 반복 정제: 선정된 앵커를 기반으로 3D 기하학적 비용을 선형화하여 2D 특징 비용과 융합 (Fused Cost) 하고, 이를 통해 매칭 계획을 반복적으로 정제합니다.

학습 파이프라인

• 소프트 타겟 손실 (Soft-target Loss): 생성된 의사 레이블 (운송 계획 $\pi$) 은 구조적으로 일관되지만 노이즈가 있을 수 있습니다. 이를 하드 레이블로 직접 학습하면 과적합되거나 잘못된 학습이 일어날 수 있습니다.
  • 네트워크의 현재 예측과 기하학적 가이드 (하드 타겟) 를 동적으로 혼합한 소프트 타겟을 생성합니다.
  • 이는 노이즈에 강인한 학습을 가능하게 합니다.
• 네트워크 구조: DINOv2 와 Stable Diffusion 의 다중 스케일 특징을 입력받아, 경량 어댑터 (Adapter) 네트워크를 통해 정제된 대응 관계를 학습합니다.

3. 주요 기여 (Key Contributions)

1. FGW 기반 시맨틱 대응 공식화: 특징 유사성과 3D 기하학적 구조를 동시에 최적화하여 전역적으로 일관된 매칭을 수행하는 새로운 프레임워크를 제안했습니다.
2. 기하학적 인식 의사 레이블 생성: 앵커 기반 선형화를 통해 GW 문제를 효율적으로 근사하고, 3D 일관성을 강제하는 불균형 최적 운송 기반의 의사 레이블 생성 방법을 개발했습니다.
3. 노이즈 강인한 학습 프레임워크: 확률적 운송 계획을 기반으로 한 소프트 타겟 손실을 도입하여, 의사 레이블의 모호성과 노이즈를 효과적으로 처리합니다.
4. 성능 달성: 명시적인 기하학적 주석 없이도 SPair-71k 와 AP-10k 데이터셋에서 State-of-the-Art (SOTA) 성능을 달성했습니다.

4. 실험 결과 (Results)

• SPair-71k 데이터셋:
  • PCK@0.10 점수: 67.9% (기존 SOTA 인 DistillDIFT 대비 4.4%p 향상, Zero-shot 베이스라인 대비 14.4%p 향상).
  • 18 개 카테고리 중 17 개에서 1 위 또는 2 위를 기록했습니다.
• AP-10k 데이터셋 (동물 자세 추정):
  • 종 내 (Intra-species): 68.0%, 종 간 (Cross-species): 65.8%, 과 간 (Cross-family): **52.9%**로 기존 방법들을 상회했습니다.
• 정성적 분석:
  • 극단적인 뷰포인트 변화, 가림 (Occlusion), 비강체 (Non-rigid) 객체의 자세 변화, 텍스처가 없는 영역 등 기하학적 모호성이 큰 상황에서 2D 기반 방법들의 실패를 극복하고 정확한 대응을 찾았습니다.
• Ablation Study:
  • 3D 기하학적 거리 정보를 사용하는 것이 2D 거리나 특징 거리만 사용하는 것보다 성능이 월등히 좋음을 확인했습니다.
  • 앵커 기반 선형화와 소프트 타겟 손실이 성능 향상에 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 2D 외관 정보의 한계를 3D 기하학적 구조를 통해 보완함으로써, 명시적인 3D 주석 없이도 "In-the-wild" 환경에서 강력한 시맨틱 대응을 가능하게 했습니다.

• 기하학적 모호성 해결: 대칭성이나 반복 패턴으로 인해 2D 특징만으로는 구분하기 어려운 경우를 3D 구조 정보를 통해 해결합니다.
• 효율성: 계산 비용이 큰 GW 문제를 앵커 기반 선형화로 실용화하여 대규모 데이터셋 학습을 가능하게 했습니다.
• 범용성: 3D 기반 모델 (VGGT) 을 활용하여 다양한 객체와 환경에 적용 가능한 일반화된 표현을 학습했습니다.

결론적으로, Shape-of-You (SoY) 는 명시적인 기하학적 주석이 없는 환경에서도 구조적으로 일관된 시맨틱 대응을 달성하는 새로운 벤치마크를 제시하며, 컴퓨터 비전 분야의 중요한 진전을 이루었습니다.