A Mixed Diet Makes DINO An Omnivorous Vision Encoder

이 논문은 DINOv2 와 같은 사전 학습된 비전 인코더의 모달리티 간 정렬 부족 문제를 해결하기 위해, 다양한 모달리티 간의 정렬과 교사 모델 증류를 결합한 '잡식성 비전 인코더 (Omnivorous Vision Encoder)'를 제안하여 모달리티에 구애받지 않는 일관된 특징 표현을 학습하는 방법을 제시합니다.

핵심

이 논문은 **"DINO 라는 똑똑한 시력 교정 안경을, 모든 감각을 다 이해하는 '만능 눈'으로 업그레이드했다"**는 내용을 담고 있습니다.

기존의 인공지능 모델 (DINOv2) 은 사람으로 치면 오직 '사진 (RGB)'만 볼 수 있는 전문가였습니다. 사진은 아주 잘 보지만, 같은 장면을 '깊이도 지도 (Depth, 거리감)'나 '색칠하기 (Segmentation, 물체 구분)'로 보여주면 그걸 전혀 이해하지 못했습니다. 마치 같은 사람을 사진으로 보면 알아보는데, 흑백 그림이나 지도로 그려주면 "이게 누구야?"라고 하는 것과 비슷합니다.

이 논문은 이 문제를 해결하기 위해 DINO 를 '만능 식성 (Omnivorous)'을 가진 시력 교정 안경으로 바꿨습니다. 이제 이 모델은 사진, 깊이도, 색칠하기 등 어떤 형태로 들어와도 같은 장면을 똑바로 이해할 수 있게 되었습니다.

주요 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 문제: "같은 집인데, 왜 다르게 보일까?"

기존 모델은 같은 장면을 **사진 (RGB)**으로 보면 "아, 거실이다!"라고 인식하지만, 같은 장면을 **깊이도 지도 (거리감)**로 보면 "이건 뭐지? 전혀 다른 것 같아"라고 생각합니다.

• 비유: 친구가 실제 얼굴을 보면 "내 친구야!"라고 알아보는데, 친구가 만화 캐릭터로 변장하면 "누구세요?"라고 모르는 것과 같습니다.
• 결과: 인공지능이 서로 다른 정보 (사진, 지도, 그림) 를 연결하지 못해, 같은 장면을 이해하는 데 실패했습니다.

2. 해결책: "만능 식성 (Omnivorous) 을 가진 시력 교정"

저자들은 DINO 라는 이미 뛰어난 '선생님 (Teacher)' 모델을 그대로 유지하면서, 그 위에 **가벼운 '보조 장치 (Adapter)'**만 추가했습니다.

• 선생님 (DINOv2): 이미 사진 보는 법을 아주 잘 아는 상태입니다. 이걸 완전히 새로 가르치면 (재학습하면) 시간이 너무 걸리고, 원래 잘하던 능력도 잊어버릴 수 있습니다.
• 보조 장치 (Student/Adapter): 선생님 옆에 앉아서 "선생님이 보신 사진과 제가 보는 깊이도 지도는 사실 같은 거예요!"라고 가르쳐주는 역할을 합니다.
• 핵심: 선생님의 머릿속 지식은 건드리지 않고, 새로운 정보 (깊이도, 그림) 를 선생님이 아는 언어로 번역해주는 다리만 만든 것입니다.

3. 어떻게 가르쳤을까? (두 가지 비밀 무기)

이 보조 장치를 훈련시키기 위해 두 가지 재미있는 방법을 썼습니다.

A. "자연스러운 색칠하기" (Colorization)

보통 깊이도 지도는 회색조 (그레이스케일) 나 특이한 색상 (제트 맵) 으로 되어 있습니다. AI 는 "아, 이거 회색이니까 깊이도 지도구나"라고 색깔만 보고 쉽게 구분해버릴 수 있습니다.

• 해결: 저자들은 원래 사진의 색깔을 그대로 입혀서 깊이도 지도를 만들었습니다.
• 비유: 친구의 얼굴을 만화 캐릭터로 그릴 때, 실제 친구가 입은 옷 색깔과 피부색을 그대로 입혀서 그려준 것입니다. 이제 AI 는 "색깔이 비슷하니까 같은 사람이다"라고 쉽게 넘어가지 못하게 되고, **얼굴의 구조 (코, 눈, 입 모양)**를 진짜로 비교해서 학습하게 됩니다.

B. "모달리티 믹스업" (Modality Mixup)

사진과 깊이도 지도를 50:50 으로 섞어서 가르쳤습니다.

• 비유: "사진 50% + 깊이도 지도 50%"를 섞은 혼합 음료를 계속 마시게 한 것입니다.
• 효과: AI 는 이제 "사진일 수도 있고, 깊이도 지도일 수도 있는" 연속적인 세계를 배우게 됩니다. 덕분에 입력이 조금만 달라져도 당황하지 않고, 어떤 형태든 유연하게 이해하는 만능 식성을 갖게 되었습니다.

4. 결과: 무엇이 달라졌나?

이렇게 훈련된 모델은 놀라운 능력을 보여줍니다.

1. 교차 검색 (Cross-modal Retrieval):
   • 예전: "이 사진과 같은 장면을 깊이도 지도에서 찾아줘"라고 하면, AI 는 엉뚱한 장소를 찾아냈습니다.
   • 지금: 사진으로 검색하면, 정확히 같은 장면의 깊이도 지도를 찾아냅니다. (정확도 4% 에서 46% 로 급상승!)
2. 제로샷 (Zero-shot) 학습:
   • 예전: "사진으로 깊이 (거리) 를 예측하는 법"을 배웠다면, "깊이도 지도"를 넣었을 때 아무것도 못 했습니다.
   • 지금: 사진으로만 배운 깊이 예측 능력을, 깊이도 지도나 NOCS(물체 좌표) 같은 완전히 다른 입력에도 그대로 적용할 수 있습니다. 마치 한국어로 배운 요리 실력을, 영어로 된 레시피에도 그대로 적용해서 맛있는 요리를 해내는 것과 같습니다.

5. 결론: 왜 중요한가?

이 연구는 **"하나의 강력한 AI 모델을 완전히 새로 만들지 않고, 가볍게 수정해서 여러 가지 감각 (시각, 깊이, 구조) 을 모두 이해하게 만들 수 있다"**는 것을 증명했습니다.

• 기존 방식: 모든 감각을 다 이해하는 AI 를 처음부터 0 부터 만드는 것은 비용이 너무 많이 들고 어렵습니다.
• 이 연구의 방식: 이미 잘하는 AI(사진 전문가) 에게 "너도 이제 깊이도 지도와 그림을 볼 수 있어"라고 가볍게 훈련시켜서, 어떤 형태든 똑똑하게 이해하는 만능 시력을 갖게 했습니다.

이제 이 AI 는 사진이든, 3D 지도든, 그림이든 상관없이 같은 세상을 똑바로 바라볼 수 있게 된 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: DINOv2 와 같은 사전 학습된 비전 인코더 (Foundation Models) 는 단일 모달리티 (주로 RGB 이미지) 에서 뛰어난 성능을 보입니다.
• 핵심 문제: 이러한 모델들은 서로 다른 모달리티 (예: RGB, 깊이 (Depth), 세그멘테이션 (Segmentation)) 간의 특징 표현이 잘 정렬되어 있지 않습니다.
  • 실증적 발견: 동일한 장면의 RGB 이미지와 해당 깊이 맵 (Depth Map) 을 DINOv2 로 추출한 특징 벡터 간의 코사인 유사도는, 두 개의 무관한 랜덤 이미지 간의 유사도와 거의 동일하게 낮게 나타납니다.
  • 영향: 이는 모델이 장면의 구조적, 의미적 내용을 모달리티에 관계없이 일관되게 이해하지 못함을 의미하며, 크로스-모달리티 (Cross-modal) 작업 (예: RGB 로 깊이 예측하기, 모달리티 간 검색 등) 에 심각한 장벽이 됩니다.
• 기존 방법의 한계:
  • 통합 학습 (Unified Training): Omnivore 나 ImageBind 와 같이 여러 모달리티를 처음부터 함께 학습시키는 방법은 계산 비용이 크고, 기존 강력한 단일 모달리티 모델의 장점을 활용하기 어렵습니다.
  • 단순 정렬: 특징 공간을 단순히 축소하여 정렬시키면 (Collapse), 인코더의 구별력 (Discriminative Power) 이 손실될 위험이 있습니다.

2. 제안 방법 (Methodology)

저자들은 **"Omnivorous Vision Encoder(잡식성 비전 인코더)"**를 제안하며, 이는 기존 DINOv2 와 같은 강력한 백본 위에 경량화된 어댑터 (Adapter) 를 학습시켜 모달리티에 무관한 특징 공간을 구축합니다.

A. 아키텍처: 파라미터 효율적인 Teacher-Student 프레임워크

• Teacher: 사전 학습된 DINOv2 (특히 마지막 레이어를 제외한 대부분의 레이어) 를 고정 (Frozen) 시킵니다. 이는 강력한 의미적 사전 지식 (Priors) 을 제공합니다.
• Student: Teacher 와 동일한 백본을 공유하지만, 마지막 고수준 처리 블록 (Head) 만 학습 가능한 어댑터 $g$로 교체합니다.
• 목표: Student 가 다양한 모달리티 입력에 대해 Teacher 와 유사한 의미적 특징을 유지하면서도, 서로 다른 모달리티 간의 정렬을 달성하도록 학습합니다.

B. 학습 전략 및 데이터 전처리

단순한 정렬만으로는 특징 공간이 붕괴되거나 의미 정보가 손실될 수 있으므로, 두 가지 핵심 기법을 도입했습니다.

1. 자연스러운 컬러화 (Natural Colorization):

   • 깊이 맵이나 세그멘테이션 맵을 회색조나 제트 (Jet) 컬러맵으로 표현하면 모델이 색상 히스토그램 같은 저수준 통계에 의존하여 정렬을 우회할 수 있습니다.
   • 이를 방지하기 위해, 대응되는 RGB 이미지의 색상 분포를 사용하여 깊이/세그멘테이션 맵을 자연스러운 색상 팔레트로 재렌더링합니다. 이는 "Hard Positive"를 생성하여 모델이 색상 신호가 아닌 **구조적 내용 (Geometric Content)**에 기반하여 특징을 정렬하도록 강제합니다.

2. 모달리티 믹스업 (Modality Mixup):

   • RGB, 깊이, 세그멘테이션을 이산적인 상태가 아닌 연속적인 스펙트럼으로 간주합니다.
   • 학습 중 컬러화된 깊이/세그멘테이션 맵과 RGB 이미지를 무작위로 블렌딩 ($\alpha$ 비율) 합니다.
   • 이를 통해 모델은 모달리티가 혼합된 상태에서도 불변성을 학습하게 되며, 모달리티 간 경계를 부드럽게 만듭니다.

C. 손실 함수 (Loss Functions)

학습 목표는 두 가지 손실 함수의 가중 합입니다:

1. 대칭적 크로스-모달 정렬 손실 ($L_{align}$):

   • InfoNCE 손실을 사용하여 동일한 장면의 서로 다른 모달리티 (예: RGB 와 Depth) 간의 Student 특징 거리를 최소화하고, 다른 장면 간의 거리는 최대화합니다.
   • 모든 모달리티 쌍 (RGB-Depth, Depth-Seg, Seg-RGB) 에 대해 대칭적으로 적용합니다.

2. 앵커링 손실 (Anchoring Loss, $L_{anchor}$):

   • 정렬만 강조하면 원래 DINOv2 의 구별력이 사라질 수 있습니다 (Representational Drift).
   • 이를 방지하기 위해 Student 의 출력을 고정된 Teacher 의 출력에 가깝게 유지하도록 코사인 거리를 최소화합니다.
   • 하이퍼파라미터 $\lambda_{anchor}$를 통해 정렬과 원래 의미 유지 사이의 균형을 조절합니다.

3. 주요 기여 (Key Contributions)

1. Omnivorous Vision Encoder 프레임워크: 기존 강력한 단일 모달리티 모델 (DINOv2) 을 재학습 없이, 소수의 파라미터만 학습하여 RGB, 깊이, 세그멘테이션 등 다양한 모달리티를 통합하는 특징 공간으로 변환하는 방법을 제시했습니다.
2. 강력한 데이터 증강 기법:
   • 자연스러운 컬러화: 모델이 저수준 색상 신호에 의존하는 것을 방지하고 구조적 정렬을 강제합니다.
   • 모달리티 믹스업: 모달리티 간 연속성을 학습시켜 모호한 입력에서도 강건한 인코더를 만듭니다.
3. 앵커링 메커니즘: 정렬 과정에서 발생하는 의미 정보 손실을 방지하기 위한 Teacher-Student 기반의 앵커링 손실을 도입하여, 정렬과 구별력을 동시에 확보했습니다.

4. 실험 결과 (Results)

저자들은 DINOv2 베이스라인과 Omnivorous 모델을 다양한 태스크에서 비교 평가했습니다.

• 크로스-모달리티 검색 (Cross-Modal Retrieval):
  • ScanNet, MOVi, TartanAir 데이터셋에서 RGB 를 쿼리로 하여 Depth 나 Segmentation 을 검색하는 성능이 획기적으로 향상되었습니다.
  • 예: ScanNet 에서 Median Rank 가 382.5 (DINOv2) 에서 5.3 (Omnivorous) 로 대폭 개선되었으며, Recall@1 은 3.9% 에서 **30.2%**로 증가했습니다.
• 다운스트림 태스크 (Downstream Tasks):
  • 단안 깊이 추정 (Monocular Depth Estimation): RGB 로만 학습된 헤드를 Depth 입력에 적용했을 때, DINOv2 는 무작위 추측 수준으로 실패했으나 Omnivorous 는 높은 정확도를 보였습니다.
  • 세그멘테이션 및 분류: ImageNet 분류 정확도가 80.4% 에서 **83.8%**로 향상되었으며, ADE20k 세그멘테이션 mIoU 도 개선되었습니다. 이는 모달리티 정렬이 오히려 의미적 표현을 풍부하게 만들었음을 시사합니다.
• Zero-Shot 크로스-모달 전이:
  • RGB 이미지로만 학습된 깊이 예측 헤드를 Segmentation 맵이나 NOCS(Normal Object Coordinate Space) 입력에 적용했을 때, Omnivorous 모델은 DINOv2 대비 압도적인 성능을 보였습니다. 이는 학습된 특징 공간이 모달리티에 구애받지 않는 보편성을 가짐을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 효율성: 전체 모델을 다시 학습 (Co-training) 시키지 않고, 기존 Foundation Model 의 마지막 레이어만 미세 조정 (Fine-tuning) 하여 다중 모달리티 능력을 부여함으로써 계산 비용을 크게 절감했습니다.
• 범용성: 학습된 인코더는 훈련 시 보지 못한 모달리티 (예: NOCS) 에 대해서도 일반화되는 능력을 보여주어, 진정한 "잡식성 (Omnivorous)" 비전 모델의 가능성을 입증했습니다.
• 미래 전망: 이 연구는 단일 모달리티 기반의 강력한 모델들을 다양한 시각적 입력 (RGB, 깊이, 3D 등) 을 처리할 수 있는 통합된 비전 언어로 진화시키는 새로운 패러다임을 제시합니다. 특히 생성 모델 (Image-to-Depth 등) 이나 로봇 비전 분야에서 크로스-모달리티 이해가 필요한 응용에 큰 기여를 할 것으로 기대됩니다.

요약하자면, 이 논문은 DINOv2 를 "잡식성" 인코더로 변모시켜, 다양한 시각적 입력을 하나의 통일된 의미 공간으로 매핑하면서도 원래 모델의 강력한 구별력을 유지하는 효율적이고 효과적인 방법론을 제시했습니다.