TIPSv2: 향상된 패치 - 텍스트 정렬을 통한 비전 - 언어 사전 학습의 발전

이 논문은 TIPSv2(Text-Image Pretraining with Spatial awareness v2) 를 제안하며, 기존 비전 - 언어 (Vision-Language) 모델들이 직면한 핵심적인 문제인 **밀집된 패치 **(dense patch)를 해결하기 위한 새로운 방법론을 제시합니다.

1. 문제 제기 (Problem)

최근 대규모 비전 - 언어 사전 학습 (Pretraining) 은 분류, 검색, 분할, 깊이 예측 등 다양한 다운스트림 작업에서 큰 성과를 거두었습니다. 그러나 기존 모델들은 **이미지의 국소적 영역 **(패치)하는 데 여전히 어려움을 겪고 있습니다.

• 기존 모델의 한계: DINOv2 와 같은 자기지도 학습 (SSL) 모델은 공간 이해 (밀집 작업) 에 뛰어나지만 텍스트 정렬이 부족하고, PE-core 나 SigLIP 과 같은 대비 학습 모델은 텍스트 정렬은 우수하나 밀집 작업 (세그멘테이션 등) 에서 성능이 떨어지는 경향이 있습니다.
• 예상치 못한 발견: 저자들은 최신 최첨단 (SOTA) 비전 인코더들을 분석한 결과, **가장 큰 플래그십 모델 **(ViT-g)을 발견했습니다. 이는 대규모 모델이 사전 학습 단계에서는 글로벌 이해에는 적합하지만, 패치 수준의 정밀한 정렬은 오히려 작은 모델이 지식 증류 (Distillation) 과정을 통해 더 잘 학습함을 시사합니다.

2. 방법론 (Methodology)

TIPSv2 는 이러한 통찰을 바탕으로 사전 학습 레시피를 혁신적으로 개선하여, 사전 학습 단계에서부터 강력한 패치 - 텍스트 정렬 능력을 갖추도록 설계되었습니다. 주요 세 가지 기술적 기여는 다음과 같습니다.

2.1. iBOT++ (Enhanced Masked Image Modeling)

기존의 iBOT(Self-Distillation on Masked Patches) 과 달리, **iBOT++**은 **마스크되지 않은 가시 토큰 **(visible tokens)에도 손실 함수를 적용합니다.

• 기존 방식: 학생 모델이 마스킹된 패치를 복원하도록 학습하며, 가시 패치는 직접적인 지도 신호를 받지 않아 국소적 의미가 왜곡될 수 있음.
• TIPSv2 방식: 가시 패치와 마스킹 패치 모두에 대해 교사 모델 (Teacher) 의 표현과 정렬되도록 강제합니다.
• 효과: 이는 패치 - 텍스트 정렬을 극적으로 향상시키며, 특히 제로샷 세그멘테이션 성능을 비약적으로 높입니다.

2.2. Head-only EMA (효율적인 증류 전략)

기존 자기지도 학습은 전체 모델 (Encoder + Head) 에 대한 지수 이동 평균 (EMA) 교사를 사용하지만, 이는 메모리 오버헤드가 큽니다.

• 개선점: TIPSv2 는 **이미지 - 텍스트 대비 손실 **(Contrastive Loss)이 모델 붕괴를 방지해 주기 때문에, **프로젝션 헤드 **(Head)만 EMA 로 업데이트하고 메인 비전 인코더는 공유하는 방식을 도입했습니다.
• 효과: 학습 파라미터 수를 약 42% 감소시켜 메모리 효율성을 크게 높이고, 학습 속도를 향상시키면서도 성능은 유지됩니다.

2.3. Multi-Granularity Text Captions (다양한 세분도의 텍스트 증강)

단일 세분도의 캡션만 사용하는 기존 방식의 한계를 극복하기 위해, 다양한 세분도의 캡션을 혼합하여 사용합니다.

• 전략: 웹에서 크롤링한 Alt-text, PaliGemma 로 생성된 캡션, 그리고 Gemini Flash로 생성된 더 상세하고 풍부한 캡션을 학습 중 무작위로 교차 사용합니다.
• 효과: 너무 상세한 캡션은 대비 학습을 단순화하여 학습을 방해할 수 있으므로, 다양한 길이의 캡션을 섞어 모델이 글로벌 맥락과 국소적 세부 사항 모두를 학습하도록 돕습니다.

3. 주요 기여 (Key Contributions)

1. 패치 - 텍스트 정렬의 새로운 통찰: 공간 인식을 강화하도록 조정된 증류 절차가 패치 - 텍스트 정렬을 획기적으로 개선한다는 사실을 발견했습니다. 특히 마스킹 제거와 랜덤 초기화가 이 현상의 핵심 요인임을 규명했습니다.
2. iBOT++ 도입: 가시 토큰과 마스킹 토큰 모두에 대한 정렬을 강제하는 새로운 자기지도 학습 목적 함수를 제안하여, 사전 학습된 모델의 패치 - 텍스트 정렬 능력을 대폭 향상시켰습니다.
3. 효율적인 학습 레시피: Head-only EMA 와 다중 세분도 캡션 전략을 결합하여, 학습 비용을 크게 줄이면서도 9 가지 작업, 20 개의 데이터셋에서 SOTA 성능을 달성하는 효율적인 프레임워크를 구축했습니다.

4. 실험 결과 (Results)

저자는 9 가지 작업 (분할, 검색, 분류, 깊이 추정 등) 과 20 개의 데이터셋에서 TIPSv2 를 평가했습니다.

• **제로샷 세그멘테이션 **(Zero-Shot Segmentation) TIPSv2 는 ADE150, PC59/60, VOC21 등 주요 분할 벤치마크에서 기존 모델 (SigLIP2, SILC, DINOv2 등) 을 능가하는 SOTA 성능을 기록했습니다. 특히 iBOT++ 도입만으로도 제로샷 세그멘테이션 mIoU 가 14.1 포인트 이상 급상승했습니다.
• 글로벌 이미지 - 텍스트 작업: 이미지 - 텍스트 검색 (Flickr30K, COCO) 과 제로샷 분류 (ImageNet) 에서도 최상위권 또는 최상위권 성능을 보여주며, 더 큰 파라미터 수를 가진 경쟁 모델 (PE-core G/14 등) 보다 우수한 성능을 기록하기도 했습니다.
• 이미지 전용 작업: 선형 프로브 (Linear Probe) 를 통한 분할, 깊이 추정, 표면 법선 추정 등에서도 강력한 성능을 입증했습니다.
• DINOv3 비교: DINOv3 는 6 배 더 많은 파라미터와 15 배 더 많은 이미지로 학습되었음에도, TIPSv2 는 ViT-L 크기 기준 6 개 지표 중 4 개에서 더 나은 성능을 보였습니다.

5. 의의 및 결론 (Significance)

TIPSv2 는 **글로벌 **(이미지 전체)을 동시에 달성하는 통합된 비전 - 언어 표현 학습의 새로운 기준을 제시합니다.

• 기술적 혁신: 단순히 모델 크기를 키우는 것이 아니라, **학습 목표 **(Loss Function)와 **학습 효율성 **(EMA 전략)을 최적화함으로써 패치 수준의 정밀한 정렬을 가능하게 했습니다.
• 실용성: 오프더셸 (Off-the-shelf) 로 다양한 다운스트림 작업에 적용 가능하며, 특히 오픈-보카불러리 세그멘테이션과 같은 고급 작업에 필수적인 국소적 정렬 능력을 크게 향상시켰습니다.
• 확장성: iBOT++ 과 같은 기술은 CLIP 과 같은 다른 비전 - 언어 아키텍처에도 적용 가능함을 실험을 통해 입증했습니다.

결론적으로, TIPSv2 는 비전 - 언어 모델이 "무엇이 있는지"뿐만 아니라 "어디에 있는지"를 정확히 이해하는 능력을 갖추도록 하는 중요한 진전을 이루었습니다.