1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 비전 기초 모델 (Vision Foundation Models, VFMs) 은 단일 작업에 특화된 모델이나 모듈형 vision-language 모델 (VLM) 을 넘어, 여러 교사 모델 (Teacher Models) 의 지식을 통합하는 '집합적 (Agglomerative)' 접근법으로 발전하고 있습니다.
• 문제점:
  • 기존 다중 교사 증류 (Multi-Teacher Distillation) 방법은 계산 비용이 매우 높고, 대량의 학습 데이터가 필요하며, 다양한 해상도의 이미지를 처리할 때 학습 불안정성이 발생했습니다.
  • 서로 다른 목적 함수로 학습된 교사 모델 (예: 텍스트 정렬 모델 vs 밀집 시각 이해 모델) 의 지식을 효율적으로 통합하면서도, 데이터 효율성과 계산 효율성을 동시에 확보하는 표준화된 프레임워크가 부족했습니다.
  • 특히, 고해상도 이미지 학습 시 저해상도 특징을 잊어버리는 '기억 상실 (Catastrophic Forgetting)' 현상이나, 다양한 해상도의 토큰 수 불균형으로 인한 최적화 문제가 발생했습니다.

2. 제안 방법론 (Methodology)

저자들은 SigLino라는 효율적인 집합적 비전 기초 모델 패밀리를 제안하며, SigLIP2(이미지 - 텍스트 정렬) 와 DINOv3(밀집 시각 이해) 의 지식을 동시에 증류합니다. 주요 기술적 혁신은 다음과 같습니다.

가. 아키텍처: 혼합 전문가 (Mixture-of-Experts, MoE) 학생 모델

• 구조: 단일 비전 백본을 사용하여 두 교사 모델의 특징을 모두 학습하는 MoE 아키텍처를 채택했습니다.
• 특징: 각 교사 모델 (SigLIP2, DINOv3) 에 특화된 전문가 (Expert) 와 공유 전문가를 도입하여, 모달리티별 특화 학습과 효율적인 지식 전이를 가능하게 합니다. 이는 초기 융합 (Early-fusion) 방식의 Grounding VLM 을 초기화하는 데 사용됩니다.

나. 핵심 기술 1: 토큰 균형 배치 (Token-balanced Batching)

• 문제: 원본 해상도 (Native-resolution) 로 학습 시 이미지 크기에 따라 토큰 수가 크게 달라져 배치 내 토큰 수 불균형이 발생하고, 이로 인해 저해상도 이미지의 학습이 소홀해지거나 고해상도 이미지가 그래디언트를 지배하는 문제가 있었습니다.
• 해결: FlexAttention 을 활용하여 여러 이미지를 시퀀스에 패킹하고, 배치 내 토큰 수를 균일하게 유지합니다.
• 효과: 다양한 해상도에서 안정적인 표현 학습을 보장하며, 저해상도 특징의 망각을 방지하고 고해상도 학습 효율을 극대화합니다.

다. 핵심 기술 2: 비대칭 관계 지식 증류 (Asymmetric Relational Knowledge Distillation, ARKD)

• 개념: 기존 관계 지식 증류 (RKD) 는 배치 내 샘플 간의 쌍별 기하학적 구조 (Pairwise Geometry) 를 유지하도록 합니다.
• 혁신: SigLIP2 와 DINOv3 의 특성 차이 (DINOv3 는 텍스트 정렬이 사후적임) 로 인해 대칭적 RKD 가 kNN 성능을 저하시킬 수 있음을 발견했습니다.
• 해결: 비대칭 (Asymmetric) 방식을 도입합니다. 교사 공간에서 가까운 샘플은 학생 공간에서도 가깝게, 먼 샘플은 멀게 유지되도록 일방향 (One-sided) 손실 함수를 적용합니다.
• 효과: 이미지 - 텍스트 정렬 속도를 높이고 DINOv3 의 기하학적 구조를 보존하면서도 kNN 클러스터링 성능을 유지합니다.

라. 데이터 커레이션: OpenLVD200M

• 방법: 웹 스크래핑 데이터 (LAION, DFN) 의 장기 꼬리 (Long-tail) 편향을 완화하기 위해 계층적 클러스터링 (Hierarchical Clustering) 과 균형 샘플링을 적용하여 2 억 장 (200M) 의 이미지 코퍼스인 OpenLVD200M을 구축했습니다.
• 효과: 무작위 샘플링보다 시각적 개념의 균일한 커버리지를 제공하여 증류 효율성을 크게 향상시킵니다.

마. 고해상도 학습 및 Gram Anchoring

• 학습 전략: 256x256 에서 기본 표현 학습 후, 768x768 까지 고해상도 학습을 진행하는 2 단계 전략을 사용합니다.
• Gram Anchoring: VLM 미세 조정 시 밀집 특징 (Dense features) 의 공간적 일관성이 떨어지는 문제를 해결하기 위해, 증류된 모델의 Gram 행렬을 고정된 기준으로 유지하는 손실 함수를 도입하여 공간 구조를 보존합니다.

3. 주요 기여 (Key Contributions)

1. OpenLVD200M 데이터셋: 계층적 클러스터링을 통해 선별된 2 억 장의 고품질 이미지 데이터셋을 공개하여 다중 교사 증류의 효율성을 입증했습니다.
2. 효율적인 증류 레시피: 토큰 균형 배치와 비대칭 관계 증류 (ARKD) 를 결합하여, 기존 방법보다 적은 데이터 (2 억 장) 와 계산 비용으로 SOTA 성능을 달성하는 방법을 제시했습니다.
3. MoE 기반 Agglomerative VFM: SigLIP2 와 DINOv3 의 상호 보완적 지식을 MoE 아키텍처로 통합하여, 글로벌 표현력과 밀집 예측 능력을 동시에 확보했습니다.
4. Grounding VLM 초기화: 증류된 모델을 초기화하여 초기 융합 (Early-fusion) Grounding VLM 을 구축, 제한된 주석 데이터로도 뛰어난 성능을 발휘함을 입증했습니다.

4. 실험 결과 (Results)

• 분류 및 검색 성능:
  • SigLino-0.6B(밀집) 및 SigLino-MoE-0.3-0.6B(스파스) 는 RADIOv2.5-H(0.6B) 를 포함한 기존 Agglomerative 모델들을 능가합니다.
  • Image-Text 분류 (Macro Avg): 84.13% (RADIOv2.5-H 대비 82.26% 초과).
  • kNN 분류: 88.06% (RADIOv2.5-H 대비 85.12% 초과).
  • 데이터 효율성: RADIOv2.5 가 1.1 조 (1.1T) 개의 이미지 토큰을 사용한 반면, SigLino 는 약 2,300 억 (230B) 개의 토큰 (약 4.7 배 적음) 으로 더 높은 성능을 달성했습니다.
• 세분화 및 검색: ADE20k, PASCAL-VOC 등 분할 작업과 MSCOCO5k, Flickr30k 검색 작업에서도 SOTA 또는 경쟁력 있는 성능을 기록했습니다.
• Grounding 성능:
  • RefCOCO, RefCOCOg, RefCOCO+ 벤치마크에서 단일 교사 모델 (SigLIP2 만 또는 DINOv3 만) 보다 다중 교사 증류 (SigLino) 가 훨씬 우수한 성능을 보였습니다 (예: RefCOCO에서 54.72 vs 45.06).
  • Scratch(처음부터 학습) 대비 약 2~3 배의 성능 향상을 보였습니다.
• 모델 효율성: MoE 아키텍처를 통해 활성 파라미터를 줄이면서도 (0.15B~0.3B) 성능을 유지하거나 향상시켜, 효율성 - 성능 트레이드오프에서 최적의 균형을 찾았습니다.

5. 의의 및 결론 (Significance)

• 효율적인 비전 기초 모델 구축: SigLino 는 고비용의 다중 교사 증류를 데이터 효율성과 계산 효율성을 극대화하는 방식으로 재정의했습니다.
• Grounding VLM 의 새로운 패러다임: 모듈형 아키텍처 (Vision Encoder + LLM) 대신, 증류된 MoE 기반의 초기 융합 모델을 통해 더 효율적이고 강력한 Grounding 능력을 구현할 수 있음을 증명했습니다.
• 실용성: 공개된 OpenLVD200M 데이터셋과 체크포인트 (Dense 및 MoE 변형) 를 통해 연구 커뮤니티가 효율적인 비전 기초 모델을 재현하고 발전시키는 데 기여할 것으로 기대됩니다.

요약하자면, SigLino는 SigLIP2 와 DINOv3 의 강점을 결합하여, 적은 데이터와 계산 자원으로 높은 성능의 비전 기초 모델을 학습시키는 효율적인 다중 교사 증류 프레임워크를 제시한 획기적인 연구입니다.