1. 문제 정의 (Problem Statement)

• 에지 디바이스의 제약: 스마트 에지 장치 (모바일, IoT 등) 에 AI 모델을 배포하려면 제한된 컴퓨팅 자원 내에서 여러 작업을 동시에 처리해야 하는 어려움이 있습니다.
• 기존 모델의 한계:
  • 전문가 모델 (Domain Experts): 특정 작업 (이미지 이해, 밀집 예측, 비전 - 언어 모델링 등) 에 특화된 파운데이션 모델 (CLIP, DINOv3, SAM 등) 은 해당 도메인에서는 뛰어나지만, 다른 도메인에서는 성능이 떨어집니다.
  • 집합적 (Agglomerative) 접근법: 여러 전문가 모델을 하나로 통합하려는 시도 (예: RADIO, DUNE) 가 있었으나, 효율적인 백본 (Efficient Backbones) 에 적용할 경우 용량 부족으로 인해 다양한 특징을 통합하지 못해 성능이 전문가 모델에 미치지 못했습니다.
• 핵심 과제: 작은 크기 (Efficient) 이면서도 이미지 이해, 밀집 예측, 비전 - 언어 모델링 등 다양한 작업에서 뛰어난 성능을 내는 범용적인 비전 인코더를 개발하는 것입니다.

2. 방법론 (Methodology)

저자들은 **"확대 후 축소 (Scaling Up then Scaling Down)"**라는 새로운 증류 (Distillation) 파이프라인을 제안합니다. 기존에 여러 교사 (Teacher) 모델에서 직접 효율적인 학생 (Student) 모델로 축소하는 방식의 실패 원인을 분석하고, 중간에 **'프록시 교사 (Proxy Teacher)'**를 도입했습니다.

3 단계 증류 파이프라인 (Fig. 2)

1. Stage 1: 다중 교사 증류 (Multi-Teacher Distillation) $\rightarrow$ 프록시 모델

   • 목표: 다양한 도메인 전문가 모델 (PEcore, PElang, DINOv3 등) 의 지식을 하나의 거대한 **프록시 모델 (약 1.9B 파라미터)**로 통합합니다.
   • 이유: 효율적인 학생 모델은 용량이 부족하여 여러 교사 모델의 특징을 직접 통합하기 어렵습니다. 따라서 먼저 충분한 용량을 가진 프록시 모델이 모든 지식을 흡수하게 합니다.
   • 데이터: 라벨이 없는 이미지 (Label-free) 를 사용하며, 각 교사 모델과 프록시 모델의 토큰 (Class token, Patch tokens) 을 비교하여 손실 함수를 계산합니다.

2. Stage 2: 고정 해상도 증류 (Fixed-Resolution Distillation)

   • 목표: 학습된 프록시 모델에서 목표 효율적 학생 모델 (예: ViT-B, ConvNext 등) 로 지식을 전달합니다.
   • 설정: 이미지 해상도를 256x256 으로 고정하여 학습 효율성을 높이고, 긴 학습 스케줄을 적용합니다.
   • 핵심: 효율적 모델이 '다양한 교사'가 아닌 '단일 범용 프록시 교사'로부터 학습하도록 하여 학습 난이도를 낮춥니다.

3. Stage 3: 다중 해상도 미세 조정 (Multi-Resolution Finetuning)

   • 목표: 다양한 다운스트림 작업의 해상도 요구사항을 충족시킵니다.
   • 설정: 프록시 모델과 학생 모델이 이미지 피라미드 (256, 384, 512 등) 에서 무작위로 다른 스케일을 선택하도록 하여, 다양한 해상도에서의 특징 표현 능력을 학습시킵니다.

손실 함수 및 기술적 세부사항

• 정규화 (Feature Normalization): 교사 모델의 출력 (Class token, Patch token) 의 평균과 분산이 서로 다를 수 있으므로, 증류 전 평균을 빼고 표준편차로 나누는 정규화를 적용하여 특정 토큰이 지배하는 것을 방지합니다.
• 손실 함수: Class token 에는 코사인 유사도 손실, Patch token 에는 코사인 유사도와 Smooth L1 손실의 조합을 사용합니다.

3. 주요 기여 (Key Contributions)

1. EUPE (Efficient Universal Perception Encoder) 시리즈: 단일 인코더로 이미지 이해, 밀집 예측, 비전 - 언어 모델링 (VLM) 등 모든 주요 비전 작업에서 전문가 모델과 대등하거나 더 나은 성능을 내는 효율적 모델 패밀리 (ViT 및 ConvNext 기반) 를 제안했습니다.
2. 새로운 증류 레시피 (Scaling Up $\rightarrow$ Scaling Down): 기존 다중 교사 증류의 한계를 극복하기 위해, 먼저 대용량 프록시 모델을 통해 지식을 통합한 후 효율적 모델로 전달하는 방식을 입증했습니다.
3. 포괄적인 벤치마크 및 오픈소스: 다양한 작업 (ImageNet, ADE20k, VQA 등) 에서 SOTA 모델들과의 비교 실험을 수행하고, 모델 체크포인트와 코드를 공개하여 후속 연구를 장려합니다.

4. 실험 결과 (Results)

• 성능 비교 (Table 1, Fig. 1):
  • EUPE-ViT-B는 ImageNet 제로샷 (IN1k-ZS) 및 KNN 분류, 밀집 예측 (ADE20k, SPair), 비전 - 언어 모델링 (Realworld, GQA, POPE) 등 거의 모든 벤치마크에서 동급 크기의 전문가 모델 (PEcore, DINOv3, SigLIP2 등) 과 대등하거나 더 높은 성능을 기록했습니다.
  • 특히 기존 집합적 방법 (RADIOv2.5-B, DUNE-B) 보다 VLM 과 밀집 예측 작업에서 큰 격차로 우위를 점했습니다.
• 아블레이션 연구 (Ablation Studies):
  • 3 단계 파이프라인의 필요성: 프록시 모델 (Stage 1) 없이 직접 증류하거나 (Stage 2 only), 다중 해상도 학습 (Stage 3) 을 생략할 경우 성능이 현저히 떨어지는 것이 확인되었습니다.
  • 교사 모델 선택: PEcore(이미지 이해), DINOv3(밀집 예측), PElang(비전 - 언어) 의 조합이 가장 균형 잡힌 성능을 제공했습니다. SigLIP2 를 추가하면 오히려 성능이 저하되는 등 교사 모델 간의 호환성이 중요함을 보였습니다.
• 특징 시각화 (Fig. 4, 5): EUPE 는 DINOv3 의 공간적 일관성과 PEcore 의 세부적 디테일 감지 능력을 모두 결합하여, 의미론적 일관성과 미세한 구조를 동시에 잘 포착하는 특징을 가짐을 PCA 시각화를 통해 확인했습니다.
• 에지 디바이스 효율성: 100M 이하 파라미터의 모델 (ViT-T/S, ConvNext-T/S) 도 512 해상도에서 실시간 추론이 가능하며, 다양한 컴퓨팅 예산에 맞춰 배포 가능한 모델군을 제공합니다.

5. 의의 및 결론 (Significance)

• 에지 AI 의 실용성: 제한된 컴퓨팅 자원 환경에서도 단일 모델로 다양한 비전 작업을 수행할 수 있게 하여, 스마트 디바이스에서의 범용 AI 경험 (Personal Super-intelligence) 을 실현할 수 있는 기반을 마련했습니다.
• 연구 방향 제시: "확대 후 축소" 전략이 효율적 모델의 범용성을 확보하는 핵심 열쇠임을 입증하여, 향후 프록시 모델 스케일링 및 범용 표현 학습 연구에 중요한 통찰을 제공합니다.
• 실제 적용 가능성: 추론 비용 (FLOPs) 과 지연 시간 (Latency) 을 고려한 모델 선택 가이드를 제공하며, 실제 에지 디바이스 배포에 즉시 활용 가능한 수준의 성능을 입증했습니다.

요약하자면, EUPE는 여러 전문가 모델의 지식을 효율적으로 통합하기 위해 대용량 프록시 모델을 거치는 3 단계 증류 전략을 도입함으로써, 작은 크기의 모델로도 다양한 비전 작업에서 최상위 성능을 달성한 획기적인 연구입니다.