기술 요약: ExPLoRe (다중 목적 마스크 이미지 모델링을 위한 전문가 패치 레벨 손실 라우팅)

문제 정의

다중 목적 마스크 이미지 모델링(MIM)은 토큰 레벨 증류(token-level distillation), 글로벌 CLS 정렬(global CLS alignment), 픽셀 레벨 재구성(pixel-level reconstruction)과 같이 상호 보완적인 학습 신호를 결합하여 강건한 시각적 표현을 학습하는 것을 목표로 합니다. 기존 방법들은 이러한 목적들을 성공적으로 통합하지만, 일반적으로 모든 공간적 위치에 균일하게 적용되는 **글로벌 스칼라 가중치(global scalar weights)**를 사용하여 이들을 균형 있게 조절합니다.

이러한 접근 방식은 **공간적 이질성(spatial heterogeneity)**을 무시합니다. 즉, 서로 다른 이미지 영역은 서로 다른 학습 신호로부터 이득을 얻습니다. 의미론적으로 풍부한 전경(foreground) 패치는 교사 모델의 증류에 더 적합한 반면, 질감이 많은 배경(background) 영역은 픽셀 재구성에 더 적합합니다. GradNorm이나 불확실성 가중치(uncertainty weighting)와 같은 글로벌 균형 조절 방식은 이러한 변동성을 포착하지 못하며, 목적 함수들이 공간적으로 이질적인 중요성을 가질 때 심각한 성능 저하를 초范할 수 있습니다. 현재까지 마스크 이미지 모델링에서 패치별 적응형 손실 가중치(per-patch adaptive loss weighting) 문제를 다룬 선행 연구는 없었습니다.

방법론: ExPLoRe

저자들은 **Soft-MoE(Soft Mixture of Experts)**의 디스패치 가중치(dispatch weights)를 학습된 패치별 손실 계수로 재사용하는 프레임워크인 ExPLoRe(Expert Patch-Level Loss Routing)를 제안합니다.

핵심 메커니즘: 손실 결합(Loss-Coupling)

용량 스케일링이나 작업별 전문가 할당을 위해 라우팅을 사용하는 전통적인 MoE 응용 방식과 달리, ExPLoRe는 **손실 결합(loss-coupling)**을 도입합니다:

1. 디스패치 가중치를 손실 계수로 활용: 프레임워크는 Soft-MoE 라우터에 의해 생성된 디스패치 가중치($D$)를 활용합니다. 각 패치가 각 전문가에게 얼마나 기여하는지를 결정하는 이 가중치들은 해당 특정 패치의 손실을 스케일링하는 데 사용됩니다.
2. 그래디언트 흐름: 결정적으로, 손실 목적 함수로부터의 그래디언트는 이 디스패치 가중치를 통해 라우터 파라미터로 역전파됩니다. 이를 통해 라우터는 **콘텐츠 의존적 전문화(content-dependent specialization)**를 학습하여, 각 패치의 콘텐츠에 따라 다양한 목적(예: 증류 vs 재구성)에 대한 강조도를 동적으로 조정할 수 있습니다.
3. 정규화 전략: 저자들은 (전문가당 패치에 대해 정규화된) 조합 가중치(combine weights) 대신 **디스패치 가중치(dispatch weights)**를 사용합니다. 이 선택은 라우터가 어려운 패치에 대한 가중치를 0으로 만들어 손실을 최소화하려는 퇴화(degeneracy) 문제를 방과합니다. 패치당 정규화를 통해 라우터는 손실을 붕괴시키는 대신 패치 전체에 주의를 분산시켜야 합니다.

아키텍처 및 훈련

• 프레임워크: 학생 인코더(ViT-Base)는 가시적 패치(sparse encoding)를 처리하며, 동결된 CLIP 교사가 의미론적 타겟을 제공합니다.
• 목적 함수: 시스템은 토큰 레벨 증류(Huber loss), 글로벌 CLS 정렬(cosine similarity), 픽셀 재구성(MSE)을 결합합니다.
• 엔트로피 정규화: 전문가 붕괴(하나의 전문가가 모든 패치를 처리하는 현상)를 방지하기 위해 디스패치 가중치에 엔트로피 정규화 항이 적용됩니다. 이 정규화의 최적 가중치는 전문가 수에 따라 의존적임이 밝혀졌습니다 (예: 전문가 2개일 때 $\lambda=0.5$, 64개일 때 $\lambda=5.0$).
• 배치(Placement): Soft-MoE 레이어는 ViT-Base의 교대 블록(1, 3, 5, 7, 9, 11)에서 MLP를 대체하며, 손실 결합은 마지막 MoE 블록(Block 11)에 적용됩니다.

다운스트림 전이 레시피 (Downstream Transfer Recipes)

학습된 라우팅 패턴을 덮어쓰지 않고 MoE 모델을 다운스트림 작업으로 전이하는 문제를 해결하기 위해, 저자들은 세 가지 상호 보완적인 적응 전략을 제안합니다:

1. 라우팅 동결 (Freeze Routing, FR): 사전 학습된 패치-전문가 할당을 보존하기 위해 라우터 파라미터($\Phi, s$)를 동결합니다.
2. 어텐션 동결 (Freeze Attention, FA): 전이 가능한 시각적 구조를 보존하기 위해 어텐션 가중치를 동결합니다.
3. 전문가 드롭아웃 (Expert Dropout, ExD): 지배적인 전문가에 대한 과도한 의존을 방지하기 위해 전문가 출력에 드롭아웃을 적용합니다.
   FR + FA + ExD의 조합은 밀집 예측(dense prediction) 작업에서 MoE와 비-MoE 모델 간의 성능 격차를 줄이는 데 필수적인 것으로 나타났습니다.

주요 기여

1. 디스패치 가중치 기반 손실 가중치: Soft-MoE 디스패치 가중치를 패치별 손실 계수로 재사용하여, 여러 목적 함수에 걸쳐 콘텐츠 의존적 전문화를 가능하게 하는 메커니즘을 도입했습니다.
2. 손실 결합 검증: 디스패치 가중치를 통한 그래디언트 흐름이 전문화를 이끄는 핵심 동력임을 실증적으로 입증했습니다. 'detach' 절제 실험(그래디언트 차단)은 성능을 1.6% 저하시켰으며, 가중치가 없는 MoE 변형 모델은 비-MoE 베이스라인보다 낮은 성능을 보였습니다.
3. 라우팅 역학 분석: 라우팅 동작을 특성화하여, 엔트로피 정규화에 의해 제어되는 안정적 라우팅과 파멸적 붕괴 사이의 급격한 전이를 밝혀냈습니다. 연구 결과 최적의 정규화는 전문가 수에 의존함을 확인했습니다.
4. 다운스트림 적응 레시피 개발: 분류 및 시맨틱 세그멘테이션 모두에서 MoE 모델이 비-MoE 베이스라인과 대등하거나 능가할 수 있도록 하는 복합 전략(Freeze Routing, Freeze Attention, Expert Dropout)을 개발했습니다.

실험 결과

ViT-Base와 동결된 CLIP 교사를 사용하여 ImageNet-1K에서 평가되었습니다:

• 분류 성능:
  • Token+CLS: ExPLoRe는 64개 전문가 기준 **80.6%**의 선형 프로브(linear probe) 정확도와 **85.3%**의 파인튜닝 정확도를 달성하여, CAE v2 및 BEiT v2와 같은 최첨단 방법들과 경쟁할 만한 수준을 보여주었습니다.
  • Token+Pixel: 32개 전문가 기준 **73.7%**의 k-NN 정확도를 달성하였으며, 이는 비-MoE 베이스라인 대비 +2.2% 향상된 수치입니다.
  • 메커니즘 격리: 손실 가중화 메커니즘 자체는 (2개 전문가 기준) +1.3%, (64개 전문가 기준) +0.9%의 기여를 하여, 단순한 파라미터 스케일링 이상의 라우팅 메커니즘의 가치를 확인시켜 주었습니다.
• 밀집 예측 (ADE20K):
  • 적응 레시피 없이 MoE 모델은 비-MoE 베이스라인보다 2.5–2.9 mIoU 낮았습니다.
  • 전체 FR+FA+ExD 레시피를 적용했을 때, MoE 모델은 이 격차를 좁혀 52.8 mIoU (Token+Pixel) 및 51.1 mIoU (Token+CLS)에 도달하며 비-MoE 베이스라인과 대등하거나 약간 상회하는 결과를 냈습니다.
• 효율성: 최대 1.86B 파라미터(64개 전문가)를 가짐에도 불구하고, Soft-MoE는 파라미터 수와 추론 비용을 분리합니다. ExPLoRe 구성은 표준 ViT-B/16 비교 대상(17.45 GFLOPs)보다 적은 GFLOPs(11.93–13.86)를 요구하여 유리한 비용-품질 트레이드오프를 제공합니다.

의의 및 주장

본 논문은 ExPLoere가 시각 분야의 다중 작업 학습에서 발생하는 근본적인 간극, 즉 글로벌 손실 균형이 공간적 이질성을 처리하지 못하는 문제를 해결한다고 주장합니다. **손실 결합(loss-coupling)**이 전문화를 이끄는 핵심 동력임을 입증함으로써, 본 연구는 라우팅 메커니즘이 단순히 용량 확장을 넘어 동적인 손실 조절을 위해 재사용될 수 있음을 보여줍니다.

저자들은 절대적인 k-NN 이득은 미미할 수 있으나, 선형 프로브 정확도의 유의미한 향상은 손실 결합된 라우팅이 최근접 이웃 평가로는 완전히 포착되지 않는 방식으로 특징 공간(feature space)을 재구성함을 시사한다고 강조합니다. 또한, MoE 모델이 본질적으로 다운스트림 전이에 우월한 것이 아니라, 특히 표준 파인튜닝이 실패하기 쉬운 밀집 예측 작업에서 잠재력을 실현하기 위해서는 특정 적응 레시피(Freeze Routing 등)가 필요함을 강조합니다.

결론적으로 ExPLoRe는 기존 방법들이 갖지 못한 콘텐츠 의존적 패치별 손실 강조를 제공하며, 표현 품질을 희생하지 않으면서 분류 및 밀집 예측 전반에서 경쟁력 있는 결과를 달성하는 동시에, 밀집한 파라미터 스케일링에 비해 더 효율적인 추론 프로필을 제공합니다.