MED-DSLC: Multi-Expert-Domain Classification via Domain Supervision and Logit Calibration

기술 요약: MED-DSLC

문제 정의

CLIP과 같은 시각-언어 모델(VLM)은 이미지와 텍스트 특징을 공유 임베딩 공간에서 비교함으로써 제로샷 분류를 가능하게 합니다. 이러한 능력의 핵심적인 속성은 임의의 후보 클래스 전반에 걸친 **로짓(logit)의 전역적 비교 가능성(global comparability)**이며, 이를 통해 어떤 레이블 집합에 대해서도 유효한 소프트맥스 정규화가 가능해집니다. 그러나 LoRA와 같은 매개변수 효율적 미세 조정(PEFT) 기법을 사용하여 VLM을 세밀하거나 특화된 도메인에 적응시킬 때, 종종 교차 도메인 로짓 미보정(cross-domain logit miscalibration) 문제가 발생합니다.

독립적인 도메인 전문가들은 높은 인도메인(in-domain) 정확도를 달성하지만, 이들의 출력 로짓은 전역적으로 보정되지 않습니다. 여러 도메인의 클래스 합집합을 처리하기 위해 이러한 전문가들을 병합할 때(Multi-Expert-Domain 또는 MED 분류), 보정의 부재는 **교차 도메인 간섭(cross-domain interference)**을 초래합니다. 구체적으로, 더 높은 크기의 로짓을 생성하는 도메인이 소프트맥스 확률 분포를 지배하게 되어, 도메인 외 입력에 대해서도 인위적으로 높은 확신도를 보이고 예측 오류를 일으킵니다. 또한, 기존의 MED 접근 방식은 전문가 부하 분산(load balancing)에 어려움을 겪는 비지도 라우팅 메커니즘에 의존하며, 훈련 중에 클래스 레이블로부터 도메인 레이블을 쉽게 유도할 수 있다는 사실을 활용하지 못합니다.

방법론: MED-DSLC

저자들은 전역적 로짓 비교 가능성을 복원하기 위해 설계된 경량 혼합 전문가(Mixture-of-Experts, MoE) 아키텍처인 MED-DSLC(Domain Supervision 및 Logit Calibration을 통한 Multi-Expert-Domain Classification)를 제안합니다. 이 프레임워크는 두 가지 주요 구성 요소로 이루어져 있습니다.

1. 도메인 감독 라우팅 (Domain-Supervised Routing)

비지도 게이팅 네트워크를 통해 전문가 할당을 학습하는 표준 MoE 구현(예: MoLE)과 달리, MED-DSLC는 **감독된 도메인 학습(supervised domain learning)**을 활용합니다.

• 메커니즘: 훈련 샘플의 도메인은 해당 클래스가 어떤 도메인 특정 레이블 세트에 속하는지 확인함으로써 도출될 수 있으므로, 게이팅 네트워크는 표준 이미지 분류 손실($\mathcal{L}_{\text{cls}}$) 외에도 도메인 분류 손실($\mathcal{L}_{\text{domain}}$)을 사용하여 훈련됩니다.
• 목적: 이는 게이팅 네트워크가 특징을 올바른 도메인 전문가에게 명시적으로 라우팅하도록 강제하여, 더 나은 부하 분산을 보장하고 추론 시 부적절한 전문가가 선택되는 것을 줄입니다.

2. 도메인별 로짓 스케일링 (Domain-Wise Logit Scaling/Calibration)

독립적으로 훈련된 전문가들이 서로 호환되지 않는 스케일의 로짓을 생성하는 문제를 해결하기 위해, MED-DSLC는 각 도메인 $d$에 대해 학습 가능한 온도 매개변수(temperature parameter)($\tau_d$)를 도입합니다.

• 메커니즘: 통합 레이블 공간에 대한 최종 소프트맥스 연산 이전에, 도메인 $d$에 속하는 클래스들에 대한 로짓 $z_c(x)$는 다음과 같이 재조정됩니다:
  $$\tilde{z}_c(x) = \frac{z_c(x)}{\tau_d}$$
• 목적: 이 정규화는 단일 도메인 내 클래스의 상대적 순위는 변경하지 않으면서 서로 다른 도메인 간의 로짓 크기를 정렬합니다. 이는 시스템적으로 높은 로짓 크기를 가진 도메인이 예측을 지배하는 것을 방지하여, 유효한 제로샷 추론에 필요한 전역적 비교 가능성을 복원합니다.

전체 훈련 목적 함수는 분류 손실과 도메인 감독 손실을 결합합니다:
$$\mathcal{L} = \mathcal{L}_{\text{cls}} + \lambda \mathcal{L}_{\text{domain}}$$
여기서 $\lambda$는 두 항의 균형을 맞춥니다. VLM 백본과 독립적으로 훈련된 LoRA 어댑터는 고정된 상태로 유지되며, 오직 게이팅 네트워크와 온도 매개변수만이 학습됩니다.

주요 기여

1. 문제 식별: 본 논문은 비지도 도메인 라우팅과 교차 도메인 로짓 미보정을 확장 가능한 MED 분류의 주요 장벽으로 식별했습니다.
2. MED-DSLC 프레임워크: 저자들은 전역적 로짓 비교 가능성을 명시적으로 복원하기 위해 도메인 감독 라우팅과 도메인별 로짓 스케일링을 결리한 새로운 아키텍처를 제안했습니다.
3. 강건한 제로샷 인식: 이 방법은 테스트 시 도메인 레이블이 필요하지 않으면서도 특화된 도메인 전반에 걸쳐 강건한 분류를 가능하게 하여, 다중 도메인 전문화 환경에서도 진정한 제로샷 VLM 동작을 효과적으로 회복합니다.

실험 결과

저자들은 Caltech101, EuroSAT, FGVC Aircraft, Cars, Pets, Flowers, DTD, UCF101, Food101을 포함한 9개의 세밀한 인식 벤치마크에서 Base Split(본 도메인 클래스) 및 All Split(본 도메인 + 미보지 도메인 클래스) 프로토콜 하에 MED-DSLC를 평가했습니다.

• 성능 향상: MED-DSLC는 Base Split에서 85.51%, All Split에서 **71.80%**의 평균 정확도를 달성했습니다.
  • 이는 단순한 LoRA-Mean 베이스라인보다 +15.39%(Base) 및 +6.83%(All) 높았습니다.
  • 비지도 방식인 MoLE 베이스라인보다 +12.99%(Base) 및 +5.95%(All) 높았습니다.
  • 특히, MED-DSLC는 Expert-LoRA 오라클(테스트 시 정답 도메인을 알고 있는 경우)의 성능을 약간 상회하였으며, 이는 전문가들의 결합이 과적합에 대한 강건성을 제공함을 시사합니다.
• 교차 도메인 강건성: MoLE와 비교했을 때 도메인 간 로짓 히스토그램의 중첩이 감소한 것을 통해 확인할 수 있듯이, 이 방법은 교차 도메인 간섭을 크게 줄였습니다.
• 데이터 효율성: 클래스당 단 하나의 예시만 사용하여 게이팅 및 스케일링 매개변수를 훈련하는 원샷(one-shot) 훈련 설정에서도, MED-DSLC는 다른 방법들을 상당한 차이로 앞지르며 강력한 성능(평균 정확도 71.71%)을 유지했습니다.
• 확장성: 이 방법은 레이블 공간의 복잡성과 클래스 불균형이 증가함에 따라 베이스라인 대비 성능 향폭이 커지는 것을 통해 확장성을 입증했습니다.

의의 및 주장

본 논문은 데이터 불균형이 심한 다중 도메인 환경에서 진정한 제로샷 VLM을 달升하기 위해서는 **출력 수준의 보정(output-level calibration)**을 복원하는 것이 필수적이라고 주장합니다. 저자들은 매개변수 효율적 미세 조정이 특화된 전문가를 생성하지만, 로짓 스케일의 불일치를 해결하지 않고 단순히 이들을 병합하면 파편화되고 신뢰할 수 없는 모델이 된다고 강조합니다.

MED-DSLC는 파운데이션 모델이나 전문가 LoRA를 다시 훈련할 필요가 없는 경량 솔루션으로 제시됩니다. 감독된 라우팅과 단순한 로짓 스케일링을 결합함으로써, 이 프레임워크는 수천 개의 특화된 모델을 단일 통합 시스템으로 결합하여 인도메인 변별력을 유지하면서도 교차 도메인 간섭을 완화할 수 있게 합니다. 결과는 이 접근 방식이 적절한 도메인을 추론 시점에 알 수 없는 다양한 실제 레이블 공간으로 VLM을 확장하는 데 매우 중요하다는 것을 보여줍니다.