기술 요약: DOME - 희소한 감독(Sparse Supervision)으로부터 전이 가능한 도메인 변수 학습하기

1. 문제 정의

테스트 시 적응(Test-Time Adaptation, TTA)은 사전 학습된 모델을 레이블이 없는 스트리밍 데이터만을 사용하여 변화하는 테스트 도메인에 정렬하는 것을 목표로 합니다. 기존의 TTA 방법론들은 주로 전체 타겟 도메인을 대표하는 단일하고 전역적인 통계적 분포를 추론하려고 시도하는 "암시적 탐색(implicit search)" 패러다임에 의존합니다. 저자들은 이러한 접근 방식이 다음과 같은 이유로 실제 시나리오에서는 근본적으로 결함이 있다고 주장합니다:

• 다차원성(Multidimensionality): 실제 세계의 도메인 변화는 다차원적이며 샘플별로 특화되어 있습니다 (예: 하나의 이미지는 동시에 "예술적" 도메인과 "동물" 도메인에 속할 수 있음).
• 정보 손실(Information Loss): 모든 타겟 데이터를 하나의 통합된 표현으로 강제하는 것은 샘플별 도메인 단서(cue)를 제거합니다.
• 불안정성(Instability): 다차원적인 샘플의 현실과 단일 전역 분포를 학습하려는 목적 사이의 충돌은 불안정한 최적화와 지역 최솟값(local minima)을 초래합니다.
• 취약성(Fragility): 현재의 방법들은 이러한 문제를 완화하기 위해 복잡한 휴리스틱이나 정교한 적응 알고리즘을 필요로 하는 경우가 많지만, 여전히 다양한 변화 속에서 취약성을 보입니다.

본 논문은 핵심 질문을 던집니다: 암시적 탐색에 의존하는 대신, 각 샘플의 도서(domain)를 명시적으로 모델링할 수 있는가?

2. 방법론: DOME 및 Sparse-to-Dense (S2D) 프레임워크

저자들은 다운스트림 샘플들을 위한 도메인 표현을 명시적으로 생성하는 제로샷 도메인 인코더인 DOME(DOMain Encoder)을 제안합니다. DOME은 두 가지 시너지 효과가 있는 구성 요소로 이루어진 Sparse-to-Dense (S2D) 학습 프레임워크를 통해 학습됩니다.

A. 희소 레이블 도메인 얽힘 해제 (Sparse-Label Domain Disentanglement, SDD)

밀집된(dense) 도메인 주석(annotation)을 사용할 수 없으므로, SDD는 희소한 감독(sparse supervision)을 사용하여 범주적 의미(category semantics)로부터 도메인 특화 요인을 분리하는 법을 배웁니다.

• 모멘텀 희소 뱅크(Momentum Sparse Bank): 도메인 뱅크는 모멘텀 전략($m=0.9$)을 통해 업데이트되는 희소하고 도메인 관련성이 높은 특징들을 저장합니다. 이는 공유된 도메인 정보는 강화하고 인스턴스 특유의 노이즈는 억제합니다.
• 얽힘 해제 메커니즘(Disentanglement Mechanism):
  1. CLIP 비전 인코더의 중간 토큰에서 위치 인코딩(positional encodings)을 제거하여 범주 관련 단서를 억제합니다.
  2. 경량 **사전 디코더(Dictionary Decoder)**가 이미지 표현을 고차원의 과완전(overcomplete) 공간으로 매핑합니다.
  3. 희소성 규제(Sparsity Regularization): $\ell_1$ 손실을 통해 모델이 해석 가능한 특징(표준 도메인 속성)의 희소한 하위 집합만을 활성화하도록 유도합니다.
  4. JumpReLU: 학습 가능한 임계값이 잔여 약한 활성화를 억제하여 깨끗하고 희소한 도메인 신호($z_{dom}$)를 생성합니다.

B. 밀집 도메인 표현 학습 (Dense Domain Representations Learning, DDRL)

이 구성 요소는 제로샷 일반화를 가능하게 하기 위해 희소한 주석을 연속적인 밀집 도메인 공간으로 확장합니다.

• 시각-언어 사전 학습(Vision-Language Pretraining): DOME은 동결된 CLIP 이미지 및 텍스트 인코더로부터 초기화됩니다. 학습 과정에서 부분적으로 마스킹된 도메인 텍스트는 도메인 변수의 추출을 가이드하며, 다차원 공간에서의 모호성을 줄입니다.
• 재매개변수화(Reparameterization): 모델은 도메인 통계량을 나타내기 위해 채널별 평균($\hat{\mu}$)과 표준 편차($\hat{\sigma}$)를 예측합니다.
• 학습 목적 함수(Training Objectives): 밀집 특징($\hat{z}$)은 다음을 통해 깨끗한 희소 신호($z_{dom}$)와 정렬되도록 학습됩니다:
  • MSE Loss: 밀집 투영을 희소 프로토타입(prototype)에 회귀시킵니다.
  • 보조 손실(Auxiliary Loss): 투영을 원시 도메인 통계량과 정렬합니다.
  • InfoNCE Loss: 도메인 내 응집력을 높이고 도메인 간 분리도를 높입니다.

C. 테스트 시 적응(TTA) 통합

추론 시, DOME은 동결된 모듈로서 작동합니다:

1. 도메인 주입(Domain Injection): DOME은 테스트 이미지(및 그 약한 증강 버전)를 처리하여 도메인 통계량을 생성합니다.
   // 2. 어댑터 변조(Adapter Modulation): 경량 MLP 어댑터가 이 통계량을 아핀 파라미터($g, b$)로 변환합니다.
2. 특징 변조(Feature Modulation): 이 파라미터들은 LayerNorm 이후의 $x = x \cdot (1 + g) + b$ 식을 통해 동결된 ViT 백본의 특징을 변조합니다.
3. 최적화(Optimization): 단 한 번의 순방향-역방향 패스(forward-backward pass) 동안 표준 엔트로피 최소화 목적 함수(조건부 및 주변 엔트로피)를 사용하여 어댑터와 정규화 레이어만 업데이트합니다. 복잡한 자기 지도 학습(self-training)이나 의사 레이블링(pseudo-labeling)이 필요하지 않습니다.

3. 주요 기여

1. 명시적 도메인 주입: DOME은 TTA 문헌에서 최초의 범용 도메인 특화 특징 추출기로서, 패러다임을 암시적 도메인 탐색에서 명시적 도메인 주입으로 전환했습니다.
2. Sparse-to-Dense 학습 프레임워크: 모멘텀으로 업데이트되는 희소 뱅크를 사용하여 얽힘 해제된 감독을 제공하고, 시각-언어 사전 학습을 통해 제로샷 일반화를 위한 연속적인 밀집 도민 표현을 확장하는 새로운 학습 전략을 제시했습니다.
3. 단순성 및 성능: 저자들은 견고한 적응이 복잡한 알고리즘이 아닌, 명시적이고 구조화된 도메인 표현으로부터 온다는 것을 입증했습니다. 단순한 엔트로피 최소화 전략을 DOME과 결와합하는 것만으로도 최첨단(SOTA) 성능을 달ace합니다.

4. 실험 결과

이 방법은 다양한 백본(ViT-B, ViT-L, DINOv2)을 사용하여 ImageNet-C, ImageNet-R, ImageNet-Sketch에서 평가되었습니다.

• ImageNet-C: DOME + 엔트로피 최소화는 **66.7%**의 평균 정확도를 달성하여, DeYO(66.4%) 및 FOA(66.3%)와 같은 복잡한 베이스라인을 능가했습니다. 특히 Motion Blur, Zoom Blur, Elastic Transform에서 강점을 보였습니다.
• ImageNet-R: **68.7%**의 Top-1 정확도를 달성하여, 가장 성능이 좋은 복잡한 방법(DeYO)과 대등한 성과를 보였으며 스타일 변화를 효과적으로 처리했습니다.
• ImageNet-Sketch: **53.9%**로 새로운 SOTA를 기록하며 DeYO(50.3%)를 크게 앞질렀으며, 질감(texture) 단서가 없는 상황에서의 견고함을 입증했습니다.
• 일반화(Generalization): 미지의 예술적 도메인에 대한 오프라인 TTA 설정에서, DOME은 원시 CLIP 통계량(DomStat)을 사용하는 베이스라인보다 일관되게 우수한 성능을 보였으며, ViT-B/16 기준 정확도를 52.81%에서 68.34%로 향상시켰습니다.
• 효율성: DOME은 실시간 지연 시간을 유지하면서도 전체 모델 적응 방법(예: CoTTA)보다 4배 적은 학습 가능한 파라미터로 SOTA 성능을 달성합니다.

5. 의의 및 주장

본 논문은 견고한 TTA의 주요 동력이 복잡한 적응 알고리즘(예: 자기 지도 학습, 프로토타입 정렬)이 아니라, 도메인 표현의 품질이라고 주장합니다.

• 패러다임 전환: 도메인 변수를 명시적으로 모델링함으로써, 추론 과정은 부정확할 수 있는 전역 분포를 위해 최적화되는 대신, 데이터에 의존적이고 각 샘플의 다차원 도메인에 맞춤화될 수 있습니다.
• 얽힘 해제(Disentanglement): S2D 프레임워크는 도메인 단서를 의미 정보로부터 성공적으로 분리하여, 모델이 명시적인 도메인 단서의 안내를 받으면서 적응 과정 중에는 의미 정보에 집중할 수 있도록 합니다.
• 제로샷 능력: 시각-언어 사전 학습을 활용함으로써, DOME은 다운스트림 TTA 단계에서 특정 도메인 레이블 없이도 미지의 도메인으로 일반화할 수 있습니다.

저자들은 명시적이고 구조화된 도메인 표현이 현재 TTA 방법들의 취약성을 해결하는 핵심이며, 이를 통해 단순한 전략으로도 다양한 연속적 도메인 변화에 걸쳐 최첨단 성능을 달성할 수 있다고 결론짓습니다.