기술 요약: BP-TTA: 동적 시나리오에서의 균형 잡힌 프로토타입 가이드 테스트 타임 적응 (Balanced and Prototype-Guided Test-Time Adaptation in Dynamic Scenarios)

1. 문제 정의

본 논문은 실제 환경의 동적인 시나리오에 배포될 때 기존 테스트 타임 적응(Test-Time Adaptation, TTA) 방법들이 직면하는 한계를 다룹니다. 기존의 TDA는 테스트 데이터가 단일 타겟 도메인으로부터 독립적이고 동일하게 분포(i.i.d.)한다고 가정하지만, 실제 응용 분야에는 두 가지 도전 과제가 동시에 발생하는 실용적 테스트 타임 적응(Practical Test-Time Adaptation, PTTA) 설정이 존재합니다:

1. 지속적인 도메인 변화 (Continual Domain Shifts): 변화하는 환경 조건(예: 조명, 날씨, 센서 노이즈)으로 인해 테스트 분포가 시간에 따라 지속적으로 진화합니다.
2. 스트리밍 데이터의 클래스 불균형 (Class Imbalance in Streaming Data): 실세계 스트림의 시간적 상관관계(예: 고속도로를 달리는 차량이 주로 자동차를 보다가 주거 지역으로 진입하며 보행자를 보게 되는 경우)로 인해, 짧은 시간 윈도우 내에서는 심각한 클래스 불균형이 나타날 수 있습니다.

기존 방법들은 다음과 같은 이유로 이러한 설정에서 실패하는 경우가 많습니다:

• 클래스 불균형: 그래디언트 업데이트가 다수 클래스에 의해 지배되어, 모델이 단기적인 패턴에 과적합되고 소수 클래스를 소홀히 하게 됩니다.
• 지속적인 변화: 의사 라벨(pseudo-labels)이나 엔트로피 최소화에 의존하는 방식은 분포가 표류함에 따라 불안정해져, 노이즈가 섞인 감독(supervision)과 파괴적 망각(catastrophic forgetting)을 초래합니다.

2. 방법론: BP-TTA

저자들은 Mean Teacher 아키텍처(학생 및 교사 네트워크) 내에서 **배치 균형 샘플링(Batch-Balanced Sampling, BBS)**과 **카테고리 프로토타입 가이드 적응(Category Prototype-Guided Adaptation, CPGA)**을 통합한 BP-TTA (Balanced and Prototype-Guided Test-Time Adaptation) 프레임워크를 제안합니다.

A. 배치 균형 샘플링 (Batch-Balanced Sampling, BBS)

스트리밍 데이터의 클래스 불균형을 완화하기 위해, BBS는 균형 잡힌 학습 배치를 동적으로 재구성합니다.

• 메모리 뱅크 (Memory Bank): 의사 라벨($\hat{y}_i$), 연령($a_i$), 신뢰도($\gamma_i$), 불확실성($u_i$) 속성을 저장하는 클래스 인지형 메모리 뱅크 $\mathcal{M}$을 유지합니다.
• 선택 메커니즘: 최근 샘플과 불확실한 샘플을 우선시하고 중복된 샘플을 제거하기 위해 선택 점수 $H_i = \exp(a_i/K) + u_i$를 사용하여 메모리 뱅크를 관리합니다.
• 배치 재구성: 각 유입되는 배치에 대해 다음 과정을 수행합니다:
  • 다수 클래스는 상위 $N$개의 최고 신뢰도 샘플을 선택하여 다운샘플링합니다.
  • 소수 클래스는 메모리 뱅크에서 고신뢰도 샘플을 검색하여 보충합니다.
  • 클래스당 고정된 샘플 수($N_{per-class}$)를 보장하기 위해 필요한 경우 샘플을 복제합니다.
• 차별점: 메모리 뱅크 샘플에만 의존하는 기존 연구(예: RoTTA)와 달리, BBS는 유입되는 배치에 직접 작용하여 균형 잡힌 배치가 현재의 타겟 분포를 반영하면서도 불균형을 교정하도록 보장합니다.

B. 카테기 프로토타입 가이드 적응 (Category Prototype-Guided Adaptation, CPGA)

지속적인 도메인 변화 하에서 적응을 안정화하기 위해, CPGA는 클래스 프로토타입을 활용하여 특징 학습을 가이드합니다.

• 프로토타입 초기화 및 업데이트: 클래스 프로토타입 $\{p_c\}$는 소스 모델의 분류기 가중치로부터 초기화됩니다. 이들은 고신뢰도 샘플($\gamma_i \geq \tau$)만을 사용하여 지수 이동 평균(EMA) 메커니즘을 통해 업데이트됩니다:
  $$p_c^{(t+1)} = \alpha p_c^{(t)} + (1-\alpha)z_i \quad \text{if } \hat{y}_i = c \text{ and } \gamma_i \geq \tau$$
• 프로토타입 손실 (Prototype Loss): 샘플 특징과 그에 대응하는 클래스 프로토타입 사이의 거리를 최소화하여 클래스 내 응집도와 클래스 간 분리도를 높이는 감독 손실을 도입합니다:
  $$\mathcal{L}_{proto} = \frac{1}{|S|} \sum_{i \in S} (1 - \text{sim}(z_i, p_{\hat{y}_i}))$$
  여기서 $S$는 고신뢰도 샘플의 집합입니다.

C. 전체 최적화

전체 손실 함수는 표준 일관성 손실(증강된 상태의 학생과 교사 간)과 프로토타입 손실을 결합합니다:
$$\mathcal{L}_{total} = \mathcal{L}_{sup} + \lambda \mathcal{L}_{proto}$$
학생 모델은 경사 하강법을 통해 업데이트되며, 교사 모델은 EMA를 통해 업데이트됩니다.

3. 주요 기여

1. 새로운 프레임워크: 배치 균형 샘플링과 프로토타입 가이드 적응을 결합하여 PTTA 설정에서 클래스 불균형과 지속적인 도메인 변화를 동시에 해결하는 최초의 방법인 BP-TTA를 제안합니다.
2. 배치 균형 샘플링 (BBS): 클래스 인지형 메모리 뱅크를 사용하여 불균형한 스트림으로부터 동적으로 균형 잡힌 배치를 재구성하는 메커니즘을 도입하여, 모든 클래스에 대해 신뢰할 수 있는 의사 라벨을 보장합니다.
3. 카테고리 프로토타입 가이드 적응 (CPGA): 추론 중에 진화하는 클래스 프로토타입을 유지하는 방법을 개발하였으며, 프로토타입 유사성을 제약 조건으로 사용하여 의사 라벨의 신뢰성과 특징 공간의 안정성을 향상시킵니다.
4. 포괄적인 평가: 세 가지 데이터셋(CIFAR10-C, CIFAR100-C, ImageNet-C)과 DomainNet-126 데이터셋의 PTTA 조건 하에서 기존의 최첨단(SOTA) TTA 방법들(TENT, CoTTA, EATA, SAR, RoTTA 포함)보다 우수한 성능을 입증했습니다.

4. 실험 결과

본 논문은 BP-TTA의 효과를 검증하는 광범위한 실험 결과를 보고합니다:

• 성능: BP-TTA는 일관되게 모든 베이스라인을 능가합니다. CIFAR10-C, CIFAR100-C, ImageNet-C에서 두 번째로 우수한 방법들보다 평균 정확도를 각각 3.08%, 1.84%, 1.59% 개선했습니다.
• 절제 연구 (Ablation Studies):
  • 구성 요소 효능: BBS만 사용하는 경우 소스 모델에 비해 오차율이 크게 감소합니다. CPGA만 사용하는 경우 노이즈가 섞인 프로토타입 업데이트로 인해 불균형이 심할 때 어려움을 겪습니다. 두 조합(BBS+CPGA)이 최상의 결과를 냅니다.
  • 하이퍼파라미터: 본 방법은 신뢰도 임계값 $\tau$와 평활화 계수 $\alpha$의 변화에 견고합니다. 프로토타입 손실에 대한 가중치 인자 $\lambda=10$이 최적임을 확인했습니다.
  • 배치 크기: 적절한 배치 크기가 안정성과 반응 속도 사이의 최적의 균형을 제공합니다.
• 강건성 (Robustness):
  • 도메인 변화 빈도: BP-TMA는 도메인 변화 빈도가 증가함에 따라 RoTTA보다 더 느리게 성능이 저하됩니다.
  • 불균형 심각도: 디리클레 농축 파라미터 $\delta$가 감소함에 따라(더 높은 불균형을 의미) 본 방법은 안정적인 성능을 유지합니다.
  • 순서 의존성: 도메인 변화 시퀀스에 따라 높은 변동성을 보이는 DA-TTA와 달리, BP-TTA는 변화 순서에 관계없이 일관된 성능을 유지합니다.
  • 모델 아키텍처: 본 방법은 상당한 성능 저하 없이 다양한 백본 네트워크(ResNet, WideResNet, ResNeXt)에서 효과적입니다.
• 시각화: t-SNE 시각화 결과, CPGA가 베이스라인 프로토타입 방법인 T3A에 비해 더 조밀한 클래스 내 클러스터와 더 나은 클래스 간 분리를 생성함을 확인했습니다.

5. 의의 및 주장

본 논문은 BP-TTA가 이전의 정적 또는 순수 지속적 적응 패러다임보다 실제 세계의 배포 과제를 더 정확하게 반영하는 **실용적 테스트 타임 적응(Practical Test-Time Adaptation)**을 위한 강력한 솔루션을 제공한다고 주장합니다.

• 실세계 제약 해결: 클래스 불균형과 도메인 변화 사이의 상호작용을 명시적으로 처리함으로써, 시간적 상관관계를 가진 스트리밍 데이터에 모델이 노출될 때 흔히 발생하는 "파괴적 실패"를 방지합니다.
• 안정성: 프로토타입 가이드의 통합은 학습 과정을 안정화하여, 모델이 지배적인 클래스에 과적합되거나 분포 표류 중에 노이즈가 섞인 의사 라벨에 의해 잘못 유도되는 것을 방지합니다.
• 최첨단 성능: 저자들은 자신들의 방법이 동적인 테스트 타임 스트리밍 설정에서 최첨단 성능을 달성하며, 비정상적(non-stationary) 환경에서 모델의 강건성을 향상시키기 위한 유연하고 실용적인 솔루션을 제공한다고 단언합니다.

본 연구는 중국 교육부의 기본 및 학제 간 분야 돌파 계획과 쓰촨성 자연과학재단의 지원을 받았습니다.