기술 요약: GoTTA be Diverse: 테스트 시간 적응을 위한 메모리 정책 재고

문제 정의

테스트 시간 적응 (TTA) 은 사전 훈련된 모델이 소스 데이터에 접근할 수 없는 상태에서 분포 변화를 겪는 라벨 없는 테스트 스트림에 온라인으로 적응할 수 있게 합니다. 많은 연구가 적응 목표 (예: 엔트로피 최소화, 의사 라벨링) 에 초점을 맞추고 있지만, 실제 배포는 비정상적, 시간적 상관관계가 있으며 클래스 불균형인 스트림으로 인한 도전에 직면해 있습니다. 이러한 설정에서 연속된 배치에는 종종 중복된 샘플이 포함되거나 심각한 라벨 편향이 나타나 예측 오류가 증폭되고 망각이 가속화됩니다.

기존 TTA 방법은 종종 적응을 안정화하기 위해 메모리 재생 버퍼를 사용합니다. 그러나 이러한 메모리 메커니즘은 일반적으로 특정 알고리즘의 분리 불가능한 구성 요소로 평가되어 어떤 설계 선택 (예: 최근성, 클래스 균형, 다양성) 이 성능을 주도하는지 분리하기 어렵습니다. 또한, 표준 메모리 정책 (예: FIFO, 레저버 샘플링) 이나 심지어 클래스 기반 전략조차도 동일한 클래스 내의 근접 중복 샘플의 유지를 방지하지 못해 제한된 메모리 용량을 낭비하고 적응 신호를 약화시킵니다.

방법론

저자들은 메모리 관리를 적응 알고리즘에서 분리하여 메모리를 TTA 의 모듈식 1 차 구성 요소로 취급하는 체계적인 접근법을 제안합니다.

1. 체계적 벤치마킹

이 연구는 다음 조건에서 메모리 정책을 통합된 조건 하에 평가합니다:

• 스트림 유형: i.i.d., 비 i.i.d.(시간적 상관관계), 연속적, 그리고 실제 비디오 스트림.
• 정책 계열:
  • 비정보적: FIFO, 레저버 샘플링.
  • 클래스 기반: 의사 라벨 균형 레저버 샘플링 (PBRS), CSTU(시간성/불확실성을 고려한 클래스 균형).
  • 다양성 인식: 제안된 가이드드 옵저버셔널 테스트 시간 적응 (GOTTA) 계열.

2. GOTTA 프레임워크

GOTTA 는 클래스 균형과 클래스 내 기하학적 다양성을 동시에 강제하는 다양성 인식 메모리 정책을 도입합니다. 핵심 원칙은 메모리가 수동적인 버퍼가 아니라 관측된 샘플의 컴팩트한 코어셋으로 작용해야 한다는 것입니다. GOTTA 는 두 가지 주요 샘플링 메커니즘을 활용합니다:

• 최원점 샘플링 (FPS):

  • 유입되는 샘플을 의사 라벨 파티션에 할당합니다.
  • 파티션 내에서 후보를 저장된 가장 가까운 이웃과 비교합니다.
  • CSTU 에서 적응된 나이와 불확실성에 기반한 공유 퇴출 점수 $H(m_i)$ 를 사용하여 퇴출할 항목을 결정합니다.
  • 다양성 확인: 파티션 내 가장 가까운 이웃까지의 거리가 임계값 $\epsilon$(0.005 로 설정됨) 을 초과할 때만 후보가 수락됩니다.
  • FPSD(동적): 현재 모델을 통해 저장된 샘플을 주기적으로 재인코딩하여 표현과 의사 라벨을 업데이트함으로써 다양성 지표가 진화하는 특징 공간과 일관성을 유지하도록 FPS 를 확장합니다.

• 코사인 다양성 샘플링 (CDS):

  • 클래스 파티션 내의 각도적 다양성에 초점을 맞춥니다.
  • 정규화된 표현을 사용하여 코사인 유사도를 계산합니다.
  • 파티션이 가득 차면 새로운 샘플을 포함한 후보 집합을 형성하고 다른 요소들과의 최대 유사도가 가장 높은 (가장 중복된) 요소를 식별하여 퇴출합니다.
  • 매우 유사한 후보를 즉시 폐기하는 경량 중복 필터를 포함합니다.

3. 실험 설정

• 데이터셋: CIFAR-10-C, ImageNet-C, 그리고 본질적인 비 i.i.d. 구조를 가진 비디오 기반 벤치마크인 ITD.
• 프로토콜: 다양한 메모리 예산 ($M \in \{8, 16, 32, 64\}$) 과 스트림 편향 수준 (디리클레 농도 매개변수 $\gamma$로 제어) 하의 에피소드적 및 연속적 적응.
• 베이스라인: TENT, SHOT, PL, CoTTA, NOTE, RoTTA, EATA, SAR, Energy 를 포함한 다양한 TTA 방법에 대해 평가.

주요 결과

1. 메모리 용량 및 스트림 상관관계의 영향

• 제한된 예산: 엄격한 메모리 제약 (예: $M=32$) 과 시간적 상관관계가 있는 스트림 하에서 다양성 인식 메모리 (GOTTA) 는 비정보적 및 클래스 기반 베이스라인을 크게 능가합니다. 예를 들어, $M=32$인 CIFAR-10-C 에서 Norm 방법과 짝을 이룬 FPS 는 76.11% 의 정확도를 달성하여 FIFO(72.63%) 와 CSTU(72.75%) 를 능가했습니다.
• 심각한 과소 공급: 1,000 개의 클래스에 대해 $M=64$인 ImageNet-C 에서 엄격한 클래스 균형은 수학적으로 불가능하며, 이때 다양성 인식 선택이 결정적이었습니다. CDS 와 FPS 는 다른 방법들이 붕괴된 상황에서도 경쟁력 있는 성능을 유지하여 극단적인 시나리오에서 클래스 균형보다 인스턴스별 다양성이 더 강력한 기준임을 입증했습니다.
• 비디오 스트림: ITD 비디오 벤치마크에서 RoTTA 와 짝을 이룬 FPS 는 메모리 정책 중 최고의 결과를 달성하여 비디오 데이터에서 시간적 중복성을 처리하는 필요성을 강조했습니다.

2. 다양성 임계값 민감도

• 다양성 임계값 $\epsilon$에 대한 제거 연구는 $\epsilon = 0.005$가 다양성과 대표성 사이에서 일관되게 최상의 균형을 제공함을 밝혔습니다.
• 더 작은 값 ($\epsilon = 0.001$) 은 중복된 샘플이 누적되도록 허용한 반면, 더 큰 값 ($\epsilon = 0.01$) 은 메모리 업데이트를 과도하게 제한하여 데이터 분포의 커버리지를 감소시켰습니다.

3. 확장성

• 메모리 용량이 증가함에 따라 (예: $M=64$로), 다양성 인식 정책과 단순한 정책 간의 성능 격차는 축소되었습니다. 이는 더 큰 버퍼가 약한 선택 전략을 부분적으로 보상할 수 있음을 시사하지만, 용량이 확장됨에 따라 다양성 인식 정책이 여전히 우월하거나 경쟁력 있음을 보여줍니다.

중요성 및 주장

이 논문은 메모리 관리가 견고한 테스트 시간 적응의 1 차 구성 요소라고 주장합니다. 저자들은 다음과 같이 주장합니다:

1. 다양성이 핵심입니다: 효과적인 메모리 관리는 최근 샘플이나 클래스 균형 샘플을 유지하는 것 이상을 요구합니다. 클래스 내 특징 다양성은 특히 시간적 상관관계가 있고 라벨 편향이 있는 스트림 하에서 중복 버퍼를 피하고 대표적 적응 신호를 유지하는 데 필수적입니다.
2. 모듈성: 메모리 정책은 적응 목표에서 분리될 수 있습니다. GOTTA 는 기존 버퍼의 "대체 가능한 구성 요소 (drop-in replacement)"로 작용하여 기본 적응 손실이나 아키텍처를 수정하지 않고도 다양한 TTA 알고리즘의 성능을 향상시킵니다.
3. 실제 필요성: 메모리가 제한되고 데이터가 비 i.i.d.인 실제 배포 환경에서 클래스 균형과 함께 다양성을 강제하는 것은 오류 누적과 망각을 방지하기 위한 중요한 설계 원칙입니다.

한계

저자들은 GOTTA 가 특징 공간 거리에 의존하며, 그 신뢰성은 적응 중 표현의 품질에 달려 있음을 인정합니다. 또한, 이 접근법은 단순한 FIFO 나 레저버 메모리에 비해 더 높은 관리 비용을 도입합니다. 평가는 주로 손상 벤치마크와 제어된 비디오 스트림에 초점을 맞추었으며, 다양한 배포 데이터에 대한 광범위한 검증은 향후 연구 과제로 남겨졌습니다.