기술 요약: DO-ALL (Distill Once, Adapt Life-Long)

1. 문제 정의

지속적 테스트 시간 적응(Continual Test-Time Adaptation, CTTA)은 라벨이 없는 데이터를 사용하여 온라인으로 적응함으로써 진화하는 타겟 도메인 하에서 모델 성능을 유지하는 것을 목표로 합니다. 그러나 실제 배포 시에는 두 가지 결정적인 제약 조건에 직면합니다:

1. 개인정보 보호 및 라이선스: 전체 소스 데이터셋을 저장하거나 배포하는 것은 종종 불가능합니다.
2. 장기적 변화에서의 안정성: 순수 소스 프리(source-free) CTTA 방식은 장기적이고 비정상적인(non-stationary) 분포 변화 하에서 어려움을 겪습니다. 테스트 스트림에만 의존하면 모델이 표현을 고정할 지속적인 닻(anchor)이 부족하기 때문에, 모델의 자기 학습(self-training) 오류가 누적되고 파괴적 망각(catastrophic forgetting)이 발생합니다.

제한된 소스 정보(예: 통계치, 특징 프로토타입)를 보유하는 기존의 소스 프리 접근 방식들은 확장된 적응 기간 동안 충분한 안정성을 제공하지 못하는 경우가 많습니다.

2. 방법론

저자들은 데이터셋 증류(Dataset Distillation, DD)를 활용하여 개인정보를 보호하면서도 압축된 형태로 소스 지식을 보유하는 플러그 앤 플레이 프레임워크인 DO-ALL(Distill Once, Adapt Life-Long)을 제안합니다. 이 프레임워크는 두 단계로 작동합니다:

1단계: 배포 전 (Distill Once)

배포 전에 소스 데이터셋을 소스 증류 앵커(Source-Distilled Anchors, $\tilde{A}$)라고 불리는 작은 합성 샘플 세트로 증류합니다.

• 과정: 데이터셋 증류는 거대한 소스 데이터셋 $D_s$를 아주 작은 합성 세트 $\tilde{D}_s$ ($N_a \ll |D_s|$)로 압축합니다.
• 앵커 구성: 각 앵커 $\tilde{a}_i$는 세 가지 구성 요소로 이루어집니다:
  1. 합성 입력 ($\tilde{x}_i$): 학습 가능한 합성 이미지.
  2. 소프트 라벨 ($\tilde{s}_i$): 클래스 간 관계와 신뢰 구조를 보존하는 소스 모델 $f_{\theta_0}$에 의해 생성된 소프트 의사 라벨(soft pseudo-label).
  3. 잠재 특징 ($\tilde{z}_i$): 소스 특징 추출기 $g_{\theta_0}$에 의해 추출된 특징 표현.
• 저장: 이 앵커 세트는 모델과 함께 저장되며, 메모리를 최소한으로 사용하고 원본 데이터를 노출하지 않습니다.

2단계: 적응 중 (Adapt Life-Long)

CTTA 과정 동안, 모델은 증류된 앵커를 안정적인 참조점으로 사용하여 유입되는 타겟 스트림에 적응합니다.

• 앵커-타겟 연관 (Anchor-Target Association): 각 유입되는 타겟 샘플 $x^t_b$에 대해, 시스템은 잠재 특징 $z^t_b$를 계산하고 코사인 유사도를 사용하여 특징 공간에서 가장 가까운 앵커 $\tilde{a}^t_b$와 매칭합니다. 이는 타겟 샘플을 의미론적으로 정렬된 소스 참조와 쌍을 맺음으로써 문맥 인식 적응을 보장합니다.
• 적응 목적 함수 (Adaptation Objectives): 모델은 다음으로 구성된 총 손실 $\mathcal{L}_{anchor}$를 사용하여 업데이트됩니다:
  1. 앵커 기반 리플레이 손실 ($\mathcal{L}_{replay}$):
     • 직접 리플레이 (Direct Replay): 합성 앵커에 대한 모델의 예측과 저장된 소프트 라벨 사이의 일관성을 강제합니다 (온도 조절된 KL 발산 사용).
     • 믹스업 리플레이 (Mixup Replay): 타겟 샘플을 매칭된 앵커와 혼합하여 의미 있는 보간 경로를 생성함으로써, 변화된 타겟과 소스 참조 사이의 결정 경계를 부드럽게 만듭니다.
  2. 특징 수준 정렬 ($\mathcal{L}_{mmd}$): 최대 평균 편차(Maximum Mean Discrepancy, MMD) 목적 함수를 사용하여 네트워크 레이어 전반에 걸쳐 타겟 스트림과 앵커 세트의 특징 분포를 정렬함으로써 표현 드리프트(representation drift)를 방지합니다.
• 해로운 적응형 블렌딩 (Harm-Adaptive Blending): 누적된 파라미터 드리프트를 차단하기 위해, 이 방법은 "해로운" 파라미터 그룹을 소스 초기값 쪽으로 선택적으로 되돌립니다. 앵커 기반 그래디언트와 파라미터 업데이트 사이의 정렬을 바탕으로 "해로움 점수(harm score)"를 계산하며, 임계값을 초과하는 그룹은 소스 모델 파라미터로 부분적으로 블렌딩됩니다.

3. 주요 기여

• 프레임워크 통합: DO-ALL은 근본적인 적응 알고리즘이나 아키텍처를 변경하지 않고 데이터셋 증류를 CTTA에 통합하는 모듈식의 플러그 앤 플레이 전략을 도입합니다.
• 개인정보 보호 기반의 안정성: 합성 앵커를 통해 소스 분포 지식을 보유하는 메커니즘을 제공하여, 개인정보 제약 조건을 해결하는 동시에 파괴적 망각을 완화합니다.
• 새로운 구성 요소: 타겟-앵커 믹스업(Target-Anchor Mixup), 레이어별 MMD 정렬, 해로운 적응형 블렌딩의 결합은 장기적이고 진화하는 스트림을 위해 특별히 설계된 강력한 안정화 메커니즘을 생성합니다.
• 교차 아키텍처 호환성: 이 방법은 한 아키텍처(예: ResNet-18)에서 증류된 앵커가 다른 아키텍처(예: ResNet-50 또는 ViT)의 적응을 효과적으로 안정화할 수 있음을 입증하며, 이는 증류된 앵커가 일반화 가능한 의미 구조를 포착함을 시사합니다.

4. 실험 결과

저자들은 CIFAR100-C, ImageNet-C, 그리고 CCC 벤치마크(장기 적응 벤치마크)에서 DO-ALL을 평가했습니다.

• ImageNet-C: DO-ALL은 모든 오염 유형의 심각도 레벨 5에서 기존 CTTA 베이스라인(EATA, RMT, ROID)의 성능을 일관되게 향상시켰습니다. 예를 들어, ROID의 평균 에러를 54.5%에서 53.6%로, RMT를 59.8%에서 57.4%로 줄였습니다.
• CCC 벤치마크: 연속적인 도메인 전환이 발생하는 도전적인 "Hard" 시나리오에서, DO-ALL은 ROID의 평균 정확도를 33.6%에서 34.7%로 개선했으며, 특히 Hard 시나리오에서 상당한 이득(13.2%에서 15.5%)을 보였습니다.
• 절제 연구 (Ablation Studies):
  • 모든 구성 요소(Replay, MMD, Mixup, Blending)는 서로 중복되지 않는 안정화 효과를 기여했습니다.
  • 최근접 이웃 연관 (Nearest Neighbor Association): 특징 공간에서 타겟을 가장 가까운 앵커와 매칭하는 것이 매우 중요했습니다; 무작위 또는 가장 먼 매칭은 성능을 저하시켰습니다.
  • DD 방법 독립성: DO-ALL은 다양한 DD 알고리즘(WMDD, DELT, SRe2L)과 효과적으로 작동했습니다.
  • 품질 상관관계: 증류된 앵커의 단독 검증 정확도와 CTTA 개선 정도 사이에 양의 상관관계가 관찰되었으며, 이는 더 높은 품질의 의미론적 압축이 더 나은 안정화를 이끈다는 것을 나타냅니다.
• 효율성: DO-ALL은 미미한 오버헤드만을 도입합니다. 앵커 브랜치를 주기적으로(예: 7단계마다 한 번씩) 계산함으로써, 작은 CPU 저장 공간(~1.55 GB)을 사용하면서도 높은 FPS(RTX 3090 기준 220+ FPS)를 유지합니다.

5. 의의 및 주장

본 논문은 DO-ALL이 원본 소스 데이터를 보유하지 않고도 안정적이고 지속적인 적응을 가능하게 하는 데이터셋 증류 활용의 잠재력을 보여준다고 주장합니다.

• 안정성 대 드리프트: 주요 기여는 표현 붕괴와 파괴적 망각을 방지하는 "지속적인 닻"을 제공함으로써 장기 CTTA의 고유한 불안정성을 해결하는 것입니다.
• 분야 간 시너지: 이 연구는 데이터셋 증류와 지속적 테스트 시간 적응 사이의 유망한 교차점을 강조하며, DD의 발전(더 정보가 많은 합성 샘플 생성)이 직접적으로 더 강력한 CTTA 성능으로 이어진다는 것을 보여줍니다.
• 실제 배포: 기존 TTA 목적 함수와 무관하며 원본 데이터 저장을 요구하지 않는 DO-ALL은 엄격한 개인정보 보호 및 저장 용량 제약이 있는 환경에서 적응형 시스템을 배포할 수 있는 실질적인 경로를 제공합니다.

저자들은 DO-ALL이 효과적이긴 하지만, 향나 비정상적인 스트림을 위한 개선된 앵커 선택 스케줄링과 급격하거나 적대적인 변화에 대한 강건성을 탐구하는 후속 연구가 필요하다고 결론짓습니다. 그들은 증류된 데이터가 CTTA의 범위를 넘어 온라인 학습을 안정화하기 위한 범용적이고 압축된 메모리 역할을 할 수 있다고 상정합니다.