Cross-device Collaborative Test-time Adaptation with Zeroth-order Optimization and Model Merging

기술 요약: 제로차 최적화 및 모델 병합을 이용한 교차 디바이스 협력적 테스트 타임 적응

1. 문제 정의

심층 신경망(DNN)은 훈련 데이터와 테스트 데이터의 분포가 크게 다른 도메인 변화(domain shift)로 인해 성능 저하를 겪는 경우가 많습니다. 테스트 타임 적응(Test-time Adaptation, TTA)은 라벨이 없는 테스트 데이터를 사용하여 모델을 실시간으로 업데이트함으로써 해결책을 제시하지만, 기존 방법들은 주로 역전파(backpropagation, BP)에 의존합니다. 역전파는 계산 그래프, 중간 활성화 값, 손실 그래디언트를 저장하기 위해 방대한 메모리를 필요로 하는 자원 집약적인 과정입니다. 이는 도메인 변화를 빈번하게 겪으면서도 역전파를 수행할 수 있는 계산 능력이 부족한 리소스 제한적 엣지 디바이스(예: 모바일 폰, IoT 센서)에서 표준적인 TTA를 실행 불가능하게 만듭니다.

나아가, 리소스가 풍부한 디바이스와 리소스가 제한된 디바이스 간에 모델 정보를 공유하는 교차 디바이스 협력적 TTA(Cross-device Collaborative TTA, CDC-TTA) 프레임워크가 존재함에도 불구하고, 고차원의 모델 가중치에 제로차 최적화(Zeroth-order Optimization, ZOO)—역전파 없이 순전파만을 사용하는 방식—를 단순히 적용하는 것은 느린 수렴 속도와 낮은 성능이라는 문제를 야기합니다.

2. 방법론

저자들은 CDC-TTA 프레임워크 내에서 리소스 제한적 디바이스를 위해 설계된 새로운 TTA 방법을 제안합니다. 이 접근 방식은 제로차 최적화, 모델 병합, 그리고 독특한 전처리 전략이라는 세 가지 핵심 축을 통합합니다.

A. 프레임워크 개요
시스템은 중앙 서버를 통해 모델 가중치를 공유하는 이기종 디바이스 네트워크에서 작동합니다.

• 서버 측: 모델 배포 전에 공유 모델에 대해 무거운 전처리를 수행합니다.
• 디바이스 측: 역전파 없이 전처리된 모델을 사용하여 TTA를 실행합니다.

B. 서버 측 전처리
ZOO에 내재된 고차원 최적화의 어려움을 완화하고 중복성을 줄이기 위해, 서버는 "태스크 벡터"(미세 조정된 모델 가중치와 베이스 모델 간의 차이)에 대해 세 가지 하위 구성 요소를 적용합니다.

1. 비영향 가중치 억제(Non-influential Weight Suppression, NWS): 각 태스크 벡터에 top-k% 필터링을 적용하여, 병합 과정에 큰 영향을 미치지 않는 절대값이 낮은 요소들을 0으로 만듭니다.
2. 저차원 근사를 통한 중복성 감소(Redundancy Reduction, RR): 유사한 도메인으로부터 오는 태스크 벡터들은 중복된다는 점을 인식하여, 연결된 태스크 행렬에 특이값 분해(SVD)를 적용합니다. 이는 행렬을 더 낮은 랭크(rank)로 근사하여 유사한 정보를 효과적으로 그룹화합니다.
3. 적응형 랭크 선택(Adaptive Rank Selection, ARS): 복구 오차 임계값을 기반으로 각 모델 가중치 그룹에 대한 저차원 근사의 최적 랭크를 자동으로 결정합니다. 이는 필수적인 정보를 보존하면서 최적화해야 할 파라미터 수를 최소화합니다.

C. 디바이스 측 테스트 타임 적응
리소스 제한적 디바이스는 베이스 모델, 축소된 태스크 행렬, 그리고 초기 병합 계수를 전달받습니다.

1. 모델 병합: 병합 계수의 선형 결합을 사용하여 베이스 모델과 축소된 태스크 행렬을 병합함으로써 타겟 모델을 구축합니다.
2. 제로차 최적화(Zeroth-order Optimization, ZOO): 디바이스는 수백만 개의 모델 가중치를 직접 최적화하는 대신, 저차원의 병합 계수만을 최적화합니다. 이 방법은 동시 섭동 확률 근사(Simultaneous Perturbation Stochastic Approximation, SPSA)를 이용한 제로차 확률적 경사 하강법(ZO-SGD)을 사용합니다. 계수에 양(+)과 음(-)의 섭동을 적용했을 때의 순전파 결과 사이의 손실 차이를 측정하여 의사 그래디언트(pseudo-gradients)를 계산합니다.
3. 메모리 억제: 메모리 사용량을 더욱 줄이기 위해 "랜덤 시드 트릭(random seed trick)"을 사용합니다. 디바이스는 무작위 섭동 벡터를 저장하는 대신, 매 반복마다 랜덤 시드를 샘플링하고 섭동을 재샘플링하여 메모리 비용이 표준 추론(inference) 수준과 유사하게 유지되도록 합니다.

3. 주요 기여

• 리소스 친화적 TTA: 역전파를 제로차 최적화로 대체함으로써 작은 메모리 용량을 가진 디바이스에서도 실행 가능한 TTA 방법을 제안했습니다.
• 모델 병합을 통한 차원 축소: 원시 모델 가중치가 아닌 병합 계수를 최적화함으로써 최적화 차원을 획기적으로 줄였으며, 이를 통해 고차원 공간에서 ZOO와 관련된 일반적인 문제인 느린 수렴 속도를 해결했습니다.
• 시너지 효과를 내는 전처리: 비영향 가중치를 제거하고 모델 간 중복성을 줄여 ZOO 프로세스의 효율성을 높이는 독특한 전처리 파이프라인(NWS, RR, ARS)을 도입했습니다.
• 양자화 호환성: 역전파를 본질적으로 실행할 수 없는 양자화 모델에도 적용 가능하며, 이러한 시나리오에서 개선된 예측 정확도를 입증했습니다.

4. 실험 결과

저자들은 일반적인 손상 벤치마크(CIFAR10-C, CIFAR100-C, ImageNet-C)와 스타일 변환 벤치마크(Stylized-ImageNet)를 통해 제안된 방법을 평가했습니다.

• 성능: 제안된 방법은 다양한 데이터셋과 손상 유형에 대해 기존의 BP-free TTA 방법들(BN stats, T3A) 및 가장 강력한 경쟁 모델인 CoLA보다 일관되게 우수한 성능을 보였습니다. 예를 들어, ResNet-50을 사용한 ImageNet-C에서 제안된 방법은 CoLA(61.3%)보다 낮은 평균 에러율(59.4%)을 달 기록했습니다.
• 메모리 효율성: 이 방법은 기존 BP 기반 TTA에 비해 메모리 사용량을 크게 줄였습니다. BP 기반 방법은 거대한 계산 그래프와 그래디언트를 저장해야 했으나(저자의 예시에서 약 9.37 GB), 제안된 방법은 이를 추론 전용 작업과 유사한 수준(예: 약 1.84 GB)으로 낮추었습니다.
• 절제 연구(Ablation Studies): 실험을 통해 모델 병합, ZO-SGD, 그리고 전체 전처리 세트(NWS, RR, ARS)의 조합이 최상의 결과와 효율성을 제공함을 확인했습니다. 각 구성 요소는 전체 성능과 효율성에 기여했습니다.

5. 의의 및 주장

본 논문의 주요 의의는 자동 감시, 제조 품질 보증, 웨어러블 헬스케어와 같은 실제 응용 분야의 핵심 요구 사항인 리소스 제한적 엣지 디바이스에 대한 테스트 타임 적응을 가능하게 한다는 점에 있습니다. CDC-TTA 프레임워크를 활용함으로써, 이 방법은 모델 병합과 전처리를 통해 고차원 최적화 문제를 저차원 문제로 전환합니다. 저자들은 이 접근 방식이 계산 리소스의 제한과 동적인 환경에서의 견고한 적응형 모델 필요성 사이의 균형을 성공적으로 맞추었으며, 전통적인 BP 기반 TTA가 실패하는 지점에서 실질적인 솔루션을 제공한다고 주장합니다.