🤖 machine learning

SloMo-Fast: Slow-Momentum and Fast-Adaptive Teachers for Source-Free Continual Test-Time Adaptation

이 논문은 상호 보완적인 느린(slow) 및 빠른(fast) 교사 모델을 활용하여 장기적인 지식 유지와 신속한 도메인 적응 사이의 균형을 효과적으로 맞춤으로써, 진화하고 반복되는 도메인 변화를 처리하는 데 있어 기존 방법들을 능가하는 소스 프리 연속 테스트 시간 적응 프레임워크인 SloMo-Fast를 소개한다.

원저자: Md Akil Raihan Iftee, Mir Sazzat Hossain, Rakibul Hasan Rajib, Tariq Iqbal, Md Mofijul Islam, M Ashraful Amin, Amin Ahsan Ali, AKM Mahbubur Rahman

게시일 2026-07-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Md Akil Raihan Iftee, Mir Sazzat Hossain, Rakibul Hasan Rajib, Tariq Iqbal, Md Mofijul Islam, M Ashraful Amin, Amin Ahsan Ali, AKM Mahbubur Rahman

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 동물을 인식하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 햇살 가득한 공원에서 찍은 수천 장의 고양이와 강아지 사진을 보여주었고, 로봇은 이를 완벽하게 학습했습니다. 하지만 당신이 로봇을 실제 세상으로 데려갔을 때, 갑자기 조명이 바뀌고, 비가 내리기 시작하며, 카메라가 흐릿해지거나, 동물들이 코스튬을 입고 나타납니다. 햇살 좋은 공원의 사진으로만 학습된 로봇은 혼란에 빠져 실수를 하기 시작합니다. 이것이 바로 "도메인 시프트(domain shift)"라는 문제입니다.

이 문제를 해결하기 위해 과학자들은 **테스트 타임 적응(Test-Time Adaptation, TTA)**이라는 기술을 사용합니다. 로봇을 처음부터 다시 학습시키는 대신(이는 시간이 너무 오래 걸리고 원래의 학습 데이터가 필요합니다), 로봇은 작업하는 동안 실시간으로 학습합니다. 로봇은 새로 마주한 혼란스러운 사진들을 보고, 그것이 무엇인지 추측하며, 그 순간에 더 잘 대응할 수 있도록 자신의 뇌를 미세하게 조정합니다. 하지만 여기에는 함정이 있습니다. 만약 로봇이 비 오는 날에 적응하기 위해 너무 빠르게 생각을 바꾼다면, 햇살 좋은 공원에서의 강아지를 인식하는 법을 완전히 잊어버릴 수도 있습니다. 이를 "파괴적 망각(catastrophic forgetting)"이라고 합니다. 큰 과제는 새로운 날씨에 대응할 만큼 충분히 빠르게 변하면서도, 예전의 교훈을 기억할 만큼 충분히 느리게 변하는 사이의 완벽한 균형을 찾는 것입니다.

여기서 SloMo-Fast라고 불리는 새로운 방법이 등장합니다. 이 논문의 연구자들은 이 균형 잡기 문제를 해결하기 위해, 원래의 학습 데이터 없이도 협력하는 세 개의 "두뇌" 팀을 제안합니다.

문제점: 망각하는 로봇

실제 세상에서 환경은 단 한 번만 변하는 것이 아니라, 끊임없이 변화하고 종종 반복됩니다. 자율주행 자동차는 비, 안개, 눈을 본 다음 다시 비를 볼 수도 있습니다. 로봇을 돕는 기존 방식들은 보통 두 가지 방식으로 실패합니다. 어떤 방식은 날씨가 갑자기 변할 때 따라잡기에는 너무 느려서 실수들이 쌓이게 만들고, 다른 방식은 너무 빠릅니다. 즉, 현재의 비에 적응하기 위해 너무 빠르게 변하다 보니 안개를 다루는 법을 잊어버려 안개가 다시 돌아왔을 때 사고를 냅니다. 또한, 이러한 방식 대부분은 기억을 돕기 위해 원래의 "소스(source)" 데이터(햇살 좋은 공원 사진)에 접근해야 하는데, 이는 개인정보 보호법이나 저장 공간의 제한 때문에 불가능한 경우가 많습니다.

해결책: 이중 교사 팀

Md Akil Raihan Iftee와 그의 팀은 SloMo-Fast(Slow-Momentum and Fast-Adaptive)를 소개합니다. 세 명의 학생이 있는 교실을 상상해 보세요: 학생, 빠른 선생님, 그리고 느린 선생님입니다.

빠른 선생님 (단거리 선수): 이 선생님은 즉각적으로 반응하는 데 탁월합니다. 로봇이 새로운 유형의 손상(예: 폭설)을 목격하면, 빠른 선생님은 이를 처리하기 위해 이해도를 빠르게 조정합니다. 마치 방향을 즉시 바꿀 수 있는 단거리 선수와 같습니다. 하지만 단거리 선수는 종종 장기적인 전략을 잊어버리곤 합니다.
느린 선생님 (마라톤 선수): 이 선생님은 매우 인내심이 강합니다. 아주 점진적으로 생각을 바꿉니다. 당장의 눈에는 신경 쓰지 않고, 모든 날씨 조건 속에서 "자동차"나 "강아지"의 일반적인 형태를 기억하는 데 집중합니다. 이 선생님은 로봇이 어제 배운 것을 잊지 않도록 안정적인 닻 역할을 합니다.
학생: 이것이 실제 작업을 수행하는 메인 로봇입니다. 학생은 두 선생님의 말을 모두 듣습니다. 당장의 혼란을 처리하기 위해 빠른 선생님으로부터 배우지만, 장기적인 기억을 잃지 않기 위해 느린 선생님의 말에도 귀를 기울입니다.

교과서 없이 어떻게 기억하는가?

보통 예전의 교훈을 기억하려면 교과서(원래의 소스 데이터)가 필요합니다. 하지만 SloMo-Fast에는 그런 것이 없습니다. 대신, 이들은 **프로토타입 생성(Prototype Generation)**이라는 특별한 기술을 사용합니다.

빠른 선생님이 뒤섞인 퍼즐 조각 더미를 분류하고 있다고 상상해 보세요. 선생님은 자신이 매우 확신하며(높은 신뢰도), 조금 흔들어도 변하지 않는(안정적인) 조각들만을 골라냅니다. 그리고 이 "좋은" 조각들을 각 카테고리별로 특별한 상자에 담습니다(자동차 상자, 강아지 상자). 이 상자들이 바로 **프로토타입(Prototypes)**이 됩니다.

그러면 느린 선생님이 이 상자들을 살펴봅니다. 선생님은 이 상자들을 사용하여 날씨와 상관없이 자동차나 강아지가 어떻게 생겼는지에 대한 "일반화된" 버전을 학습합니다. 이런 방식으로 로봇은 원래의 학습 사진을 다시 볼 필요 없이, 현재의 데이터로부터 자신만의 기억 저장소를 구축합니다.

결과: 경주에서 승리하다

연구진은 노이즈, 흐림, 날씨 효과(CIFAR-10-C 및 ImageNet-C와 같은)로 이미지가 손상된 데이터셋을 포함하여 11가지의 도전적인 시나리오에서 이 팀을 테스트했습니다. 또한, 날씨 패턴이 순환하는(비 → 안개 → 눈 → 비) Cyclic-TTA라는 새로운 테스트를 만들어, 로봇이 비가 다시 왔을 때 과거의 교훈을 기억하는지 확인했습니다.

결과는 인상적이었습니다. SloMo-Fast는 기존의 가장 뛰어난 방법들을 일관되게 능가했습니다.

모든 테스트에 걸쳐 평균 오류율을 **34.7%**로 낮추었으며, 이는 기존의 최고 방법들보다 최소 1.5% 더 나은 성적입니다.
도메인이 반복되는 "순환(Cyclic)" 테스트에서, 이 모델은 다른 시스템들을 괴롭히는 "파괴적 망각"을 피하며 과거의 교훈을 훨씬 더 잘 기억한다는 것을 보여주었습니다.
또한 효율적이었습니다. SloMo-Fast의 한 버전은 매개변수의 약 4.9%(주로 배치 정규화 레이어)만을 업데이트하면서도, 매개변수의 100%를 업데이트하는 방법들보다 더 뛰어난 성능을 보였습니다.

이들이 배제한 것들

이 논문은 잘 적응하기 위해 원래의 소스 데이터나 프로토타입을 저장해야 한다는 생각에 대해 명시적으로 반박합니다. 연구진은 소스 데이터에 의존하는 것이 의료나 자율주행처럼 개인정보 보호가 중요한 실제 분야에서는 실용적이지 않음을 보여줍니다. 또한, 단순히 모델을 초기화하거나 단일 교사에 의존하는 방식은 도메인이 반복될 때 성능 저하를 초과하여 실패한다는 점을 입증했습니다.

핵심 요약

SloMo-Fast는 견고하고 적응력 있는 AI의 핵심이 단순히 빠르게 혹은 느리게 변하는 하나의 뇌가 아니라, "빠른" 선생님이 즉각적인 혼란을 처리하고 "느린" 선생님이 장기적인 지혜를 보존하는 팀워크에 있다는 것을 시사합니다. 현재 보고 있는 데이터로부터 자체적인 기억을 생성함으로써, 이 방법은 개인정보를 존중하고 저장 공간을 절약하면서도, 과거를 잊지 않고 변화하는 세상을 항해할 수 있게 해줍니다. 이는 로봇이 복잡하고 예측 불가능한 실제 세상에서 진정으로 배우고 적응할 수 있게 하는 한 단계입니다.

기술 요약: 소스 프리 연속적 테스트 타임 적응을 위한 SloMo-Fast

1. 문제 정의

본 논문은 모델이 소스 데이터에 접근할 수 없는 상태에서 일련의 진화하는 라벨 없는 타겟 도메인에 온라인으로 적응해야 하는 설정인 **연속적 테스트 타임 적응(Continual Test-Time Adaptation, CTTA)**의 과제를 다룹니다. 표준 테스트 타임 적응(TTA)은 단일 도메인 변화를 처리하지만, CTTA는 실세계 배포(예: 자율 주행, 의료) 시 직면하는 세 가지 핵심적인 장애물에 직면합니다:

소스 프리 제약 조건(Source-Free Constraints): 기존의 많은 방법론은 소스 데이터나 메모리 뱅크에 저장된 프로토타입에 의존하지만, 이는 개인정보 보호 문제, 저장 공간 제한 또는 전송 제약으로 인해 불가능한 경우가 많습니다.
파괴적 망각 및 오류 누적(Catastrophic Forgetting & Error Accumulation): 모델이 새로운 도메인에 적응함에 따라 이전에 학습된 지식을 잊어버리는 경우가 많습니다. 또한, 도메인 전환기 동안의 느린 적응 속도는 오류의 누적으로 이어져, 효과적인 적응이 이루어지기 전에 모델 붕괴를 초래할 수 있습니다.
반복되는 도메인 변화(Recurring Domain Shifts): 실제 환경은 종종 순환 패턴(예: 주야간 주기, 계절적 날씨 변화)을 보입니다. 기존 방법들은 이전에 마주쳤던 도메인이 다시 나타날 때 장기적인 지식을 유지하는 데 어려움을 겪으며, 종종 처음부터 다시 적응해야 하거나 성능 저하를 겪습니다.

현재의 최첨단 방법들은 특히 순환적이거나 긴 시퀀스 시나리오에서 적응 속도(새로운 도메인에 대한 회복 속도)와 망각 비율(과거 도메인에 대한 지식 유지) 사이의 트레이드오프를 균형 있게 맞추는 데 실패하는 경우가 많습니다.

2. 방법론: SloMo-Fast

저자들은 소스 데이터를 요구하지 않으면서 빠른 적응력과 일반화 능력을 향상시키도록 설계된 소스 프리, 듀얼 티처 프레임워크인 SloMo-Fast를 제안합니다. 이 아키텍처는 학생(Student) 모델( $S$ )과 두 개의 상호 보완적인 티처(Teacher) 모델인 Fast-Teacher ( $T_1$ ) 및 **Slow-Teacher ( $T_2$ )**로 구성됩니다.

핵심 구성 요소

듀얼 티처 아키텍처:
- Fast-Teacher ( $T_1$ ): 학생 모델 가중치의 지수 이동 평균(EMA)을 통해 업데이트됩니다. 현재 도메인에 빠르게 적응하여 신뢰할 수 있는 의사 라벨(pseudo-labels)과 특징을 생성합니다.
- Slow-Teacher ( $T_2$ ): 견고한 일반화와 장기적인 지식 유지를 보장하기 위해 더 점진적으로 업데이트됩니다. 도메인 불변 특징을 학습하고 안정적인 가이드를 제공합니다.
- Student ( $S$ ): 두 티처의 상호 보완적인 강점을 활용하기 위해 두 티처의 예측에 대한 대칭 교차 엔트로피(symmetric cross-entropy, SCE) 손실을 사용하여 업데이트됩니다.
테스트 타임 신뢰할 수 있는 프로토타입 생성:
- 소스 프로토타입에 의존하는 대신, SloMo-Fast는 라벨이 없는 타겟 데이터로부터 클래스별 프로토타입을 동적으로 생성합니다.
- 이중 기준 필터링(Dual-Criterion Filtering): $T_1$ $T_{1}$ 의 특징은 다음 두 가지 기준을 충족하는 경우에만 클래스별 우선순위 큐에 저장됩니다:
  1. 신뢰도(Confidence): 낮은 예측 엔트로피.
  2. 민감도(Sensitivity): 데이터 증강(augmentation) 하에서의 높은 예측 안정성(의사 라벨 확률 차이, PLPD로 측정됨).
- 프로토타입 구축: 클래스 프로토타입은 이러한 신뢰할 수 있는 특징들의 가중 평균으로 계산되며, 여기서 가중치는 엔트로피에 반비례합니다.
Slow-Teacher ( $T_2$ )를 위한 학습 목적 함수:
$T_2$ 는 일반화된 표현을 학습하기 위해 세 가지 손실 함수의 조합을 사용하여 최적화됩니다:
1. 대조 손실 ( $L_{CL}$ ): $T_2$ 의 특징을 생성된 클래스 프로토타입과 정렬하여, 서로 다른 클래스는 분리하고 동일 클래스의 특징은 서로 끌어당깁니다.
2. 평균 제곱 오차 ( $L_{MSE}$ ): $T_2$ 의 특징을 해당 클래스 프로토타입과 직접 정렬합니다.
3. 정보 최대화 ( $L_{IM}$ ): $T_2$ 가 붕괴를 피하면서 예측 확실성과 클래스 다양성을 모두 유지하도록 보장합니다.
- 확률적 복원(Stochastic Restoration): 파괴적 망각을 완화하기 위해, $T_2$ 는 각 경사 하강 단계 이후 업데이트된 가중치를 원래의 소스 모델 가중치와 혼합하는 확률적 복원 방법을 채택합니다.
예측 앙상블 및 보정:
- 최종 예측은 학생 모델과 $T_2$ 의 앙상블입니다.
- 동적 라벨 보정 (Dynamic Label Calibration, DLC): 타겟 사전 확률(prior)을 온라인으로 추정함으로써 소스와 타겟 도메인 간의 라벨 분포 변화를 고려하여 예측 사후 확률을 조정합니다.

3. 주요 기여

SloMo-Fast 프레임워크: 소스 데이터 없이 적응성( $T_1$ 을 통해)과 일반화/유지 능력( $T_2$ 를 통해)을 동시에 향상시키는 새로운 듀얼 티처 CTTA 방법론을 제시합니다.
소스 프리 프로토타입 생성: 신뢰성을 보장하기 위해 이중 기준 필터링 전략(엔트로피 및 민감도)을 사용하여 라벨이 없는 타겟 데이터로부터 직접 클래스별 프로토타입을 생성하는 방법입니다.
Cyclic-TTA 벤치마크: 도메인 변화가 시간에 따라 반복되는 순환(cyclic) 시나리오를 포함하는 새로운 벤치마크 설정을 도입했습니다. 이는 기존의 CCC(Continually Changing Corruptions)와 같은 벤치마크에서 간과되었던, 재발하는 도메인에 대한 지식 유지 능력을 평가하기 위해 특별히 설계되었습니다.
성능: 5개의 데이터셋(CIFAR-10-C, CIFAR-100-C, ImageNet-C, ImageNet-R, ImageNet-Sketch)에 대한 11가지 다양한 CTTA 시나리오에서 평균 에러율 **34.7%**를 달적으로 달성하며, 기존 최첨단 방법들보다 최소 1.5% 더 우수한 성능을 보였습니다.

4. 실험 결과

본 논문은 다양한 설정에서 베이스라인(TENT, CoTTA, RoTTA, ROID 등)을 대상으로 SloMo-Fast를 평가합니다:

일반 CTTA: SloMo-Fast는 연속적(Continual), 혼합(Mixed), 점진적(Gradual), 에피소드형(Episodic) 설정 모두에서 베이스라인을 지속적으로 능가합니다.
Cyclic-TTA: 도메인이 반복되는 시나리오에서, SloMo-Fast는 파괴적 붕괴를 겪거나 재적응이 필요한 방법들에 비해 우수한 안정성과 더 낮은 망각 비율을 보여줍니다.
효율성: 배치 정규화(Batch Normalization) 레이어만 업데이트하는 경량화 버전(4.9% 파라미터)은 ROID와 같은 전체 파라미터 방법과 대등하거나 더 나은 성능을 달성하면서도 추론 시간은 더 짧습니다.
강건성: 어블레이션 연구(Ablation studies)를 통해 대조 손실(Contrastive Loss), MSE, 정보 최대화(Information Maximization), DLC 또는 확률적 복원 중 하나라도 제거하면 성능이 저하됨을 확인했습니다. 또한 이 방법은 노이즈가 섞인 의사 라벨 및 티처 간의 불일치에 대해서도 탄력성을 보여줍니다.

5. 의의 및 주장

본 논문은 SloMo-Fast가 소스 데이터가 없는 상황에서의 장기적 지식 유지라는 CTTA의 결정적인 격차를 해결한다고 주장합니다. 적응 속도(Fast-Teacher)와 일반화 안정성(Slow-Teacher)을 분리하고 동적으로 생성된 프로토타입을 활용함으로써, 이 프레임워크는 모델이 다음과 같은 능력을 갖추게 합니다:

보지 못한 새로운 도메인에 빠르게 적응합니다.
도메인이 순환 패턴으로 다시 나타나더라도 이전에 마주쳤던 도메인에 대한 지식을 유지합니다.
소스 데이터를 사용할 수 없는 개인정보 보호 민감 및 자원 제한 환경에서 효과적으로 작동합니다.

저자들은 자신들의 접근 방식이 환경이 지속적이고 예측 불가능하게 진화하는 실제 배포 상황에서 플라스티시티(새로운 데이터에 대한 적응)와 스테빌리티(과거 데이터의 기억) 사이의 강력한 트레이드오프를 제공하는 실질적인 솔루션임을 강조합니다.