기술 요약: EVA-0

문제 정의

현대 AI 모델은 분포 변화 (예: 센서 변동, 사용자 행동 변화) 에 노출된 동적 환경에 점점 더 많이 배포되고 있습니다. 테스트 시간 적응 (TTA) 은 모델이 라벨 없는 테스트 시간 경험으로부터 학습할 수 있도록 하는 것을 목표로 하지만, 대부분의 기존 방법은 역전파 (BP) 에 의존합니다. BP 는 상당한 메모리 오버헤드를 발생시켜, 리소스가 제한된 엣지 장치, 양자화된 모델, 특수 가속기 또는 블랙박스 모델 설정과 호환되지 않습니다.

최근 연구들은 제로차 (ZO) 최적화를 활용한 BP 없는 TTA 를 탐구해 왔습니다. 그러나 기존 ZO 방법들은 다음과 같은 중대한 한계에 직면해 있습니다:

1. 효율성 vs 성능: FOA 와 같은 방법은 안정적인 신호를 얻기 위해 많은 순전파 (예: 28 회) 를 필요로 하는 반면, 엄격한 2 회 순전파 예산 하에서 작동하는 ZOA 와 같은 방법은 거칠고 노이즈가 많은 업데이트 방향을 겪습니다.
2. 최적화 과제: ZO 최적화는 단축해법 (예: 결정 경계를 개선하는 대신 로그트 노름을 팽창시켜 엔트로피를 감소시키는 것) 을 학습하기 쉽고, 통제되지 않은 가중치 드리프트를 겪으며, 엄격한 계산 제약 하에서 효과적인 업데이트 방향 추정에 어려움을 겪습니다.

핵심 질문은 다음과 같습니다: 배포된 모델이 역전파 없이 샘플당 단 2 회 순전파만을 사용하여 라벨 없는 테스트 시간 경험으로부터 안정적이고 효과적으로 진화할 수 있을까요?

방법론: EVA-0

저자들은 엄격한 2 회 순전파 예산 하에서 안정적인 테스트 시간 모델 진화를 달성하도록 설계된 최소 프레임워크인 EVA-0(Zeroth-order 기울기를 활용한 진화적 적응) 을 제안합니다. EVA-0 은 세 가지 핵심 설계 원칙을 통해 식별된 과제들을 해결합니다:

1. 샘플별 대칭 양측 섭동 (SSD)

2 회 순전파 제약을 준수하면서 한쪽 면 ZO 추정기의 노이즈와 비효율성을 극복하기 위해:

• 메커니즘: 각 샘플 $x_i$에 대해 모델은 두 개의 대칭 섭동 $f_{\theta_t + \mu z_{t,i}}(x_i)$ 및 $f_{\theta_t - \mu z_{t,i}}(x_i)$를 평가합니다.
• 이중 용도: 이 두 번의 순전파는 이중 목적을 수행합니다:
  • 추론: 출력들을 평균화하여 (테일러 전개를 통해 1 차 섭동 항을 상쇄) 깨끗한 모델 예측을 근사함으로써, 세 번째 '깨끗한' 순전파의 필요성을 제거합니다.
  • 적응: 두 대칭 출력 간의 손실 차이는 분산이 낮은 양측 SPSA 기울기 추정을 제공합니다.
• 샘플별 독립성: 배치 수준의 섭동과 달리, EVA-0 은 미니배치 내의 각 샘플에 독립적인 섭동을 적용합니다. 이는 공유된 배치 섭동에 비해 탐색된 업데이트 방향의 다양성을 증가시켜, 실제 BP 기울기와의 정합성을 크게 향상시킵니다.

2. 단축해법 저항적 목적 함수

ZO 최적화가 단축해법 (예: 학습 없이 로그트 노름을 팽창시켜 엔트로피를 최소화하는 것) 을 악용하는 것을 방지하기 위해:

• 스케일 불변 엔트로피: EVA-0 은 스케일 불변 엔트로피 목적 함수 ($E_{SR}$) 를 사용합니다. 이는 섭동된 출력의 로그트를 평균 노름으로 정규화하고 중심 제거 (온라인 중심을 빼기) 를 적용합니다. 이를 통해 모델이 단순히 로그트의 크기를 팽창시켜 엔트로피를 감소시키는 것을 방지합니다.
• 샘플별 특징 정렬: 소스 통계가 사용 가능한 경우, EVA-0 은 샘플별 특징 정렬 손실 ($\ell_{SWA}$) 을 사용합니다. 단일 노이즈 샘플로부터 분산을 추정하는 대신, 지수 이동 평균 (EMA) 을 통해 특징의 1 차 및 2 차 모멘트를 온라인으로 추적하여 정렬을 위한 안정적인 분산 추정을 재구성합니다.

3. 앵커 유도 궤적 제어

무작위 ZO 업데이트에서 흔히 발생하는 가중치 드리프트의 누적을 완화하기 위해:

• 앵커 유도 섭동: 신뢰할 수 있는 앵커 (예: 사전 훈련된 가중치 또는 온라인 파라미터의 느리게 이동하는 EMA) 를 유지합니다. 섭동 분포 $D_t$는 적응적입니다: 일부 샘플은 무작위 방향을 탐색하는 반면, 다른 샘플들은 앵커를 향하는 벡터에 의해 유도됩니다.
• 가중치 완화: ZO 업데이트 후, 약한 완화 단계가 업데이트된 가중치와 앵커를 혼합합니다 ($\theta_{t+1} = (1-\gamma)\theta'_{t+1} + \gamma\theta_{anc}$). 이는 부드러운 경계 역할을 하여 궤적을 노이즈 제거하고 모델이 불안정한 영역으로 너무 멀리 드리프트하는 것을 방지하면서도 적응을 위한 가소성을 유지합니다.

주요 기여

1. 엄격한 2 회 순전파 설정: 이 논문은 샘플당 단 2 회 순전파와 역전파 없는 테스트 시간 모델 진화의 도전적인 영역을 확립하고 조사하여, TTA 를 매우 효율적인 현실 세계 배포로 밀어붙입니다.
2. ZO 한계의 체계적 분석: 저자들은 제로차 TTA 의 세 가지 특정 장애물을 밝힙니다: 단축해법에 대한 취약성, 통제되지 않은 가중치 드리프트, 그리고 엄격한 예산 하에서의 비효율적인 업데이트 방향 추정.
3. EVA-0 프레임워크: 스케일 불변 목적 함수, 앵커 유도 궤적 제어, 그리고 샘플별 대칭 섭동을 통합한 통합 방법.
4. 종합적 검증: CNN(ResNet50-GN), 비전 트랜스포머 (ViT-Base), 양자화된 모델 (6 비트/8 비트), 지속적 스트림, 그리고 블랙박스 설정에 걸친 광범위한 실험.

실험 결과

ImageNet-C(15 가지 손상, 심각도 수준 5) 에서 평가:

• 성능: EVA-0 은 BP 기반 방법 (예: DeYO) 과 BP 없는 베이스라인 (FOA, ZOA, FOZO) 모두를 능가합니다. ViT-Base 에서 EVA-0 은 평균 정확도 **66.7%**를 달성하여 DeYO(65.7%) 와 ZOA(61.3%) 를 능가합니다.
• 효율성: EVA-0 은 28 회 순전파가 필요한 FOA 대비 14 배 속도 향상을 달성하며, BP 기반 방법 대비 메모리 사용량을 크게 줄입니다 (ViT-Base 의 경우 DeYO 대비 5,350MB 대비 822MB).
• 양자화된 모델: EVA-0 은 6 비트 양자화된 ViT 가 OOD 정확도에서 비적응 32 비트 ViT 보다 4.4% 더 높은 성능을 내도록 하여, 엣지 배포의 타당성을 입증합니다.
• 지속적 적응: 모델을 리셋하지 않고 도메인 간에 진화시키는 장기 지속적 TTA 설정에서, EVA-0 은 안정성을 유지합니다 (ResNet50-GN 에서 45.6% 정확도). 반면 다른 방법들 (예: FOA, DeYO) 은 심각한 저하를 겪습니다.
• 블랙박스 적응: EVA-0 은 블랙박스 설정에서 입력 프롬프트를 효과적으로 적응시켜, 2 회 순전파 제약 하에서 FOA 보다 5.3% 더 높은 성능을 냅니다.

중요성과 주장

이 논문은 순전파 전용 모델 진화가 제한된 시나리오를 위한 단순한 타협이 아니라, 적응형 배포 지능을 향한 유망하고 확장 가능한 경로라고 주장합니다.

단축해법 저항적 목적 함수, 궤적 제어, 그리고 효율적인 방향 추정을 통합함으로써, EVA-0 은 극도로 제한적인 배포 제약 (2 회 순전파, 역전파 없음) 하에서도 효과적이고 안정적이며 효율적인 모델 진화가 가능함을 보여줍니다. 이 연구는 모델이 역전파의 무거운 계산 비용 없이도 현실 세계의 리소스 제한 환경에서 자신의 라벨 없는 경험으로부터 의미 있는 학습을 할 수 있음을 시사합니다.