ComMem: Complementary Memory Systems for Test-Time Adaptation of Vision-Language Models

기술 요약: ComMem – 시각-언어 모델의 테스트 시점 적응을 위한 상보적 메모리 시스템

문제 정의

CLIP과 같은 시각-언어 모델(VLM)은 강력한 제로샷 일반화 능력을 보여주지만, 테스트 시점의 데이터 분포가 사전 학습된 분포와 달라지는 실제 환경에 배포될 때 상당한 성능 저하를 겪는 경우가 많습니다. 기존의 테스트 시점 적응(TTA) 방법론들은 다음과 같은 두 가지 주요 한계점에 직면해 있습니다:

1. 시간적 축적의 결여: 많은 방법론(예: TPT)은 각 샘플에 독립적으로 적응하며 시간 경과에 따른 경험을 보유하지 못하는 "건망증적(amnesic)" 방식으로 작동합니다.
2. 단일 모달리티 제한: 고급 메모리 기반 접근 방식들은 대개 단일 모달리티(텍스트 프롬프트 튜닝 또는 시각적 특징 캐싱 중 하나) 내에서만 적응하며, VLM의 본질적인 다중 모달 특성을 활용하지 못합니다. 이는 빠른(가소성 있는) 학습과 느린(안정적인) 학습의 상보적 역학을 균형 있게 활용하지 못하게 하여, 사전 학습된 견고함을 유지하면서 새로운 단서에 적응하는 능력을 제한합니다.

방법론: ComMem

해마(HPC)의 신속한 에피소드 학습과 신피질(NC)의 느린 의미론적 통합 사이의 기능적 시너지를 상정하는 상보적 메모리 시스템 이론(McClelland et al., 1995; Tonegawa et al., 2018)에서 영감을 받아, 저자들은 ComMem을 제안합니다. 이 프레임워크는 VLM을 위해 두 가지 핵심 구성 요소를 통해 이러한 구별된 학습 역학을 구현합니다.

1. 이중 메모리 구조

• 빠르게 적응하는 세부 메모리 (HPC 유사):
  • 기능: 테스트 데이터 스트림으로부터 고신뢰도 시각적 특징을 신속하게 저장하고 업데이트하여 특정 인스턴스에 대한 빠른 적응을 가능하게 합니다.
  • 메커니즘: 클래스 조건부 시각적 인스턴스(특징-엔트로피 쌍)의 에피소드 캐시를 유지합니다. 신뢰할 수 있는 증강된 뷰(view)를 선택하기 위해 엔트로피 유도 인코딩 프로세스를 사용합니다.
  • 업데이트 규칙: 고신뢰도의 새로운 특징이 낮은 신뢰도의 항목을 대체하는 "빠른" 업데이트 전략을 채택합니다. 교체 전, 새로운 특징은 클래스 프로토타입과 융합되어 견고한 표현을 형성합니다.
• 느리게 통합되는 추상 메모리 (NC 유사):
  • 기능: 점진적으로 진화하는 안정적이고 일반화된 의미론적 지식(글로벌 텍스트 프로토타입)을 나타냅니다.
  • 메커니즘: 사전 학습된 지식에서 도출된 글로벌 텍스트 프로토타입($P_t$)으로 구성됩니다.
  • 업데이트 규칙: 최종 예측이 충분히 확신할 때만 트리거되는 "느린" 업데이트 전략(작은 비율 $\lambda_{nc}$를 가진 가중 융합)을 채택합니다. 이는 시스템 공고화(systems consolidation)를 모방하여 안정성을 보장하고 파괴적 망각을 방지합니다.

2. 재공고화를 통한 공동 최적화

각 입력되는 테스트 샘플에 대해, ComMem은 두 메모리 시스템을 공동 최적화하여 교차 모달 일관성을 강제함으로써 **메모리 재공고화(memory reconsolidation)**를 시뮬레이션합니다:

• 학습 가능한 파라미터:
  • 시각적 잔차 ($\delta_v$): 빠른 인스턴스 특정 적응을 위해 시각적 프로토타입(HPC 시스템)에 추가됩니다.
  • 텍스트 잔차 ($\delta_t$): 맥락 적응형 로컬 분류를 위해 글로벌 텍스트 프로토타입(NC 시스템)에 추가됩니다.
  • 정규화 레이어 ($\theta_n$): 저수준 특징 적응(NC 시스템)을 위해 시각적 인코더 내에서 미세 조정됩니다.
• 예측 통합: 최종 예측은 상세 메모리의 기여도를 적응적으로 조절하는 친화도 함수(affinity function)에 의해 가중치가 부여된 두 시스템의 출력을 결로 결합합니다.
• 손실 함수: 파라미터는 다음의 복합 손실을 사용하여 단일 그래디언트 단계에서 최적화됩니다:
  • 엔트로피 최소화 ($L_{ent}$): 예측 불확실성을 줄입니다.
  • 상호 메모리 일관성 ($L_{align}$): HPC와 NC 표현 간의 일관성을 보장하기 위해 대칭적 InfoNCE 손실을 사용하여 시각적 및 텍스트 프로토타입을 정렬합니다.
  • 내부 메모리 희소 코딩 ($L_{sparse}$): 표현 중복을 최소화하기 위해 각 메모리 시스템 내의 프로토타입 중복성을 처벌합니다.

주요 기여

1. 뇌 영감 프레임워크: VLM TTA를 위해 상보적 메모리 시스템의 구별된 빠른(HPC) 및 느린(NC) 학습 역학을 구현한 최초의 접근 방식인 ComMem을 도입했습니다.
2. 시너지 메커니즘: 빠른 업데이트 방식의 상세 캐시와 느리게 공고화되는 추상 메모리가 재공고화 과정을 통해 교차 모달 일관성을 보장하도록 공동 최적화되는 이중 메모리 시스템을 설계했습니다.
3. 최첨단 성능: 자연스러운 분포 변화 및 교차 데이터셋 일반화 시나리오 하에서 15개 벤치마크 데이터셋에 대해 기존 방법론들을 뛰어넘는 유의미한 성능 향상을 입증했습니다.

실험 결과

저자들은 ImageNet 변형(ImageNet-A, R, S, OOD) 및 10개의 다양한 교차 데이터셋(예: Aircraft, Cars, DTD, Flowers)을 포함한 15개 데이터셋에서 ComMem을 평가했습니다.

• 자연적 분포 변화 (ImageNet-OOD):
  • ResNet-50을 사용했을 때, ComMem은 이전 최고 성능인 DPE보다 1.18% 높은 **48.84%**의 평균 OOD 정확도를 달달성하여 새로운 SOTA를 기록했습니다.
  • ViT-B/16을 사용했을 때, ComMem은 모든 경쟁 방법론을 능가하는 **65.36%**의 평균 OOD 정확도를 달성했습니다.
• 교차 데이터셋 일반화:
  • ComMem은 10개의 다양한 데이터셋에서 가장 높은 평균 정확도를 기록했습니다: ResNet-50의 경우 64.60%, ViT-B/16의 경우 **70.74%**로, DMN-ZS 및 DPE와 같은 강력한 베이스라인을 능가했습니다.
• 효율성:
  • ComMem은 50,000개의 ImageNet 테스트 샘플을 약 1.5시간 만에 처리했습니다. 이는 TPT와 같은 프롬프트 튜닝 방법(>15시간)보다 훨씬 빠르며, 동시에 훨씬 높은 정확도 이득(zero-shot CLIP 대비 +4.24%, TPT 대비 +0.93%)을 제공합니다.
• 절제 연구 (Ablation Studies):
  • 두 메모리 시스템의 시너지 결합, 일관성 정렬, 그리고 희소 코딩이 결정적임을 확인했습니다.
  • 서로 다른 학습률이 최적임을 검증했습니다: 정규화 레이어(NC)는 안정성을 위해 작은 학습률($10^{-6} \sim 10^{-5}$)이 필요하며, 잔차 레이어(HPC)는 빠른 적응을 위해 더 큰 학습률($10^{-4}$)이 필요합니다.
  • 적절한 HPC 캐시 용량(K=3에서 5)이 유연성과 안정성 사이의 균형을 맞춘다는 것을 보여주었습니다.

의의 및 주장

본 논문은 ComMem이 동적인 환경에서 VLM의 실질적인 적응성을 향상시키는 유망한 방향을 제시한다고 주장합니다. 시스템 공고화 및 재공고화라는 생물학적 메커니즘을 모방함으로써, 이 방법론은 도메인 특유의 변이에 대한 빠른 적응과 파괴적 망각에 대한 안정성 사이의 트레이드오프를 성공적으로 조절합니다. 저자들은 자신들의 접근 방식이 견고함과 일반화 측면에서 새로운 벤치마크를 설정할 뿐만 아니라, 기존의 프롬프트 튜닝 방법들과 비교하여 유리한 계산 효율성 프로필을 달면서 이를 달성했다고 단언합니다. 이 연구는 멀티모달 모델의 테스트 시점 적응 문제를 해결하기 위한 신경-계산적 아날로그(neuro-computational analogues)의 잠재력을 강조합니다.