기술 요약: Vision Transformer의 지속 학습을 위한 어텐션 유지 (Attention Retention)

문제 정의

지속 학습(Continual Learning, CL)은 AI 시스템이 비정상적(non-stationary) 데이터 스트림으로부터 지식을 점진적으로 습득할 수 있도록 하는 것을 목표로 한다. 그러나 **파괴적 망각(catastrophic forgetting)**은 새로운 작업을 학습할 때 이전에 학습된 작업의 성능을 저하시키는 결정적인 장벽으로 남아 있다. 다양한 전략(리플레이, 확장, 정규화 등)이 존재하지만, 본 논문은 **Vision Transformer (ViT)**에서 발생하는 특정 망각 메커니즘인 **어텐션 드리프트(attention drift)**를 식별한다.

저자들은 ViT가 새로운 작업을 학습함에 따라, 이전에 학습된 시각적 개념의 판별적 특징(discriminative features)으로부터 어텐션 메커니즘이 크게 벗어나는 현상을 관찰했다. 새로운 개념을 습득하면서도 핵심 특징에 선택적 주의를 유지하는 인간의 시각 체계와 달리, ViT는 이러한 안정성을 유지하지 못하며, 이는 학습된 지식의 침식으로 이어진다. 기존 방법론들은 특히 이전 작업의 데이터를 저장하는 것이 금지된 리플레이 프리(replay-free) 환경에서, ViT의 어텐션 메커니즘에서 발생하는 이러한 특유의 드리프트를 해결하는 데 실패하는 경우가 많다.

방법론: ARCL-ViT

제안된 프레임워크인 **ARCL-ViT (Attention-Retaining Continual Learning with Vision Transformers)**는 새로운 작업을 학습하는 동안 그래디언트 업데이트를 명시적으로 제한함으로써 어텐션 드리프트를 해결한다. 이 방법은 이전 작업의 데이터를 저장하지 않고 작동하며, 두 가지 주요 단계로 구성된다.

1. 적응형 마스크 생성 (Adaptive Mask Generation)

작업 $T_{t-1}$을 완료한 후, 모델은 핵심 어텐션 영역을 식별하기 위해 이진 마스크(binary mask)를 생성한다.

• 레이어별 롤아웃 (Layer-wise Rollout): 단일 레이어의 가공되지 않은 어텐션 맵을 사용하는 대신, 이 방법은 레이어별 롤아웃 메커니즘을 채택한다. 입력에서 클래스 토큰(class token)까지의 정보 흐름을 포착하기 위해 변환된 어텐션 행렬($\tilde{S} = I + S$)을 곱하여 모든 레이어($L$)에 걸쳐 활성화된 어텐션 행렬을 집계하고 종합적인 어텐션 맵 $\hat{S}^l_{t-1}$을 계산한다.
• 인스턴스 적응형 임계값 설정 (Instance-Adaptive Thresholding): 이미지마다 판별 영역의 크기가 다른 것을 처리하기 위해 고정된 임계값을 피한다. 이 방법은 어텐션 값을 정렬하고, 값이 배경에서 돌출된 영역(salient regions)으로 전환되는 지점(2차 미분 이용)을 식별한다. 이를 통해 적응형 임계값 $\tau$를 결정하며, 높은 어텐션 영역은 0(보존 대상), 낮은 어텐션 영역은 1로 표시하는 이진 마스크 $M$을 생성한다.

2. 그래디언트 마스킹 및 옵티마이저 적응 (Gradient Masking and Optimizer Adaptation)

현재 작업 $T_t$를 학습하는 동안, 생성된 마스크는 이전 작업의 어텐션 패턴을 변경할 수 있는 업데이트를 억제하는 데 사용된다.

• 그래디언트 제로잉 (Gradient Zeroing): 마스크는 쿼리($Q$), 키($K$), 밸류($V$) 프로젝션 가중치($W_q, W_k, W_v$)의 그래디언트에 요소별(element-wise)로 적용된다. 구체적으로, 이전 작업의 높은 어텐션 영역에 해당하는 그래디언트는 0으로 처리된다. 이는 최적화 과정이 이전에 학습된 개념으로부터 모델의 초점을 이동시키는 것을 방지한다.
• 옵티마이저 호환성 (Optimizer Compatibility): 단순히 그래디언트를 제로잉하는 것은 모멘텀과 분산 통계에 의존하는 현대적 옵티마이저(예: Adam)의 작동을 방해하여 불안정한 업데이트를 유발할 수 있다. 이를 완화하기 위해 저자들은 스케일링 메커니즘을 제안한다. 파라미터 업데이트 $\Delta W'$는 마스킹된 그래디언트와 원래 그래디언트의 비율에 비례하여 스케일링된다. 이를 통해 어텐션 제약을 준수하면서도 상대적인 업데이트 크기를 유지하여 옵티마이저가 올바르게 작동하도록 보장한다.

주요 기여

1. 어텐션 드리프트 식별: 본 논문은 ViT에서의 어텐션 드리프트를 지속 학습에서의 주요한 파괴적 망각 원인으로 규명하며, 이전 시각적 개념에 대한 선택적 주의를 유지해야 할 필요성을 강조한다.
2. 새로운 프레임워크 (ARCL-ViT): 데이터 리플레이 없이 어텐션 드리프트를 제어하는 그래디언트 기반 프레임워크를 도입한다. 이 방식은 견고한 어텐션 맵 추출을 위해 레이어별 롤아웃을 사용하며, 정밀한 마스크 생성을 위해 적응형 임계값 전략을 활용한다.
3. 옵티마이저 인지형 그래디언트 마스킹: 그래디언트 마스킹이 적응형 옵티마이저와 호환되도록 하는 스케일링 기법을 도입하여, 학습된 어텐션 패턴을 효과적으로 보존하면서도 최적화 불안정성을 방지한다.
4. 최첨단 성능 (SOTA): 다양한 벤치마크와 사전 학습 스킴에서 우수한 성능을 달나하며 일반화 가능성을 입증한다.

실험 결과

본 방법은 네 가지 클래스 증분 학습(class-incremental learning) 벤치마크인 10-split 및 20-split ImageNet-R, 10-split CIFAR-100, 10-split DomainNet에서 평가되었다.

• 성능: ARCL-ViT는 최근 방법들(예: VPT-CPG, SD-LoRA, BiLoRA)보다 벤치마크 전반에서 평균 1.8% ~ 3.7% 더 높은 정확도를 기록하며 SOTA 성능을 달성했다.
• 망각 감소: 이 방법은 파괴적 망각을 크게 줄였다. 예를 들어, 10-split ImageNet-R에서 순차적 미세 조정(Seq-FT) 베이스라인이 44.31%의 망각과 49.43%의 정확도를 보인 반가, ARCL-ViT는 81.17%의 정확도와 4.84%의 망각률을 달성했다.
• 절제 연구 (Ablation Studies):
  • 마스크 구축: 레이어별 롤아웃과 적응형 임계값의 조합이 가장 좋은 결과를 냈으며, 이는 가공되지 않은 어텐션이나 고정된 임계값보다 우수한 성능을 보였다.
  • 마스킹된 영역: 이전 작업의 특정 어텐션 영역을 마스킹하는 것이 필수적임을 입증했다. 무작위 영역이나 비-어텐션 영역을 마스킹했을 때는 망각이 훨씬 심하게 발생했다.
• 일반화:
  • 사전 학습 가중치: 방법론은 서로 다른 사전 학습 가중치(DINO-1k 및 iBOT-1k)에 대해 잘 일반화되었으며, Seq-FT 대비 약 37%의 정확도 이득을 일관되게 보여주었다.
  • 장기 시퀀스 CL (Long-Sequence CL): 도전적인 장기 시퀀스 설정(50 및 100 split)에서도 ARCL-ViT는 기존 SOTA 방법들과 비교하여 우수한 정확도를 유지하며 가소성(plasticity)과 안정성(stability) 사이의 더 나은 트레이드오프를 달성했다.
• 시각화: 어텐션 드리프트에 대한 정량적 분석 결과, ARCL-ViT는 Seq-FT(25.9%)에 비해 가장 낮은 드리프트(6.0%)를 유지하였으며, 이는 핵심 시각적 개념에 대한 어텐션 보존을 시각적으로 확인시켜 준다.

의의 및 주장

본 논문은 ViT의 어텐션 메커니즘을 선택적 주의라는 생물학적 원리에 맞춤으로써, 리플레이 기반 방법의 저장 오버헤드 없이 파괴적 망각을 효과적으로 완화할 수 있다고 주장한다. 저자들은 본 연구를 이전에 학습된 개념에 할당된 "신경 자원(attention)"을 안정화함으로써, 생물학적 지능과 유사한 지속 학습 시스템을 구축하는 데 있어 중요한 진전으로 위치시킨다. 이 방법은 현대적 최적화 기법과 호환되며 다양한 사전 학습 전략 및 장기 학습 시나리오에 걸쳐 일반화 가능한 견고한 데이터 프리(data-free) 솔루션으로 제시된다.