Do All Vision Transformers Need Registers? A Cross-Architectural Reassessment

논문 개요

이 논문은 Darcet et al. (2024) 의 연구 결과를 재현하고, '레지스터 (Registers)'라는 개념이 모든 비전 트랜스포머 (ViT) 에 보편적으로 적용 가능한지 다양한 아키텍처 (DINO, DINOv2, OpenCLIP, DeiT3 등) 와 모델 크기를 통해 검증하는 것을 목표로 합니다. 저자들은 기존 연구의 핵심 주장은 부분적으로 유효하지만, 모델 아키텍처와 크기에 따라 그 일반화 가능성이 제한적임을 밝혔습니다.

1. 문제 정의 (Problem)

• 주의도 맵 (Attention Maps) 의 아티팩트: Vision Transformers 를 학습할 때 주의도 맵과 특징 맵 (Feature Maps) 에 '아티팩트 (artifacts)'가 발생하는 문제가 관찰됩니다. 이는 해석 가능성 (interpretability) 을 저해하고 객체 탐지 (object discovery) 와 같은 다운스트림 작업의 정확도를 떨어뜨립니다.
• 고_norm 토큰 (High-norm Tokens) 의 존재: Darcet et al. (2024) 은 이러한 아티팩트가 입력 패치 중 L2 노름 (norm) 이 비정상적으로 높은 '아웃라이어 토큰'에 기인한다고 주장했습니다. 이들은 redundant(중복된) 시각 정보를 가진 영역에서 내부 계산을 위해 토큰을 재사용하면서 발생합니다.
• 기존 해결책의 한계: Darcet et al. 은 빈 입력 토큰인 '레지스터'를 추가하여 아티팩트를 제거하고 모델 성능을 유지하거나 향상시킬 수 있다고 제안했습니다. 그러나 이 해결책이 모든 ViT 아키텍처와 모델 크기에 적용 가능한지에 대한 검증이 부족했습니다.

2. 방법론 (Methodology)

저자들은 Darcet et al. 의 5 가지 주요 주장을 재현하고 확장하기 위해 다음과 같은 실험을 수행했습니다.

• 실험 설정:
  • 모델: DINO, DINOv2 (S, B, L, G), DeiT3, OpenCLIP, PVTv2, Swin Transformer v2 등 다양한 모델 사용.
  • 데이터셋: ImageNet-1K, LVD-142M, LAION-2B 등.
  • 정의 명확화: '아티팩트', '아웃라이어', '고_norm 토큰', '주의도 맵', '특징 맵'의 용어를 명확히 구분하여 혼란을 해소했습니다. (예: 특징 맵의 고_norm 토큰이 항상 주의도 맵의 아티팩트와 일치하는 것은 아님).
• 주요 평가 과제:
  1. 위치 예측 (Position Prediction): 토큰이 원본 이미지 패치 위치를 예측하는 능력 평가.
  2. 패치 재구성 (Patch Reconstruction): 토큰 임베딩으로부터 원본 패치 이미지를 복원하는 능력 평가 (L2 오차).
  3. 이미지 분류 (Image Classification): [CLS] 토큰, 일반 토큰, 아웃라이어 토큰을 사용하여 이미지 분류 성능 평가.
  4. 레지스터 효과 검증: 레지스터를 추가한 모델과 추가하지 않은 모델의 특징 맵 시각화 및 분류 정확도 비교.
  5. 계층적 아키텍처 (H-ViTs) 분석: PVT 와 Swin Transformer 와 같은 계층적 구조 모델에서 아티팩트 발생 패턴이 기존 ViT 와 어떻게 다른지 분석.

3. 주요 결과 및 발견 (Key Results & Findings)

주장 1: 아티팩트와 고_norm 토큰의 관계

• 재현 및 수정: DINOv2-G 와 같은 특정 모델에서는 아티팩트와 고_norm 토큰이 일치하지만, 모든 모델에서 그런 것은 아닙니다. 일부 모델에서는 주의도 맵에 아티팩트가 있더라도 특징 맵의 노름이 높지 않은 경우가 있습니다. 따라서 두 개념은 모델 아키텍처에 따라 다르게 정의되어야 합니다.

주장 2: 모델 크기와 고_norm 토큰의 상관관계

• 확장: 고_norm 토큰은 대형 모델 (>300M 파라미터) 에서만 발생하는 것이 아닙니다. OpenCLIP-B 나 DeiT3-M 과 같은 소형 모델에서도 빈번하게 관찰됩니다.
• 예외: DINO 와 DINOv2-S 는 아티팩트가 거의 없거나 없는 것으로 확인되었습니다. 따라서 모델 크기만으로 아웃라이어 발생을 설명할 수 없습니다.

주장 3: 중복 정보 영역에서의 발생

• 일반화: DINOv2-G, DeiT3-M, OpenCLIP-B 등에서는 고_norm 토큰이 시각 정보가 중복된 영역 (낮은 정보량) 에 집중되는 경향이 확인되었습니다.
• 예외: DINOv2-S 와 같은 아티팩트가 없는 모델에서는 이러한 패턴이 관찰되지 않았습니다.

주장 4: 토큰이 보유한 정보의 종류 (국소 vs 전역)

• 국소 정보 부재: 고_norm 아웃라이어 토큰은 위치 예측 및 픽셀 재구성 작업에서 일반 토큰보다 성능이 현저히 낮습니다. 이는 국소적인 세부 정보를 잃어버렸음을 의미합니다.
• 전역 정보 부호화: 반면, 이미지 분류 작업에서는 아웃라이어 토큰이 일반 토큰보다 더 높은 정확도를 보였습니다. 이는 아웃라이어 토큰이 전역적 문맥 (global context) 을 인코딩하고 있음을 시사합니다.
• 계층적 아키텍처의 차이:
  • Swin Transformer: 아웃라이어 토큰이 세부적인 외관 정보 (texture) 를 담당하고, 일반 토큰이 공간 정보를 담당하는 등 기존 ViT 와 다른 분업 구조를 가집니다.
  • PVT: 아웃라이어 토큰이 100% 의 위치 예측 정확도를 보일 정도로 공간 구조를 담당하지만, 텍스처 재구성에는 취약합니다. 이는 피라미드 구조의 다운샘플링 특성과 관련이 있습니다.

주장 5: 레지스터의 효과

• 아티팩트 제거: 레지스터를 추가하면 DINOv2 모델의 특징 맵과 주의도 맵에서 아티팩트가 명확히 제거됩니다.
• 성능 영향: 레지스터를 추가해도 분류 성능이 저하되지 않으며, DINOv2 의 경우 오히려 미세하게 향상되었습니다.
• 한계: 레지스터가 전역 정보를 인코딩하지만, 이를 [CLS] 토큰과 결합하여 분류기에 사용할 경우 기존 [CLS] 토큰만 사용할 때보다 성능이 크게 향상되지 않았습니다. 이는 레지스터가 가진 전역 정보가 [CLS] 토큰과 중복될 가능성이 있음을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 재현성 및 확장: Darcet et al. (2024) 의 핵심 발견 (고_norm 토큰의 존재, 레지스터의 효과) 을 DINOv2-G 에서 성공적으로 재현하고, 다양한 모델 (DeiT3, OpenCLIP, PVT, Swin) 로 확장하여 검증했습니다.
2. 용어 및 개념의 명확화: '아티팩트', '아웃라이어', '고_norm 토큰' 등의 용어가 모델에 따라 다르게 작용할 수 있음을 지적하고, 주의도 맵과 특징 맵의 관계를 정교하게 구분했습니다.
3. 모델 크기와 아키텍처의 영향 규명: 고_norm 토큰이 대형 모델만의 문제가 아님을 증명하고, 계층적 아키텍처 (H-ViTs) 에서는 토큰 간 정보 분업 (분담) 이 기존 ViT 와 근본적으로 다르게 작동함을 발견했습니다.
4. 레지스터의 실용적 검증: 레지스터가 아티팩트 제거에 효과적이지만, 분류 성능 향상을 위한 필수 요소는 아니며, 그 기작이 완전히 규명되지 않았음을 밝혔습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 Vision Transformer 의 내부 동작 메커니즘에 대한 이해를 심화시켰습니다. 특히, 아티팩트와 고_norm 토큰의 발생 원인과 그 역할이 모델의 아키텍처 (단순 ViT vs 계층적 ViT) 에 따라 달라진다는 점을 강조했습니다.

• 실무적 시사점: 레지스터는 아티팩트를 제거하여 모델의 해석 가능성을 높이는 강력한 도구이나, 모든 모델에 무조건 적용해야 하는 것은 아니며, 모델의 구조적 특성을 고려해야 합니다.
• 미래 연구 방향: 아티팩트 생성의 근본적인 원인 (왜 특정 영역에서 노름이 증가하는지) 과 레지스터가 정확히 어떤 정보를 어떻게 인코딩하는지에 대한 추가 연구가 필요함을 제안합니다.

요약하자면, 이 연구는 "모든 비전 트랜스포머가 레지스터를 필요로 하는가?"라는 질문에 대해 **"아티팩트 제거에는 효과적이지만, 토큰의 정보 분담 방식과 아티팩트 발생 양상은 아키텍처에 따라 다르므로 보편적인 해법은 아키텍처별 특성을 고려해야 한다"**고 답합니다.