Vision Transformers Need Better Token Interaction

기술 요약: 비전 트랜스포머는 더 나은 토큰 상호작용이 필요합니다

문제 제기
비전 트랜스포머 (ViT) 는 강력한 이미지 수준 표현을 학습하는 것으로 유명하지만, 장기적인 훈련 과정에서 패치 수준의 표현은 종종 저하되어 의미 분할 및 깊이 추정과 같은 밀집 예측 작업에 덜 효과적이게 됩니다. 이전 연구들은 이러한'밀집 저하 (dense degradation)'를 고노름 (high-norm) 인공물이나 이상치 토큰의 결과로 여겨 왔으나, 본 논문은 이러한 현상들이 근본 원인이 아니라 증상이라고 주장합니다. 저자들은 핵심 문제를 **의미 확산 (semantic diffusion)**으로 규명했습니다. 이는 전역 의미 정보가 국소적으로 정당화되는 범위를 넘어 패치 토큰을 통해 무분별하게 퍼지는 최적화 단축 경로입니다. 이러한 현상은 제한 없는 토큰 상호작용을 활용하여 전역 인식을 개선할 수 있게 하지만, 밀집 작업에 필요한 공간 구조를 저하시키는 대가를 치르게 합니다.

방법론
저자들은 해결책이 전역 문맥을 제거하거나 배경 토큰을 완전히 억제하는 것이 아니라, 토큰 상호작용을 더 선택적으로 만드는 것이라고 제안합니다. 그들은 어텐션 기하학을 수정하기 위한 최소한의 개입으로서 **희소 어텐션 (sparse attention)**을 도입합니다.

• 메커니즘: 표준 소프트맥스 (softmax) 어텐션 메커니즘을 entmax-1.5로 대체합니다. 밀도 있는 확률 분포를 생성하는 소프트맥스와 달리, entmax-1.5 는 저효용 상호작용에 정확한 영 (zero) 가중치를 할당할 수 있는 희소 확률 매핑입니다.
• 구현: 이 방법은 국소 윈도우 어텐션과 달리 전역 토큰 연결성을 유지하며, 전문화나 레지스터 기반 접근법과 달리 추가 파라미터, 레지스터 토큰, 또는 별도의 처리 분기를 도입하지 않습니다.
• 가설: 희소 어텐션 분포를 장려함으로써 모델은 토큰 혼합에 있어 더 선택적이도록 강제됩니다. 이는 의미 확산이라는'최적화 단축 경로'를 줄여, 전경 패치의 국소 구조를 희석하는 의미적으로 관련 없는 배경 패치를 방지하면서도 전역 의미 포착 능력을 유지합니다.

주요 기여

1. 밀집 저하의 재정의: 본 논문은 밀집 저하를 단순한 인공물 문제가 아니라, 전역 의미가 국소적으로 일관되지 않은 방식으로 패치 토큰으로 확산되는 의미 확산의 결과로 규정합니다.
2. 토큰 역할 분석: 포인트 인 박스 (Point-in-Box, PiB) 분석과 계층별 프로빙을 통해 저자들은 얕은 층이 더 나은 공간 정렬 (높은 PiB) 을 유지하지만 깊은 층의 의미적 풍부함은 부족함을 입증합니다. 특히, [CLS] 토큰이 보완적인 전역 정보를 유지하며 패치 특징과 연결될 때 밀집 예측에 크게 기여함을 보여, 전역 문맥은 유지되되 더 잘 관리되어야 함을 시사합니다.
3. 최소 개입: 본 논문은 추가 지도 학습, 교사 모델, 또는 복잡한 구조 수정 없이 선택적 토큰 상호작용을 위한 표현 편향으로 작용하는 간단한 구조 변경—소프트맥스를 entmax-1.5 로 교체—을 도입합니다.

실험 결과
이 방법은 ImageNet-1K 에서 200 에포크 동안 훈련된 DINOv1 ViT-S/16 모델에서 평가되었습니다. 결과는 희소 어텐션이 전역 인식을 희생하지 않으면서 밀집 표현을 개선함을 나타냅니다:

• 이미지 수준 인식: Entmax-1.5 변형은 ImageNet 선형 프로빙에서 **70.06%**의 Top-1 정확도를 달성하여 CLS 기준 (69.50%) 과 Register-4, Specialization과 같은 다른 변형들을 약간 능가했습니다.
• 의미 분할: 가장 큰 개선이 여기서 관찰되었습니다. CLS 기준 대비 Entmax-1.5 는 다음과 같이 개선되었습니다:
  • VOC mIoU: 42.80 에서 48.78로 (+5.98).
  • ADE20K mIoU: 19.85 에서 21.97로 (+2.12).
  • Cityscapes mIoU: 36.79 에서 37.87로 (+1.08).
  • 이는 세 가지 분할 벤치마크 모두에서 Register-4 및 CLS/패치 전문화보다 우수한 성능을 보였습니다.
• 깊이 추정: 개선은 NYUv2, SUN RGB-D, KITTI 벤치마크에서 일관되게 관찰되었으나 더 온건했습니다 (RMSE 를 0.004~0.005 감소). 저자들은 기준 깊이 프로빙 프로토콜이 이미 [CLS] 와 패치 특징을 연결하여 의미 확산을 부분적으로 보상할 수 있어, 개선 효과를 얻기 어렵다고 지적합니다.
• 정성적 분석: 패치 특징의 PCA 시각화는 Entmax-1.5 가 기준 모델에 비해 전경과 배경 영역 간의 더 나은 분리를 가진 더 깨끗하고 공간적으로 일관된 특징 맵을 생성함을 보여주었습니다.

의의 및 주장
본 논문은 선택적 토큰 혼합이 밀집 ViT 표현을 개선하기 위한 간단하고 효과적인 편향이라고 주장합니다. 그 의의는 밀집 예측의 목표가 전역 문맥을 제거하는 것이 아니라 토큰이 그것과 상호작용하는 방식을 정교화하는 것임을 입증하는 데 있습니다. 저자들은 소프트맥스를 entmax-1.5 로 교체함으로써 어텐션 정규화에 대한 경량 수정이 의미 확산을 완화하여 의미 분할에서 상당한 개선을 이끌면서도 이미지 수준 인식을 유지하거나 약간 개선할 수 있음을 보여줍니다.

저자들은 DINOv1 ViT-S/16 로 제한되었으며 더 큰 백본이나 더 긴 사전 훈련 일정을 아직 평가하지 않았음을 지적하며 주장에 대해 겸손한 태도를 유지합니다. 그들은 희소 어텐션을 결정적인 최종 구조가 아니라, 토큰 상호작용을 더 선택적으로 만드는 것이 밀집 저하를 해결할 수 있는 실현 가능한 경로라는 더 넓은 원칙을 지지하는 증거로 위치시킵니다.