기술 요약: 훈련 프로토콜을 통한 비전 트랜스포머의 공간적 국소성 유도

문제 제기

비전 트랜스포머 (ViT) 는 이미지 분류에서 경쟁력 있는 성능을 달성했지만, 유도적 편향 (inductive biases) 측면에서 합성곱 신경망 (CNN) 과 근본적으로 다릅니다. CNN 은 합성곱과 제한된 수용 영역을 통해 명시적으로 공간적 국소성을 포함하는 반면, ViT 는 전역적 자기 주의를 활용하여 모든 토큰이 공간적 제약 없이 다른 모든 토큰에 주의를 기울일 수 있게 합니다. 이러한 유연성은 장거리 의존성을 포착할 수 있게 하지만, 해당 행동이 작업에 유익하다면 모델이 국소적으로 주의를 기울이는 법을 학습해야 함을 의미합니다.

Raghu 등 [12] 의 이전 연구는 ViT 의 초기 층에서 국소성이 주로 대규모 사전 훈련 (예: JFT-300M) 이나 데이터 크기에 비해 모델 용량이 낮을 때 나타난다고 보여주었습니다. 그러나 대규모 사전 훈련 없이 중간 규모 데이터셋 (50,000~100,000 장의 이미지) 에서 처음부터 훈련할 때 적용되는 훈련 프로토콜 자체, 특히 훈련 중 사용되는 증강 및 정규화 기법이 공간적 국소성을 유도할 수 있는지는 여전히 불분명합니다.

방법론

저자들은 훈련 프로토콜이 ViT 의 내부 주의 구조에 미치는 영향을 분리하기 위해 통제된 실험을 설계했습니다.

실험 설정

• 아키텍처: 처음부터 훈련된 소형 ViT(깊이 $L=8$, 임베딩 $D=192$, 8 개 헤드, 약 240 만 개 파라미터). 네트워크 내의 확률적 정규화 때문이 아닌 오직 훈련 프로토콜에 기인한 관찰된 효과를 보장하기 위해 내부 드롭아웃은 0.0 으로 설정되었습니다.
• 데이터셋: 복잡도가 증가하는 세 가지 데이터셋 (CIFAR-10, CIFAR-100, Tiny-ImageNet) 이 사용되었습니다. 공간적 지표의 비교 가능성을 보장하기 위해 모든 이미지는 $N_p=64$ 개의 패치 ($8 \times 8$ 그리드) 로 처리되었습니다.
• 프로토콜:
  • 베이스라인: 최소 증강 (무작위 크롭, 무작위 수평 반전) 과 표준 CrossEntropy 손실.
  • 모던: 효율적인 트랜스포머 훈련에서 표준인 세 가지 구성 요소를 포함: AutoAugment(Tiny-ImageNet 의 경우 ColorJitter), CutMix, 그리고 라벨 스무딩.
• 지표: 본 연구는 두 가지 헤드별 지표를 사용하여 주의 패턴을 특성화합니다:
  1. 평균 주의 거리 (MAD): 주의를 기울인 토큰의 평균 공간 거리를 정량화합니다. 낮은 값은 국소적 주의를 나타냅니다.
  2. 정규화된 주의 엔트로피: 주의 분포의 집중도를 측정합니다. 낮은 값은 소수의 토큰에 집중된 주의를 나타냅니다.

제거 분석 (Ablation Study)

국소성의 구체적인 원인을 규명하기 위해 CIFAR-100 에서 체계적인 제거 분석을 수행했습니다. 여기에는 다음이 포함되었습니다:

1. 모던 프로토콜에서 개별 구성 요소를 제거.
2. 베이스라인 프로토콜에 개별 구성 요소를 추가.
   이 설계는 세 가지 구성 요소 (AutoAugment, CutMix, 라벨 스무딩) 의 가능한 모든 8 가지 조합을 다루었습니다.

주요 결과

1. 프로토콜 비교

세 가지 데이터셋 전반에 걸쳐 모던 프로토콜은 베이스라인에 비해 초기 층에서 더 국소적이고 집중된 주의를 일관되게 생성했습니다.

• CIFAR-100: 효과가 가장 두드러졌습니다. 최소 MAD 는 0.316(베이스라인) 에서 0.008(모던) 로 감소했습니다.
• 행동 공간: MAD-엔트로피 공간에서 베이스라인 프로토콜은 고거리, 고엔트로피 영역 (전역적이고 확산된 주의) 에 헤드가 균일하게 분포하는 모습을 보였습니다. 반면 모던 프로토콜은 초기 층이 저거리, 저엔트로피 영역 (국소적이고 집중된) 으로 이동하는 궤적을 유도하여, 더 깊은 층에서 전역적 주의로 수렴하기 전에 CNN 의 계층적 구조를 모방했습니다.

2. 제거 분석 결과

제거 분석은 CutMix가 공간적 국소성 발생의 유일한 결정 요인임을 확인했습니다.

• 이진 분리: CutMix 를 포함한 모든 조건 (모던, $-$AutoAugment, $-$Label Smoothing, $+$CutMix) 은 최소 MAD 가 $\le 0.024$였습니다. 반면 CutMix 가 없는 모든 조건 (베이스라인, $-$CutMix, $+$AutoAugment, $+$Label Smoothing) 은 MAD 가 $\ge 0.210$에 머무렀습니다.
• 다른 구성 요소의 독립성: AutoAugment 와 라벨 스무딩은 국소성에 독립적인 영향을 미치지 않았습니다. 베이스라인에 AutoAugment 나 라벨 스무딩만 추가해도 MAD 값은 베이스라인과 거의 동일했습니다.
• 정확도 vs 국소성: CutMix 와 AutoAugment 모두 베이스라인 대비 유사한 마진 (약 6~7 퍼센트 포인트) 으로 테스트 정확도를 향상시켰습니다. 그러나 주의의 기하학적 구조를 변경하여 국소성을 유도한 것은 CutMix 뿐이었습니다.

중요성과 주장

본 논문은 중간 규모 데이터셋에서 처음부터 훈련된 비전 트랜스포머에서 훈련 프로토콜이 공간적 국소성을 유도할 수 있음을 입증한다고 주장하며, 이러한 행동이 대규모 사전 훈련이나 특정 아키텍처 제약을 필요로 한다는 통념에 도전합니다.

• 메커니즘: 저자들은 CutMix 가 부분적인 이미지 영역만을 사용하여 올바르게 분류하도록 모델을 강제함으로써 국소성을 유도한다고 가정합니다. 이 압력은 초기 층이 국소적 이웃에서 판별력 있는 정보를 추출하도록 장려하여, 결과적으로 CNN 과 유사한 유도적 편향을 효과적으로 생성합니다.
• 이전 연구와의 차별점: Raghu 등 [12] 이 데이터 규모를 국소성의 결정적 요인으로 규명했다면, 본 연구는 부분 영역으로부터 분류해야 하는 압력(CutMix 를 통해) 을 대안적이고 충분한 요인으로 규명합니다.
• 구조적 통찰: 본 연구는 분류 정확도의 향상이 반드시 내부 주의 구조의 변화와 상관관계가 있음을 보여주지 않는다고 강조합니다. AutoAugment 와 CutMix 와 같은 기법은 유사한 정확도 향상을 가져올 수 있지만, 입력 다양성 증가 대 국소적 특징 추출 유도라는 근본적으로 다른 내부 메커니즘을 통해 작동합니다.

한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 실험은 단일 소형 아키텍처에서 수행되었으며, 더 큰 모델 (예: ViT-B, ViT-L) 로의 일반화는 검증이 필요합니다.
• 연구는 단일 초기화 시드를 사용했습니다.
• 제거 분석은 CIFAR-100 에서만 수행되었습니다.
• 훈련 중 국소성이 언제 발생하는지에 대한 시간적 역동성은 분석되지 않았습니다.

제안된 향후 연구에는 다중 시드 검증, 다른 데이터셋에서의 재현, 더 큰 아키텍처로의 확장, 그리고 국소성 발생의 시간적 분석이 포함됩니다.