Fibottention: Inceptive Visual Representation Learning with Diverse Attention Across Heads

1. 문제 정의 (Problem Statement)

비전 트랜스포머 (Vision Transformers, ViT) 와 그 변형 모델들은 다양한 시각 인식 작업에서 뛰어난 성과를 보이고 있지만, 두 가지 주요 한계를 안고 있습니다.

1. 계산 복잡도 (Computational Complexity): 다중 헤드 자기 주의 (Multi-Head Self-Attention, MHSA) 메커니즘은 토큰 수 $N$에 대해 $O(N^2)$의 이차 복잡도를 가집니다. 이는 긴 시퀀스나 고해상도 이미지를 처리할 때 확장성을 제한하고 계산 비용을 급격히 증가시킵니다.
2. 데이터 의존성 (Data Dependency): 경쟁력 있는 성능을 달성하기 위해 대규모 훈련 데이터에 대한 높은 의존성을 보입니다. 데이터가 제한된 환경 (예: 로봇 학습, 비디오 이해) 에서는 성능이 저하되는 경향이 있습니다.

기존의 희소 주의 (Sparse Attention) 메커니즘들은 계산 효율성을 높이기 위해 도입되었으나, 종종 모델의 표현 능력을 저하시켜 밀집 (Dense) 주의 기반 모델보다 낮은 정확도를 보였습니다. 즉, 효율성과 성능 간의 트레이드오프를 해결하는 것이 핵심 과제입니다.

2. 방법론 (Methodology)

저자들은 Fibottention이라는 새로운 희소 자기 주의 메커니즘을 제안했습니다. 이는 기존 MHSA 를 대체할 수 있는 'drop-in' 솔루션으로, 다음과 같은 핵심 아이디어를 기반으로 합니다.

가. 구조화된 희소성 패턴 (Structured Sparsity Patterns)

• 위트호프 배열 (Wythoff Array) 기반: Fibottention 은 위트호프 배열에서 파생된 일반화된 피보나치 수열을 사용하여 주의 행렬의 희소성 패턴을 정의합니다.
• 확장 슬라이딩 윈도우 (Dilated Sliding Windows): 각 주의 헤드는 서로 다른 피보나치 수열을 기반으로 한 확장 (dilation) 일정을 따릅니다. 이는 국소적 상호작용 (dense local interactions) 과 점진적으로 희소해지는 장기적 상호작용 (sparse long-range links) 을 모두 포착하도록 설계되었습니다.
• 수식적 정의: $i$번째 헤드의 지원 집합 (support set) $\Omega_i$는 다음과 같이 정의됩니다.
  $$\Omega_i = \{ (j, k) : |j - k| \in \text{Fib}(a_i, b_i), |j - k| \le w_i \}$$
  여기서 $\text{Fib}(a_i, b_i)$는 위트호프 배열의 $i$번째 행에 해당하는 피보나치 수열이며, $w_i$는 헤드의 윈도우 크기입니다.

나. 헤드 다양성 (Head Diversity) 및 인셉션 효과

• 상보적 희소성: 각 헤드는 서로 다른 피보나치 시퀀스 (초기값 $a_i, b_i$가 다름) 를 사용하여 서로 다른 희소성 패턴을 가집니다. 이는 CNN 의 Inception 모듈과 유사하게, 각 헤드가 서로 다른 기능적 다양성 (functional diversity) 을 학습하도록 유도합니다.
• 중복 최소화: 위트호프 배열의 수학적 성질에 의해, 서로 다른 헤드의 지원 집합 간의 겹침 (overlap) 이 최소화됩니다. 이는 불필요한 쌍별 상호작용을 줄이면서도 전체 토큰 상호작용의 다양성을 극대화합니다.
• 주 대각선 제거: 주의 행렬의 주 대각선 (self-attention) 요소를 제거하거나 희소화함으로써, 모델이 자기 자신과의 상호작용보다 다른 토큰 간의 관계에 집중하도록 유도합니다.

다. 계산 복잡도

• Fibottention 은 $O(N \log N)$의 계산 복잡도를 가집니다. 이는 피보나치 수열의 지수적 성장 특성 때문에, 윈도우 크기 $w$ 내에서 고려해야 하는 토큰 쌍의 수가 로그 스케일로 증가하기 때문입니다. (부록 A 에서 수학적으로 증명됨)

3. 주요 기여 (Key Contributions)

1. 새로운 희소 주의 메커니즘 제안: 위트호프 배열과 피보나치 수열을 결합하여, 헤드별로 상보적이고 구조화된 희소성 패턴을 생성하는 Fibottention 을 개발했습니다.
2. 효율성과 성능의 동시 달성: 기존 희소 주의 메커니즘들이 겪던 성능 저하 문제를 해결했습니다. 전체 토큰 상호작용의 약 **2%**만 계산하면서도 밀집 MHSA 모델과 동등하거나 더 나은 성능을 달성했습니다.
3. 광범위한 실험 검증: 이미지 분류 (CIFAR, ImageNet), 비디오 행동 인식 (Smarthome, NUCLA), 로봇 모방 학습 (Robomimic) 등 다양한 도메인과 아키텍처 (ViT, Swin, ConViT 등) 에서 Fibottention 의 유효성을 입증했습니다.
4. 헤드 다양성 분석: Fibottention 이 표준 MHSA 및 다른 희소 주의 기법들보다 헤드 간 특징 표현의 다양성 (diversity) 을 유의미하게 높인다는 것을 정량적으로 분석하고, 이것이 성능 향상과 강건성 (robustness) 의 원인임을 보였습니다.

4. 실험 결과 (Results)

• 이미지 분류:
  • CIFAR-10/100: ViT-B 기반 모델에서 Fibottention 은 전체 주의 (Full Attention) 모델을 능가하는 Top-1 정확도 (C10: 91.8%, C100: 70.7%) 를 기록했습니다.
  • ImageNet-1K: 대규모 데이터셋에서도 밀집 모델과 유사한 성능 (75.5% vs 75.9%) 을 유지하면서 계산 비용을 약 98% 절감했습니다.
  • 비교: Random Attention, Top-k, Longformer, BigBird 등 기존 희소 주의 기법들보다 일관되게 우수한 성능을 보였습니다.
• 비디오 및 로봇 학습:
  • 비디오: TimeSformer 아키텍처에 적용 시, Smarthome 및 NUCLA 데이터셋에서 기존 모델 대비 정확도가 향상되었습니다. 특히 'Modified Wythoff' 변형이 국소적 상호작용을 더 잘 포착하여 비디오 작업에 유리했습니다.
  • 로봇: 로봇 모방 학습 (Behavioral Cloning) 작업에서 Lift, Can, PushT 태스크에서 가장 높은 작업 완료율을 기록했습니다.
• 계산 효율성:
  • 해상도가 증가함에 따라 (N 증가), Fibottention 은 전체 FLOPs 를 최대 48% 까지 감소시켰습니다.
  • 노이즈가 포함된 데이터셋 (CIFAR-C) 에 대한 강건성 테스트에서 밀집 모델보다 일관되게 높은 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 Fibottention을 통해 시각적 표현 학습에서 계산 효율성과 표현력 사이의 오랜 트레이드오프를 성공적으로 해결했습니다.

• 이론적 통찰: 단순한 희소화가 아니라, 수학적 구조 (위트호프 배열) 를 통해 헤드 간 다양성을 체계적으로 설계함으로써, 적은 계산량으로도 풍부한 특징을 학습할 수 있음을 증명했습니다.
• 실용적 가치: 에지 디바이스나 데이터가 제한된 환경 (IoT, 로봇, 비디오 분석) 에서 대규모 트랜스포머 모델을 효율적으로 배포할 수 있는 길을 열었습니다.
• 미래 전망: 수십억 개의 토큰을 처리해야 하는 차세대 트랜스포머 모델이나, 인과적 주의 (causal attention) 가 필요한 NLP 및 시계열 분석 분야로의 확장에 대한 가능성을 제시합니다.

결론적으로, Fibottention 은 단순한 최적화 기법을 넘어, **다양한 주의 패턴을 통한 인덕티브 바이어스 (Inductive Bias)**가 시각적 학습의 효율성과 정확도를 동시에 향상시킬 수 있음을 보여주는 중요한 연구입니다.