기술 요약: 명시적 어텐션 없이 선형 시간 전역 시각 모델링

문제 제기

컴퓨터 비전의 주류 패러다임은 트랜스포머의 전역 시퀀스 모델링 능력을 어텐션 가중치의 명시적 계산에 기인합니다. 이 과정은 $N \times N$ 어텐션 행렬을 형성하기 위해 토큰 간의 쌍별 유사성을 계산한 후, 이를 사용하여 값 표현을 재결합합니다. 효과적이기는 하지만, 이 메커니즘은 시퀀스 길이에 대해 본질적으로 2 차 계산 복잡도 ($O(N^2)$) 를 수반하여 고해상도 입력과 긴 시퀀스에 병목 현상을 초래합니다. 기존 효율성 개선 방안들은 대부분 이 명시적 어텐션 행렬을 근사화하거나 희소화하는 데 초점을 맞추어, 명시적 특징 재가중치라는 패러다임에 여전히 묶여 있습니다.

방법론

이론적 재해석: 어텐션을 동적 MLP 로

저자들은 어텐션을 명시적 가중치 집계로가 아니라 **동적으로 예측된 매개변수를 가진 다층 퍼셉트론 (MLP)**으로 수학적으로 재해석할 수 있다는 새로운 관점을 제시합니다.

• 메커니즘: 표준 어텐션에서 쿼리 $q_i$에 대한 출력은 $o_i = \text{Softmax}(\frac{q_i K^\top}{\sqrt{d}})V$입니다. 저자들은 $K^\top$와 $V$를 정적 가중치가 아닌 입력 $X$에서 생성된 동적 매개변수 (즉, $K=XW_K, V=XW_V$) 로 해석합니다.
• 함의: 전역 모델링이 암시적으로 발생합니다. 입력 $X$는 동적 매개변수 집합 $W = G(X)$로 압축되며, 이는 전역 컨텍스트의 컴팩트한 표현으로 작용합니다. 이 동적 매개변수화 네트워크를 통해 입력을 전달하면, 명시적인 $N \times N$ 어텐션 행렬을 계산하거나 적용하는 일 없이 장거리 의존성을 통합합니다.
• 복잡도 통찰: 표준 어텐션의 2 차 복잡도는 이 "동적 MLP"의 유효 너비가 토큰 수 $N$에 비례하여 확장되기 ($K^\top \in \mathbb{R}^{d \times N}$) 때문에 발생합니다. 매개변수 생성과 시퀀스 길이를 분리함으로써 선형 복잡도로 전역 모델링을 달성할 수 있습니다.

WeightFormer 아키텍처

이 가설을 검증하기 위해 저자들은 명시적 어텐션을 동적 매개변수화로 대체하면서도 선형 복잡도 ($O(N)$) 를 유지하는 비전 아키텍처인 WeightFormer를 소개합니다.

• 희소 분포: 모든 블록에 동적 레이어를 적용하면 (높은 오버헤드 발생) WeightFormer 는 동적 블록을 희소하게 삽입합니다 (구체적으로 세 번째 블록마다). 성능과 효율성을 균형 있게 유지하기 위해 나머지 블록은 정적으로 유지합니다.
• 동적 선형 레이어: MLP 의 첫 번째 선형 레이어는 **양측 활성화 (Bilateral Activation)**를 사용하는 동적 레이어로 대체됩니다. 이 전략은 가중치 예측을 입력 $X$와 그 전치 $X^\top$에 작용하는 두 개의 비선형 분기로 분해합니다:
  $$\Delta W(X) = W_1 \sigma(W_2 X^\top) \sigma(X W_3) W_4$$
  이를 통해 모델은 명시적인 토큰 간 라우팅 없이도 고차원 특징 상호작용과 전역 컨텍스트를 포착할 수 있습니다.
• 동적 깊이별 합성곱 (DWC): 어텐션의 공간 혼합을 대체하기 위해 저자들은 동적 깊이별 합성곱을 사용합니다. 여기서는 **공간 적응형 예측 (Spatially Adaptive Prediction)**을 활용하여, 커널 가중치를 예측하기 전에 입력을 적응형 평균 풀링 (AAP) 을 통해 고정된 $K \times K$ 해상도 (커널 크기와 일치) 로 다운샘플링합니다. 이는 공간 구조를 유지하면서도 매개변수 생성 과정이 입력 해상도와 무관하도록 보장합니다.

주요 기여

1. 수학적 재해석: 이 논문은 어텐션의 전역 모델링 능력에 대한 새로운 이론적 설명을 제공하며, 이를 명시적 토큰 단위 집계가 아닌 입력 조건부 매개변수를 가진 동적 MLP 로 규정합니다.
2. 실행 가능성 증명: 명시적 어텐션 가중치가 전역 시퀀스 모델링에 필수적이지 않음을 입증합니다. 저자들은 동적 매개변수화가 선형 복잡도로 트랜스포머 수준의 성능을 달성하기 위해 어텐션을 완전히 대체할 수 있음을 증명합니다.
3. WeightFormer 아키텍처: 표준 CNN 유사 프레임워크 내에서 동적 매개변수 전략 (선형 레이어를 위한 양측 활성화 및 깊이별 합성곱을 위한 공간 적응형 예측) 을 체계적으로 탐구하는 프로토타입 아키텍처를 도입했습니다.

실험 결과

저자들은 ImageNet-1K, COCO, ADE20K 및 ImageNet 클래스 조건부 생성에 대해 광범위한 실험을 수행했습니다.

• 이미지 분류 (ImageNet-1K): WeightFormer 는 유사하거나 더 낮은 계산 비용으로 강력한 베이스라인 (DeiT, PVT, ConvNeXt) 과 경쟁력 있거나 우수한 정확도를 달성합니다.
  • WeightFormer-S는 **81.3%**의 Top-1 정확도를 달성하여 DeiT-S(79.8%) 와 ConvNeXt-S(79.7%) 를 능가하면서도 비교 가능한 리소스를 사용합니다.
  • WeightFormer-T는 76.3% 의 정확도를 달성하며, DeiT-T(3661 img/s) 보다 높은 처리량 (3515 img/s) 을 보이지만 고해상도에서 훨씬 낮은 FLOPs 를 기록합니다.
• 효율성 및 확장성: 선형 복잡도 덕분에 WeightFormer 는 고해상도로 효율적으로 확장됩니다. 1248×1248 해상도에서 DeiT 대비 7.7 배 높은 처리량과 91% 메모리 감소를 달성합니다.
• 하위 작업:
  • 객체 감지 (COCO): WeightFormer-T 는 백본 FLOPs 를 106G 에서 77G 로 줄이면서 DeiT-T 대비 박스/마스크 AP 를 개선합니다 (45.0/38.3 대 44.4/38.1).
  • 시맨틱 세그멘테이션 (ADE20K): WeightFormer-S 는 백본 FLOPs 가 감소된 상태에서 45.6 mIoU 를 달성하여 DeiT-S(44.0 mIoU) 를 능가합니다.
  • 이미지 생성: 클래스 조건부 생성에서 WeightFormer 변형 모델은 비교 가능한 DiT 및 DiG 모델보다 일관되게 낮은 FID 점수를 달성하여 향상된 샘플 품질을 나타냅니다.
• 어블레이션 연구: 동적 블록의 빈도에 대한 실험은 희소 분포 (세 개 중 하나의 동적 블록) 가 최적의 절충안을 제공함을 보여줍니다. 너무 많은 정적 레이어를 대체하면 과소적합 및 최적화 문제가 발생하기 때문입니다.

중요성 및 주장

이 논문은 동적 매개변수화가 전역 시퀀스 모델링을 위한 명시적 어텐션보다 근본적으로 더 효율적인 대안이라고 주장합니다. 명시적 가중치 집약에서 암시적 매개변수 생성으로 초점을 이동함으로써, 저자들은 트랜스포머의 2 차 병목 현상에 의존하지 않는 효율적인 아키텍처를 위한 새로운 설계 공간을 열었습니다.

저자들은 작업의 범위에 대해 겸손한 어조를 유지합니다:

• 현재 평가는 비전 작업으로 제한되어 있으며, 다른 도메인 (예: NLP) 으로 일반화되는 것은 여전히 열린 질문입니다.
• 동적 매개변수화의 표현력과 귀납적 편향에 대한 이론적 이해는 아직 완전하지 않습니다.
• 이러한 입력 조건부 매개변수를 최적화하는 것은 기울기 흐름 및 훈련 안정성과 관련하여 과제를 제시합니다.

궁극적으로 이 작업은 전역 모델링을 2 차 복잡도에서 분리할 수 있음을 보여주는 개념 증명 (proof-of-concept) 으로, 어텐션 기반 아키텍처의 유효한 대체재로서 동적 매개변수화에 대한 추가적인 탐구를 고무합니다.