기술 요약: ReGLA – 게이티드 선형 어텐션 네트워크를 통한 효율적인 수용 영역 모델링

1. 문제 정의

Vision Transformer(ViT)를 모바일 기기나 임베디드 시스템과 같은 자원 제한적인 플랫폼에 배포하는 것은 표준 소프트맥스(softmax) 기반 셀프 어텐션 메커니즘의 이차 함수적 계산 복잡도로 인해 저해됩니다. 경량화된 합성곱 신경망(CNN)은 효율성을 제공하지만, 제한된 수용 영역(receptive field)으로 인해 장거리 의존성을 효과적으로 포착하는 데 어려움을 겪는 경우가 많습니다. 반대로, 하이브리드 CNN-Transformer 구조는 어텐션을 선형화하려고 시도할 때 기존 어텐션의 비효율성을 그대로 물려받거나 모델의 표현력을 희생하는 경우가 빈번합니다. 본 연구가 다루는 핵심 과제는 학습 안정성이나 모델의 표현력을 저해하지 않으면서, 고해상도 이미지에 대한 높은 정확도와 낮은 지연 시간, 그리고 선형적 계산 복잡도 사이의 균형을 맞추는 것입니다.

2. 방법론

저자들은 로컬 특징 추출과 글로벌 모델링 사이의 트레이드오프를 최적화하기 위해 설계된 경량 하이브리드 CNN-Transformer 아키텍처인 ReGLA를 제안합니다. 이 아키텍처는 스템(stem) 블록과 채널 깊이 및 공간 해상도가 단계적으로 확장되는 4개의 계층적 스테이지로 구성됩니다. 설계는 세 가지 핵심 원칙에 기반합니다: 선형 계산 복잡도, 강화된 로컬 포커스를 갖춘 넓은 수용 영역, 그리고 수치적 안정성입니다.

주요 아키텍처 구성 요소

1. ReLU 게이티드 변조 어텐션 (RGMA)
계산 비용이 많이 드는 소프트맥스 어텐션을 대체하기 위해, ReGLA는 메모리 효율적인 어텐션 메커니즘인 RGMA를 도입하여 $O(Nd^2)$의 선형 복잡도를 달s합니다.

• 메커니즘: 소프트맥스 커널을 ReLU 기반 선형 커널로 교체하고 경량 게이팅 유닛을 통합합니다.
• 작동 방식: 특징 맵 $x$가 주어지면, 출력 $X_o$는 $X_o = G(x) \odot C(x)$로 계산됩니다. 여기서:
  • $G(x)$는 로컬 특징 가중치를 생성하는 컨볼루션 게이트 메커니즘(컨볼루션과 시그모이드 활성화 함수 사용)입니다.
  • $C(x)$는 글로벌 컨텍스트를 추출하는 ReLU 선형 어텐션 성분입니다.
  • $\odot$는 요소별 곱셈(element-wise multiplication)을 의미합니다.
• 이점: 이 설계는 복잡도를 줄이기 위해 토큰 간 상호작용을 분리하는 동시에, 게이팅 메커니즘이 로컬 패턴에 선택적으로 집중하게 하여 학습 및 추론 과정에서 안정적인 그래디언트를 보장합니다.

2. 효율적인 넓은 수용 영역 (ELRF)
고해상도 입력이 넓은 공간적 범위를 요구하는 네트워크의 초기 단계들을 위해 설계된 ELRF는, 큰 커널의 비용 없이도 로컬 정보를 포착하면서 넓은 수용 영역을 유지하는 것을 목표로 합니다.

• 설계: 단일 대형 커널(예: $7 \times 7$)을 사용하는 대신, ELRF는 피드 포워드 네트워크(FFN) 레이어와 교차 배치된 계단식 depthwise 컨볼루션($3 \times 3$ 및 $5 \times 5$)으로 연산을 분해합니다.
• 이점: 이 단계적 접근 방식은 효율적인 계산을 최적화하고 depthwise 컨볼루션을 활용하여 메모리 액세스 병목 현상을 최소화하면서도 동등한 $7 \times 7$ 수용 영역을 달성합니다.

3. 멀티 티처 지식 증류 (Multi-Teacher Knowledge Distillation)
다운스트림 태스크 전반에 걸친 일반화 능력을 향상시키기 위해, 저자들은 7개의 다양한 사전 학습된 모델(SAM2, DeiT-III, DINOv2, iBOT, ViTamin, AIMv2 포함)을 활용한 멀티 티처 증류 전략을 채택합니다.

• 적응: 분류에 집중된 기존의 UNIC와 같은 표준 증류 프레임워크와 달리, 이 전략은 이질적인 다운스트림 태스크에 최적화되어 있습니다. 밀집 예측(dense prediction) 태스크에서 더 나은 공간적 일관성을 확보하기 위해 패치 토큰으로부터 글로벌 CLS 토큰을 구축하는 적응형 평균 풀링을 도입합니다.
• 학습: 이 전략은 ImageNet-21K에서의 30 에포크 증류 단계와 ImageNet-1K에서의 미세 조정을 포함하며, 안정적인 지식 전이를 위해 동기화된 배치 정규화(synchronized batch normalization)와 코사인 유사도 손실을 활용합니다.

3. 주요 기여

• ReGLA 아키텍처: 로컬 표현을 위한 ELRF와 글로벌 모델링을 위한 RGMA(소프트맥스가 없는 게이티드 선형 어텐션)를 특징으로 하는, 모바일 및 엣지 배포에 최적화된 매우 효율적인 CNN-Transformer 아키텍처를 도입했습니다.
• 증류 전략: 모델 선택, 충돌 해결, 그리고 일반적인 ViT 티처와 피라미드형 학생 네트워크 간의 아키텍처 이질성 문제를 해결하는 새로운 멀티 티처 증류 프레임워크를 제시했습니다.
• 경험적 검증: ImageNet-1K 분류, COCO 객체 탐지, ADE20K 시맨틱 세그멘테이션에 대한 종합적인 평가를 통해, 낮은 지연 시간과 파라미터 수로 최첨단(SOTA) 성능을 입증했습니다.

4. 실험 결과

저자들은 여러 벤치마크에서 최근의 경량 모델들(예: MobileNetV4, iFormer, EfficientFormer)을 대상으로 ReGLA 변체(T, S, M, L, X)를 평가했습니다.

• ImageNet-1K 분류:

  • ReGLA-M은 224px 해상도에서 4.98 ms의 지연 시간(iPhone 16 Pro, 512px 입력 기준)만으로 **80.85%**의 Top-1 정확도를 달성했습니다.
  • 10M 파라미터 카테고리에서 ReGLA-M은 증류를 하지 않았을 때는 iFormer-M보다 0.45%, 증류를 했을 때는 0.8% 더 높은 성능을 보였습니다.
  • ReGLA-L (19.9M 파라미터)은 82.9%의 정확도를 달성하여, 4.4M 개의 파라미터를 더 적게 사용하면서도 EfficientViT-B2(24.3M 파라미터)를 0.7% 앞질렀습니다.
  • 멀티 티처 증류를 적용했을 때, ReGLA-X는 85.2%의 Top-1 정확도에 도달하여 3M 개의 파라미터를 덜 사용하면서도 FastViT-MA36을 0.5% 상회했습니다.

• 다운스트림 태스크 (COCO & ADE20K):

  • 객체 탐지 (COCO): 증류된 ReGLA-M은 43.9% APbox를 달성하여, 증류된 iFormer-M보다 3.1% AP 높은 성능을 보였습니다. 특히, 증류된 ReGLA-M은 더 큰 모델인 iFormer-L-distilled보다 1.7% 높은 APbox를 기록했습니다.
  • 시맨틱 세그멘테이션 (ADE20K): 증류된 ReGLA-M은 iFormer-M-distilled 대비 3.6% mIoU 이득을 보였으며, ReGLA-L-distilled는 iFormer-L-distilled 대비 3.9% mIoU 개선을 보여주었습니다.
  • 지연 시간: ReGLA 모델들은 유사한 규모의 iFormer 모델들과 비교했을 때 모바일 CPU에서 일관되게 현저히 낮은 지연 시간을 보여주었습니다 (예: iPhone 16 Pro에서 ReGLA-M은 4.98ms, iFormer-M은 19.24ms).

5. 의의 및 주장

본 논문은 ReGLA를 대규모 AI의 환경적, 경제적 비용 문제를 해결하는 "지속 가능한 컴퓨터 비전"을 위한 실용적이고 확장 가능한 솔루션으로 자리매김합니다. 저자들은 ReGLA가 "적지만 더 나은 것(less but better)"으로의 전환을 구현하며, 정교한 시각적 지능이 효율성이나 접근성을 희생할 필요가 없음을 증명한다고 주장합니다.

구체적으로, 본 연구는 다음과 같이 단언합니다:

1. 글로벌 어텐션은 효율적일 수 있다: RGMA는 자원 제한적인 환경에서 소프트맥스 기반 방식보다 속도와 정확도 모두에서 우수합니다.
2. 공동 설계(Co-design)가 핵심이다: 로컬 연산자(ELRF)와 어텐션 메커니즘(RGMA)의 통합은 고해상도 효율성을 위해 필수적입니다.
3. 증류의 효용성: 제안된 멀티 티처 전략은 모델 선택, 충돌 해결, 그리고 일반적인 ViT 티처와 피라미드형 학생 네트워크 간의 아키텍처 이질성 문제를 성공적으로 해결하여, 더 작은 모델이 밀집 예측 태스크에서 더 큰 비증류 모델을 능가하도록 합니다.

저자들은 ReGLA가 특히 지연 시간과 파라미터 효율성이 중요한 고해상도 시각 애플리케이션 분야에서 새로운 최첨단(SOTA)을 확립한다고 결론짓습니다.