기술 요약: LookWhere

문제 정의

Vision Transformer(ViT)는 점점 더 거대해지고 정확해지고 있지만, 토큰의 이차적 증가로 인해 이미지 해상도에 따라 계산 비용이 이차적으로 증가하는 문제가 있습니다. 이러한 비용은 사진, 원격 탐사, 자율 주행, 의료 영상 등에서 흔히 사용되는 고해선 입력에 있어 매우 부담스럽습니다. 기존의 적응형 계산 방법들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 토큰 감소(Token Reduction): 토큰을 제거하거나 병합하는 방식(예: PiToMe, DTEM)은 초기 레이어에서 전체 입력 토큰을 여전히 처리해야 하므로 높은 초기 비용이 발생합니다.
• 토큰 선택(Token Selection): 토큰을 선택하는 방식(예: DPS, IPS)은 종종 복잡하고 비용이 많이 드는 태스크별 최적화나 학습 및 전이가 어려운 이산 최적화 기법에 의존합니다.
• 효율성 격차: 전체 이미지를 한 번도 처리하지 않으면서도, 다양한 태스크에 걸쳐 전이성을 유지하며 고해상도 입력에서 어디를 볼 것인지와 무엇을 볼 것인지를 효율적으로 선택할 수 있는 방법이 부족합니다.

방법론: LookWhere

저자들은 "어디를 볼 것인가"와 "무엇을 볼 것인가"를 쌍을 이룬 Selector-Extractor 구조를 사용하여 문제로 분해하는 자기 지도 학습 기반의 적응형 계산 프레임워크인 LookWhere를 제안합니다.

핵심 아키텍처

1. Selector (Where to Look - 어디를 볼 것인가):
   • 입력 이미지의 저해상도(low-resolution) 버전을 대상으로 작동합니다.
   • 얕은 깊이의 ViT(절단된 깊이)가 이 저해상도 입력을 처리하여, 정보가 풍부한 패치의 위치를 예측하는 "selector map"(고해상도 어텐션 맵)을 생성합니다.
   • 또한, extractor가 재사용할 수 있는 저해상도 글로벌 토큰(class 및 register 토큰)을 생성합니다.
2. Extractor (What to See - 무엇을 볼 것인가):
   • Selector에 의해 선택된 희소한(sparse) 고해상도 패치 세트(top-$k$ 패치)를 대상으로 작동합니다.
   • 선택된 고해상도 패치들만을 토큰화합니다.
   • 중복 계산을 피하기 위해 Selector가 생성한 글로벌 토큰을 재사용합니다(자신의 학습 가능한 토큰을 대체함).
   • 이 희소한 입력들을 처리하여 고해상도 이미지의 전체 표현을 생성하며, 이는 태스크별 예측에 사용됩니다.

학습: What-Where Distillation (무엇-어디 증류)

시스템은 대규모의 동결된 교사 모델(DINOv2)로부터 **자기 지도 증류(self-supervised distillation)**를 통해 사전 학습됩니다. 이를 통해 태스크별 레이블 없이도 학습이 가능합니다.

• 교사 모델(Teacher): 전체 고해상도 입력을 처리하는 자기 지도 ViT(DINOv2)입니다.
• 증류 대상(Distillation Targets):
  • Where (어디): Selector는 저해상도 입력만을 사용하여 교사 모델의 어텐션 맵(유의미한 영역을 나타냄)을 예측하도록 학습됩니다.
  • What (무엇): Extractor는 희소한 고해상도 패치와 Selector의 저해상도 글로벌 토큰만을 사용하여 교사 모델의 class 및 patch 토큰 표현(의미적 내용)을 예측하도록 학습됩니다.
• 손실 함수(Loss Function): 세 가지 손실의 가중 합으로 구성됩니다:
  1. Class Token Distillation (MSE): 글로벌 표현을 정렬합니다.
  2. Patch Token Distillation (MSE): 로컬 표현을 정렬합니다.
  3. Attention Distillation (KL Divergence): Selector의 예측 맵을 교사의 어텐션 맵과 정렬합니다.
• 효율성: 교사 모델은 타겟을 생성하기 위해 전체 이미지를 한 번 처리합니다. 학생 모델(Selector + Extractor)은 학습이나 추론 과정에서 전체 고해상도 이미지를 절대 처리하지 않으므로, 사전 학습과 추론 모두 매우 효율적입니다.

미세 조정(Fine-tuning)

다운스트림 태스크를 위해 extractor와 태스크별 예측기(예: 선형 레이어)만 지도 학습을 통해 미세 조정됩니다. Selector는 동결된 상태를 유지하여 "어디를 볼 것인가"에 대한 전략이 다양한 태스크에 걸쳐 일반화될 수 있도록 합니다.

주요 기여

1. 새로운 아키텍처: 위치 선택(저해상도)과 특징 추출(희소 고해상도)을 분리하여 전체 해상도 처리를 완전히 피하는 selector-extractor 프레임워크를 제안합니다.
2. 자기 지도 사전 학습: 자기 지도 교사로부터 "what-where distillation" 스킴을 사용하여 공동 학습함으로써, 선택을 위한 별도의 태스크별 최적화 없이도 효과적인 전이를 가능하게 합니다.
3. 하드웨어 효율성: 복잡한 이산 최적화나 클러스터링을 요구하는 기존의 토큰 선택 방식과 달리, LookWhere는 표준화되고 가속화된 GPU 연산(표준 ViT 레이어)에 의존하므로 현재 하드웨어에서 더 빠릅니다.
4. 고해상도 효율성: 이차적 스케일링 문제가 가장 심각한 고해상도 시나리오에서 상당한 이점을 보여줍니다.

실험 결과

논문은 ImageNet, ADE20K와 같은 표준 벤치마크와 Traffic Signs, Birds, Billiard Balls와 같은 고해상도 벤치마크에서 LookWhere를 평가합니다.

• ImageNet 분류: LookWhere는 최첨단(SoTA) 정확도/효율성 트레이드오프를 달성합니다. ViT-S의 경우, 두 번째로 우수한 방법인 DTEM보다 1.36배 빠르면서도 대등한 정확도를 유지합니다.
• ADE20K 세그멘테이션: LookWhere는 유사한 계산 수준에서 DTEM보다 높은 정확도를 보이면서 2배 이상 빠릅니다.
• 고해상도 태스크 (Traffic Signs):
  • LookWhere는 IPS와 같은 베이스라인과 비교하여 FLOPs를 최대 34배 줄이고 추론 시간을 6배 단축하면서도 경쟁력 있는 정확도를 유지합니다.
  • 희소 인식 태스크에서 교사 모델(DINOv2)의 효율성을 능가하면서도 정확도는 대등하거나 더 높습니다.
• 미세 분류 (Birds): 패치의 단 **10%**만을 처리하면서도 DINOv2와 거의 대등한 정확도를 달성하여, 속도, 메모리 및 FLOPs 측면에서 상당한 절감을 가져옵니다.
• 학습 효율성: LookWhere는 다른 적응형 방법들과 비교했을 때 미세 조정 중 누적 FLOPs가 현저히 적습니다 (예: DPS와 유사한 정확도를 훨씬 적은 학습 비용으로 달성).
• 강건성(Robustness): 예비 테스트 결과, LookWhere는 DINOv2보다 작은 $\epsilon$ 적대적 공격에 더 강한 모습을 보였으며, 이는 희소 계산이 내재적인 강건성 이점을 제공할 수 있음을 시사합니다.

의의 및 주장

이 논문은 LookWhere가 다음과 같은 점에서 적응형 계산의 패러다임 변화를 나타낸다고 주장합니다:

• 전체 해상도 처리 제거: 토큰 감소 방식과 달리, 전체 입력을 전혀 처리하지 않으므로 고해상도에서 근본적인 효율성 이점을 제공합니다.
• 단순성 및 전이성: 복잡한 태스크별 최적화가 필요한 기존의 선택 방식과 달리, Lookable은 효과적인 전이가 가능한 단순하고 통합된 사전 학습 전략을 사용합니다.
• 실용성: 표준 트랜스포머 연산을 활용하므로, 커스텀 클러스터링이나 이산 최적화 알고리즘의 오버헤드 없이 현재의 하드웨어 가속기와 호환됩니다.

저자들은 LookWhere를 ViT의 "이차적 비용" 병목 현상을 해결하는 솔루션으로 자리매김하며, 자기 지도를 통해 불필요한 픽셀을 무시하는 법을 학습함으로써 고해상도 이미지에 대한 효율적이고 정확한 인식을 가능하게 한다고 설명합니다. 또한, 현재의 Selector 미세 조정 부재 및 공간적 특성에 국한된 점을 한계로 인정하며, 향후 연구에서 시간적(비디오) 또는 스펙트럼(원격 탐사) 적응을 탐구할 수 있음을 시사합니다.