SPoT: Subpixel Placement of Tokens in Vision Transformers

이 논문은 비전 트랜스포머의 그리드 기반 토큰화 한계를 극복하고, 오라클 가이드 탐색을 통해 이미지의 연속적인 서브픽셀 위치에 토큰을 배치하는 SPoT 기법을 제안하여 추론 시 필요한 토큰 수를 획기적으로 줄이면서도 정확도를 향상시키는 새로운 패러다임을 제시합니다.

핵심

📸 SPoT: 비전 트랜스포머를 위한 '미세 조정'의 마법

이 논문은 컴퓨터가 이미지를 보는 방식을 완전히 바꿀 수 있는 흥미로운 아이디어를 소개합니다. 바로 SPoT(Subpixel Placement of Tokens) 라는 기술입니다.

기존의 방식과 SPoT 의 방식을 이해하기 위해, '사진을 자르는 요리' 비유를 사용해 설명해 드릴게요.

---

1. 기존 방식: "딱딱한 격자 (Grid) 로 자르기" 🧱

지금까지 컴퓨터 비전 (ViT) 모델이 이미지를 분석할 때는, 마치 바둑판이나 타일을 깔듯이 이미지를 정해진 크기의 네모난 조각 (패치) 으로 딱딱하게 나눕니다.

• 문제점: 만약 이미지 속의 중요한 물체 (예: 고양이의 눈) 가 두 개의 타일 경계선 위에 걸쳐 있다면?
  • 컴퓨터는 "이 눈은 왼쪽 타일의 일부이고, 오른쪽 타일의 일부야"라고 생각하게 됩니다.
  • 마치 포크로 수프를 먹으려는 상황과 같습니다. 가능은 하지만, 수프가 포크 사이로 흘러내려서 (정보가 흐트러져서) 매우 비효율적이고 짜증나는 일입니다.
  • 또한, 컴퓨터는 "이 타일만 가져가자"라고 선택할 때, 타일 전체를 통째로 가져가야 하므로 불필요한 배경 정보까지 포함하게 됩니다.

2. SPoT 의 아이디어: "자유로운 점 찍기" 🎯

SPoT 는 이 딱딱한 격자를 버립니다. 대신, 이미지 위에 자유롭게 점 (Token) 을 찍을 수 있는 연속된 공간을 제공합니다.

• 비유: 이제 우리는 타일을 자르는 대신, 카메라의 초점을 미세하게 조절하듯 이미지의 가장 중요한 부분 (고양이의 눈, 자동차의 헤드라이트 등) 에 정확히 맞춰서 '점'을 찍습니다.
• 장점:
  • 정밀함: 물체의 가장자리를 정확히 잡을 수 있어 정보가 흐트러지지 않습니다.
  • 효율성: 중요한 부분만 골라내면 되므로, 전체 이미지 중 아주 적은 부분 (예: 12.5%) 만으로도 높은 정확도를 낼 수 있습니다.

3. SPoT 가 발견한 놀라운 사실들 (실험 결과)

연구팀은 이 기술을 테스트하며 몇 가지 재미있는 사실을 발견했습니다.

① "격자는 한계가 있다" (Finding 1)

• 상황: 이미지의 중요한 특징이 격자 경계에 걸려 있을 때, 기존 방식은 아무리 노력해도 성능이 떨어집니다.
• 결과: SPoT 는 격자에서 벗어나 자유롭게 위치를 잡을 수 있어, 동일한 양의 정보로도 훨씬 더 잘 알아맞힙니다. 마치 포크 대신 스푼을 쓰거나, 손으로 직접 떠먹는 것과 같습니다.

② "희소 (Sparse) 할 때는 '중심'이 중요하고, 많을 때는 '전체'가 중요하다" (Finding 2)

• 적은 정보 (Sparse): 이미지의 일부만 보고 판단해야 할 때는, 물체의 중심이나 눈에 띄는 부분 (Salient) 에 집중하는 것이 가장 좋습니다. (예: 고양이 얼굴만 보면 고양이라고 바로 알 수 있음)
• 많은 정보 (Dense): 정보를 많이 볼 수 있을 때는, 오히려 물체 전체를 골고루 덮는 것이 더 좋습니다. (예: 고양이 얼굴뿐만 아니라 배경, 꼬리, 발까지 모두 보면 더 정확하게 상황 파악이 됨)

③ "신비한 나침반 (Oracle)" 🧭

• 연구팀은 "만약 우리가 완벽한 나침반 (Oracle) 을 가지고 있어서, 각 이미지마다 '가장 좋은 점 찍기 위치'를 알려준다면 어떨까?"라고 가정하고 실험했습니다.
• 결과: 이 완벽한 나침반을 사용하면, 기존 모델보다 압도적으로 높은 성능을 냈습니다. 이는 "현재 우리가 쓰는 격자 방식이 얼마나 비효율적인지"를 증명해 주며, 더 나은 위치 선정 방식이 있다면 성능이 얼마나 더 좋아질 수 있는지 보여줍니다.

④ "배운 지식을 다른 모델도 쓸 수 있다" (Transferability)

• 한 모델이 "이 이미지의 중요한 부분은 여기야"라고 찾아낸 위치는, 다른 모델이 사용해도 여전히 효과가 있었습니다. 이는 SPoT 가 단순히 모델의 우연이 아니라, 이미지의 진짜 중요한 구조를 찾아내고 있음을 의미합니다.

4. 왜 이것이 중요한가요?

• 빠른 처리: 불필요한 부분을 제외하고 중요한 부분만 보면, 컴퓨터가 훨씬 빠르게 이미지를 처리할 수 있습니다. (실시간 애플리케이션에 유리)
• 해석 가능성: "왜 이걸로 판단했을까?"라고 물었을 때, "여기 중요한 점이 찍혀 있어서요"라고 명확하게 설명할 수 있습니다.
• 유연성: 격자에 갇히지 않고, 이미지의 특성에 맞춰 유연하게 정보를 수집할 수 있습니다.

📝 한 줄 요약

SPoT 는 컴퓨터가 이미지를 볼 때, "딱딱한 타일"로 자르는 구식 방식을 버리고, "중요한 부분"에 자유롭게 초점을 맞춰 점 찍는 새로운 방식을 제안합니다. 이 방법은 적은 정보로도 더 빠르고 정확하게 세상을 볼 수 있게 해줍니다.

이 기술은 앞으로 더 똑똑하고 빠른 AI 카메라, 자율주행차, 그리고 실시간 영상 분석 시스템의 핵심이 될 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

비전 트랜스포머 (Vision Transformer, ViT) 는 본질적으로 희소성 (Sparsity) 을 수용할 수 있는 구조를 가지고 있지만, 기존 표준 토큰화 (Tokenization) 방식은 이미지를 이산적인 (discrete) 패치 그리드로만 분할한다는 한계가 있습니다.

• 그리드의 제약: 고정된 그리드 구조는 중요한 특징 (features) 이 패치 경계 사이에 위치하거나 여러 패치에 걸쳐 분산될 경우, 모델이 해당 특징을 효과적으로 포착하지 못하게 만듭니다.
• 비효율성: 희소한 (sparse) 입력 regime 에서도 전체 그리드를 유지해야 하므로, 불필요한 계산 오버헤드가 발생하거나 중요한 정보를 놓치는 '부자연스러운 타협 (awkward compromises)'이 강요됩니다.
• 핵심 질문: "이미지의 중요한 특징을 정확히 포착하기 위해 토큰을 고정된 그리드에 묶어둘 필요가 있는가?"

2. 제안 방법론: SPoT (Subpixel Placement of Tokens)

저자들은 ViT 의 토큰화를 이산적인 그리드가 아닌 연속적인 서브픽셀 (subpixel) 공간으로 확장하는 새로운 전략인 SPoT를 제안합니다.

• 연속적 토큰 위치: 토큰을 고정된 격자 대신 이미지 내 임의의 연속적인 좌표 $(h, w)$에 배치합니다.
• 이중 선형 보간 (Bilinear Interpolation): 서브픽셀 위치에서 특징을 추출할 때, 픽셀 경계를 넘어가는 경우를 처리하기 위해 이중 선형 보간 함수 $q$를 사용하여 특징 맵을 샘플링합니다. 이를 통해 토큰 위치를 미분 가능하게 만듭니다.
• 희소 특징 선택 (Sparse Feature Selection, SFS) 최적화:
  • 토큰 집합 $S$를 확률 분포 $p_\phi$로 모델링하여 손실 함수를 최소화하는 문제로 정의합니다.
  • 기존 이산적인 조합 탐색 (Combinatorial search) 의 NP-hard 문제를, **기울기 기반 최적화 (Gradient-based optimization)**가 가능한 연속 공간 문제로 변환합니다.
• 공간 사전 지식 (Spatial Priors): 토큰 배치에 다양한 사전 분포를 적용하여 성능을 비교합니다.
  • Uniform, Gaussian, Sobol, Isotropic, Center, Salient 등 다양한 전략을 도입하여, 희소 regime 에서는 '중심 편향 (Center bias)'이나 '주목도 (Saliency)' 기반 배치가, 밀집 regime 에서는 '균일한 커버리지 (Coverage)'가 더 유리함을 발견했습니다.

3. 핵심 기여 (Key Contributions)

1. SPoT 프레임워크: ViT 에 서브픽셀 위치의 토큰을 배치하는 새로운 토큰화 프레임워크를 제안하여, ViT 의 강건성과 효율성을 크게 향상시켰습니다.
2. 오라클 가이드 탐색 (SPoT-ON):
   • 주어진 이미지에서 손실을 최소화하는 이상적인 토큰 위치를 찾기 위해 **오라클 가이드 이웃 탐색 (Oracle-guided Neighborhood search)**을 도입했습니다.
   • 이 도구를 통해 이상적인 서브픽셀 위치를 찾으면, 기존 그리드 기반 ViT 보다 원래 토큰 수의 약 12.5% 만으로도 동등하거나 더 높은 성능을 달성할 수 있음을 실험적으로 증명했습니다.
   • 한 모델에서 찾은 최적 위치가 다른 모델에서도 성능 향상을 가져오는지 확인하여, 최적 위치가 모델 고유의 특성이 아닌 이미지 구조에 기반함을 입증했습니다.
3. 공간 사전 지식에 대한 체계적 분석: 희소 regime 에서는 객체 중심 (Object-centric) 배치가, 밀집 regime 에서는 전체적인 커버리지가 중요하다는 인과 관계를 규명했습니다.

4. 실험 결과 (Results)

• 성능 향상 (희소 설정): ImageNet-1k 에서 12.5% 토큰 (약 25 개) 만을 사용할 때, SPoT-ON(오라클 최적화) 은 기존 그리드 기반 ViT 보다 16.9%p 이상의 정확도 향상을 보였습니다 (예: 61.7% $\to$ 78.6% 이상).
• 토큰 효율성: SPoT 는 동일한 토큰 수에서 기존 ViT 보다 훨씬 높은 정확도를 달성하며, 특히 MAE(Masked Autoencoder) 기반 모델과 결합 시 희소 환경에서 가장 큰 이점을 보였습니다.
• 처리량 (Throughput) 대 정확도 트레이드오프: SPoT 는 희소성이 증가할수록 처리량이 크게 향상되면서도 정확도 저하를 최소화하여, 기존 방법들보다 더 유리한 트레이드오프 곡선을 보입니다.
• 전송 학습 (Transferability): 한 모델에서 오라클을 통해 찾은 최적 토큰 위치를 다른 독립적으로 훈련된 모델에 적용해도 성능이 향상되었습니다. 이는 최적 위치가 이미지 자체의 구조적 특징을 반영함을 의미합니다.
• 비교 분석:
  • ToMe (Token Merging): SPoT 는 ToMe 보다 더 높은 처리량 향상 (Speed-up) 을 제공하면서 정확도 하락은 더 적었습니다.
  • ElasticViT: SPoT 는 ElasticViT 보다 모든 희소 설정에서 일관되게 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 희소성의 재정의: SPoT 는 희소성을 단순한 계산 절감의 수단이 아니라, 전략적 이점으로 재정의합니다. 고정된 그리드의 한계를 극복하고 이미지의 중요한 특징에 토큰을 정밀하게 맞추는 것이 모델 성능의 핵심임을 보여줍니다.
• 해석 가능성: 오라클 탐색을 통해 "어디에 토큰을 두어야 하는가"에 대한 이상적인 답을 도출함으로써, ViT 가 어떤 공간적 특징에 의존하는지 해석 가능한 통찰을 제공합니다.
• 미래 방향:
  • 오라클 없이도 학습 가능한 가벼운 '정책 네트워크 (Policy Network)'를 통해 실시간으로 최적 토큰 위치를 예측하는 것이 다음 단계입니다.
  • 객체 감지, 위치 추정, 비디오 이해 등 공간적 추론이 필요한 다른 작업으로의 확장이 기대됩니다.

요약하자면, SPoT 는 ViT 가 고정된 그리드에 구애받지 않고 이미지의 연속적인 서브픽셀 위치에 토큰을 자유롭게 배치할 수 있게 함으로써, 적은 계산 비용으로 더 높은 정확도를 달성할 수 있는 새로운 패러다임을 제시한 연구입니다.