What-Where Transformer: A Slot-Centric Visual Backbone for Concurrent Representation and Localization

기술 요약: What-Where Transformer (WWT)

문제 제기
현재 이미지 이해 작업은 "무엇"이 존재하는지 (분류) 와 "어디"에 나타나는지 (국소화) 를 식별하는 것을 요구합니다. 비전 트랜스포머 (ViT) 는 분류에 뛰어나지만, 국소화 능력은 종종 제한적입니다. 표준 ViT 에서 어텐션 맵은 토큰 표현과 암묵적으로 얽혀 있으며, 블록 내에서 토큰을 업데이트하는 용도로만 사용된 후 즉시 흡수되어 지속적인 공간 구조를 갖지 못합니다. 결과적으로 인코더 어텐션 맵은 종종 노이즈가 있는 활성화, 모호한 경계, 제한된 의미론적 해석 가능성으로 고통받아, 복잡한 후처리나 작업별 디코더 없이 객체 발견이나 분할과 같은 하류 국소화 작업으로 전이하기 어렵습니다. 저자들은 ViT 의 토큰 중심 설계가 의미론적 내용과 공간적 위치의 명시적 분리를 억제한다고 주장합니다.

방법론
저자들은 네트워크 전반에 걸쳐 "무엇 - 어디" 분리 유도 편향을 명시적으로 강제하는 ViT 스타일의 비전 백본인 What-Where Transformer (WWT) 를 제안합니다.

• 이중 스트림 아키텍처: 단일 토큰 스트림을 처리하는 표준 ViT 와 달리, WWT 는 두 개의 동시 스트림을 유지합니다:
  1. 무엇 (What) 스트림: 객체 의미론을 나타내는 특징 벡터 (슬롯) 의 시퀀스.
  2. 어디 (Where) 스트림: 공간적 위치를 나타내는 어텐션 맵 (마스크) 의 시퀀스.
• 상호 어텐션 (µAttn): 핵심 구성 요소는 토큰과 슬롯이 점곱 (dot-product) 메커니즘을 통해 상호작용하는 새로운 상호 어텐션 레이어입니다. 이 레이어는 양방향 통신을 용이하게 합니다: 토큰은 공간적 관련성에 기반하여 슬롯을 업데이트하고, 슬롯은 의미론적 맥락에 기반하여 토큰을 업데이트합니다. 중요하게도, 어텐션 맵 ($A$) 은 폐기되지 않고 레이어를 거쳐 전파되고 정제됩니다.
• 슬롯 - 마스크 표현: 각 시각적 개체는 특징 벡터 (슬롯) 와 소프트 마스크의 쌍으로 표현됩니다. 네트워크는 MLP 가 토큰, 슬롯, 마스크를 처리하는 적층된 WWT 블록으로 구성됩니다. 특정 "어텐션 위 MLP" 설계 ($MLP_A$) 가 입력 조건부 편향을 사용하여 어텐션 맵을 정제하는 데 도입되어, 부당한 배경 활성화를 제거하는 데 도움을 줍니다.
• 연결성: WWT 는 ViT 의 글로벌 토큰 - 토큰 자기 어텐션을 슬롯 매개 이분적 통신으로 대체합니다. 토큰은 슬롯을 통해서만 통신하므로, 네트워크가 국소 패치를 정보 있는 슬롯에 바인딩하도록 강제합니다. 이는 고해상도 입력에 대한 계산 복잡도를 줄이고 국소화 상태를 명시적으로 전파합니다.
• 학습 및 헤드: 모델은 분류 헤드와 보조 자동 인코딩 헤드 (마스크가 재구성 가능한 영역을 그룹화하도록 장려) 를 사용하여 ImageNet-1k 에서 사전 학습됩니다. 하류 작업의 경우, 슬롯 - 마스크 쌍이 이미지 표현으로 사용됩니다:
  • 분류: 슬롯이 분류되며, 전역 클래스 예측이 평균화됩니다.
  • 분할: 마스크가 업샘플링되고 슬롯 분류와 결합되어 레이블 맵을 생성합니다.
  • 객체 발견/탐지: 마스크가 이진화되거나 박스 회귀를 위해 좌표를 집계하는 데 사용되며, 종종 추가 학습이 거의 필요 없거나 전혀 필요하지 않습니다.

주요 기여

1. 설계 원칙: 이 논문은 "무엇 - 어디 분리"를 중요한 유도 편향으로 제시하며, 토큰이 의미론 ("무엇") 을 나타내고 어텐션 맵이 국소화 ("어디") 를 나타내는 설계를 확립합니다.
2. 아키텍처: 저자들은 밀집된 토큰 - 토큰 자기 어텐션을 슬롯 매개 상호 어텐션으로 대체하고 별도의 디코더 없이 레이어를 거쳐 국소화 상태를 명시적으로 전파하는 백본인 WWT 를 개발했습니다.
3. 발현되는 다중 객체 발견: 단일 레이블 분류 감독 하에서 WWT 는 어텐션 맵이 자연스럽게 여러 객체 영역으로 분해되는 발현 행동을 보입니다. 이는 토큰 클러스터링 후처리를 우회하여 원시 어텐션 맵에서 직접 제로샷 객체 발견을 가능하게 합니다.
4. 하류 다양성: 내장된 국소화 메커니즘으로 인해 WWT 는 최소한의 아키텍처 수정으로 분할, 탐지, 발견 등 다양한 작업에 적응될 수 있으며, 컴팩트한 범용 모델의 기반이 됩니다.

결과

• 분류 및 설명 가능성: ImageNet-1k 에서 WWT 는 DeiT 와 비교 가능한 Top-1 정확도 (예: Tiny 모델의 경우 71.3% 대 72.2%) 를 달성합니다. 그러나 설명 가능성 지표 (Drop 및 Increase) 에서 DeiT 를 크게 능가하여, 그 어텐션 맵이 분류 귀인에 더 유효함을 나타냅니다.
• 약감독 분할: ImageNet-S 50 에서 WWT 는 원시 마스크 출력을 사용하여 평균 교집합 비율 (mIoU) 49.1% 를 달성하여, DeiT with Rollout (35.9%) 과 ResNet 기반 방법 (45.2%) 을 능가합니다.
• 제로샷 객체 발견: 단일 객체 발견 (VOC12) 에서 WWT 는 CorLoc 41.4% 를 달성하여 DeiT 변형들을 능가하고 DINOv2 와 같은 강력한 자기지도 방법들에 근접합니다. 다중 객체 발견에서 WWT 는 더 높은 재현율과 클러스터링 기반 접근법에서 흔히 발생하는 과분할 없이 여러 객체를 탐지하는 능력을 보여줍니다.
• 비감독 발견: DINOSAUR 스타일의 증류 설정에서 WWT 는 별도의 Slot Attention 모듈 없이 경쟁력 있는 결과 (VOC12 에서 mBOi 37.5%) 를 달성하여, 백본 자체가 객체 바인딩을 내부화함을 시사합니다.
• 감독 미세 조정: 최소한의 작업 헤드로 WWT 는 VOC07 탐지에서 63.1% mAP 와 VOC12 분할에서 61.3% mIoU 를 달성하여 토큰 기반 베이스라인들을 능가하고 DETR 성능에 근접합니다.

의의 및 주장
이 논문은 WWT 가 현대 트랜스포머 아키텍처 내에서 고전적인 "무엇 - 어디" 분리 개념을 성공적으로 부활시켰다고 주장합니다. 어텐션 맵을 일시적인 중간 상태가 아닌 "어디"를 나타내는 1 등 시민으로 취급함으로써, 모델은 분류 작업만으로 사전 학습되었을 때도 명시적인 위치 표현을 학습합니다. 저자들은 이 접근법이 작업별 디코더의 필요성을 단순화하고 비전 백본의 전이성을 향상시킨다고 주장합니다. 그들은 WWT 를 주석 의존도가 감소된 공간 추론과 객체 기반화를 지원할 수 있는 객체 중심 비전 백본을 향한 한 걸음으로 위치시킵니다. 이는 향후 비전 - 언어 모델 (VLM) 과 비전 - 언어 - 행동 (VLA) 시스템에 중요합니다. 이 연구는 자기지도 설정에 대해서는 겸손하게 접근하며, 발현되는 객체 분해 속성은 주로 감독 사전 학습 하에서 주로 입증되었음을 지적합니다.