기술 요약: 공간 인지적 감소 프레임워크 (STORM)

1. 문제 정의

Mamba와 같은 상태 공간 모델(SSM)은 비전 작업에서 계산 복잡도를 이차(quadratic)에서 선형(linear)으로 줄임으로써 장거리 의존성을 모델링하는 데 탁월한 효율성을 입증했지만, 토큰 감소 기법과 통합될 때 심각한 병목 현상에 직면합니다. 기존의 토큰 감소 방법(예: 프루닝 및 병합)은 Vision Transformer(ViT)에서는 매우 효과적이지만, VMamba와 같이 구조적으로 강화된 Mamba 변형 모델에 적용할 경우 심각한 성능 붕괴를 초래합니다.

저자들은 이러한 성능 저하의 원인을 현재의 감소 전략이 가진 공간적 무관성(spatially agnostic nature) 때문이라고 분석합니다. 전역적 셀프 어텐션(global self-attention)에 의존하는 ViT와 달리, Mamba 아키텍처(특히 2D 선택적 스캔 또는 SS2D 메커니즘을 사용하는 경우)는 엄격한 순차적 스캐닝과 재귀적 상태 의존성에 의존합니다. 표준 감소 방법은 2D 토큰 그리드를 1D 시퀀스로 평탄화(flatten)한 후, 토큰을 감소시키고 다시 매핑합니다. 이 과정은 원래의 공간적 관계와 그리드 위상(topology)을 파괴하여, SS2D 메커니즘이 올바르게 작동하는 데 필요한 구조적 전제를 위반합니다. 결과적으로 인과적 상태 전파(causal state propagation)가 끊어지며, 이는 정보 손실의 연쇄 작용과 치명적인 정확도 하락으로 이어집니다 (예: VMamba-B에서 ToMe 사용 시 약 83%에서 31%로 급락).

2. 방법론: STORM

이를 해결하기 위해 저자들은 추가 학습 없이도 구조적 무결성을 유지하면서 압축을 수행하도록 설계된 플러그 앤 플레이(plug-and-play) 프레임워크인 STORM(Spatial-aware TOken Reduction)을 제안합니다. STORM은 토큰 감소를 평탄화된 시퀀스에 대한 전역적 연산이 아닌, 공간적 프리미티브(spatial primitives)에 대한 구조적 연산으로 재정의합니다.

핵심 구성 요소

1. 구조적 공간 감소 (차원 분해 워크플로우):
   전역적으로 평탄화된 시퀀스를 처리하는 대신, STORM은 2D 그리드와 정렬된 두 개의 분리된 단계로 감소 과정을 분해합니다.

   • 행 단위 감소 (Row-wise Reduction): 특징 맵(feature map)을 행 단위로 처리합니다. 기본 감소 연산자(예: 프루닝 또는 병합)가 각 행에 독립적으로 적용됩니다.
   • 열 단위 감소 (Column-wise Reduction): 그 다음 중간 결과물을 열 단위로 처리하며, 각 열에 대해 독립적으로 감소 연산자를 적용합니다.
     이를 통해 출력은 규칙적인 서브 그리드(sub-grid) 형태를 유지하며, SS2D 스캐닝 경로에 필요한 위상적 관계를 보존합니다.

2. 국소 윈도우 메커니즘 (Localized Window Mechanism):
   국소적 의미론적 일관성을 해칠 수 있는 장거리 간섭을 방지하기 위해, STORM은 국소 윈도우 제약 조건을 도입합니다.

   • 각 행 또는 열 내에서 시퀀스는 중첩되지 않는 윈도우(non-overlapping windows)로 분할됩니다.
   • 감소 결정은 엄격하게 이러한 국소적 이웃 범위 내에서만 이루어집니다.
   • 이 메커즘은 교차 영역 간의 간섭을 억제하여, 서로 관련 없는 토큰들이 병합되는 것을 방지함으로써 안정적인 상태 진화에 필수적인 미세한 의미론적 정보를 보존합니다.

이론적 근거

저자들은 전역적 감소 방법이 스캐닝 시퀀스 내 연속적인 토큰들 사이의 무제한적인 공간적 변위(spatial displacement)를 유발하여 오차 발산을 일으킨다는 이론적 분석을 제공합니다. 반면, STORM의 차원 분해와 윈도우 제약 조건은 토큰의 공간적 변위를 엄격하게 제한합니다. 최대 매핑 변위를 윈도우 크기로 제한함으로써, 이 프레임워크는 상태 전파 오차에 대한 타이트한 상한선(upper bound)을 보장하며 공격적인 압축 상황에서도 안정적인 성능을 보장합니다.

3. 주요 기여

• 구조적 무결성의 중요성 식별: 본 논문은 비전 Mamba에서의 토큰 감소 실패가 단순히 토큰 선택 기준의 문제가 아니라, 2D 공간 구조의 파괴에서 기인함을 밝혀냈습니다.
• 구조적 감소 패러다임: 전역적으로 평탄화된 토큰이 아닌 공간적 프리미티브(행 및 열)를 기반으로 작동하는 새로운 패러다임을 제안하여 성능 붕괴를 효과적으로 완화했습니다.
• 일반화 가능한 프레임워크: STORM은 기존의 감소 파이프라인(EViT, ToMe 등)에 명시적인 공간 인지 능력을 부여할 수 있는 범용적이고 학습이 필요 없는(training-free) 모듈로 설계되었습니다.
• 최첨단 성능: 다양한 백본에 걸쳐 우수한 정확도와 처리량(throughput)을 달성하며 비전 Mamba 감소 분야의 새로운 성능 벤치마크를 수립했습니다.

4. 실험 결과

실험은 ImageNet-1K(분류) 및 COCO 2017(객체 탐지 및 인스턴스 분할) 데이터셋에 대해 학습이 필요 없는(training-free) 설정으로 수행되었습니다.

• ImageNet-1K 분류:

  • STORM은 VMamba의 정확도를 크게 회복시킵. VMamba-B의 경우, ToMe만 적용하면 정확도가 35.7%로 떨어지지만, STORM (ToMe)는 82.6%를 달성합니다 (베이스라인 대비 단 1.3% 하락).
  • VMamba-S의 경우, STORM (ToMe)는 표준 ToMe의 32.9%와 비교하여 **80.9%**의 정확도를 달성하며, 이는 정확도 회복 측면에서 61.2%의 상대적 개선을 의미합니다.
  • STORM은 다른 Mamba 전용 감소 방법들(HSA, MTR, QuarterMap 등)보다 큰 폭으로 앞서나갑니다. 예를 들어 HSA는 VMamba-S에서 46.2%로 떨어지는 반면, STORM은 82.0%에 도달합니다.

• 객체 탐지 (COCO):

  • STORM은 탐지 작업에서 극적인 회복을 가능하게 합니다. VMamba-S의 경우, 베이스라인 APb는 48.7입니다. 표준 ToMe는 2.8로 붕괴되지만, STORM (ToMe)는 44.2까지 회복합니다.
  • PlainMamba 및 LocalMamba 백본에서도 유사한 개선이 관찰되었습니다.

• 효율성 및 견고성:

  • 처리량 (Throughput): STORM은 전역 유사도 계산의 확장성 병목 현상을 피하는 병렬 행/열 연산을 통해 모든 감소 비율에서 ToMe보다 높은 처리량을 달성합니다.
  • 견고성: 무작위 토큰 선택 전략(학습된 중요도 점수 없이)을 사용하더라도, STORM은 36% 감소 시에도 견고한 성능(정확도 69.1%)을 유지하는 반면, ToMe는 11.7%로 떨어집니다. 이는 프레임워크의 구조적 보존이 단순한 선택 기준보다 성공의 주요 동력임을 강조합니다.
  • 미세 조정 (Fine-tuning): 미세 조정을 적용하더라도 STORM은 일관되게 베이스라인을 능가합니다. 0.32 감소 비율에서 VMamba-T의 정확도가 ToMe는 32.7%인 데 비해 STORM은 78.4%를 기록했습니다.

5. 의의 및 주장

본 논문은 STORM이 공간에 민감한 아키텍처를 위한 토큰 감소 접근 방식의 근본적인 변화를 나타낸다고 주장합니다. 전역 레이아웃의 규칙성과 국소적 맥락의 충실도를 강제함으로써, STORM은 토큰 감소와 Mamba의 체인형(chain-like) 상태 전파 사이의 불일치를 해결합니다.

저자들은 STORM이 백본 모델을 재학습할 필요가 없는 학습 불필요(training-free), 플러그 앤 플레이 솔루션임을 강조합니다. 이 연구의 의의는 이전에 관찰되었던 심각한 성능 붕괴 없이도 공격적인 압축(최대 40% 감소)을 허용함으로써 비전 Mamba 모델의 실질적인 배포를 가능하게 한다는 점에 있습니다. 이 작업은 SS2D 기반 모델의 효능을 위해서는 단순히 돌출된(salient) 토큰을 유지하는 것보다 공간적 일관성을 유지하는 것이 더 중요하다는 점을 시사합니다.