MFil-Mamba: Multi-Filter Scanning for Spatial Redundancy-Aware Visual State Space Models

1. 문제 제기 (Problem Statement)

• 배경: 최근 상태 공간 모델 (SSM), 특히 Mamba 아키텍처는 시퀀스 모델링 분야에서 Transformer 를 능가하는 효율성과 성능을 보여주었습니다. 그러나 Mamba 는 본래 1 차원 (1D) 시퀀스 데이터 (예: 텍스트) 를 위해 설계되었습니다.
• 핵심 과제: 컴퓨터 비전 데이터는 2 차원 (2D) 공간 구조를 가지며 고유의 시퀀스 순서가 없습니다. 이를 Mamba 에 적용하기 위해 기존 연구들 (ViM, VMamba 등) 은 이미지를 1D 시퀀스로 변환하기 위해 다양한 방향의 스캐닝 전략 (Bidirectional, Cross-scan, Hilbert curve 등) 을 사용했습니다.
• 한계점: 이러한 고정된 방향 기반의 스캐닝 전략은 다음과 같은 심각한 문제점을 야기합니다.
  1. 정보의 중복성 (Redundancy): 여러 방향에서 동일한 정보를 반복적으로 처리합니다.
  2. 공간 관계 왜곡 (Spatial Distortion): 이미지의 본래 2D 공간적 의존성을 인위적인 순서로 재배열함으로써 왜곡시킵니다.
  3. 국소 - 전역 일관성 저하: 복잡한 공간적 관계를 효과적으로 포착하지 못합니다.

2. 제안 방법론 (Methodology: MFil-Mamba)

저자들은 방향성 스캐닝 (Directional Traversal) 을 대체하여 다중 필터 스캐닝 (Multi-Filter Scanning) 전략을 도입한 새로운 비전 아키텍처인 MFil-Mamba를 제안합니다.

A. 핵심 구성 요소

1. 다중 필터 스캐닝 전략 (Multi-Filter Scanning Strategy):

   • 사전 정의된 경로를 따라 이미지를 스캔하는 대신, 입력 특징 맵에 동적 공간 필터 (Dynamic Spatial Filters) 세트를 적용합니다.
   • 4 개의 특징 맵 생성:
     • 원본 입력 ($I$): 시각적 정보 보존.
     • 수평 필터 ($F_h$) & 수직 필터 ($F_v$): Sobel 커널을 사용하여 1 차 미분 공간에서 에지 정보를 추출 (직교 기저 형성).
     • 동적 필터 ($F_{k,l,t}$): 학습 가능한 심층 분리 합성곱 (Depthwise Separable Convolution) 을 통해 작업별 패턴에 적응하는 고수준 특징 추출.
   • 이 4 개의 특징 맵을 채널 축으로 연결 (Concatenate) 하여 Mamba 블록에 입력합니다. 이는 명시적인 스캔 순서를 강요하지 않으면서도 다양한 공간적 의존성을 포착합니다.

2. 적응형 융합 메커니즘 (Adaptive Merging):

   • 여러 필터를 통해 처리된 스캔 결과들을 단순히 합치는 것이 아니라, 학습 가능한 가중치 (Adaptive Weights) 를 통해 동적으로 융합합니다.
   • Softmax 를 통해 각 스캔의 중요도를 학습하여, 가장 유익한 공간 특징을 강조하고 덜 관련된 표현은 억제합니다.

3. 아키텍처 설계:

   • 4 단계 계층적 구조 (Hierarchical Architecture) 를 따릅니다.
   • 기존 MLP 대신 합성곱 피드포워드 네트워크 (ConvFFN) 를 사용하여 공간적 시각 단서를 더 잘 포착하도록 설계되었습니다.
   • Tiny(T), Small(S), Base(B) 세 가지 변형 모델을 제공합니다.

B. 이론적 근거

• 기존 방향성 스캐닝은 행렬 $P$를 이용한 순열 (Permutation) 로, 기존 공간 공분산 구조를 재배열할 뿐 새로운 2 차 의존성을 생성하지 못한다고 분석합니다.
• 반면, 다중 필터 스캐닝은 입력을 서로 다른 부분 공간 (Subspace) 으로 투영하여 공분산 구조를 재가중치하고 재배향시킴으로써, 중복을 피하고 국소적 일관성을 유지한 채 새로운 공간적 의존성을 포착할 수 있음을 수학적으로 증명합니다.

3. 주요 기여 (Key Contributions)

1. MFil-Mamba 아키텍처 제안: 기존 비전 SSM 모델의 방향성 스캐닝 한계를 극복하는 다중 필터 스캐닝 방식을 최초로 도입했습니다.
2. 적응형 융합 및 아키텍처 개선: 공간 특징 통합을 강화하기 위한 경량 적응형 가중치 메커니즘과 ConvFFN 을 도입하여 시각 표현의 질을 향상시켰습니다.
3. 범용 비전 백본으로서의 입증: 이미지 분류, 객체 탐지, 인스턴스/시맨틱 분할 등 다양한 태스크에서 SOTA(State-of-the-Art) 성능을 달성하는 3 가지 모델 변형을 개발하고 검증했습니다.

4. 실험 결과 (Results)

모든 실험은 ImageNet-1K, MS COCO, ADE20K 데이터셋에서 수행되었습니다.

• 이미지 분류 (ImageNet-1K):
  • MFil-Mamba-T (Tiny): 83.2% Top-1 정확도 달성.
    • Swin-T(81.3%), VMamba-T(82.6%), Mamba®-S(81.4%) 등을 능가함.
  • MFil-Mamba-B (Base): 84.2% Top-1 정확도 달성.
    • Swin-B(83.5%), VMamba-B(83.9%) 보다 우수한 성능.
• 객체 탐지 및 인스턴스 분할 (MS COCO):
  • MFil-Mamba-T: Box AP 47.3%, Mask AP 42.7% 달성.
    • Swin-T 대비 Box AP +4.6, Mask AP +3.4 향상.
  • MFil-Mamba-B: Box AP 49.0%, Mask AP 43.8% 달성.
• 시맨틱 분할 (ADE20K):
  • MFil-Mamba-T: mIoU 48.5% (Single Scale) 달성.
    • Swin-T(44.4%), VMamba-T(47.9%) 보다 높은 성능.
• 시각화 분석:
  • ERF (Effective Receptive Field): MFil-Mamba 는 VMamba 의 교차형 인공물 (artifacts) 이 없이 매끄럽고 전역적인 수용 영역을 가지며, 중앙 집중적 초점을 보입니다.
  • Grad-CAM: 모델이 이미지의 주요 객체에 정확하게 집중함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 비전 SSM 모델이 2D 이미지를 처리할 때 '방향성 스캐닝'에 의존해야 한다는 기존 관념을 깨고, 필터 기반의 공간적 특징 추출을 통해 더 효율적이고 구조적으로 일관된 프레임워크를 제시했습니다.
• 효율성과 성능의 균형: Transformer 기반 모델의 계산 비용 (Quadratic complexity) 과 기존 SSM 모델의 공간 왜곡 문제를 동시에 해결하며, 유사한 파라미터 수와 FLOPs 대비 최상의 성능을 입증했습니다.
• 확장성: 의료 영상, 초해상도 등 다양한 도메인 특화 응용 분야로 확장 가능한 강력한 기반을 마련했습니다.

이 논문은 Mamba 기반 비전 모델의 성능 한계를 극복하고, 공간적 중복성을 줄이면서도 풍부한 공간적 의존성을 포착할 수 있는 새로운 방향을 제시했다는 점에서 의의가 큽니다.