논문 제목: RS-SSM: 비디오 의미 분할을 위한 상태 공간 모델 (SSM) 에서 잊혀진 세부 정보 정제

1. 문제 제기 (Problem Statement)

• 배경: 비디오 의미 분할 (VSS, Video Semantic Segmentation) 은 비디오의 각 픽셀에 의미론적 라벨을 할당하는 작업으로, 자율 주행, 감시, 비디오 편집 등에 필수적입니다.
• 기존 방법의 한계:
  • CNN/광학 흐름 기반: 계산 비용이 높고 복잡한 운동이 있는 긴 비디오에서 광학 흐름 추정이 부정확하여 성능이 제한됨.
  • Transformer 기반: 전역 어텐션 메커니즘을 통해 장기 의존성을 잘 포착하지만, 계산 복잡도가 $O(N^2)$으로 높아 긴 비디오 시퀀스 처리 시 메모리 및 계산 병목 현상이 발생함.
  • 기존 상태 공간 모델 (SSM) 기반: Mamba 등 SSM 은 선형 복잡도 ($O(N)$) 로 효율적인 시공간 정보 압축을 제공하지만, 고정된 크기의 상태 공간 (Fixed-size State Space) 을 사용함에 따라 '세부 정보 (Specifics)'가 손실되는 문제가 발생함.
• 핵심 문제: SSM 은 전역 구조나 부드러운 영역과 같은 '공통적인 의미 정보'는 잘 보존하지만, 경계 (Boundaries), 질감 (Textures), 국소적 변화와 같은 '픽셀 수준의 시공간 세부 정보'를 압축 과정에서 잊어버리게 되어, 정밀한 픽셀 단위 분할 정확도가 저하됨.

2. 제안 방법 (Methodology: RS-SSM)

저자들은 잊혀진 시공간 세부 정보를 보완적으로 정제 (Refining) 하는 **RS-SSM (Refining Specifics State Space Model)**을 제안했습니다. 주요 구성 요소는 다음과 같습니다.

가. 전체 아키텍처

• 입력 비디오 프레임을 이미지 인코더로 특징 맵을 추출한 후, 이중 경로 (Dual-path) SSM 레이어를 통과시킵니다.
• 각 레이어는 두 개의 SSM 모듈 ($\theta_1, \theta_2$) 로 구성되며, $\theta_2$는 기존 SSM 역할을 하고 $\theta_1$은 $\theta_2$에서 잊혀진 세부 정보를 정제하는 역할을 수행합니다.

나. 채널별 진폭 퍼셉트론 (CwAP, Channel-wise Amplitude Perceptron)

• 목적: 상태 공간 내 각 채널이 포함하고 있는 '세부 정보'의 분포 특성을 추출하고 정렬합니다.
• 작동 원리:
  1. 주파수 도메인 분석: 특징 맵에 2D FFT 를 적용하여 주파수 영역으로 변환합니다.
  2. 에너지 분포 측정: 저주파 대역은 공통 의미 정보 (전체 구조) 를, 고주파 대역은 세부 정보 (경계, 질감) 를 나타낸다고 가정하고, 고주파 대역의 누적 에너지 비율을 계산하여 **스펙트럼 특징 (Spectrum Features)**을 생성합니다.
  3. 채널 정보 손실 (Channel Information Loss): 배치 내 모든 샘플 간 스펙트럼 특징의 코사인 유사도를 최대화하도록 학습시켜, 세부 정보가 풍부한 채널들이 샘플 간에 일관되게 할당되도록 유도합니다.

다. 망각 게이트 정보 정제기 (FGIR, Forgetting Gate Information Refiner)

• 목적: SSM 의 망각 게이트 (Forget Gate) 행렬을 적응적으로 반전 (Invert) 하고 정제하여, 잊혀진 세부 정보를 다시 복원하도록 유도합니다.
• 작동 원리:
  1. 망각 게이트 반전: $\theta_2$의 망각 게이트 행렬 $A$의 값 범위를 채널 차원에서 반전 ($A_{max} + A_{min} - A$) 하여, 원래 압축이 심했던 채널은 덜 압축되도록 만듭니다.
  2. 적응적 가중치 계산: CwAP 에서 추출한 스펙트럼 특징 (세부 정보 풍부도) 과 채널 중요도 (압축 정도) 를 결합하여 반전 가중치 $\alpha$를 계산합니다. 세부 정보가 많지만 $\theta_2$에서 중요도가 낮게 처리된 채널에 높은 가중치를 부여합니다.
  3. 정제된 게이트 생성: 원래 게이트와 반전된 게이트를 가중치 $\alpha$로 보간하여 정제된 망각 게이트 $A^R$을 생성하고, 이를 $\theta_1$의 파라미터로 사용하여 세부 정보를 보완적으로 정제합니다.

3. 주요 기여 (Key Contributions)

1. 문제 인식 및 해결: 기존 SSM 기반 VSS 방법의 시공간 세부 정보 모델링 한계를 규명하고, 이를 해결하기 위한 RS-SSM 을 제안했습니다.
2. 새로운 모듈 설계:
   • CwAP: 주파수 도메인 분석을 통해 채널별 세부 정보 분포를 추출하고 정렬하는 모듈.
   • FGIR: 추출된 정보를 기반으로 SSM 의 망각 게이트를 적응적으로 반전 및 정제하여 잊혀진 정보를 복원하는 모듈.
3. 성능 및 효율성 동시 달성: 선형 복잡도를 유지하면서 픽셀 단위 분할 정확도를 획기적으로 개선하여, 여러 벤치마크에서 SOTA(State-of-the-Art) 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: VSPW, NYUv2, CamVid, Cityscapes 등 4 개의 주요 VSS 벤치마크에서 평가.
• 성능 (mIoU):
  • VSPW: MiT-B5 백본 기준 TV3S(기존 SOTA) 대비 1.5%p 향상 (51.6 vs 49.8).
  • Cityscapes: MiT-B1 백본 기준 기존 방법 대비 2.6%p 향상 (78.3 vs 75.6).
  • 모든 백본 (MiT, Swin) 및 스케일에서 기존 Transformer 기반 및 SSM 기반 방법들을 능가했습니다.
• 효율성:
  • 계산 비용: GFLOPs 와 파라미터 수를 줄이면서 높은 FPS 를 유지했습니다. (예: VSPW 에서 MiT-B5 기준 GFLOPs 8.2 감소, FPS 6.2 증가).
  • SSM 의 본질적인 선형 복잡도 장점을 유지하면서 세부 정보 정제 모듈 (CwAP, FGIR) 이 경량화되어 있어 효율성이 유지됨.

5. 의의 및 결론 (Significance)

• 기술적 의의: SSM 이 가진 '정보 압축'의 단점 (세부 정보 손실) 을 역이용하여, 이를 정제하고 보완하는 메커니즘을 최초로 도입했습니다. 이는 SSM 을 비디오 분할과 같은 픽셀 단위 정밀도가 요구되는 작업에 적용할 때의 한계를 극복하는 중요한 통찰을 제공합니다.
• 실용적 가치: 긴 비디오 시퀀스를 실시간에 가깝게 처리하면서도 (고 FPS), 경계와 질감 등 미세한 부분까지 정확하게 분할할 수 있어 자율 주행 및 비디오 분석 분야에서 실용성이 매우 높습니다.
• 향후 전망: 상태 공간 모델이 비전 분야, 특히 시공간 데이터 처리에서 Transformer 를 대체하거나 보완하는 강력한 아키텍처로 자리 잡을 수 있음을 입증했습니다.