🤖 AI

Norm or Direction? Decoding Vision Mambas for High-Resolution Vision

이 논문은 MambaOut가 주로 전경 토큰의 크기에 클래스 판별 정보를 인코딩하는 반면, VMamba는 토큰의 방향과 배경 영역에 걸쳐 의미론적 증거를 독특하게 분산시키며, 이러한 차별화된 인코딩 전략이 고해상도 밀집 예측 작업에서 우수한 안정성과 성능을 부여한다는 점을 밝혀낸다.

원저자: Jin Yu, Juyoun Park

게시일 2026-07-22

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jin Yu, Juyoun Park

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 사진 속 고양이를 인식하는 법을 가르치려 한다고 상상해 보세요. 오랫동안 가장 좋은 방법은 로봇이 모든 픽셀을 하나하나 살펴보고 각 픽셀을 다른 모든 픽셀과 비교하게 하는 것이었습니다. 마치 탐정이 모든 단서를 서로 대조하며 확인하는 것과 같았죠. 이 방식은 강력하지만, 거대한 고해외도 사진의 경우에는 매우 느립니다. 최근 과학자들은 "비전 맘바(Vision Mamba)"라고 불리는 더 빠른 방법을 발명했습니다. 이것은 로봇이 사진을 책처럼 읽으며, 압도당하지 않고 줄 단위로 스캔하여 이야기의 흐름을 이해하는 것과 같습니다. 그런데 그 후, 다른 팀이 책을 읽는 대신 '게이트형(gated)' 필터를 사용하여 고양이를 찾아내는 또 다른 종류의 로봇을 만들었습니다. 놀랍게도, 이 새로운 로봇은 표준 크기의 사진에서 고양이를 찾는 데 있어 기존 방식만큼이나 뛰어난 성능을 보였습니다. 이는 과학자들에게 큰 수수께끼를 남겼습니다. 두 로봇 모두 일을 완벽히 수행한다면, 과연 그들이 세상을 보는 방식도 같을까요? 아니면 한쪽이 다른 쪽에는 없는 비밀스러운 초능력을 사용하고 있는 걸까요? 이 질문은 중요한 이유가 있습니다. 우리가 작은 사진에서 거대한 상세 이미지(위성 지도나 의료 스캔과 같은)로 나아갈 때, 로봇이 세상을 "보는" 방식이 그 임무를 제대로 수행할 수 있을지, 아니면 혼란에 빠질지를 결정하기 때문입니다.

"노름 오어 디렉션? 디코딩 비전 맘바스 포 하이-레졸루션 비전(Norm or Direction? Decoding Vision Mambas for High-Resolution Vision)"이라는 제목의 이 논문은 이 수수께끼를 풀기 위해 두 가지 특정 로봇 두뇌인 VMamba와 MambaOut이 실제로 정보를 어떻게 처리하는지 조사합니다. 연구진은 두 모델 모두 사물을 포착하는 데는 뛰어나지만, 자신이 보는 것에 대한 "단서"를 저장하는 방식이 완전히 다르다는 것을 발견했습니다.

토큰(로봇이 이미지를 분석하는 아주 작은 조각)을 메시지를 전달하는 작은 전령이라고 생각해 보세요. 모든 전령은 두 가지를 가지고 있습니다: 얼마나 크게 외치는지(그들의 "크기" 또는 강도)와 어느 방향을 향하고 있는지(그들의 "방향")입니다. 연구 결과, MambaOut은 외치는 사람들의 팀과 같았습니다. 그것은 모든 중요한 정보를 대상(고양이) 바로 위에 서 있는 몇몇의 매우 크고 에너지가 넘치는 전령들에게 집중시킵니다. 만약 배경에 있는 조용한 전령들을 침묵시킨다 해도, MambaOut은 여전히 괜찮습니다. 왜냐하면 그 강력한 전령들이 모든 일을 하고 있기 때문입니다.

반면에 VMamba는 합창단과 같습니다. 그것은 몇 명의 큰 목소리를 가진 사람들에게 의존하지 않습니다. 대신, 중요한 정보를 배경을 포함한 방 전체에 퍼뜨립니다. VMamba 팀의 큰 목소리를 가진 전령들은 종종 고양이가 아닌 배경(예: 하늘이나 풀밭)에 서 있게 됩니다. 만약 당신이 단순히 누가 가장 크게 외치는지만을 본다면, VMamba가 혼란스러워한다고 생각할 수도 있습니다. 하지만 반전은 여기에 있습니다. 전령들이 가리키는 "방향"이 비밀을 쥐고 있습니다. 설령 모든 전령의 볼륨을 낮추어 모두가 속삭이게 만든다 해도, VMha는 여전히 당신에게 그것이 고양이라고 말해줄 수 있습니다. 왜냐하면 그들의 속삭임의 방향이 완벽하게 정렬되어 있기 때문입니다. 하지만 MambaOut은 볼륨을 낮추면 무너집니다. 그것은 작동하기 위해 반드시 외침이 필요합니다.

연구진은 로봇에게 훨씬 더 크고 높은 해상도의 사진을 보여줌으로써 이를 테스트했습니다. 이미지가 거대해지면 관리해야 할 전령이 수천 명으로 늘어납니다. 몇 명의 큰 목소리를 가진 사람들에게 의존하는 MambaOut은 수천 명의 군중 속에서 적절한 소수의 인원을 골라내는 것이 어려워지면서 휘청거리기 시작합니다. 합창단의 방향성 있는 속삭임을 가진 VMamba는 군중을 훨씬 더 잘 다룹니다. 그것은 증거를 분산시켜 더 안정적이고 신뢰할 수 있게 만듭니다.

이 차이는 로봇에게 더 어려운 작업, 즉 단순히 "고양이가 있다"라고 말하는 것을 넘어 사진 속에서 고양이가 정확히 어디에 있는지 지목하는 작업(세그멘테이션이라 불리는 작업)을 시켰을 때 더욱 분명해졌습니다. 연구진이 이 상세한 작업들을 위해 로봇이 처음부터 학습하도록 했을 때, VMamba가 앞서 나갔습니다. VMamba의 "방향성" 단서들을 재구성하는 능력이 이미지를 구체적으로 가리키도록 가르치는 데 훨씬 더 용이하다는 것이 밝혀졌습니다. 특정 지점의 "크기"에 의존하는 MambaOut은 이러한 정밀한 작업을 가르치기가 더 어려웠습니다.

이 논문은 고해상도 작업을 위한 더 나은 로봇을 만드는 비결은 단순히 스캐닝 메커니즘("Mamba" 부분)에 있는 것이 아니라, 정보를 어떻게 조직하느냐에 달려 있다고 제안합니다. 거대한 상세 작업들을 위해서는 데이터의 "방향"에 의존하는 것이 "크기"에 의존하는 것보다 더 강력해 보입니다. 저자들은 미래의 로봇 두뇌가 단순히 가장 큰 지점에만 집중하는 것이 아니라, 이미지 전체에 걸쳐 정보를 조직하는 데 더 집중하도록 설계되어야 한다고 제로합니다. 이 논문이 모든 것을 해결했다고 주장하는 것은 아니지만(그들은 어떤 특정 부분이 이러한 배경 소음을 유발하는지 100% 확신하지 못한다고 인정합니다), "얼마나 크게"에서 "어느 방향으로"로 초점을 옮기는 것이 고해상도 이미지를 위한 더 나은 시각을 여는 열쇠라는 강력한 증거를 제시하고 있습니다.

기술 요약: 노름(Norm)인가 방향(Direction)인가? 고해상도 비전을 위한 Vision Mamba의 해독

문제 정의

VMamba와 같은 Vision Mamba 모델은 이차 복잡도의 self-attention을 선형 복잡도의 선택적 상태 공간 모델(Selective State Space Models, SSMs)로 대체함으로써 효율적인 시각적 백본으로 부상했습니다. 그러나 최근 연구(MambaOut)는 Gated CNN 블록이 표준 이미지 분류 작업에서 VMamba의 성능과 대등하거나 이를 능가함을 보여주며, 비전 태스크에서 SSM의 필요성에 의문을 제기했습니다. 이는 근본적인 모호함을 생성합니다: VMamba와 MambaOut은 표현 수준에서 시각적 정보를 다르게 인코딩하는가? 만약 그렇다면, 이러한 차이가 고해상도 및 밀집 예측(예: 시맨틱 세그멘테이션) 작업에 어떻게 영향을 미치는가? MambaOut은 SSM이 (비자기회귀적이고 짧은 시퀀스인) 분류에는 불필요하다고 주장하는 반면, VMamba는 공간 시퀀스가 더 긴 밀집 예측 벤치마크에서 이점을 유지합니다. 핵심 문제는 고해상도 설정에서 VMamba의 이점의 원천을 이해하기 위해 이 모델들의 내부 표현 전략을 해독하는 것입니다.

방법론

저자들은 다각적인 접근 방식을 사용하여 VMamba-T와 MambaOut-T(Tiny 변체) 간의 비교 분석을 수행합니다:

교차 모델 및 모델 내 CKA 분석: 저자들은 서로 다른 단계 간, 두 모델 간, 그리고 분류 사전 학습 버전과 세그멘테이션 미세 조정 버전 간의 유사성을 측정하기 위해 중심 커널 정렬(Centered Kernel Alignment, CKA)을 적용합니다.
토큰 분해 ( $\ell_2$ 노름 vs 방향): 공간 토큰을 $\ell_2$ 노름(크기)과 단위 벡터(방향)로 분해합니다. 본 연구는 높은 활성화가 어디에서 발생하는지, 그리고 클래스 판별 정보가 크기(magnitude)에 인코딩되는지 아니면 방향(direction)에 인코딩되는지를 조사합니다.
속성 부여 및 국소화(Attribution and Localization):
- Grad-CAM: 토큰 활성화 맵과 클래스 속성 히트맵을 비교하는 데 사용됩니다.
- 토큰 교체 속성(Token Replacement Attribution): 개별 토큰을 이미지 전체 평균값으로 교체하여 타겟 클래스 로짓(logit)에 대한 기여도를 측정하는 섭동 기반 방법입니다.
- 단위 벡터 평가: 토큰의 순수 방향 정보만을 격리하기 위해 정규화된(단위 노름) 토큰을 사용하여 분류기를 테스트합니다.
- 고노름(High-Norm) 토큰 테스트: 크기 자체가 클래스 정보를 운반하는지 테스트하기 위해 상위 $k$ 개의 가장 높은 노름을 가진 토큰만을 사용하여 분류기를 학습하거나 평가합니다.
태스크별 평가: 모델은 다음 환경에서 평가됩니다:
- 고해상도 분류: ImageNet-1k를 768×768 해상도로 미세 조정.
- 시맨틱 세그멘테이션: 두 가지 체제(frozen backbone 및 full fine-tuning) 하에서 ADE20K 및 Pascal VOC 2012에 대해 학습.
- 어블레이션(Ablation): 관찰된 현상에 대한 SS2D 모듈의 구체적인 기여를 테스트하기 위해 SS2D 모듈을 제거.

주요 결과

1. 상이한 표현 전략

CKA 발산: VMamba의 최종 단계 블록은 MambaOut 및 자신의 이전 블록들과 질적으로 구별되는 표현을 형성합니다. 반면, MambaOut은 레이어 전반에 걸쳐 일관된 표현을 유지합니다. VMamba는 또한 최종 단계에서 감독(classification vs. segmentation) 변화에 더 큰 민감도를 보입니다.
크기(Magnitude) vs 방향(Direction):
- MambaOut: 클래스 판별 정보를 소수의 고노름 전경(foreground) 토큰에 집중시킵니다. 이 토큰들은 공간적으로 Grad-CAM 속성과 일치합니다. 크기를 제거하면(토큰을 정규화하면) 성능이 급격히 저하됩니다(단일 토큰 정확도가 약 31.5%로 하락).
- VMamba: 주로 배경(background) 영역에서 높은 노름 토큰을 생성하며, 이는 Grad-CAM의 전경 집중 영역과 일치하지 않습니다. 그러나 판별 신호는 주로 토큰 방향에 보존됩니다. 토큰을 정규화했을 때 성능 저하 폭은 훨씬 작습니다(단일 토큰 정확도가 약 52.5%를 유지하며, MambaOut보다 현저히 높음).

2. 증거 집계 및 해상도

토큰 교체: VMamba는 로짓 지원(logit support)을 객체 영역 전반에 넓게 분산시키는 반면, MambaOut은 희소하고 지배적인 토큰들에 의존합니다.
고해상도 영향: 표준 해상도(224×224)에서는 MambaOut이 VMamba보다 약간 더 우수한 성능을 보입니다. 그러나 고해상도(768×768)에서는 VMamba가 MambaOut을 능가합니다. 저자들은 이를 MambaOut의 희소한 피크(peak) 의존성과 달리, VMamba의 광범위한 증거 집계가 공간 샘플링 변화에 덜 민감하기 때문이라고 설명합니다.

3. 밀집 예측 및 미세 조정

Frozen Backbone: MambaOut은 백본이 고정된 상태의 세그멘테이션에서 약간 더 나은 성능을 보이는데, 이는 크기에 정렬된 전경 단서들이 새로운 헤드에 의해 즉각적으로 활용될 수 있기 때문으로 보입니다.
Full Fine-Tuning: 백본을 완전히 미세 조정할 경우 VMamba가 MambaOut을 크게 앞섭니다.
방향적 강건성: "단위 토큰 디코더(unit-token decoder)" 테스트(크기가 제거된 경우)에서, VMamba의 세그멘테이션 성능은 거의 유지되는 반면(47.9 $\to$ 47.5 mIoU), MambaOut은 급격히 저하됩니다(47.1 $\to$ 41.5 mIoU).
공간적 재구성: 밀집한 감독(dense supervision) 하에서 VMamba의 방향 기반 인코딩은 더 명확한 공간적 선택성으로 재구성되는 반면, MambaOut의 크기 집중형 인코딩은 큰 변화를 보이지 않습니다.

핵심 기여

인코딩 전략의 해독: 본 논문은 VMamba와 MambaOut이 근본적으로 다른 인코딩 전략에 의존함을 밝혀냈습니다. MambaOut은 **크기에 정렬된 전경 집중(magnitude-aligned foreground concentration)**을 사용하는 반면, VMamba는 공간 토큰 전반에 걸친 **방향 기반 분포(direction-based distribution)**를 활용합니다.
고해상도 이점에 대한 설명: 저자들은 VMamba의 밀집 예측 및 고해상도 작업에서의 이점이 단순히 SSM 메커니즘이나 시퀀스 길이에 의한 것이 아니라, 시맨틱 증거가 토큰의 크기와 방향 사이에 어떻게 조직되는지에 달려 있음을 입증했습니다.
토큰 방향의 역할: 본 연구는 토큰 방향이 시각적 표현, 특히 많은 토큰 사이에서 정보를 안정적으로 집계해야 하는 밀집 감독 태스크에서 간과되어 온 중요한 축임을 확립했습니다.

의의 및 주장

본 논문은 고해상도 및 밀집 예측 설정에서 Vision Mamba 모델의 성공이 그들의 **방향적 인코딩 전략(directional encoding strategy)**에 뿌리를 두고 있다고 결론짓습니다. 이 전략은 다음을 가능하게 합니다:

안정적인 집계: 토큰 수가 증가함에 따라(고해상도) 더 견고한 증거 집계가 가능합니다.
적응성: 밀집한 감독(세그멘테이션) 하에서 공간적 선택성을 재구성할 수 있는 더 큰 능력을 제공합니다.

저자들은 향-미래의 시각적 백본 설계 시 토큰 크기와 방향 구조를 핵심적인 축으로 고려해야 한다고 제안합니다. 구체적으로, **전경 정렬된 크기 정규화(foreground-aligned magnitude regularization)**는 표준 분류를 개선할 수 있고, 각도 정규화(angular regularization) 또는 토큰 단위 대조 학습 목적 함수는 밀집 및 고해상도 설정을 향상시킬 수 있습니다.

본 논문은 특정 건축적 구성 요소가 무엇인지에 대해서는 신중한 태도를 유지합니다. SS2D 모듈이 후보가 될 수 있으나, 해당 현상은 SS2D를 제거했을 때도 지속된다는 점을 언급하며, 이 효과가 선택적 스캔 메커니즘 자체보다는 더 넓은 블록 구조에서 기인함을 시사합니다.