기술 요약: 비전 상태 공간 모델을 위한 GraphScan

1. 문제 제기

비전 상태 공간 모델 (SSM), 특히 Mamba 아키텍처 기반 모델은 선형 복잡도로 효율적인 장거리 모델링을 제공합니다. 그러나 이러한 모델의 성능은 2 차원 시각 특징 맵이 처리를 위해 1 차원 토큰 시퀀스로 어떻게 직렬화되는지에 크게 의존합니다.

기존 비전 SSM 의 스캐닝 연산자는 일반적으로 두 가지 범주로 나뉩니다:

1. 고정 기하학적 순회: 래스터, 양방향, 프랙탈과 같은 사전 정의된 경로를 통해 2 차원 격자를 1 차원 시퀀스로 직렬화합니다. 이러한 방식은 모델이 의미론적 내용과 일치하지 않을 수 있는 고정된 순서에 노출되게 합니다.
2. 동적 좌표 기반 스캔: 오프셋이나 샘플링 위치를 예측하고 보간 (예: 이선형 보간) 을 통해 토큰을 재라우팅하는 방법입니다. 적응적이기는 하지만, 이러한 방법들은 주로 전역 혼합 전에 의미론적 관련성에 기반하여 어떤 지역 패치가 정보를 교환해야 하는지를 명시적으로 모델링하기보다는, 기하학에 기반하여 어디를 샘플링할지 조정하는 데 중점을 둡니다.

저자들은 현재 메커니즘이 경로나 샘플링 좌표를 적응시키지만, 전역 혼합기에 들어가기 전에 토큰을 사전 조건화하기 위해 지역적 의미론적 이웃을 명시적으로 모델링하지는 않는다는 격차를 지적합니다. 제기된 핵심 질문은 그래프 기반 라우팅이 전역 전파 전에 의미론적 연결을 수립함으로써 비전 SSM 이 "더 잘 보게" 하는 데 도움이 될 수 있는지 여부입니다.

2. 방법론: GraphScan

이 논문은 선택적 SSM 에 앞서도록 설계된 그래프 유도 동적 스캐닝 연산자인 GraphScan을 소개합니다. SSM 을 그래프 신경망 (GNN) 으로 대체하는 방법과 달리, GraphScan 은 토큰을 지역적 의미론적 맥락으로 풍부하게 만드는 경량의 입력 적응형 사전 조건화기 역할을 합니다.

핵심 메커니즘

특징 맵 내의 각 토큰 $x_i$에 대해:

1. 지역 그래프 구성: 토큰의 격자 좌표 주변에 고정된 반지름 $r$을 가진 공간적으로 경계된 지역 후보 집합 $S_r(i)$이 정의됩니다.
2. 특징 조건부 친밀도: 기하학적 보간 대신, GraphScan 은 쿼리 토큰과 이웃 간의 특징 유사성과 상대적 위치 편향을 기반으로 어텐션과 유사한 친밀도를 계산합니다.
   • 쿼리, 키, 값 투영이 계산됩니다: $q_i, k_j, v_j$.
   • 친밀도 점수 $s_{ij}$는 내적과 학습 가능한 상대적 위치 편향 $b_{rel}(g_j - g_i)$을 사용하여 계산됩니다.
   • Softmax 정규화는 가중치 $\alpha_{ij}$를 생성합니다.
3. 단일 단계 메시지 전달: 출력 토큰 $x'_i$는 의미론적 이웃에서 값 특징을 집계하고 잔차 연결을 추가하여 생성됩니다:
   $$x'_i = x_i + \left( \sum_{j \in S_r(i)} \alpha_{ij} v_j \right) W_o$$
   이는 고립된 패치 표현을 근처 시각 증거의 의미론적 혼합으로 대체합니다.

백본 통합

GraphScan 은 계층적 비전 Mamba 백본 (GraphScan-Mamba) 에 전-SSM 라우팅 레이어로 통합됩니다.

• 아키텍처: 백본은 겹치는 합성곱 줄기와 단계별 다운샘플링을 가진 표준 4 단계 설계를 따릅니다.
• 배치: 각 블록 내에서 흐름은 다음과 같습니다: 깊이별 합성곱 (고정 지역) $\to$ GraphScan (학습된 지역) $\to$ 선택적 SSM (전역).
• 적응성: 그래프 반지름 $r$은 단계 깊이에 따라 증가합니다 (예: 초기 단계에서는 $r=1$, 후기 단계에서는 $r=3$), 이는 수용 영역이 지역적에서 효과적으로 전역적으로 성장하면서도 선형 스케일링을 유지하도록 합니다.

이론적 함의

저자들은 GraphScan 을 희소하고 입력 적응형 사전 조건화기로 분석합니다. SSM 이전에 토큰 시퀀스 $X$를 $X'$로 수정함으로써 GraphScan은 SSM 에 두 가지 방식으로 영향을 미칩니다:

1. 값 주입: 순환 상태에 기록되는 값을 변경합니다.
2. 매개변수 변조: Mamba 스타일 SSM 은 현재 토큰에서 순환 매개변수 ($\Delta, B, C$) 를 생성하므로, 토큰을 변경하면 상태 전파 및 판독을 지배하는 선택적 매개변수도 변경됩니다.
   이는 소스 패치가 지역적 의미론적 친밀도 $\alpha_{ij}$와 전역 선택적 전파 인자 $K'_{t,i}$를 통해 출력에 영향을 미치는 "지역 - 전역 커널"을 생성합니다.

3. 주요 기여

1. GraphScan 연산자: 스캐닝을 기하학적 직렬화나 좌표 선택이 아닌 "학습된 지역적 의미론적 라우팅"으로 취급하는 새로운 스캐닝 메커니즘입니다. 토큰 수와 선형 스케일링을 유지하면서 의미론적 인식을 도입합니다.
2. GraphScan-Mamba 백본: GraphScan 의 계층적 구현으로, 핵심 SSM 순환 논리를 변경하지 않고도 여러 작업에서 비전 SSM 간 최첨단 (SOTA) 성능을 달성합니다.
3. 직교성: 이 방법은 순환 측 개선 (예: SSD, 비인과적 공식) 과 직교하는 것으로 입증되어, 비전 SSM 을 위한 보완적인 설계 레버를 제공합니다.
4. 해석 가능성: 이 방법은 토큰 격자 위에 해석 가능한 변위장을 유도하여, 모델이 고정된 기하학이 아닌 의미론적 내용에 기반하여 정보를 라우팅하는 방식을 시각화합니다.

4. 실험 결과

저자들은 GraphScan-Mamba 를 ConvNet, Transformer, 기존 비전 SSM(예: VMamba, DAMamba, Spatial-Mamba) 과 비교하여 세 가지 표준 벤치마크에서 평가했습니다. 비교는 유사한 매개변수 및 FLOP 예산 하에서 수행되었습니다.

• ImageNet-1K 분류:
  • GraphScan-Mamba-B는 **86.5%**의 top-1 정확도를 달성하여, 가장 강력한 비전 SSM 베이스라인 (85.3% 의 Spatial-Mamba-B) 보다 1.2% 더 높고 VMamba-B 보다 2.6% 더 높았습니다.
  • 유사한 규모에서 강력한 ConvNet 및 Transformer 백본 (예: ConvNeXt-B, Swin-B) 을 능가했습니다.
• COCO 객체 감지 및 인스턴스 분할 (Mask R-CNN):
  • 1x 스케줄 하에서 GraphScan-Mamba-B 는 51.9의 박스 mAP 와 46.0의 마스크 mAP 에 도달하여 모든 비전 SSM 베이스라인을 선도했습니다.
  • 이 이득은 밀도 예측 작업으로 효과적으로 이전되어, 학습된 토큰이 감지 규모의 공간 구조에 대해 견고함을 나타냅니다.
• ADE20K 시맨틱 분할 (UperNet):
  • GraphScan-Mamba-B 는 **53.2%**의 mIoU(단일 스케일) 를 달성하여, 최상의 비전 SSM 베이스라인 (51.9% 의 DAMamba-B) 보다 1.3% 더 높았습니다.
  • 다중 스케일 결과는 일관된 개선을 보여줍니다 (53.6% 대 52.3%).

애블레이션 연구:

• 배치: 전-SSM 배치가 중요합니다; GraphScan 을 후-SSM 으로 이동하면 정확도가 0.7% 하락합니다.
• 반지름 스케줄: $(1, 1, 2, 3)$으로 증가하는 반지름 스케줄이 계산과 정확도 사이의 가장 좋은 파레토 프론트를 제공합니다.
• 상대적 위치 편향: 학습 가능한 상대적 위치 편향을 포함하면 일관되지만 작은 이득을 제공합니다.

5. 중요성과 주장

이 논문은 그래프가 비전 SSM 이 더 잘 보게 하는 데 도움이 된다고 결론지었습니다. 이 연구의 중요성은 비전 SSM 의 설계 패러다임을 전환하는 데 있습니다:

• 기하학에서 의미론으로: 스캐닝은 단순히 기하학적 직렬화 (경로나 좌표 선택) 로 취급되어서는 안 되며, 전역 상태 공간 모델링 전에 학습된 지역적 의미론적 라우팅으로 간주되어야 합니다.
• 입력 측 보완: GraphScan 은 순환 측 발전을 보완하는 입력 측 솔루션을 제공합니다. 이는 SSM 의 내부 역학을 변경하지 않고도 전역 시퀀스의 조건을 개선하면서, 선택적 믹서에 들어가는 토큰이 이미 지역적으로 근거하고 의미론적으로 인식되도록 보장합니다.
• 일반화 가능성: 이 접근법은 특정 SSM 핵심 (예: Mamba-1/S6) 과 직교하므로, 미래의 SSM 변형에도 적용될 수 있음을 시사합니다.

저자들은 겸손하게도 GraphScan 이 성능과 해석 가능성을 향상시키지만, 추가적인 가정 없이는 공식적인 제어 이론적 의미에서 일반화를 보장하지는 않지만, 더 풍부한 지역적 의미론적 입력을 위한 구조적 메커니즘을 제공한다고 주장합니다.