💻 computer science

Vision Non-Causal Trapezoidal Mamba: Eliminating Directional Scanning in Vision SSMs with Second-Order Dynamics

이 논문은 방향성 토큰 스캐닝을 제거하여 방향에 강건한 표현력을 확보하고 낮은 추론 지연 시간을 유지하면서도 다양한 비전 작업에서 우수한 성능을 달구하는 2차 비인과적 상태 공간 모델인 Vision Non-Causal Trapezoidal Mamba(VNCT)를 소개한다.

원저자: Anvitha Ramachandran, Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

게시일 2026-07-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Anvitha Ramachandran, Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 수천 개의 작은 그림 조각(토큰)으로 이루어진 거대하고 복잡한 퍼즐을 이해하려고 노력하고 있다고 상상해 보세요. 오랫동안 컴퓨터 비전 모델들은 매우 엄격한 일방통행 도로처럼 행동했습니다. 모델들은 반드시 특정 순서대로, 즉 왼쪽에서 오른쪽으로, 혹은 위에서 아래로, 또는 어떤 고정된 경로를 따라 조각들을 살펴봐야만 했습니다. 이것은 마치 책을 읽을 때 한 줄의 모든 단어를 다 읽기 전에는 다음 줄로 넘어갈 수 없고, 앞을 내다보거나 페이지를 앞뒤로 넘길 수 없는 것과 같습니다. 이를 **방향성 스캐닝(directional scanning)**이라고 부릅니다.

이 논문은 **VNCT(Vision Non-Causal Trapezoidal Mamba)**라는 새로운 모델을 소개합니다. 이 모델의 주요 발견은 이러한 엄격한 "일방통행" 규칙이 잘 보기 위해 반드시 필요한 것은 아니라는 점입니다. 사실, 이 규칙을 없애는 것이 모델을 더 빠르고 똑똑하게 만듭니다.

옛날 방식 vs 새로운 방식

기존의 모델들(많은 비전 트랜스포머나 초기 "Mamba" 모델들)을 박물관 방을 한 줄로 서서 통과해야 하는 탐정 팀이라고 생각해 보세요. 그들은 눈앞에 있는 그림만 볼 수 있고, 그다음 그림을 보고, 또 그다음 그림을 보는 식으로 움직여야 합니다. 만약 오른쪽을 보느라 왼쪽의 세부 사항을 놓쳤다면, 다시 돌아오는 데 추가적인 시간이 걸리기 때문에 이를 다시 포착하기가 어렵습니다. 이는 편향(bias)을 만듭니다. 모델은 특정 방향으로 보는 것에 "익숙해지게" 됩니다.

VNCT는 이 규칙 책을 던져버립니다. 사진 조각들을 한 줄로 세워 걷는 대신, 모든 조각이 단 한 번의 패스(pass) 안에 동시에 서로에게 말을 걸 수 있게 합니다. 이것은 마치 박물관 방 전체를 동시에 비추는 거대한 즉석 스포트라이트를 켜는 것과 같습니다. 모든 탐정은 자신의 차례를 기다릴 필요 없이 즉시 모든 그림을 볼 수 있습니다. 논문은 이 "한꺼번에" 접근하는 방식이 줄 서서 걸어갈 때 발생하는 기묘한 편향을 제거한다고 보여줍니다.

핵심 비결: 2차 동역학 (Second-Order Dynamics)

그런데 어떻게 혼란 없이 그렇게 빠르게 모두와 대화할 수 있을까요? 저자들은 2차 동역학(구체적으로는 "사다리꼴(trapezoidal)" 동역학)이라는 영리한 수학적 트릭을 사용합니다.

방의 온도를 추측하려고 한다고 가정해 봅시다.

1차 (옛날 방식): 온도계를 한 번 확인하고 그 단일 측정값에 기반하여 추측합니다.
2차 (VNCT의 방식): 온도계를 확인하되, 아주 짧은 순간 전의 온도가 얼마나 빠르게 변했는지도 함께 봅니다. 즉, "현재"와 "직전"의 평균을 내는 것입니다.

이 "사다리꼴" 방식(한 단계의 시작점과 끝점을 평균 내는 방식)은 모델에게 더 풍부하고 상세한 이해를 제공합니다. 논문은 이 추가적인 세부 정보 층이 이전 모델들이 사용했던 단순한 단일 단계 방법보다 형태와 경계를 훨씬 더 잘 이해하도록 돕는다고 제안합니다.

이 논문이 부정하는 것

이 논문은 비전 모델이 잘 작동하기 위해 방향성 스캐닝이 필요하다는 생각에 명시적으로 반대합니다. 많은 이전 모델들은 "한 방향 도로" 문제를 해결하기 위해 더 복잡한 경로(예: 지그재그나 나선형으로 걷기)를 추가하려고 시도했지만, 저자들은 경로를 수정할 필요가 있는 것이 아니라—경로 자체를 아예 없애야 한다는 것을 보여줍니다. 그들은 고성능 비전을 위해 순차적 스캐닝이 필수적이라는 가설을 부정합니다.

결과: 더 빠르고, 더 강하며, 더 견고함

저자들은 여러 가지 큰 과제들을 통해 모델을 측정했으며, 결과는 매우 명확했습니다:

속도: 줄을 설 필요가 없기 때문에 VNCT는 더 빠릅니다. 단일 이미지에 대해 "Micro" 버전은 예측하는 데 5.25 밀리초, "Tiny" 버전은 7.31 밀리초가 걸렸습니다. 이는 이전의 비인과적 모델인 VSSD가 각각 5.80 ms와 8.01 ms가 걸린 것보다 빠릅니다.
정확도: 표준 테스트에서 더 높은 점수를 기록했습니다. ImageNet-1K 테스트에서 "Tiny" 버전은 **84.2%**의 정확도를 달성하여, 83.7%를 기록한 이전 최고 성능의 비인과적 모델(VSSD-Tiny)을 앞질렀습니다.
회전 및 뒤집기: 가장 멋진 발견 중 하나는 "방향성 견고성(orientation robustness)"에 관한 것입니다. 이미지를 거꾸로 뒤집거나 회전시키면 기존 모델들은 다소 혼란을 겪으며 정확도가 떨어집니다. 하지만 VNCT는 훨씬 더 여유롭습니다. 이미지가 회전하거나 뒤집혔을 때, 평균 정확도 하락은 VSSD의 0.9%, 방향성 스캐닝 모델의 **1.6%**와 비교했을 때 VNCT는 단 **0.3%**에 불과했습니다. 이는 모델이 픽셀의 순서가 아닌 사물을 전체로서 보고 있음을 시사합니다.
경계(Boundaries): 사물의 윤곽선(예: 자동차와 도로를 구분하는 것)을 그릴 때, VNCT는 더 날카로웠습니다. Cityscapes 데이터셋에서 VSSD와 비교했을 때 "Boundary IoU"(경계가 얼마나 잘 일치하는지에 대한 점수)를 최대 3.7 포인트까지 개선했습니다.

결론

이 논문은 단순히 이것이 작동할 수도 있다고 제안하는 것이 아니라, 분류, 객체 탐지, 세그멘테이션 작업 전반에 걸쳐 이를 측정했습니다. 저자들은 방향성 스캐닝이라는 "일방통행"이 이미지에 순차적 모델을 억지로 적용하려 할 때 발생하는 인위적인 산물이며, 2차 및 비인과적 접근 방식이 비전 AI를 구축하는 더 단순하고 효율적이며 견고한 방법이라고 결론짓습니다. 그들은 단순히 기존 시스템을 미세하게 조정한 것이 아니라, 교통 규칙 자체를 교체했으며, 그 결과 자동차들은 더 빠르게, 그리고 더 곧게 달리고 있습니다.

기술 요약: 비전 비인과적 사다리꼴 맘바 (Vision Non-Causal Trapezoidal Mamba, VNCT)

1. 문제 정의

상태 공간 모델(State Space Models, SSMs)은 선형 시간 복잡도로 장거리 의존성을 모델링하기 위해 비전 트랜스포머(ViTs)를 대체할 효율적인 대안으로 부상했습니다. 그러나 대부분의 기존 비전 SSM(예: ViM, VMamba)은 인과적 시퀀스 모델링에서 유래한 **방향성 토큰 스캐닝(directional token scanning)**을 계승합니다. 1D SSM을 2D 이미지에 적용하기 위해, 토큰들은 정해진 경로(수평, 수직 또는 다방향)를 따라 직렬화되어야 합니다.

저자들은 이러한 접근 방식의 세 가지 결정적인 한계를 식별했습니다:

공간적 편향(Spatial Bias): 방향성 스캐닝은 시각 데이터에 내재되지 않은 인위적인 순서를 강요하며, 이는 방향에 민다는 특징을 가진 피처 상호작용을 생성합니다.
비효율성(Inefficiency): 양방향 컨텍스트를 집계하려면 종종 여러 번의 스캔 패스가 필요하며, 이는 추론 지연 시간을 증가시킵니다.
불일치(Misalignment): 시각적 장면은 비인과적(non-causal)입니다. 즉, 공간적 관계는 토큰의 순서와 독립적으로 존재합니다.

VSSD(Vision State Space Duality)와 같은 최근 연구가 비인과적 집계를 도입했지만, 이는 여전히 **1차 동역학(first-order dynamics)**에 국한되어 있습니다. 본 논문은 고성능 비전 SSM을 위해 방향성 스캐닝이 반드시 필요한지, 아니면 단순히 시퀀스 모델을 이미지에 적응시키는 과정에서 발생하는 부산물인지에 대해 의문을 제기합니다.

2. 방법론: 비전 비인과적 사다리꼴 맘바 (VNCT)

저자들은 2차 비인과적 상태 공간 공식화를 기반으로 구축된 계층적 비전 백본인 VNCT를 제안합니다. 핵심 혁신은 NC-M3 (Non-Causal Mamba-3) 레이어입니다.

2.1. 핵심 메커니즘: NC-M3

NC-M3 레이어는 **지수-사다리꼴 동역학(exponential-trapezoidal dynamics)**을 글로벌 비인과적 집계 연산자로 재구성합니다.

2차 동역학(Second-Order Dynamics): 단일 단계 업데이트를 사용하는 표준 SSM과 달리, Mamba-3는 양 끝점(왼쪽 및 오른쪽) 모두에서 적분을 평균하는 사다리꼴 구적법(trapezoidal quadrature rule)을 사용합니다. 이는 다음과 같이 표현됩니다:
$h_t = \alpha_t h_{t-1} + \beta_1 x_{t-1} + \gamma_t x_t$
여기서 $\beta$ 와 $\gamma$ 는 왼쪽 및 오른쪽 끝점의 관측치에 가중치를 부여합니다.
비인과적 리프트(Non-Causal Lift): 저자들은 이 인과적 재귀를 순열 불변(permutation-invariant) 연산자로 변환합니다. 순차적인 상태 전파 대신, 하삼각 인과적 전이 행렬을 완전 밀집(fully dense)되고 정규화된 상호작용 커널로 대체합니다.
글로벌 집계(Global Aggregation): 상호작용은 글로벌 충분 통계량(global sufficient statistics)을 통해 계산됩니다. 출력 토큰 $i$ $i$ 에 대해, 상태는 데이터 의존적 파라미터( $\alpha, \beta, \gamma$ $α, β, γ$ )에 의해 상호작용 공간으로 투영된 모든 입력 토큰 $j$ $j$ 의 글로벌 합으로부터 유도됩니다.
- 집계 규칙은 $L \times L$ 상호작용 행렬을 구축하는 것을 피하도록 인수분해되어, 선형 시간 복잡도( $O(L)$ )를 유지합니다.
- 이를 통해 모든 이미지 토큰이 방향성 스캐닝 없이 단 한 번의 패스(single pass) 내에서 상호작용할 수 있습니다.

2.2. 아키텍처 구성 요소

저계수 MIMO 파라미터화(Low-Rank MIMO Parameterization): VNCT는 공간적 및 채널별 상호작용을 효율적으로 공동 모델링하기 위해 저계수 다중 입력 다중 출력(MIMO) 메커니즘을 포함합니다.
2D 회전 위치 인코딩(2D RoPE): 집계가 순서에 독립적이므로, 소스 및 쿼리 투영에 적용되는 2D RoPE를 통해 상대적 공간 변위를 인코딩하여 공간 정보를 주입합니다.
계층적 백본(Hierarchical Backbone): 모델은 점진적 다운샘플링을 수행하는 4단계 아키텍처(Swin 또는 ConvNeXt와 유사)를 따릅니다. 스테이지 1~3은 NC-M3 블록을 사용하며, 스테이지 4는 이차 비용이 미미한 가장 낮은 해상도의 피처 맵에 멀티 헤드 셀프 어텐션(MHSA)을 적용하여 글로벌 컨텍스트를 처리합니다.
국소적 인지(Local Perception): 로컬 인지 유닛(LPU)은 뎁스 와이즈 컨볼루션을 사용하여 글로벌 집계 전에 국소적 공간 유도 편향(inductive bias)을 주입합니다.

3. 주요 기여

NC-M3 레이어: 방향성 스캐닝을 제거하여 모든 이미지 토큰 간의 단일 패스 상호작용을 가능하게 하는 2차 비인과적 상태 공간 레이어입니다.
VNCT 백본: 2차 비인과적 동역학과 저계수 MIMO 파라미터화를 결리한 계층적 비전 백본입니다.
실증적 검증: 방향성 스캐닝을 제거하는 것이 추론 지연 시간, 방향 견고성 및 경계 보존 성능을 개선함을 입증하였으며, 방향성 스캐닝 SSM 및 1차 비인과적 SSM보다 일관되게 우수한 성능을 보였습니다.

4. 실험 결과

저자들은 ImageNet-1K(분류), COCO(객체 탐지 및 인스턴스 분할), ADE20K(의미론적 분할)에서 VNCT를 평가했습니다.

분류 (ImageNet-1K): VNCT는 Micro, Tiny, Small, Base 스케일에 걸쳐 최첨단(SOTA) Top-1 정확도를 달성했습니다.
- 예시: VNCT-Tiny는 **84.2%**의 Top-1 정확도를 달성하여 VSSD-T(83.7%)와 VMamba-T(82.5%)를 능가했습니다.
- 효율성: VNCT는 Micro, Tiny, Small 스케일에서 VSSD보다 낮은 단일 이미지 추론 지연 시간을 보여줍니다.
밀집 예측 (COCO & ADE20K):
- 탐지/분할: VNCT-T는 COCO의 Box AP 및 Mask AP에서 모든 베이스라인을 능가하며, 특히 AP75에서 유의미한 이득을 보였습니다(이는 향상된 위치 정밀도를 나타냄).
- 의미론적 분할: VNCT는 모든 모델 스케일에서 ADE20K에 대해 가장 높은 mIoU를 달성했습니다 (예: VNCT-S는 50.1% mIoU 달성, VSSD-S는 49.2%).
경계 보존 (Boundary Preservation): VNCT는 **경계 IoU (BIoU)**를 크게 개선했습니다.
- ADE20K에서 VNCT-T는 VSSD-T보다 BIoU를 +2.3 포인트 개선했습니다.
- Cityscapes에서 개선 폭은 +3.7 포인트입니다.
- 정성적 분석 결과, VNCT는 더 완전하고 기하학적으로 정확한 윤곽선을 생성함을 보여줍니다.
방향 견고성 (Orientation Robustness): VNCT는 재학습 없이 기하학적 변환(플립 및 회전)에 대해 우수한 견고성을 보입니다.
- ImageNet-1K에서 VNCT-T는 4가지 변환에 대해 평균 정확도 하락이 **0.3%**에 불κ한 반면, VSSD-T는 0.9%, VMamba-T는 1.6%를 기록했습니다.
수용 영역 분석 (Receptive Field Analysis): 유효 수용 영역(ERF) 시각화 결과, VNCT는 VMamba에서 보이는 방향성 아티팩트나 VSSD의 불규칙한 커버리지와 달리, 매끄럽고 대칭적이며 전역적으로 균일한 수용 영역을 생성합니다.

5. 의의 및 주장

본 논문은 방향성 스캐닝이 고성능 비전 SSM을 위해 필수적이지 않다고 주장합니다. 저자들은 기존 비전 SSM의 한계가 상태 공간 모델링 자체가 아니라 인과적 방향 스캔에서 비롯된다고 주장합니다.

2차 비인과적 상태 공간 모델링으로 교체함으로써, VNCT는 시각적 인식을 위한 단순하고 효율적이며 견고한 대안을 제공합니다. 결과는 다음을 시사합니다:

글로벌 비인과적 집계와 2차 동역학의 결합은 밀집 예측 작업에 더 강력한 공간 표현을 제공합니다.
방향성 편향을 제거하면 더 높은 방향 견고성과 더 나은 경계 보존 성능을 가진 피처를 얻을 수 있습니다.
고성능 비전 백본은 (최종 단계의 경우를 제외하고) 여러 번의 스캔 패스로 인한 계산 오버헤드나 전체 어텐션 메커니즘의 이차 복잡도 없이 구축될 수 있습니다.

저자들은 이 접근 방식이 미래의 비전 백본을 위한 유망한 방향으로서 비인과적, 고차 상태 공간 연산자의 가능성을 제시한다고 결론짓습니다.