💻 computer science

MambaPanoptic: A Vision Mamba-based Structured State Space Framework for Panoptic Segmentation

MambaPanoptic는 선형 계산 복잡도로 전역적으로 일관된 다중 스케일 특징 표현을 달성하기 위해 비전 Mamba 아키텍처를 활용하는 새로운 팬옵틱 분할 프레임워크로, 정확도와 효율성 측면에서 기존 합성곱 및 트랜스포머 기반 방법들을 능가합니다.

원저자: Qing Cheng, Damiano Bertolini, Wei Zhang, Dong Wang, Niclas Zeller, Daniel Cremers

게시일 2026-05-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qing Cheng, Damiano Bertolini, Wei Zhang, Dong Wang, Niclas Zeller, Daniel Cremers

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

카메라 렌즈를 통해 번잡한 도시 거리를 바라본다고 상상해 보세요. 컴퓨터에게 이 이미지는 수백만 개의 작은 색점 (픽셀) 으로 이루어진 격자에 불과합니다. **팬옵틱 분할 (Panoptic Segmentation)**은 컴퓨터에게 그 격자를 바라보게 하여 동시에 두 가지 작업을 수행하도록 가르치는 과제입니다:

구별되는 객체를 세기: "저것은 한 대의 자동차, 저것은 또 다른 자동차, 저것은 보행자입니다." (이러한 것들은 '사물 (things)'이라고 불립니다.)
배경을 칠하기: "저 전체 영역은 하늘이고, 저 전체 지역은 도로이며, 저것은 잔디밭입니다." (이러한 것들은 '물질 (stuff)'이라고 불립니다.)

두 가지를 모두 완벽하게 수행하는 것은 어렵습니다. 컴퓨터는 자동차 바퀴의 미세한 세부 사항 (국부적 세부 정보) 을 보면서도 도로가 먼 거리까지 뻗어 있다는 것 (장거리 맥락) 을 이해해야 합니다.

기존 방법의 문제점

이 논문은 이전의 컴퓨터 비전 방법들이 "하나라고 선택하라"는 문제를 가지고 있었다고 설명합니다:

국부적 전문가 (CNN): 이들은 작은 돋보기를 통해 바라보는 사람과 같습니다. 미세한 세부 사항과 가장자리를 보는 데 뛰어나지만, 멀리서 일어나는 일을 볼 수는 없습니다. 그들은 큰 그림을 놓칩니다.
전체적 전문가 (Transformer): 이들은 거대한 망원경을 가진 사람과 같습니다. 한 번에 전체 도시를 볼 수는 있지만, 고해상도 이미지를 볼 때는 마치 책의 페이지를 한 장씩 넘기며 읽으려 하는 것처럼 매우 느리고 비용이 많이 듭니다.

새로운 해결책: MambaPanoptic

저자들은 Vision Mamba라는 기술에 기반한 새로운 시스템인 MambaPanoptic을 소개합니다. Mamba 는 망원경을 든 전문가들보다 훨씬 빠르고 적은 에너지로 전체 그림과 미세한 세부 사항을 모두 볼 수 있는 "스마트 스캐너"라고 생각하세요.

다음은 시스템을 간단한 부분으로 나누어 설명한 작동 방식입니다:

1. 스마트 스캐너 (백본)

표준 카메라 렌즈 대신, 이 시스템은 SegMAN 인코더를 사용합니다. 이를 이미지를 스캔하는 매우 효율적인 로봇이라고 상상해 보세요. 이는 단순히 왼쪽에서 오른쪽으로만 보는 것이 아니라, 네 방향 (위, 아래, 왼쪽, 오른쪽) 으로 동시에 스캔합니다. 이를 통해 느린 계산에 매몰되지 않고도 자동차가 먼 곳의 도로와 어떻게 관련되는지 이해할 수 있습니다.

2. 다층 지도 (MambaFPN)

작은 새부터 거대한 건물까지 다양한 크기의 객체를 처리하기 위해 시스템은 **특징 피라미드 (Feature Pyramid)**를 구축합니다.

비유: 도시 지도를 만드는 것을 상상해 보세요. 전체 도시 배치를 보여주는 확대된 뷰, 동네를 보여주는 중간 뷰, 개별 건물을 보여주는 확대된 뷰가 있습니다.
혁신: 이 논문은 스마트 스캐너를 사용하여 이 지도를 구축하는 MambaFPN을 소개합니다. 이는 확대된 레이어가 미세한 세부 사항을 기억하도록 하고, 확대된 레이어가 큰 맥락을 이해하도록 보장합니다. 이는 "선형 복잡도"로 수행되므로 이미지 크기를 두 배로 늘리면 작업도 두 배만 늘어나고, 이전 방법들이 그랬던 것처럼 작업이 네 배로 폭발하지는 않습니다.

3. "쿠키 커터" 접근법 (헤드)

시스템이 다층 지도를 갖게 되면 최종 윤곽을 그려야 합니다.

기존 방식: 일부 시스템은 먼저 모든 객체가 어디에 있는지 추측한 다음 그 주위에 상자를 그립니다. 이는 마치 그물로 물고기를 하나씩 잡으려는 것과 같습니다.
MambaPanoptic 의 방식: 이는 **커널 생성기 (Kernel Generator)**를 사용합니다. 이를 "쿠키 커터"라고 생각하세요. 객체를 사냥하는 대신, 시스템이 보는 모든 유형의 사물이나 물질에 대해 특정 "모양 (커널)"을 생성합니다.
- "자동차"를 보이면 "자동차 모양"의 쿠키 커터를 생성합니다.
- "하늘"을 보이면 "하늘 모양"의 쿠키 커터를 생성합니다.
- 그런 다음 이러한 커터를 이미지에 눌러 즉시 최종 마스크를 생성합니다. 이는 빠르며 사전에 객체가 어디에 있을지 추측할 필요가 없습니다.

4. 세부 사항 다듬기 (QuadMamba)

때로는 "쿠키 커터"가 특히 까다로운 모양의 경우 가장자리가 약간 거칠 수 있습니다. 시스템은 QuadMamba 모듈을 "세부 사항 다듬기" 도구로 사용합니다.

비유: 요리사가 케이크를 자르는 것을 상상해 보세요. 첫 번째 컷은 좋지만, QuadMamba 는 케이크의 모양에 적응하는 두 번째이자 더 정밀한 컷과 같습니다. 이는 프랙탈처럼 다양한 크기의 조각으로 이미지를 살펴보아 자동차나 도로의 가장자리가 완벽하게 날카로운지 확인합니다.

그들은 무엇을 발견했나요?

저자들은 이 새로운 시스템을 Cityscapes(도시 거리 이미지) 와 COCO(방대한 일반 객체 컬렉션) 라는 두 가지 유명한 데이터셋에서 테스트했습니다.

Cityscapes 에서: MambaPanoptic 은 이전의 "국부적" 전문가 (CNN) 들을 능가했으며, 정확도 면에서 "전체적" 전문가 (Mask2Former 와 같은 Transformer) 와 맞먹거나 약간 능가했습니다.
효율성 승리: 이는 무거운 Transformer 모델보다 적은 매개변수(더 적은 메모리와 두뇌 능력) 를 사용하면서도 이러한 높은 점수를 달성했습니다.
COCO 에서: 이전 방법들보다 매우 잘 수행되었지만, 가장 강력한 Transformer 모델보다는 약간 뒤처졌습니다. 저자들은 COCO 데이터셋이 수백 개의 카테고리로 인해 매우 복잡하며, "쿠키 커터" 방식이 "망원경" 방식에 비해 그토록 많은 다양성에 때로는 어려움을 겪기 때문이라고 설명합니다.

결론

이 논문은 MambaPanoptic이 이 특정 이중 작업 (사물 세기 + 물질 칠하기) 에 대해 이 새로운 "스마트 스캐닝" 기술을 성공적으로 사용한 최초의 시스템이라고 주장합니다. 이는 기존 방법의 속도와 효율성과 새로운 방법의 장거리 이해력을 모두 갖춘 "양쪽 세계의 최고" 솔루션을 제공하며, 도시 운전과 같은 복잡한 장면을 이해하는 데 유망한 도구가 됩니다.

언급된 한계점: 저자들은 시스템이 큰 그림을 보는 데 뛰어나지만, 매우 얇은 선이나 객체의 정확한 가장자리에는 때때로 어려움을 겪는다고 인정합니다. 이는 아마도 "스캐닝" 운동이 고주파 세부 사항을 포착하는 데 완벽하지 않기 때문일 것입니다. 그들은 향후 연구가 이를 수정하기 위해 이 스캐너를 더 전문적인 "가장자리 찾기"와 결합할 것을 제안합니다.

기술 요약: MambaPanoptic

문제 정의
팬옵틱 분할은 계수 가능한 '사물(thing)' 인스턴스와 비정형적인 '배경(stuff)' 영역을 동시에 인식해야 합니다. 이 작업은 정확한 경계를 위해 세밀한 국부적 세부 사항을 보존하면서도 복잡한 장면 레이아웃을 위해 장거리 맥락을 포착하는 특징 표현을 요구합니다. 기존 접근법은 트레이드오프에 직면해 있습니다: 합성곱 신경망 (CNN) 은 효율적이지만 유계 수용 영역으로 인해 장거리 의존성을 모델링하는 데 제한이 있으며, 반면 트랜스포머 기반 방법은 글로벌 추론을 제공하지만 고해상도 입력에 치명적인 2 차 계산 비용을 초래합니다. 또한, 트랜스포머는 종종 강력한 귀납적 편향을欠여 대규모 데이터와 광범위한 학습 시간을 필요로 합니다.

방법론
본 논문은 선형 계산 복잡성과 효율적인 장거리 모델링을 통해 이러한 한계를 해결하도록 설계된 완전한 Mamba 기반 종단간 프레임워크인 MambaPanoptic을 제안합니다. 아키텍처는 세 가지 주요 구성 요소로 구성됩니다:

Mamba 멀티 스케일 특징 인코더:
- 백본: SegMAN 인코더를 활용하는 계층적 하이브리드 네트워크입니다. 이는 국부적 공간 정밀도를 위한 이웃 주의 (Neighbourhood Attention) 와 2 차원 선택적 스캔 (SS2D) 메커니즘을 결합한 국부 주의 및 상태 공간 (LASS) 블록을 사용합니다. SS2D 는 장거리 의존성을 선형 복잡도로 모델링하기 위해 평탄화된 특징 시퀀스를 네 개의 직교 방향으로 스캔합니다.
- MambaFPN: 표준 FPN 을 대체하는 새로운 상향식 특징 피라미드 네트워크입니다. SS2D 블록을 사용하여 백본의 서로 다른 단계에서 특징을 융합하여 선형 계산 복잡도를 가진 글로벌 일관성을 갖춘 멀티 스케일 특징 표현 ( $F'_1$ 부터 $F'_4$ 까지) 을 생성합니다.
팬옵틱 헤드 (프로포절 프리):
- PanopticFCN 스타일의 커널 기반 방식을 채택하여 무거운 트랜스포머 디코더를 피합니다. 이는 커널 생성기와 고해상도 특징 인코더로 구성됩니다.
- 커널 생성기: 사물과 배경 모두에 대한 통합 커널을 생성합니다. 여기에는 위치 헤드 (사물 중심에 대한 히트맵과 배경 영역에 대한 스코어 맵 예측) 와 커널 헤드 (공간 인식 커널 특징 생성) 가 포함됩니다.
- 커널 융합: 서로 다른 해상도에서 커널 추정을 집계합니다. 사물 커널은 특징의 코사인 유사도로 그룹화되고, 배경 커널은 의미론적 클래스로 그룹화됩니다.
- 고해상도 특징 인코더: 최고 해상도 특징 맵 ( $F'_1$ ) 을 정제하여 커널 특징에 주입하여 세밀한 경계를 보존합니다.
Mamba 특징 정제 모듈 (MFRM):
- 커널 생성기와 고해상도 인코더 내부 등 여러 단계에 통합된 이 모듈은 QuadMamba 블록을 활용합니다. 이는 특징 맵을 적응적으로 분할하기 위한 학습 가능한 쿼드트리 기반 스캔 전략과 전방향 창 이동 메커니즘을 사용합니다. 이는 고정된 창 분할에 비해 다양한 크기와 불규칙한 모양을 가진 객체에 더 적합한 coarse-to-fine 적응 처리를 가능하게 합니다.

학습 전략
모델은 두 가지 보완적인 손실 항으로 학습됩니다:

커널 손실 ( $L_k$ ): 커널 스코어 맵 (사물용 히트맵, 배경용 스코어 맵) 최적화를 위해 Focal Loss 를 사용합니다. 사물 정답은 2 차원 가우시안 커널을 사용하여 연속적인 히트맵으로 표현됩니다.
마스크 손실 ( $L_{seg}$ ): 밀집 분할에서의 불균형 레이블 분포를 처리하기 위해 최종 마스크 예측 분기에 Dice Loss 를 사용합니다.
총 손실은 이 두 항의 가중치 조합입니다.

주요 기여

최초의 종단간 Mamba 팬옵틱 아키텍처: MambaPanoptic 은 기존 프레임워크의 백본을 단순히 교체한 이전 작업들 (예: Mask DINO 에서 ResNet 을 SegMAN 으로 교체) 과 구별되는 팬옵틱 분할을 위해 특별히 설계된 첫 번째 완전한 Mamba 기반 아키텍처로 제시됩니다.
MambaFPN: 트랜스포머의 2 차 비용과 CNN 의 국부성 편향을 극복하면서 글로벌 맥락과 세밀한 공간 세부 사항을 동시에 제공하는 선형 시간 멀티 스케일 특징 피라미드입니다.
QuadMamba 기반 정제: 적응적이고 coarse-to-fine 스캔을 사용하여 여러 네트워크 단계에서 특징 표현을 효율적으로 강화하는 MFRM 의 도입.
종합적 평가: Cityscapes 및 COCO 벤치마크에 대한 광범위한 실험을 통해 최첨단 CNN 및 트랜스포머 베이스라인과 경쟁력 있는 성능을 입증했습니다.

실험 결과

Cityscapes: MambaPanoptic 은 모든 지표에서 CNN 기반 베이스라인 (Panoptic-DeepLab, PanopticFCN) 을 능가합니다. 팬옵틱 품질 (PQ) 64.89와 평균 정밀도 (AP) 39.91을 달성하여, 훨씬 적은 파라미터 (35.7M 대 47.4M) 를 사용하면서도 트랜스포머 기반인 Mask2Former(PQ 63.9, AP 39.1) 를 능가합니다.
COCO: 모델은 일관되게 CNN 베이스라인을 능가합니다 (PanopticFCN 대비 PQ 45.6 대 41.0) 하지만 Mask2Former(PQ 53.2) 에 비해 성능 격차가 나타납니다. 저자들은 이를 COCO 의 높은 클래스 복잡성 (133 개 클래스) 에 기인하며, 지속적이고 클래스별 표현을 가진 쿼리 기반 방법이 동적 커널 생성보다 우위를 가질 수 있다고 설명합니다.
어블레이션 연구: 각 Mamba 기반 구성 요소 (인코더, FPN, 정제 모듈) 가 최종 성능에 긍정적이고 독립적으로 기여함을 확인했습니다.

의의 및 주장
본 논문은 MambaPanoptic 이 **구조화된 상태 공간 모델 (SSM)**이 팬옵틱 분할을 위해 합성곱 및 트랜스포머 기반 아키텍처 모두에 대한 유망한 대안임을 입증한다고 주장합니다. 이 프레임워크는 장거리 맥락 모델링 필요성과 계산 효율성 사이의 균형을 성공적으로 유지하며, 감소된 파라미터 수로 최첨단 또는 경쟁력 있는 결과를 달성합니다.

저자들은 다음과 같은 한계를 겸손하게 인정합니다:

경계 정밀도: 모델은 때때로 객체 경계와 얇은 구조에서 어려움을 겪으며, 이는 Mamba 의 스캔 메커니즘이 고주파 국부적 세부 사항보다 장거리 의존성을 우선시하는 트레이드오프로 추측됩니다.
복잡한 장면: COCO 와 같이 매우 복잡한 데이터셋에서 커널 기반 방식은 쿼리 기반 트랜스포머보다 뒤처지며, Mamba 특징 모델링과 경량 쿼리 기반 디코딩을 결합한 하이브리드 설계가 향후 연구의 유망한 방향임을 시사합니다.

향후 연구는 더 큰 백본을 조사하고, 경계 처리를 개선하며, 프레임워크를 항공 및 3D 팬옵틱 분할 작업으로 확장하는 것을 제안합니다.