SAM-MI: A Mask-Injected Framework for Enhancing Open-Vocabulary Semantic Segmentation with SAM

기술 요약: SAM-MI

문제 정의

개방형 어휘 시맨틱 세그멘테이션(Open-vocabulary semantic segmentation, OVSS)은 임의의 텍스트 설명에 기반하여 객체를 보편적으로 인식하고 분할하는 것을 목표로 합니다. 시각-언어 모델(Vision-Language Models, VLMs)이 개방형 어휘 인식을 발전시켰음에도 불구하고, 전통적인 OVSS 방식은 특정 도메인에 훈련된 영역 제안 네트워크(Region Proposal Networks, RPNs)에 의존하는 경우가 많아 보편적인 세그멘테이션 능력이 부족합니다. 11억 개의 마스크로 훈련된 Segment Anything Model (SAM)은 보편적 세그멘테이션을 위한 해결책을 제공합니다. 그러나 SAM을 OVSS에 직접 통합하는 데에는 두 가지 주요 과제가 존재합니다:

1. 과잉 분할(Over-segmentation): SAM은 색상 및 경계 단서에 따라 영역을 분할하는 경향이 있어, 관심 대상이 아니거나 특정 텍스트 레이블과 무관한 수많은 패치들을 생성하곤 합니다.
2. 경직된 결합(Hard Combination): 기존 방식(마스크 기반 또는 프롬프트 기반)은 SAM이 생성한 고정된 마스크를 텍스트 레이블과 엄격하게 연관시킵니다. 이러한 "경직된 결합"은 마스크의 부정확함이나 낮은 품질을 무시하여 최적화되지 않은 시맨틱 맵을 초래합니다.
3. 계산 오버헤드(Computational Overhead): 밀집된 그리드 형태의 포인트 프롬프트에 의존하는 이전 방식들은 반복적인 디코더 순전파(forward propagation)와 비최대 억제(Non-Maximum Suppression, NMS)로 인해 과도한 계산 비용을 유발합니다.

방법론: SAM-MI 프레임워크

저자들은 SAM을 OVSS 모델에 효과적으로 통합하기 위해 설계된 새로운 마스크 주입 프레임워크인 SAM-MI를 제안합니다. 이 아키텍처는 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 텍스트 가이드 희소 포인트 프롬프터 (Text-guided Sparse Point Prompter, TSPP)

밀집된 그리드 프롬프트의 계산 비효율성을 해결하기 위해 SAM-MI는 TSPP를 도입합니다.

• 메커리즘: 격자 전체에서 균일하게 포인트를 샘플링하는 대신, TSPP는 VLM(CLIP)에 의해 생성된 조밀도가 낮은(coarse-grained) 픽셀-텍스트 비용 맵으로부터 유도된 텍스트 특화 샘플링 확률을 학습합니다.
• 훈련: 타겟 확률은 그라운드 트루스 마스크를 기반으로 생성되며, 마스크 스켈레톤 근처(가우시안 방사형 감쇠) 및 더 큰 마스크에 대해 더 높은 확률을 갖는다고 가정합니다.
• 결과: TSPP는 희소한 포인트 프롬프트를 생성하여, 커버리지를 유지하면서도 SAM이 마스크 제안을 생성하는 데 필요한 포인트 수를 크게 줄입니다.

2. 얕은 마스크 집합 (Shallow Mask Aggregation, SMAgg)

SAM의 과잉 분할 경향을 완화하기 위해, SMAgg는 파편화된 마스크를 재조합합니다.

• 메커즘: VLM의 비용 맵에서 유도된 조밀도가 낮은 텍스트 관련 마스크를 가이드로 활용합니다. SAM이 생성한 마스크 제안과 이러한 텍스트 가이드 마스크 간의 매칭 점수를 계산합니다.
• 프로세스: 매칭 점수가 임계값을 초과하는 마스크들은 하나의 클래스당 하나의 마스크로 형성되도록 집합(union)됩니다. 집합에 참여하지 않는 마스크들은 개별적으로 취급됩니다.
• 목표: 이를 통해 SAM의 경계 민감도로 인해 발생하는 관심 외 패치들을 병합함으로써 마스크 중복을 줄입니다.

3. 분리된 마스크 주입 (Decoupled Mask Injection, DMI)

마스크와 레이블의 "경직된 결합"을 피하기 위해, DMI는 SAM 생성 마스크를 고정된 할당이 아닌 가이드로서 주입합니다.

• 저주파 주입(Low-frequency Injection): 저해상도 특징 맵에서 작동합니다. 마스크 풀링(mask pooling)을 통한 **마스크 내부 컨텍스트(intra-mask context)**와 크로스 어텐션(cross-attention)을 통한 **마스크 간 컨텍스트(inter-mask context)**를 모델링하여 픽셀-텍스트 비용 맵의 전역적 컨텍스트 정보를 정교화합니다.
• 고주파 주입(High-frequency Injection): 고해상도 특징 맵에서 작동합니다. 마스크로부터 고주파 표현을 추출하여 로컬 엣지 디테일과 미세한 구조를 강화합니다.
• 이점: 이 분리된 접근 방식은 모델이 비용 맵을 정교화함으로써 부정확하거나 품질이 낮은 마스크를 수정할 수 있게 하여, 마스크를 그라운드 트루스로 강제 수용해야 하는 상황을 방지합니다.

훈련 파이프라인

프레임워크는 2단계 훈련 전략을 채택합니다.

1. 1단계: 나머지 모델은 동결한 상태에서 교차 엔트로피(cross-entropy)와 평균 제곱 오차(MSE) 손실을 조합하여 TSPP 파라미터만을 훈련합니다.
2. 2단계: 통합 과정을 미세 조정하기 위해 TSPP에 대해 감소된 학습률을 사용하여 전체 SAM-MI 모델을 훈련합니다.

주요 기여

1. 새로운 프레임워크: SAM의 보편적 세그멘테이션 능력을 OVSS 모델에 효과적으로 부여하는 마스크 주입 패러다임인 SAM-MI를 도입했습니다.
2. 얕은 마스크 집합 (SMAgg): 조밀도가 낮은 비용 맵을 활용하여 중복되는 과잉 분할 마스크를 병합함으로써 SAM의 과잉 분할 문제를 해결합니다.
3. 분리된 마스크 주입 (DMI): 저주파(전역 컨텍스트) 및 고주파(로컬 디테일) 가이드를 별도로 주입하는 메커니즘을 통해, 경직된 마스크-레이블 연관을 피하고 마스크 오류에 대한 강건성을 향상시킵니다.
4. 텍스트 가이드 희소 포인트 프롬프터 (TSPP): 밀집된 그리드 프롬프트를 학습 가능한 희소 프롬프트로 대체하여 계산 오버헤드를 획기적으로 줄였습니다.

실험 결과

ADE20K-847, PC-459, ADE20K-150 및 멀티 도메인 MESS 벤치마크를 포함한 다양한 벤치마크에서 광범위한 실험이 수행되었습니다.

• 성능 향상:
  • MESS 벤치마크에서 SAM-MI는 Grounded-SAM 대비 mIoU 측면에서 16.7%의 상대적 개선을 달성했으며, 추론 속도는 1.6배 빨라졌습니다.
  • 표준 OVSS 벤치마크(ViT-B/16 사용 시)에서 SAM-MI는 강력한 베이스라인인 CAT-Seg을 상회하며 각각 4.2%(A-847), 4.2%(PC-459), 3.5%(A-150)의 상대적 개선을 보였습니다.
  • MESS의 지구 모니터링(Earth Monitoring) 도메인에서 SAM-MI는 Grounded-SAM 대비 45.0%의 상대적 개선을 보여주었습니다.
• 효율성:
  • TSPP는 ADE20K-150 검증 세트에서 밀집 그리드 샘플링 대비 포인트 프롬프트 수를 96.0% 감소시켰습니다.
  • 이러한 감소는 균일 그리드 샘플링과 비교했을 때 A-150 및 PC-59에서 6배의 추론 지연 시간 단축으로 이어졌습니다.
• 절제 연구(Ablation Studies): SMAgg 또는 DMI를 제거하면 성능이 크게 하락하여(예: SMAgg가 없을 시 A-150에서 2.2 mIoU 하락), 과잉 분할 및 경직된 결합 문제를 해결하는 것의 필요성을 확인했습니다.

의의 및 주장

본 논문은 SAM-MI가 SAM을 OVSS에 통합하는 실용적이고 우수한 방법론을 제공한다고 주장합니다. SAM 생성 마스크를 고정된 제약 조건이 아닌 가이드로 취급함으로써, 이 프레임워크는 SAM의 내재적 한계(과잉 분할)와 이전의 통합 전략(경직된 결합)을 극 정도로 극복합니다. 저자들은 이 접근 방식이 다양한 도메인에서 정확도를 향상시킬 뿐만 아니라, 희소 프롬프팅을 통해 추론 과정을 크게 가속화한다는 점을 강조합니다.

또한 저자들은 현재의 OVSS 벤치마크가 불완전한 주석과 미흡하게 모델링된 클래스 계층 구조로 인해 평가에 영향을 받을 수 있다는 점을 언급하며 겸허히 한계를 인정했습니다. 이들은 매우 작거나 좁은 객체를 분할하거나 극도로 복잡한 배경에서 객체를 분리하는 것을 어려운 과제로 식나하며, 마스크 주입 프레임워크를 인스턴스 또는 파놉틱 세그멘테이션으로 확장하는 것이 유망한 연구 방향임을 시사했습니다.