Semantic-Fast-SAM: Efficient Semantic Segmenter

논문 요약: Semantic-Fast-SAM (SFS)

1. 문제 제기 (Problem)

• 기존 SAM 의 한계: 'Segment Anything Model (SAM)'은 클래스 무관한 객체 분할 (class-agnostic segmentation) 에서 뛰어난 제로샷 (zero-shot) 성능을 보이지만, 생성된 마스크에 의미 있는 카테고리 라벨을 부여하지 않습니다. 또한, 비전 트랜스포머 (ViT-H) 기반의 무거운 아키텍처로 인해 추론 속도가 느리고 (이미지당 1~2 초), GPU 메모리 사용량이 많아 실시간 응용 (자율주행, 로봇 등) 에 적합하지 않습니다.
• 기존 SSA 의 비효율성: SAM 에 의미 라벨링을 추가한 'Semantic-Segment-Anything (SSA)'는 SAM 의 마스크에 외부 분류기 (OneFormer, CLIP, BLIP 등) 를 결합하여 의미 분할을 가능하게 했습니다. 그러나 이는 SAM 의 느린 마스크 생성과 여러 대형 모델의 연동을 필요로 하여 추론 지연 시간과 메모리 부하가 극심하다는 치명적인 단점이 있습니다.
• 목표: SAM 기반의 광범위한 분할 능력과 실시간 성능을 모두 달성하면서, 의미 라벨링이 포함된 분할을 수행할 수 있는 효율적인 프레임워크의 필요성이 대두되었습니다.

2. 방법론 (Methodology)

저자들은 **Semantic-Fast-SAM (SFS)**이라는 새로운 프레임워크를 제안했습니다. 이는 두 가지 주요 단계로 구성된 2 단계 아키텍처입니다.

• 1 단계: 빠른 마스크 생성 (Fast Mask Generation)

  • SAM 대신 경량화된 CNN 기반 모델인 FastSAM을 사용합니다.
  • FastSAM 은 YOLOv8-seg 아키텍처를 기반으로 하며, SA-1B 데이터셋의 작은 부분만 학습하여 SAM 과 유사한 마스크 품질을 유지하면서 추론 속도를 약 50 배 이상 향상시킵니다.
  • 이 단계에서는 이미지 내의 모든 객체를 포괄하는 클래스 무관한 마스크 집합을 생성합니다.

• 2 단계: 의미 라벨링 (Semantic Labeling)

  • SSA 에서 영감을 받은 멀티 브랜치 (Multi-branch) 전략을 적용하여 각 마스크에 카테고리 라벨을 할당합니다.
  • Closed-Set Branch (폐쇄형 분할): COCO 또는 ADE20K 데이터셋으로 학습된 사전 학습된 분할 모델 (예: OneFormer) 을 사용하여 마스크 영역에 대한 클래스 라벨을 예측합니다.
  • Open-Vocabulary Branch (개방형 어휘): 새로운 객체나 모호한 라벨을 처리하기 위해 BLIP(이미지 캡셔닝) 와 CLIP(이미지 - 텍스트 임베딩 유사도) 을 활용합니다. 마스크 영역의 텍스트 설명을 생성하고, 이를 CLIP 을 통해 분류 가능한 라벨로 매핑합니다.
  • 퓨전 (Fusion): 두 브랜치의 예측 결과를 결합하여 최종 라벨을 결정합니다. 폐쇄형 라벨이 신뢰할 수 있으면 이를 우선시하고, 그렇지 않거나 새로운 클래스가 감지되면 개방형 어휘 라벨을 할당합니다.

• 핵심 특징: 전체 파이프라인은 추론 시 (Inference-time) 에만 구성되며, 마스크 생성기 (FastSAM) 나 의미 헤드를 추가적으로 미세 조정 (Fine-tuning) 하지 않습니다.

3. 주요 기여 (Key Contributions)

1. 효율적인 2 단계 아키텍처 설계: FastSAM 을 마스크 생성기로 사용하고, SSA 스타일의 멀티 브랜치 헤드를 결합하여 폐쇄형 및 개방형 어휘 라벨링을 동시에 수행하는 프레임워크를 제안했습니다.
2. 추론 파이프라인 최적화: 마스크 수 제한 전략과 경량 백본 사용을 통해 속도와 메모리 사용을 극대화했습니다.
3. 성능과 속도의 균형 달성: SAM 기반 SSA 와 유사한 분할 정확도를 유지하면서 추론 지연 시간과 GPU 메모리 사용량을 획기적으로 줄였습니다.
4. 광범위한 평가: Cityscapes, ADE20K 와 같은 폐쇄형 벤치마크뿐만 아니라, CLIP 기반의 개방형 어휘 분할 성능까지 평가하여 최신 오픈 보카뷸러리 모델들과의 비교를 수행했습니다.

4. 실험 결과 (Results)

• 추론 속도 (Inference Speed):
  • 폐쇄형 (Closed-set) 설정: SFS 는 이미지당 약 0.08 초로, 기존 SSA(1.65 초) 대비 약 20 배 이상 빠릅니다.
  • 개방형 (Open-vocabulary) 설정: BLIP/CLIP 연산이 포함된 경우에도 SFS 는 10.24 초로, SSA(35.33 초) 보다 약 3.5 배 빠릅니다.
• 메모리 사용량 (Memory Usage):
  • SFS 는 약 4.5 GB의 GPU 메모리만 소모하는 반면, SAM 기반 SSA 는 약 19 GB가 필요합니다. 이는 고사양 GPU 가 없는 엣지 디바이스에서도 실행 가능함을 의미합니다.
• 분할 정확도 (Accuracy):
  • Cityscapes: mIoU 70.33% (SSA: 71.40% 와 유사).
  • ADE20K: mIoU 48.01% (SSA: 48.94% 와 유사).
  • SAM 을 FastSAM 으로 교체해도 분할 정확도는 거의 저하되지 않았습니다.
• 오픈 보카뷸러리 성능: ADE20K 에서 제로샷 mIoU 53.7% 를 기록하여 CLIPSeg, GroupViT, MaskCLIP 등 다른 오픈 보카뷸러리 모델들보다 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 실시간 적용 가능성: SFS 는 'Segment Anything'의 광범위한 분할 능력을 유지하면서도 로봇, 자율주행, 실시간 영상 처리와 같은 리소스 제약이 있는 환경에서 실용적으로 사용할 수 있는 첫 번째 솔루션 중 하나입니다.
• 효율적인 기초 모델의 실현: 무거운 트랜스포머 기반 모델 대신 경량 CNN 과 지능적인 의미 라벨링 파이프라인을 결합함으로써, 정확도와 속도의 트레이드오프를 효과적으로 해결했습니다.
• 향후 전망: BLIP 을 더 가벼운 모델로 대체하거나, 특징 공유 (Feature sharing) 기법을 도입하면 폐쇄형 설정에서 20 FPS 이상의 실시간 성능을 달성할 수 있을 것으로 기대됩니다.

이 논문은 foundation segmentation 모델의 적용 범위를 넓히고, 효율적인 실시간 의미 분할 시스템의 새로운 기준을 제시했다는 점에서 의의가 큽니다.