기술 요약: SegFS – 이중 경로 처리를 통한 실시간 오픈 보캐블러리 비디오 인스턴스 세그멘테이션

1. 문제 정의

오픈 보캐블러리 비디오 인스턴스 세그멘테이션(Open-Vocabulary Video Instance Segmentation, OV-VIS)은 임의의 텍스트 프롬프트를 기반으로 비디오 프레임 전반에서 객체 인스턴스를 식별, 추적 및 세그멘테이션하는 것을 목표로 한다. 최근의 객체 중심 모델(예: GLEE, MOBIUS)은 높은 정확도를 달yl했으나, 특히 **피처 인핸서(feature enhancer)**와 객체 디코더(object decoder) 구성 요소에서 심각한 계산 오버헤드를 겪고 있다. 이러한 구성 요소들은 추론 비용을 지배하며, 이로 인해 스마트폰과 같은 모바일 하드웨어에서의 실시간 온디바이스 배포가 불가능하다. 모바일 기기를 위해 이러한 모델을 최적화하려는 기존의 시도들은 상당한 정확도 저하 없이 높은 프레임 레이트(예: 30 FPS) 요구 사항을 충족하는 데 여전히 실패하고 있다. 핵심 과제는 복잡한 멀티모달 시맨틱 이해와 시간적 전파(temporal propagation)에 필요한 조밀한 프레임별 마스크 예측을 분리하는 것이다.

2. 방법론: SegFS 프레임워크

저자들은 서로 다른 시간적 빈도로 작동하는 두 개의 별도 경로로 처리를 분리하여 계산 비용을 분담하도록 설계된 이중 스트림 "Fast and Slow" 프레임워크인 SegFS를 제안한다.

이중 경로 아키텍처

• Slow Path (Keyframes): 희소하게 샘플링된 키프레임(예: 매 $T$ 프레임마다)에서만 작동한다. 표준적이고 무거운 객체 중심 OV-VIS 모델(MOBIUS, GLEE 또는 TROY-VIS 등)을 사용하여 완전한 멀티모달 융합 및 객체 디코딩을 수행한다. 이 경로는 텍스트와 정렬된 고품질의 객체 임베딩(object embeddings)(인스로 인스턴스 표현)을 추출한다.
• Fast Path (Inter-frames): 키프레임 사이의 모든 중간 프레임에서 작동한다. 값비싼 피처 인핸서와 객체 디코더를 완전히 우회한다. 대신, slow path로부터 전파된 객체 임베딩을 사용하여 비주얼 백본의 피처 맵을 조건화하는 경량화된 Fast Feature Aggregator에 의존한다.

핵심 메커니즘

1. Fast Feature Space로의 투영: Slow path에 의해 디코딩된 객체 임베딩은 백본의 피처 공간으로 투영된다. 피드포워드 네트워크(FFN)는 텍스트 유사성을 기반으로 상위-$K$개의 임베딩을 선택하고 학습 가능한 배경 토큰을 추가한다.
2. 객체 가이드 모듈(Object Guidance Module): 가장 낮은 해상도의 백본 피처 맵($P_5$)에서 선택된 객체 임베딩이 공간적으로 주입된다. 이는 다음을 통해 이루어진다:
   • 객체 주입(Object Injection): $P_5$의 공간 셀과 객체 토큰 간의 코사인 유사도를 계산하여 객체 인식 피처 맵을 생성한다.
   • 게이트 퓨전(Gated Fusion): 게이팅 메커니즘을 통해 주입된 객체 시맨틱을 원래의 백본 피처와 혼합하여, 인스턴스 시맨틱을 통합하면서도 정밀한 시각적 단서를 보존한다.
3. 점진적 업샘플링(Progressive Upsampling): 풍부해진 $P_5$ 맵은 경량 Depthwise Separable Convolution 블록(DSConvGN)을 사용하여 점진적으로 업샘플링되고 더 높은 해상도의 백본 피처($P_4, P_3, P_2$)와 융합된다.
4. 마스크 예측: 최종 고해상도 피처 맵은 객체 임베딩(커널 역할)과 컨볼루션되어 마스크 로짓(mask logits)을 생성한다.
5. 시간적 연관(Temporal Association): 프레임워크는 표준 "tracking-by-matching" 패러다임(MinVIS)을 채택하여, 명시적인 광학 흐름(optical flow) 추정을 피하고 임베딩의 코사인 유사도를 통해 프레임 간 객체 쿼리를 연관시킨다.

학습 전략

SegFS는 이미지 기반 인스턴스 세그멘테이션 데이터셋(COCO, LVIS, RefCOCO 등)에서 학습되며, 학습 시에는 시간적 연속성을 무시하여 비디오 데이터셋처럼 취급된다.

• 하이브리드 매칭(Hybrid Matching): 학습 중에 slow 네트워크는 이미지를 처리하여 정확한 카테고리 로짓과 바운딩 박스를 생성한다. 이는 ground truth와의 최적의 이분 매칭(Hungarian algorithm)을 설정하는 데 사용된다.
• 감독(Supervision): fast 네트워크는 이 매칭으로부터 파생된 마스크 예측을 사용하여 Mask 및 DICE 손실을 활용해 감독된다. 이를 통해 fast 네트워크는 무거운 slow 네트워크의 구성 요소를 실행하지 않고도 slow 네트워크의 세그멘이션 품질을 재현하도록 학습된다.

3. 주요 기여

• 이중 경로 패러다임 확장: 저자들은 키프레임 기반 접근 방식을 OV-VIS로 확장하여, 백본 피처가 국지화(localization)를 위한 충분한 공간적 세부 정보를 본질적으로 포함하고 있음을 입증했다. 결과적으로, 무거운 피처 인핸서를 희소한 키프레임에만 제한적으로 사용할 수 있어도 상당한 정확도 손실 없이 작동한다.
• 새로운 Fast Feature Aggregator: 인스턴스 임베딩을 백본의 피처 피라미드에 주입하여 최소한의 지연 시간으로 정확한 마스크 생성을 가능하게 하는 경량 모듈을 제출한다.
• 효율성-정확도 트레이드오프: 프레임워크는 시맨틱 이해와 조밀한 예측을 성공적으로 분리하여, 경쟁력 있는 세그멘테이션 성능을 유지하면서 실시간 속도를 달성한다.

4. 실험 결과

저자들은 표준 OV-VIS 벤치마크인 YouTubeVIS19, OVIS, BURST, LV-VIS에서 SegFS를 평가했다.

• 베이스라인 대비 성능:
  • SegFS는 "Reuse Objects" 베이스라인(전체 slow 네트워크를 실행하지만 디코더는 건너뛰는 방식)과 유사한 성능을 보이며, 광학 흐름 기반 전파 방법(RAFT, LiteFlowNet2) 및 듀얼 네트워크 경쟁 모델인 MPVSS를 크게 앞선다.
  • MOBIUS-Mini-M 백본에서 SegFS는 YouTubeVIS19에 대해 41.6의 AP를 달성하였으며, 이는 전체 slow 네트워크의 42.1과 비교해 매우 근소한 차이이면서 지연 시간은 획기적으로 줄인 결과이다.
• 효율성 및 지연 시간:
  • 속도 향상: SegFS는 모바일 지향형 MOBIUS 모델에 비해 최대 14배의 지연 시간 감소를 달성했다.
  • 실시간 능력: Samsung Galaxy S25 Ultra에서 SegFS는 6프레임 간격 기준 약 38 FPS의 평균 FPS를 기록하며 30 FPS 임계값을 통과한 반면, 베이스라인 모델들은 10~16 FPS를 초과하는 데 어려움을 겪었다.
  • 하드웨어: 이 방법은 다양한 모바일 칩(Snapdragon 8 Elite, Gen 5, X2, XR2) 및 GPU(A100, T4)에서 테스트되었으며, 일관되게 우수한 에지(edge) 지연 시간을 보여주었다.
• 절제 연구(Ablation Studies):
  • 전파 간격 ($T$): SegFS는 키프레임 사이의 간격이 증가하더라도(최대 $T=10$) 견고한 성능을 유지하며, 급격히 저하되는 마스크 워핑(mask-warping) 방식보다 우수한 성능을 보인다.
  • 구성 요소 영향: "Object Injection"과 "Attention-based Refinement" 모듈이 fast path와 전체 slow 네트워크 간의 성능 격차를 메우는 데 가장 중요한 구성 요소로 확인되었다.

5. 의의 및 주장

본 논문은 SegFS가 실시간 온디바이스 OV-VIS의 새로운 표준을 세운다고 주장한다. 인스턴스 전파의 계산 부담을 객체 디코딩에서 피처 공간 조건화로 전환함으로써, 프레임워크는 현재 최첨단 모델들의 가장 값비싼 구성 요소들을 효과적으로 우회한다.

저자들은 다음과 같은 점을 강조한다:

1. 제로샷 능력 보존: 기초가 되는 slow 모델의 오픈 보캐블러리 특성을 그대로 유지한다.
2. 모바일 배포 가능: 마스크 품질을 희생하지 않으면서 현대적인 모바일 하드웨어에서 일관되게 >30 FPS를 달축할 수 있는 첫 번째 접근 방식이다.
3. 시맨틱과 기하학의 분리: 인스턴스 임베딩이 비주얼 백본의 피처 공간에 올바르게 투영되는 한, 고수준의 시맨틱 이해를 매 프레임마다 재계산할 필요가 없음을 증명한다.

결론적으로, OV-VIS를 위해 무거운 피처 인핸서는 중간 프레임에서 불필요하며, 백본 피처와 투영된 임베딩의 경량 융합만으로도 고품질의 실시간 세그멘테이션을 수행하기에 충분하다는 것을 보여준다.