Video Patch Pruning: Efficient Video Instance Segmentation via Early Token Reduction

1. 연구 배경 및 문제 정의 (Problem)

• 비디오 인스턴스 분할 (VIS) 의 계산 비용: 비디오 인스턴스 분할 (VID) 은 객체 탐지, 분할, 추적을 동시에 수행해야 하는 복잡한 작업으로, 특히 엣지 디바이스 배포를 위해 저지연 (low-latency) 이 요구됩니다.
• ViT 의 비효율성: 비전 트랜스포머 (ViT) 는 뛰어난 성능을 보이지만, 자기 주의 (Self-Attention) 메커니즘이 패치 (patch) 수에 대해 이차적으로 스케일링되어 메모리 및 연산 비용이 매우 높습니다.
• 기존 패치 가지치기 (Patch Pruning) 의 한계:
  • 기존 방법들 (DynamicViT, SViT 등) 은 주로 이미지 기반으로 작동하며, 각 프레임을 독립적으로 처리합니다.
  • 가장 큰 문제는 후기 레이어 (deeper layers) 에서만 가지치기를 수행한다는 점입니다. 초기 레이어의 특징은 여전히 밀집 (dense) 되어 있어 전체적인 효율성 향상에 한계가 있습니다.
  • 초기 레이어 가지치기의 실패 원인: 논문의 분석에 따르면, 초기 ViT 레이어 (0~3 번 블록) 는 '전경 선택성 (Foreground Selectivity)'이 매우 낮습니다. 즉, 객체와 배경을 명확히 구분하지 못해 초기 단계에서 임의의 패치를 제거하면 중요한 객체 정보가 손실됩니다.

2. 제안 방법: 비디오 패치 가지치기 (VPP)

저자는 이러한 한계를 극복하기 위해 **비디오 컨텍스트 (Video Context)**를 활용한 비디오 패치 가지치기 (Video Patch Pruning, VPP) 프레임워크를 제안합니다.

핵심 아이디어

• 초기 레이어 가지치기 가능: 이전 프레임의 고수준 특징 (high-level features) 을 활용하여 현재 프레임의 초기 단계에서도 전경 (foreground) 과 배경을 정확히 구분하고, 불필요한 배경 패치를 제거합니다.
• 전경 선택성 (Foreground Selectivity) 활용: 깊은 레이어에서 추출된 전경 선택성이 높은 특징을 이전 프레임에서 현재 프레임으로 매핑 (Mapping) 하여 초기 단계의 가지치기를 유도합니다.

주요 구성 요소

1. 매핑 - 선택 모듈 (Mapping-Selective Module, Map-SM):

   • 역할: 이전 프레임 ($t-1$) 의 깊은 레이어 (Layer 6) 특징을 현재 프레임 ($t$) 의 초기 레이어 (Layer 1) 특징에 매핑합니다.
   • 동작 원리:
     • 현재 프레임의 특징 ($x^t_1$) 과 이전 프레임의 가지치기된 특징 ($x^{t-1}_6 \odot M^{t-1}_6$) 간의 유사도 점수를 계산합니다.
     • Gumbel-Softmax를 사용하여 이산적인 가지치기 마스크를 미분 가능하게 (differentiable) 만듭니다.
     • 배경 희소 활성화: 새로운 객체 출현을 감지하기 위해 배경 패치도 Gumbel 노이즈를 통해 희소하게 활성화시킵니다.
   • 효과: 객체의 운동 (Motion) 을 보상하고, 초기 레이어에서도 전경 패치를 정확히 유지하면서 배경을 제거합니다.

2. 다단계 가지치기 전략:

   • Layer 1: Map-SM 을 통해 약 40% 의 패치를 제거 (초기 가지치기).
   • Layer 3, 6, 9: 기존 선택 모듈 (SM) 을 사용하여 추가적인 가지치기 수행.
   • 동적 마스크 스케일링: 객체 크기에 따라 가지치기 마스크 크기를 동적으로 조절하여 작은 객체는 밀도를 높이고 큰 객체는 밀도를 낮춥니다.

3. 희소화 손실 (Sparsification Loss):

   • 가지치기 비율을 제어하기 위해 평균 밀도 제약 조건을 가진 손실 함수를 사용하여 정규화합니다.

3. 주요 기여 (Key Contributions)

1. 초기 레이어 가지치기 가능: 비디오 컨텍스트를 활용하여 기존 이미지 기반 방법들이 불가능했던 초기 ViT 레이어에서의 효율적인 가지치기를 실현했습니다.
2. 전경 선택성 분석: 초기 레이어는 전경 식별 능력이 부족하여 이미지 기반 가지치기가 실패함을 분석적으로 증명하고, 이를 해결하기 위해 Map-SM 을 도입했습니다.
3. 높은 희소성 달성: 기존 방법들이 평균 30% 정도의 가지치기만 가능했던 반면, VPP 는 최대 60% 의 패치 감소를 달성하면서도 성능 저하를 최소화했습니다.
4. 클래스 토큰 불필요: 분류 토큰 (classification token) 에 의존하지 않고 공간 특징 (spatial features) 을 직접 최적화하여 밀집 예측 (dense prediction) 작업에 적합합니다.

4. 실험 결과 (Results)

• 데이터셋: Youtube-VIS 2019 및 2021.
• 성능 (Average Precision, AP):
  • 55% PKR (Patch Keep Ratio) 조건: VPP 는 ViT-Small 모델에서 기존 SOTA 방법 (SViT 등) 대비 0.6% 이내의 성능 저하만 보이며, 오히려 ViT-Tiny 모델에서는 밀집 모델보다 0.1% 높은 AP를 기록했습니다.
  • 40% PKR 조건: 패치 사용량을 40% 로 줄여도 SViT 대비 훨씬 낮은 성능 저하 (1.9% vs 8.4% 등) 를 보였습니다.
• 전경 유지율 (Intersection over Instance, IoI):
  • 55% PKR 조건에서 VPP 는 전경 패치의 **82.3%**를 유지하는 반면, SViT 는 73.7% 에 그쳤습니다 (약 8.6% 향상).
  • 특히 작은 객체 (Small instances) 에 대한 전경 유지율이 매우 높았습니다.
• 계산 효율성:
  • FLOPs: 88.0 G에서 59.9 G로 감소 (약 32% 절감).
  • 처리 속도 (FPS): ViT-Adapter 백본 기준 17.1 FPS → 25.9 FPS로 증가. 전체 모델 기준 6.58 FPS → 8.13 FPS로 증가.
• 동적 적응성: 장면 전환 (Scene Switch) 발생 시, VPP 는 1 프레임 (timestep) 만으로 전경 마스크를 재설정하여 빠르게 적응하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

• 효율성과 성능의 균형: VPP 는 비디오 인스턴스 분할 작업에서 초기 단계 가지치기를 가능하게 함으로써, 기존 이미지 기반 방법들의 효율성 한계를 돌파했습니다.
• 실용성: 엣지 디바이스 배포에 필수적인 저지연 및 저전력 요구사항을 충족시키면서도, 높은 분할 정확도를 유지합니다.
• 미래 지향성: 비디오 데이터의 시간적 상관관계를 활용한 가지치기 기법은 비단 VIS 뿐만 아니라 다른 비디오 이해 작업에도 적용 가능한 중요한 패러다임 전환을 제시합니다.

요약하자면, 이 논문은 이전 프레임의 정보를 활용하여 초기 ViT 레이어에서도 정교하게 패치를 제거하는 VPP를 제안함으로써, 비디오 인스턴스 분할의 계산 비용을 획기적으로 줄이면서도 성능을 유지하거나 오히려 향상시킨 획기적인 연구입니다.