Can Unsupervised Segmentation Reduce Annotation Costs for Video Semantic Segmentation?

1. 연구 배경 및 문제 정의 (Problem)

• 문제: 비디오 의미 분할 (Video Semantic Segmentation) 은 비디오의 모든 프레임을 픽셀 단위로 분류하는 작업으로, 최상의 성능을 달성하기 위해서는 방대한 양의 세밀한 픽셀 단위 주석 (Fine-grained annotations) 이 필요합니다.
• 비용 장벽: 이러한 세밀한 주석을 수동으로 생성하는 것은 매우 비용이 많이 듭니다 (예: Cityscapes 데이터셋의 경우 이미지당 약 90 분 소요). 반면, 미주석 원본 프레임은 무료로 구할 수 있으며, 거친 주석 (Coarse annotations, 정밀한 경계 불필요) 은 상대적으로 저렴합니다 (이미지당 약 7 분 소요).
• 기존 한계: 대부분의 딥러닝 모델은 오직 세밀하게 주석된 프레임만 학습에 사용하며, 값싼 거친 주석이나 미주석 프레임을 활용하여 데이터 효율성을 높이는 연구는 부족했습니다.
• 목표: Foundation Model(기초 모델) 인 Segment Anything Model (SAM) 과 SAM 2를 활용하여 미주석 프레임의 자동 주석 (Pseudo-labeling) 과 기존 거친 주석의 정제 (Refinement) 를 통해, 수동 주석량을 줄이면서도 동등한 성능을 유지하는 방법을 모색하는 것입니다.

2. 제안된 방법론 (Methodology)

저자는 주석 비용 절감을 위해 두 가지 주요 전략을 제안합니다.

A. 미주석 프레임에 대한 가짜 라벨 (Pseudo-label) 생성 (SAM 2 활용)

• 원리: 비디오 클립 내에서 수동으로 주석된 프레임 (예: Cityscapes 의 20 번째 프레임) 을 초기 마스크로 설정합니다.
• 프로세스:
  1. SAM 2를 사용하여 미래 프레임 (Forward tracking) 과 과거 프레임 (Reverse tracking) 으로 마스크를 추적 및 생성합니다.
  2. 생성된 가짜 라벨을 학습 데이터에 추가하여 모델 훈련에 활용합니다.
• 핵심 발견: 모든 프레임을 가짜 라벨로 채우는 것보다, 시간적으로 멀리 떨어진 프레임 (예: 10 번째와 30 번째) 을 선택하여 데이터의 다양성 (Diversity) 을 확보하는 것이 성능에 더 중요합니다.

B. 거친 주석 (Coarse Annotations) 의 정제 (SAM 활용)

• 원리: Cityscapes 등 데이터셋에 포함된 거친 주석을 SAM 을 통해 정밀하게 다듬습니다.
• 프로세스:
  1. 각 인스턴스 마스크 내에서 무작위 두 점을 선택합니다.
  2. SAM 에게 해당 점들을 기반으로 마스크를 생성하도록 요청합니다.
  3. 2 회 반복하여 마스크를 정제합니다.
• 적용 범위: 'pole', 'traffic light', 'car', 'person' 등 인스턴스 수준으로 정의된 클래스에 대해서만 정제를 수행합니다. (도로, 하늘, 건물 등 배경 클래스는 이미 충분히 주석되어 있거나 경계가 모호하여 정제하지 않습니다.)

3. 실험 설정 (Experiments)

• 데이터셋: Cityscapes (세밀 및 거친 주석 모두 보유) 와 IDD (미주석 프레임 풍부).
• 모델: 비디오 분할 모델인 TMANet과 TDNet을 사용하여 검증했습니다.
• 비교 기준: 수동 주석 데이터 100% 사용 (N1) 을 기준으로, SAM/SAM 2 를 활용한 데이터 혼합 비율을 변경하며 성능 (mIoU) 을 측정했습니다.

4. 주요 결과 (Key Results)

A. 미주석 프레임 활용 (Unannotated Frames)

• 성능 유지: 수동 주석 데이터를 1/3 만 사용하고, 나머지 2/3 를 SAM 2 로 생성된 가짜 라벨 (10 번째 및 30 번째 프레임) 로 대체했을 때, 성능 저하가 거의 없었습니다.
  • Cityscapes (TMANet): 수동 100% 사용 시 mIoU 75.65 vs 수동 33% + 자동 67% 사용 시 mIoU 74.48.
• 다양성의 중요성: 연속된 프레임 (예: 10~20 프레임) 을 모두 사용하는 것보다, 시간적으로 멀리 떨어진 프레임을 선택하여 데이터 다양성을 확보하는 것이 성능에 훨씬 유리했습니다. 연속된 프레임을 사용하면 성능이 급격히 떨어졌습니다.
• 결론: 수동 주석량을 3 분의 1 로 줄여도 유사한 성능을 달성할 수 있습니다.

B. 거친 주석 정제 (Coarse Annotations)

• 정제 효과: SAM 으로 정제된 거친 주석을 사용하면, 정제되지 않은 거친 주석을 사용할 때보다 성능이 향상되었습니다.
• 한계: 거친 주석의 비율이 50% 를 초과하면 성능이 급격히 떨어지며, 특히 TDNet 모델에서는 정제된 주석이 오히려 성능을 저하시키는 경우도 있었습니다.
• 통찰: 거친 주석 자체는 비용 절감에 도움이 되지만, 미주석 프레임을 SAM 2 로 자동 주석하는 방식이 비용 대비 성능 면에서 더 효과적인 것으로 나타났습니다.

5. 주요 기여 (Contributions)

1. 주석 비용 절감: SAM 과 SAM 2 를 활용하여 비디오 분할 데이터셋의 수동 주석 필요량을 약 3 분의 1 로 줄일 수 있음을 입증했습니다.
2. 데이터 다양성의 중요성 강조: 단순히 주석된 프레임의 수를 늘리는 것보다, 프레임 간의 다양성 (Temporal Diversity) 을 확보하는 것이 비디오 분할 모델 학습에 더 중요함을 실험을 통해 규명했습니다.
3. 자동 주석 및 정제 가능성: 미주석 프레임에 대한 자동 주석과 거친 주석의 정제가 모두 가능하지만, 전자가 더 효율적인 전략임을 제시했습니다.
4. 실패 사례 분석: 연속된 프레임 사용, 모든 클래스에 대한 무분별한 정제 시도 등 실패한 접근 방식을 분석하여 향후 연구 방향을 제시했습니다.

6. 의의 및 결론 (Significance & Conclusion)

이 논문은 비디오 의미 분할 분야에서 데이터 효율성 (Data Efficiency) 을 극대화할 수 있는 실용적인 방법을 제시합니다. Foundation Model 인 SAM/SAM 2 를 '블랙박스' 형태로 활용하여, 고비용인 수동 주석 작업을 대폭 줄이면서도 모델 성능을 유지할 수 있음을 증명했습니다.

• 실무적 시사점: 연구자나 실무자는 모든 프레임을 세밀하게 주석하는 대신, 시간적으로 간격을 둔 일부 프레임만 수동으로 주석하고, 나머지 프레임은 SAM 2 를 통해 자동 생성된 라벨로 학습하는 전략을 채택할 것을 권장합니다.
• 미래 방향: 더 나은 다양성 측정 지표 개발, 다른 분할 모델의 자동 주석 성능 비교, 그리고 반복적 훈련 (Iterative training) 절차의 개선 등이 향후 연구 과제로 제시되었습니다.

요약하자면, 이 연구는 고비용의 수동 주석을 줄이기 위해 최신 기초 모델 (SAM 2) 을 활용하는 것이 가능하며, 특히 데이터의 '양'보다 '다양성'이 성능에 더 결정적임을 보여준 중요한 작업입니다.