[기술 요약] 식품 세그멘테이션의 Image-to-Video 도메인 시프트 이해: 사과를 중심으로 한 인스턴스 수준 분석

1. 문제 정의 (Problem Statement)

현재 식품 세그멘테이션(Food Segmentation) 모델들은 주로 정지된 이미지 데이터셋(FoodSeg103, UECFoodPix 등)을 통해 학습되며, 벤치마크 성능(mIoU 등)은 매우 높게 나타납니다. 하지만 실제 응용 분야(식단 모니터링, 자동 식품 처리 등)는 비디오 스트림을 기반으로 작동합니다.

본 논문은 다음과 같은 핵심 문제점을 지적합니다:

• 도메인 시프트(Domain Shift): 이미지로 학습된 모델을 비디오에 적용할 때, 프레임 간의 연속성이 결여되어 성능이 급격히 저하되는 현상이 발생합니다.
• 평가 지표의 한계: 기존의 프레임 단위(Frame-wise) mIoU 지표는 픽셀의 정확도만 측정할 뿐, 비디오에서 필수적인 **시간적 일관성(Temporal Consistency)**과 인스턴스 정체성(Instance Identity) 유지 능력을 평가하지 못합니다. 이로 인해 실제 비디오 환경에서의 성능이 과대평가되는 경향이 있습니다.

2. 연구 방법론 (Methodology)

연구진은 비디오 식품 세그멘테이션 문제를 '인스턴스 세그멘테이션 및 트래킹(Instance Segmentation and Tracking)' 문제로 재정의하여 분석했습니다.

• 분석 프레임워크 (Tracking-by-Matching): 별도의 비디오 주석(Annotation) 없이도 모델의 성능을 측정하기 위해, 연속된 프레임 간의 인스턴스 마스크를 공간적 중첩도(IoU)와 외형 유사성을 기반으로 매칭하는 방식을 사용했습니다.
• 실험 대상: 시각적 모호성과 카운팅 작업의 중요성을 고려하여 **'사과(Apples)'**를 대표 카테고리로 선정했습니다.
• 모델 구성: 다양한 아키텍처의 공정성을 위해 세 가지 모델군을 비교했습니다.
  1. CNN 기반: ResNet 기반 모델
  2. Transformer 기반: SegFormer 스타일 모델
  3. Foundation 모델 기반: 사전 학습된 강력한 인코더를 사용하는 모델
• 실패 모드 분석: 비디오 환경에서 발생하는 세 가지 주요 실패 유형을 정의했습니다.
  1. Mask Flickering: 마스크 경계가 프레임마다 심하게 흔들리는 현상
  2. Identity Fragmentation: 하나의 물체가 여러 개의 ID로 쪼개지는 현상
  3. Identity Switching: 서로 다른 물체 간에 ID가 뒤바뀌는 현상
• 해결 방안 탐색: 비디오 감독(Video Supervision) 없이 적용 가능한 사후 시간적 정규화(Post-hoc Temporal Regularization) 및 **자기지도 학습 기반 시간적 일관성 목적 함수(Self-supervised Temporal Consistency Objectives)**를 실험했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

주요 결과

1. 지표 간의 괴리 확인: 모든 모델이 이미지 테스트셋에서는 높은 mIoU를 기록했으나, 비디오 환경에서는 높은 프레임 mIoU에도 불구하고 **ID Switch(ID 교체)**와 Track Fragmentation(트랙 파편화) 수치가 매우 높게 나타났습니다.
2. 카운팅 오류 발생: 시간적 불안정성으로 인해 하나의 사과를 여러 개로 인식하는 과다 계수(Over-counting) 문제가 발생했습니다. (예: 실제 12개인 사과를 모델은 15~18개로 예측)
3. 모델 구조와 안정성의 비상관성: 이미지 성능(mIoU)이 높다고 해서 반드시 비디오에서의 시간적 안정성이 보장되는 것은 아니라는 점을 입증했습니다.
4. 제한적 개선 효과: 제안된 시간적 일관성 기법들이 ID 교체와 파편화를 줄이는 데 도움을 주었으나, 이미지 중심의 학습 목표로 인한 근본적인 문제를 완전히 해결하기에는 부족했습니다.

핵심 기여

• 평가 격차(Evaluation Gap) 폭로: 기존 이미지 중심의 평가 방식이 비디오 기반 배포 환경에서의 실제 성능을 심각하게 과대평가하고 있음을 체계적으로 증명했습니다.
• 실패 원인 규명: 비디오 성능 저하의 원인이 모델의 용량(Capacity) 부족이 아니라, 시간적 일관성을 무시하는 **이미지 중심의 학습 목적 함수(Image-centric training objectives)**에 있음을 밝혀냈습니다.

4. 연구의 의의 (Significance)

본 연구는 식품 세그멘테이션 연구의 패러다임을 **'정지 이미지의 픽셀 정확도'**에서 **'비디오의 인스턴스 안정성'**으로 전환해야 할 필요성을 강력하게 시사합니다. 향후 신뢰할 수 있는 식품 모니터링 시스템을 구축하기 위해서는 시간적 일관성을 고려한 새로운 학습 프로토콜과 비디오 중심의 평가 벤치마크가 필수적임을 강조하고 있습니다.