On Occlusions in Video Action Detection: Benchmark Datasets And Training Recipes

기술 요약: 비디오 행동 탐지에서의 폐쇄(Occlusions)에 관하여: 벤치마크 데이터셋 및 학습 레시피

문제 제기
딥러닝은 비디오 행동 탐지 분야에서 상당한 성공을 거두었으나, 현실적인 폐쇄(occlusion)에 대한 강건성(robustness) 측면에서는 결정적인 격차가 존재한다. 자율 주행과 같은 응용 분야는 행위자(예: 보행자)가 부분적으로 가려진 상황에서도 신뢰할 수 있는 위치 추정(localization)을 필요로 하지만, 기존의 최첨단(SOTA) 모델들은 테스트 분할(test splits)에 현실적인 폐쇄가 결여된 데이터셋에서 평가되는 경향이 있다. 본 연구의 예비 실험은 현재의 모델들이 폐쇄물이 도입되었을 때 성능이 크게 저하(20~50%)됨을 보여주며, 이는 기존 방식들이 다양한 수준과 유형의 폐쇄에 대해 내재된 강건성이 부족함을 입증한다. 나아가, 이러한 실패를 체계적으로 연구하기 위한 표준화된 벤치마크도 부재한 실정이다.

방법론 및 벤치마크 구축
이를 해결하기 위해, 저자들은 시공간적 비디오 행동 탐지를 평가하기 위해 설계된 포괄적인 벤치마크 연구와 5개의 새로운 데이터셋을 소개한다:

1. 합성 정적/동적 데이터셋: O-UCF와 O-JHMDB는 원래의 UCF24 및 JHMDB 비디오 위에 폐쇄물(Pascal-VOC에서 선택됨)을 중첩시켜 생성되었다. 이를 통해 폐쇄의 심각도(0~60% 면적 점유)와 유형(정적 vs. 선형, 원형, 줌과 같은 동적 움직임)을 통제된 방식으로 조작할 수 있다.
2. 반-현실적(Semi-Realistic) 데이터셋: OVIS-UCF와 OVIS-JHMDB는 OVIS 데이터셋에서 유도된 현실적인 움직임 궤적을 가진 폐쇄물을 원래의 행동 비디오 위에 중첩하여 사용한다.
3. 실제 환경(Real-World) 데이터셋: Real-OUCF는 행위자 간의 자연스러운 상호 폐쇄(mutual occlusions)를 포함하는, 정밀한 행동 위치 추정을 위해 수동으로 정제된 1,743개의 유튜브 클립으로 구성된다.

본 연구는 세 가지 SOTA 베이스라인인 MOC, YOWO, VideoCapsuleNet (VCAPS)을 평가하며, 다양한 백본(CNN 계열인 ResNet/ResNext 및 Transformer 계열인 MViTv2)을 통해 테스트한다. 주요 지표는 0.5 IoU에서의 vMAP(비디오 평균 정밀도)이며, 절대적($\delta_a$) 및 상대적($\delta_r$) 강건성 점수를 함께 측정한다.

주요 결과 및 분석
벤치마킹을 통해 다음과 같은 몇 가지 핵심적인 통찰을 얻었다:

• 심각도 및 위치: 폐쇄가 행위자 영역에서 발생할수록 성능이 저하되는 반면, 배경에서 발생하는 폐쇄의 심각도가 증가하는 것은 성능에 미치는 영향이 미미했다.
• 정적 vs. 동적: 모델들은 일반적으로 폐쇄물과 행위자가 모두 움직이는 동적 폐쇄보다 정적 폐쇄에서 더 나은 성능을 보인다.
• 아키텍처 및 사전 학습: Transformer 기반 모델(특히 MViTv2)은 CNN 기반 모델보다 우수한 성능을 보였으며, 이는 CNN을 폐쇄 데이터 증강(augmentation)과 함께 학습시킨 경우에도 마찬가지였다. 그러나 이러한 우월성은 대규모 사전 학습(예: Kinetics-400)에 크게 의존하며, 처음부터 학습된 Transformer는 성능이 저조했다.
• 파라미터 수: 동일한 모델 제품군 내에서 파라미터 크기를 늘리는 것은 일반적으로 강건성을 향상시키지만, 효율적인 Transformer가 더 큰 규모의 CNN보다 뛰어난 성능을 낼 수 있다.

제안된 솔루션 및 학습 레시피
본 논문은 폐쇄 강건성을 높이기 위한 구체적인 아키텍처 및 학습 전략을 제안한다:

1. 폐쇄 증강(Occlusion Augmentation): 합성 폐쇄를 통한 학습은 모든 모델의 강건성을 개선하지만, 그 이득은 Transformer 백본과 결합했을 때 가장 극대화된다.
2. 캡슐 통합(Capsule Integration): Transformer 백본에 캡슐 레이어를 추가하면(VCAPS-Mvitv2), 네트워크가 객체 특유의 픽셀을 특정 슬롯(slot)에 바인딩(bind)할 수 있게 된다. 질적 분석 결과, 이 캡슐들은 명시적인 지도 학습 없이도 보이지 않는 폐쇄물(예: 의자, 소파)로부터 행위자를 효과적으로 분리해내는 '비지도 객체 발견(unsupervised object discovery)'을 수행함을 보여준다.
3. 토큰 마스킹(Token Masking): 마스크드 이미지 모델링(masked image modeling)에서 영감을 받아, 학습 중 입력 토큰을 무작위로 마스킹하는 방식을 제안한다. 이는 모델이 부분적인 정보로부터 강건한 표현을 학습하도록 강제한다. 이 기술은 성능을 더욱 끌어올려, 모델이 폐쇄 상황에서도 깨끗한 데이터(clean data) 수준의 성능에 도달할 수 있게 한다.
4. 발현적 "합의의 섬(Islands of Agreement)": 본 연구는 인스턴스 수준의 지도 학습이나 대조 학습(contrastive objectives) 없이도, Transformer 레이어가 자연스럽게 픽셀을 의미론적 객체로 그룹화하고, 캡슐 레이어가 이를 인스턴스별 슬롯으로 분리한다는 것을 관찰했다. 이러한 발현적 동작은 강건한 위치 추정에 필요한 '바인딩' 메커니즘을 용이하게 한다.

결과
제안된 VCAPS-Mvitv2 모델은 폐쇄 증강과 토큰 마스킹을 사용하여 새로운 벤치마크에서 최첨단(SOTA) 결과를 달성했다:

• O-UCF: 기존 탐지기 대비 32.3% 향상.
• O-JHMDB: 32.7% 향상.
• Real-OUCF: 2.6% 향상.
• Clean 벤치마크: 해당 모델은 표준적인 깨끗한 데이터셋에서도 높은 점수(UCF-24에서 83.1% vMAP, JHMDB-21에서 92.8%)를 기록하여, 강건성이 깨끗한 데이터에서의 성능을 희생시키지 않음을 입증했다.

의의 및 주장
본 논문은 시공간적 행동 탐지에서의 폐쇄에 관한 최초의 체계적인 벤치마크 연구를 제공한다고 주장한다. 그 의의는 다음과 같다:

• 취약성 폭로: 현재의 SOTA 모델들이 현실적인 폐쇄에 강건하지 않음을 공식적으로 확인하였으며, 이는 안전이 중요한 응용 분야에서 결정적인 격차를 드러낸 것이다.
• 새로운 표준 제시: 향후 연구를 촉진하기 위해 5개의 다양한 데이터셋(O-UCF, O-JHMDB, OVIS-UCF, OVIS-JHMDB, Real-OUCF)을 도입하였다.
• 아키텍처적 통찰: Transformer와 기호적 구성 요소(캡슐)를 결합하고 단순한 학습 레시피(토큰 마스킹)를 사용하는 것이 데이터 증강에만 의존하는 모델보다 뛰어난 강건성을 유도할 수 있음을 입증하였다.
• 발현적 속성: 언어나 대조 학습의 명시적 감독 없이도 복잡한 행동(객체와 폐쇄물의 분리)이 신경망에서 자연스럽게 나타날 수 있음을 강조하며, 딥러닝에서 시각적 그룹화 메커니즘이 어떻게 작동하는지에 대한 새로운 관점을 제공한다.

저자들은 본 연구의 접근 방식이 격차를 크게 좁혔으나, 특히 누락된 영역을 예측하는 것(amodal segmentation)과 겹쳐진 객체들 사이의 대칭 문제를 다루는 데 있어 여전히 과제가 남아 있다고 결론지었다. 코드와 데이터셋은 추가적인 발전을 독려하기 위해 공개된다.