Deep kernel video approximation for unsupervised action segmentation

1. 문제 정의 (Problem Statement)

이 논문은 단일 비디오 기반 비지도 행동 분할 (Per-video Unsupervised Action Segmentation) 문제를 다룹니다.

• 배경: 헬스케어 및 보조 생활과 같은 응용 분야에서 개인 정보 보호 문제로 인해 대규모 데이터셋을 저장하거나 학습하는 것이 불가능하거나 허용되지 않는 경우가 많습니다.
• 목표: 대규모 학습 데이터나 주석 (annotation) 없이, 단일 비디오만 입력으로 받아 해당 비디오를 서로 배타적인 행동 (action) 세그먼트로 분할하는 것입니다.
• 기존 방법의 한계: 기존 비지도 방법들은 비디오의 근본적인 분포 (underlying distribution) 와 그 기하학적 구조를 고려하지 않아, 분포 지지 (support) 의 변형에 대해 불안정하고 수렴 거리가 불안정하다는 문제가 있었습니다. 또한, 최적 운송 (Optimal Transport, OT) 기반 방법들은 계산 비용이 높고 최적화가 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 원본 비디오 프레임 분포를 가장 잘 근사하는 소규모 합성 비디오 (Video Approximation) 를 딥 커널 공간 (Deep Kernel Space) 에서 학습하는 새로운 접근법을 제안합니다.

핵심 구성 요소:

1. 비디오 근사 (Video Approximation):

   • $N$개의 실제 프레임 $\{v_i\}$를 $M$개의 합성 프레임 $\{e_{v_m}\}$ ($M \ll N$) 으로 근사합니다.
   • 이 합성 프레임들의 분포 $Q$가 실제 비디오 분포 $P$와 최대한 가깝도록 학습합니다.

2. 거리 측정 지표: 최대 평균 불일치 (MMD, Maximum Mean Discrepancy):

   • 원본 분포와 근사 분포 간의 거리를 측정하기 위해 기하학적 성질을 보존하는 MMD를 사용합니다.
   • 장점: OT 와 달리 계산 효율성이 높고 최적화가 용이하며, 데이터 차원에 의존하지 않아 차원의 저주 (curse of dimensionality) 를 피할 수 있습니다.
   • 학습 방식: $MMD^2(P, Q)$를 최소화하여 합성 프레임을 업데이트합니다.

3. 커널 함수: 무한 신경 접선 커널 (Infinite NTK) 과 가우시안 커널의 결합:

   • NTK (Neural Tangent Kernel): 고정된 커널 (예: 지수족) 은 표현력이 부족하고, 학습 가능한 커널은 자명한 해 (trivial solution) 로 이어질 수 있습니다. 이를 해결하기 위해 무한 NTK를 사용하여 신경망의 표현력과 커널 방법의 비모수적 유연성을 결합합니다.
   • 결합 전략: NTK 는 특성 커널 (characteristic kernel) 이 아니므로, 분포를 완전히 설명하지 못할 수 있습니다. 이를 보완하기 위해 가우시안 커널과 곱셈 형태로 결합합니다 ($k = \alpha \cdot k_{NTK} \cdot k_{Gaussian}$).
   • 최적화: NTK 와 가우시안 커널의 스케일 차이를 맞추기 위해 중앙값 기반 스케일링 인자 $\alpha$를 사용하며, 가우시안 커널의 길이 스케일 $\lambda$는 고정하여 자명한 해를 방지합니다.

4. 행동 분할 (Segmentation):

   • 학습된 합성 프레임 $e_{v_m}$과 실제 프레임 $v_i$ 간의 커널 유사도 (Eq. 6) 를 계산하여, 각 프레임을 가장 유사한 합성 프레임에 할당함으로써 행동 경계를 결정합니다.
   • 시간적 불연속성을 완화하기 위해 입력 비디오 프레임에 가우시안 스무딩을 적용합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: 단일 비디오 기반 비지도 행동 분할을 위해, 기하학적 성질을 보존하는 MMD 를 최적화하여 딥 커널 공간에서 비디오 근사를 학습하는 첫 번째 방법론을 제안했습니다.
2. NTK 기반 커널 설계: 고정된 커널의 표현력 부족과 학습 가능한 커널의 불안정성을 해결하기 위해 무한 NTK 와 가우시안 커널을 결합한 하이브리드 커널을 도입했습니다.
3. 알고리즘적 이점:
   • 행동의 수 (세그먼트 수) 를 미리 알지 못하는 상황에서도 기존 응집형 클러스터링 (agglomerative clustering) 방법보다 더 정확한 F1 점수를 달성합니다.
   • 배치 (batch) 단위로 MMD 를 최적화하여 매우 긴 비디오도 효율적으로 처리할 수 있습니다.
4. 성능 검증: 6 가지 표준 벤치마크 (Breakfast, 50 Salads, YTI 등) 에서 최신 방법론 (TW-FINCH, ABD, ASOT 등) 과 경쟁력 있는 결과를 보여주었습니다.

4. 실험 결과 (Experimental Results)

• 벤치마크 성능: 6 개 데이터셋 (Breakfast, 50 Salads, YTI, Desktop Assembly, Hollywood Extended, MPII Cooking 2) 에서 평가되었습니다.
  • 50 Salads 데이터셋에서는 ASOT 보다 우수한 성능을 보였습니다.
  • YTI 데이터셋에서는 ABD 보다 높은 MoF (Mean Accuracy over Frames) 를 기록했습니다.
  • 전반적으로 TW-FINCH 와 경쟁력 있는 결과를 보였으며, 특히 행동 수가 정확히 알려지지 않은 상황 (Random number of classes) 에서 F1 점수 측면에서 기존 방법 (TW-FINCH) 을 일관되게 능가했습니다.
• 가설 검증 (Synthetic Data):
  • 학습된 비디오 근사가 실제 행동의 경계를 잘 포착하며, 단순한 클러스터 중심 (K-means) 이나 균일 분할보다 더 정확한 정렬을 보여줍니다.
  • 반복되는 행동 (repeated actions) 을 처리하는 데에도 효과적입니다.
• 모델 선택 분석:
  • 커널 선택: 가우시안 커널과 NTK 의 결합 (Gauss×NTK) 이 단일 커널보다 가장 높은 정확도를 보였습니다.
  • 스무딩: 긴 비디오의 경우 시간적 스무딩 (smoothing) 이 MoF 점수에 중요한 영향을 미쳤으며, 데이터셋 길이에 따라 최적의 하이퍼파라미터가 다름을 확인했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 프라이버시 보호: 대규모 데이터 수집 없이 단일 비디오만으로도 효과적인 행동 분할이 가능하여, 의료 및 개인 정보 보호가 중요한 분야에서 실용적입니다.
  • 데이터 분포 기반 접근: 단순한 클러스터링을 넘어 데이터의 근본적인 분포 기하학을 고려하여 더 안정적인 분할을 제공합니다.
  • 유연성: 정해진 행동 수에 구애받지 않고 데이터 분포에 맞춰 세그먼트를 할당할 수 있어, 실제 환경의 불확실성에 강건합니다.
• 한계:
  • 유사한 행동 구분 실패: '나사 조이기 1', '나사 조이기 2'와 같이 매우 유사한 미세한 행동 차이를 구분하는 데는 한계가 있습니다 (Desktop Assembly 데이터셋에서 성능 저하).
  • 이질적 행동 그룹화: 서로 다른 행동이 하나의 레이블 (예: 배경) 로 묶여 있는 경우 (MPII Cooking 2) 분할이 어렵습니다.
  • 하이퍼파라미터 민감도: 시간적 스무딩 파라미터 ($s$) 에 민감하며, 이를 학습 데이터와 함께 최적화하는 것은 배치 처리와 충돌하여 구현이 어렵습니다.

결론

이 논문은 비지도 환경에서 단일 비디오의 행동 분할을 위해, MMD 와 무한 NTK를 결합한 새로운 비디오 근사 기법을 제안했습니다. 이 방법은 데이터 분포의 기하학적 구조를 보존하면서도 계산 효율성을 유지하여, 행동 수를 알 수 없는 현실적인 시나리오에서 기존 방법들보다 우수한 성능을 입증했습니다.