Hierarchical Action Learning for Weakly-Supervised Action Segmentation

이 논문은 저수준 시각 특징과 고수준 행동 잠재 변수의 진화 속도 차이를 활용하여 계층적 인과 생성 과정을 모델링하고, 결정론적 과정과 희소 전이 제약을 통해 잠재 행동 변수의 식별성을 보장하는 약지도 행동 분할을 위한 계층적 행동 학습 (HAL) 모델을 제안하고 있습니다.

핵심

1. 문제: 컴퓨터는 왜 요리를 잘 못 구분할까요?

우리가 요리 영상을 볼 때, "계란을 깨고, 밀가루를 넣고, 반죽을 섞고..."라고 **큰 흐름 (행동)**으로 이해합니다. 하지만 컴퓨터는 화면의 **픽셀 (색상, 모양)**만 봅니다.

• 컴퓨터의 시선: "아! 밀가루가 튀는 순간이네? 새로운 행동이야!" -> 분할
• 컴퓨터의 시선: "아! 반죽이 섞이는 동안 색이 살짝 변했네? 또 새로운 행동이야!" -> 분할

컴퓨터는 사소한 시각적 변화 (빛 반사, 옷 주름, 배경의 흔들림) 를 모두 중요한 '행동의 전환'으로 오해합니다. 그 결과, 하나의 행동이 수십 조각으로 잘게 쪼개지는 과분할 (Over-segmentation) 현상이 발생합니다. 마치 요리하는 동안 "숟가락을 든 순간, 숟가락을 내린 순간, 숟가락을 흔들린 순간"을 모두 다른 요리 단계로 구분해 버리는 것과 같습니다.

2. 해결책: HAL 모델의 아이디어

이 연구의 핵심 통찰은 **"사람은 행동의 큰 흐름을 보고, 컴퓨터는 사소한 변화를 본다"**는 점입니다.

• 시각적 변화 (Visual): 매우 빠르고 자주 변합니다. (예: 반죽을 저을 때 손이 빠르게 움직임)
• 행동적 변화 (Action): 매우 느리고 안정적입니다. (예: '반죽하기'라는 행동은 10 초 동안 계속됨)

저자들은 이 차이를 이용해 **"행동이라는 큰 흐름이 시각적 변화를 지배한다"**는 가정을 세웠습니다. 즉, '요리 단계 (행동)'가 '손 움직임 (시각)'을 통제한다는 것입니다.

3. HAL 모델이 어떻게 작동할까요? (비유: 지휘자와 오케스트라)

HAL 모델은 두 가지 레이어 (층) 로 이루어진 계층적 구조를 사용합니다.

1. 지휘자 (고수준 행동 변수):

   • 이 층은 **'무엇을 할 것인가 (계란 깨기, 반죽하기)'**를 결정합니다.
   • 지휘자는 천천히, 신중하게 지휘봉을 흔듭니다. (행동은 천천히 변함)
   • 이 지휘자가 오케스트라의 전체 흐름을 이끕니다.

2. 오케스트라 단원들 (저수준 시각 변수):

   • 이 층은 **'실제 화면에 보이는 움직임'**입니다.
   • 단원들은 지휘자의 지시에 따라 빠르게 악기를 연주합니다. (화면의 픽셀은 빠르게 변함)
   • 단원들이 아무리 빠르게 움직여도, 지휘자가 "계란 깨기"를 지시하면 그 흐름은 유지됩니다.

HAL 모델의 핵심 기술:

• 확장된 데이터 생성: 컴퓨터가 이해하기 쉽게, '지휘자 (행동)'와 '단원들 (시각)'의 수를 맞춰주고, 지휘자가 단원들을 어떻게 통제하는지 수학적 규칙으로 정의했습니다.
• 매끄러운 전환 제약 (Smoothness Constraint): 지휘자가 갑자기 지휘 방향을 바꾸지 않도록 규칙을 적용했습니다. "지휘자가 너무 자주 방향을 바꾸면 벌점을 줘!"라고 해서, 행동이 자연스럽게 이어지도록 강제합니다.

4. 왜 이 방법이 더 좋은가요?

기존 방법들은 화면의 '소음 (Noise)'에 너무 민감하게 반응했습니다. 하지만 HAL 모델은 지휘자 (행동) 의 흐름에 집중합니다.

• 결과: 요리 영상을 볼 때, "계란을 깨는 중"이라는 행동이 끝날 때까지는 아무리 손이 흔들려도 "계란 깨기"로 분류합니다.
• 장점: 불필요한 조각이 사라지고, 실제 사람의 인식과 더 비슷한 자연스러운 행동 구간을 찾아냅니다.

5. 이론적 증명 (수학자가 말해준 신뢰도)

저자들은 단순히 "성적이 좋다"는 것을 넘어, **"이 모델이 수학적으로 올바른 답을 찾을 수 있다"**는 것을 증명했습니다.

• 비유: "지휘자가 천천히 움직이고, 단원들이 빠르게 움직인다는 조건이 명확하다면, 우리는 오케스트라의 소음 속에서도 **정확한 지휘자의 지시 (행동)**를 유일하게 찾아낼 수 있다"는 것을 수학적으로 보였습니다.

6. 실험 결과

여러 가지 요리 영상 (Breakfast), 자동차 수리 영상 (CrossTask), 영화 장면 (Hollywood) 데이터를 테스트했습니다.

• 결과: 기존 최고의 모델들보다 정확도가 더 높았습니다.
• 특히, 행동의 시작과 끝을 구분하는 정확도 (IoU) 에서 큰 개선을 보였습니다.

요약

이 논문은 **"컴퓨터에게 눈 (시각) 만 주지 말고, 뇌 (행동의 큰 흐름) 도 주자"**고 제안합니다.
빠르게 변하는 화면의 소음에 흔들리지 않고, 천천히 변하는 행동의 핵심 흐름을 잡아내는 **'지휘자 (HAL 모델)'**를 도입함으로써, 컴퓨터가 영상을 훨씬 더 똑똑하고 자연스럽게 이해하게 만들었습니다.

이 기술은 향후 로봇이 요리법을 배우거나, 헬스케어에서 환자의 행동을 분석하는 등 실제 생활에 적용될 때 큰 도움이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 약지도 액션 세그멘테이션 (Weakly-Supervised Action Segmentation): 프레임 단위의 정밀한 레이블 대신, 비디오의 전체적인 액션 순서만 제공하는 전사 (Transcript) 와 같은 약한 지도 신호를 사용하여 비디오 내의 액션 구간을 구분하는 작업입니다.
• 기존 방법의 한계:
  • 기존 모델들은 주로 저수준의 시각적 특징 (Visual Features) 에 의존합니다.
  • 시각적 특징은 조명, 배경, 카메라 움직임 등으로 인해 빈번하게 변동 (Fluctuation) 이 발생합니다.
  • 이로 인해 실제 액션 전환이 아닌 시각적 변화만으로도 액션이 바뀐 것으로 잘못 인식하여 **과세그멘테이션 (Over-segmentation)**과 **노이즈가 많은 경계 (Noisy Boundaries)**가 발생하는 문제가 있습니다.
• 핵심 통찰: 인간은 액션을 여러 추상화 수준 (Hierarchy) 에서 인식하며, 중요한 전환점 (Key Transitions) 만으로 액션을 구조화합니다. 시각적 특징은 빠르게 변하지만, 고수준의 액션 잠재 변수 (Latent Action Variables) 는 상대적으로 느리게 진화하며 안정적인 의미 패턴을 유지합니다.

2. 제안 방법론: HAL 모델 (Methodology)

저자들은 **계층적 인과적 데이터 생성 과정 (Hierarchical Causal Data Generation Process)**을 가정하고 이를 학습하는 HAL (Hierarchical Action Learning) 모델을 제안합니다.

2.1. 증강된 데이터 생성 과정 (Augmented Data Generation Process)

• 계층적 인과 구조: 고수준의 잠재 액션 변수 ($c_t$) 가 저수준의 시각적 잠재 변수 ($v_t$) 의 동역학을 지배한다고 가정합니다.
• 비동기적 진화 모델링: 액션 변수는 시각 변수보다 느리게 변하므로, 두 변수의 길이를 맞추기 위해 **의사 상태 (Pseudo-states)**를 도입합니다.
  • 실제 액션 전이는 느리므로, 인접한 시간 단계에서의 액션 상태는 결정론적 (Deterministic) 으로 동일하게 유지되거나 매우 천천히 변합니다.
  • 이를 통해 시각적 노이즈와 액션의 실제 전환을 분리 (Disentangle) 할 수 있는 인과적 구조를 확립합니다.

2.2. 모델 아키텍처

• Pyramid Transformer: 시각 특징과 잠재 변수를 모두 포착하기 위해 피라미드 형태의 트랜스포머 아키텍처를 사용합니다.
• 변분 추론 (Variational Inference): 시각 인코더, 액션 인코더, 디코더를 통해 잠재 공간에서의 재구성 손실 (Reconstruction Loss) 을 최소화합니다.
• 부드러운 전환 제약 (Smoothness Transition Constraint):
  • 고수준 액션 변수의 변화율이 저수준 시각 변수보다 느려야 한다는 인덕티브 바이어스 (Inductive Bias) 를 명시적으로 강제합니다.
  • 수식적 접근: 시각 변수의 변화량 ($\Delta V$) 과 액션 변수의 변화량 ($\Delta C$) 을 계산하여, $L_s = \text{ReLU}(\sum w_c \Delta C - \sum w_v \Delta V) + \delta \sum w_c \Delta C$ 형태의 손실 함수를 도입합니다.
  • 이는 액션 변수가 시각적 변동보다 더 매끄럽게 (Temporal Smoothness) 진화하도록 제약을 가하여, 불필요한 경계 생성을 억제합니다.

2.3. 이론적 보장 (Theoretical Guarantees)

• 식별 가능성 (Identifiability): 제안된 모델은 약한 가정 하에서 고수준 액션 잠재 변수가 **블록 단위 식별 가능 (Block-wise Identifiable)**함을 수학적으로 증명합니다.
  • 즉, 학습된 모델이 실제 데이터 생성 과정을 유일하게 (또는 순열/스케일링 차이를 제외하고) 복원할 수 있음을 보장합니다.
  • 이를 위해 5 개의 연속된 프레임 관찰 ($x_{t-2}$부터 $x_{t+2}$) 과 선형 연산자의 단사성 (Injectivity) 등을 가정합니다.

3. 주요 기여 (Key Contributions)

1. 계층적 인과적 프레임워크: 시각적 변동과 액션의 실제 전환을 분리하기 위해 고수준 액션 변수가 저수준 시각 변수를 지배한다는 인과적 모델을 처음 도입했습니다.
2. 이론적 식별 가능성 증명: 기존 방법론들이 경험적 성능에 의존했던 것과 달리, 제안된 모델이 약한 지도 하에서도 액션 잠재 변수를 이론적으로 식별 가능함을 증명했습니다.
3. 새로운 정규화 기법: 잠재 공간에서의 시간적 매끄러움 (Smoothness) 을 강제하는 제약 조건을 통해 과세그멘테이션 문제를 효과적으로 해결했습니다.
4. 성능 개선: 기존 최첨단 방법들 (ATBA, CtrlNS 등) 을 능가하는 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: Breakfast, CrossTask, Hollywood Extended, GTEA 등 4 가지 주요 벤치마크에서 평가되었습니다.
• 평가 지표: Mean-over-Frames (MoF), IoU, IoD 등.
• 주요 성과:
  • Breakfast 데이터셋: MoF 56.3% (기존 최고 53.9% 대비 향상), IoD 62.4%.
  • CrossTask 데이터셋: MoF 54.0%, IoU 21.6% 로 기존 방법 (CtrlNS 등) 을 상회.
  • Hollywood 및 GTEA: 모든 지표에서 일관된 성능 향상을 보였습니다.
  • 정성적 분석: 시각화 결과, HAL 모델은 ATBA 나 CtrlNS 에 비해 더 안정적이고 일관된 경계를 가지며, 배경 노이즈에 덜 민감한 것을 확인했습니다.
  • 효율성: 학습 및 추론 시간 측면에서도 기존 방법들보다 효율적인 것으로 나타났습니다.

5. 의의 및 결론 (Significance)

• 약지도 학습의 패러다임 전환: 단순한 시각적 특징 매칭을 넘어, 비디오의 계층적 인과 구조를 학습함으로써 더 강건한 액션 세그멘테이션을 가능하게 했습니다.
• 실용성: 프레임 단위 레이블이 없는 실제 환경 (Instructional videos, etc.) 에서 높은 정확도를 보여주어, 인간 활동 인식 및 비디오 검색 등 실제 응용 분야에 큰 잠재력을 가집니다.
• 이론과 실전의 결합: 수학적 식별 가능성 증명을 통해 모델의 신뢰성을 높였으며, 실험을 통해 그 유효성을 입증했습니다.

이 논문은 약지도 액션 세그멘테이션 분야에서 **계층적 추론 (Hierarchical Reasoning)**과 **인과적 표현 학습 (Causal Representation Learning)**을 결합하여, 기존 방법의 한계였던 과세그멘테이션 문제를 근본적으로 해결한 획기적인 연구로 평가됩니다.