HOI-aware Adaptive Network for Weakly-supervised Action Segmentation

"HOI-aware Adaptive Network for Weakly-supervised Action Segmentation"(AdaAct) 논문에 대한 상세한 기술 요약입니다.

1. 문제 정의

이 논문은 정밀한 시작/종료 타임스탬프 없이 오직 전사본 (행동 순서 목록) 만을 감독 신호로 사용하여 비디오의 모든 프레임에 대한 행동 라벨을 예측하는 약감독 행동 분할 (WSAS) 의 과제를 다룹니다.

식별된 주요 과제:

• 유사 행동의 모호성: 기존 방법들은 종종 프레임의 국소 영역을 분석하는 고정된 시간 인코더에 의존합니다. 이는 "커피 따르기"와 "주스 따르기"와 같이 의미적으로 유사한 행동들을 구분하지 못하게 만듭니다. 왜냐하면 즉시 인접한 프레임들의 시각적 특징이 매우 유사하기 때문입니다.
• 전체적 맥락의 부재: 현재 접근 방식들은 비디오 클립을 고정된 길이의 입력으로 취급하여 전체 비디오 시퀀스가 제공하는 더 넓은 맥락을 놓치고 있습니다.
• 정적 네트워크: 대부분의 방법은 모든 비디오에 대해 고정된 네트워크 아키텍처를 사용하여, 테스트 시 특정 비디오의 고유한 의미적 맥락 (예: 존재하는 특정 객체) 에 모델이 적응하는 것을 방해합니다.

2. 방법론: AdaAct

저자들은 AdaAct를 제안합니다. 이는 비디오 수준의 사전 지식으로 인간 - 객체 상호작용 (HOI) 을 활용하여 추론 중에 네트워크 파라미터를 동적으로 조정하는 적응형 네트워크입니다. 아키텍처는 두 가지 주요 구성 요소로 이루어져 있습니다:

A. 비디오 HOI 인코더

이 모듈은 전체 비디오에서 HOI 정보를 추출, 선택, 통합하여 글로벌 맥락 벡터를 생성합니다. 세 단계로 작동합니다:

1. 추출: 비디오를 다운샘플링 (15 FPS) 하고, 사전 훈련된 HOI 감지기 (고정된 가중치) 가 손과 객체의 바운딩 박스 및 상호작용 신뢰도 점수를 식별합니다.
2. 선택 (Video-NMS): 새로운 Video-NMS 알고리즘이 감지된 상호작용을 필터링합니다. 표준 NMS 가 교차율 (IoU) 만 사용하는 것과 달리, 이는 시간적 중복을 제거하기 위해 시간 제약을 추가합니다. 상위 $K$개의 상호작용이 선택됩니다.
3. 통합: 선택된 $K$개의 상호작용은 Transformer 기반 네트워크 (ViT) 에 의해 처리됩니다. 학습 가능한 토큰이 HOI 임베딩 시퀀스에 추가되며, 이 토큰의 출력 상태가 HOI 의존적 지식 ($s$) 으로 작용합니다.

B. 적응형 시간 인코더 (하이퍼네트워크)

AdaAct 는 고정된 시간 인코더 대신 이중 분기 하이퍼네트워크를 사용하여, 입력 비디오의 HOI 맥락에 기반하여 시간 인코더 (GRU 기반 백본) 의 가중치와 편향을 동적으로 생성합니다.

• HOI 독립 분기 ($z$): 교육용 비디오의 일반적 특성을 학습합니다. 학습 가능한 임베딩 목록을 유지하며 훈련 중에 반복적으로 업데이트됩니다. 이 분기는 모든 비디오에 공통적으로 적용 가능한 전이 가능한 지식을 포착합니다.
• HOI 의존 분기 ($s$): 비디오 HOI 인코더에서 인코딩된 HOI 특징 벡터를 입력으로 받습니다. 이는 현재 비디오에 존재하는 고유한 객체 상호작용에 맞춰 인코더를 특별히 적응시킵니다.
• 퓨전: 시간 인코더의 가중치 ($W$) 와 편향 ($b$) 은 두 분기의 출력을 퓨전 (가중치는 요소별 곱셈) 함으로써 생성됩니다. 이를 통해 네트워크는 감지된 특정 객체에 기반하여 유사한 행동을 구분하기 위해 파라미터를 "실시간으로" 조정할 수 있습니다 (예: "주스 짜개"와 "오렌지"를 보는 것은 모델이 "커피"가 아닌 "주스 따르기"로 편향되도록 함).

C. 훈련 및 디코딩

• 손실 함수: 모델은 유효한 분할과 무효한 분할 간의 에너지 차이를 최대화하는 제약 판별적 순방향 손실 (Constrained Discriminative Forward Loss) 을 사용하여 훈련됩니다.
• 디코딩: 추론 중에는 적응형 인코더가 생성한 프레임별 확률에 기반하여 최적의 행동 시퀀스와 분할 길이를 찾기 위해 비터비 (Viterbi) 알고리즘이 사용됩니다.

3. 주요 기여

1. WSAS 를 위한 최초의 적응형 시간 인코더: 이 논문은 정적 모델을 사용하는 대신 테스트 시 입력 비디오의 내용에 맞춰 시간 인코더의 파라미터를 동적으로 적응시키는 최초의 프레임워크를 소개합니다.
2. 글로벌 사전 지식으로서의 HOI: 모호성을 해결하기 위해 시간적으로는 전역적이지만 공간적으로는 국소적인 HOI 정보를 활용하는 것을 제안합니다. 전체 비디오에 걸쳐 주요 객체 (예: 커피 포트 vs. 나이프) 를 식별함으로써 모델은 유사한 행동을 구분하는 데 결정적인 맥락을 얻습니다.
3. 최첨단 성능: 이 방법은 행동 분할 및 행동 정렬 작업 모두에서 두 가지 까다로운 데이터셋 (Breakfast 및 50Salads) 에서 최상의 결과를 달성했습니다.

4. 실험 결과

이 방법은 Mean over Frame (MoF), 배경 제외 MoF(MoF-BG), 교차율 (IoU), 탐지율 교차 (IoD) 의 네 가지 지표를 사용하여 Breakfast 및 50Salads 데이터셋에서 평가되었습니다.

• Breakfast 데이터셋: AdaAct 는 51.2% MoF와 48.3% MoF-BG를 달성하여 이전 최첨단 (CDFL/TASL) 보다 각각 **1.4%**와 1.2% 더 높은 성능을 보였습니다.
• 50Salads 데이터셋: AdaAct 는 55.6% MoF와 50.3% MoF-BG를 달성하여 베이스라인보다 **0.9%**와 0.5% 개선되었습니다.
• 행동 정렬: 추론 시 전사본이 제공되는 경우 (더 강력한 감독 설정) 에도 AdaAct 는 기존 방법들을 능가하여 50Salads 에서 +1.8% MoF 향상을 보였습니다.
• 어블레이션 연구:
  • HOI 의존적 지식을 제거하면 MoF 가 3.7% 감소했습니다.
  • HOI 독립적 지식을 제거하면 MoF 가 0.9% 감소했습니다.
  • 최적의 지식 차원은 128로 확인되었습니다.
• 정성적 분석: 모델은 HOI 인코더에서 감지된 특정 객체 (예: 주스 짜개) 의 존재를 활용하여 "따르기" 행동 (커피 vs 주스 vs 우유) 에서의 오류를 성공적으로 수정했으며, 이는 고정된 방법들이 놓친 부분입니다.

5. 의의

이 작업은 정적 특징 추출에서 동적이고 맥락 인식적인 파라미터 적응으로 이동함으로써 약감독 행동 분할 분야에서 중요한 전환을 나타냅니다.

• 모호성 해결: 비디오 수준의 의미적 맥락 (HOI) 을 네트워크의 의사결정 과정에 직접 주입함으로써 "유사 행동" 문제를 효과적으로 해결합니다.
• 효율성: 고비용인 프레임 단위 주석이 필요하지 않고 전사본과 사전 훈련된 HOI 감지기만 의존하여 이러한 개선을 달성합니다.
• 일반화 가능성: HOI 를 위한 "추출 - 선택 - 통합" 파이프라인과 파라미터 적응을 위한 하이퍼네트워크 접근법은 비디오 이해 작업에서 시간적 모호성을 처리하는 새로운 패러다임을 제시합니다.