기술 요약: 비디오 행동 예측을 위한 행동 유도 주의 (Action-Guided Attention)

문제 정의

비디오 행동 예측은 컴퓨터 비전 분야에서 관찰된 비디오 프레임만을 기반으로 미래 행동을 예측해야 하는 까다로운 작업입니다. 관찰된 프레임과 동기화된 주석이 있는 행동 인식과 달리, 예측은 부분적이고 종종 모호한 시각적 증거로부터 잠재적 의도를 추론해야 합니다. 핵심적인 어려움은 미래 결과의 고유한 불확실성에 있습니다. 동일한 과거 관찰은 여러 가지 가능한 미래로 이어질 수 있기 때문입니다.

기존의 트랜스포머 기반 접근법은 일반적으로 픽셀 수준의 토큰 표현에 대한 점곱 (dot-product) 자기 주의 (self-attention) 에 의존합니다. 행동 인식에는 효과적이지만, 이러한 방법들은 예측에 필요한 고수준 의미론을 종종 결여하고 있습니다. 결과적으로 과거 프레임에 존재하는 명시적 시각적 단서에 과적합 (overfitting) 되는 경향이 있어, 근본적인 의도를 포착하지 못하며 보지 못한 샘플에 대한 일반화 능력을 저하시킵니다. 시각적 패턴에만 의존하는 것은 특히 미래가 비결정적일 때 시각적 혼란에 의해 오도될 수 있습니다.

방법론

저자들은 예측된 행동 시퀀스를 명시적으로 활용하여 비디오 시퀀스 모델링을 유도하는 새로운 주의 메커니즘인 행동 유도 주의 (Action-Guided Attention, AGA) 를 제안합니다. AGA 는 주의 쿼리 (query) 와 키 (key) 에 픽셀 수준 특징을 의존하는 대신, 고수준 의미론적 행동 예측을 사용합니다.

핵심 아키텍처

모델은 두 가지 주요 모듈로 구성됩니다:

1. 행동 유도 주의 (AGA):

   • 입력: 이 메커니즘은 백본 네트워크 (예: TSN 또는 Swin-B) 에서 추출된 프레임 임베딩 ($e_t$) 을 값 (Values, V) 으로 받습니다.
   • 키와 쿼리: 표준 자기 주의와 달리, 키 (Keys, K) 는 과거 행동 예측 시퀀스 ($\hat{y}_{t-S:t-1}$) 에서 파생되며 과거 사건의 의미론적 태그를 나타냅니다. 쿼리 (Query, Q) 는 과거 행동 예측의 지수 이동 평균 (Exponential Moving Average, EMA) ($\bar{y}_t$) 을 사용하여 구성되므로, 모델이 더 긴 시간적 의존성을 통합할 수 있게 합니다.
   • 메커니즘: 주의 가중치는 행동 기반 쿼리와 키 간의 점곱 상관관계를 통해 계산됩니다. 이를 통해 모델은 원시 시각적 유사성이 아닌 다가오는 활동에 기반하여 관련 과거 순간들을 집계할 수 있습니다.
   • 큐: 크기 $S$ 의 선입선출 (FIFO) 큐는 시간 창을 정의하기 위해 프레임 특징과 예측을 저장합니다.

2. 적응형 게이팅 (Adaptive Gating):

   • 주의 모듈의 출력 ($\tilde{h}_t$) 은 집계된 과거 컨텍스트를 나타내며, 학습 가능한 게이팅 벡터 ($g_t$) 를 사용하여 현재 프레임 임베딩 ($e_t$) 과 융합됩니다.
   • 게이트는 과거 증거와 현재 증거의 연결 (concatenation) 을 처리하는 MLP 에 적용된 시그모이드 함수를 통해 계산됩니다.
   • 최종 표현은 $o_t = g_t \odot \tilde{h}_t + (1 - g_t) \odot e_t$ 입니다. 이를 통해 모델은 특정 시간 단계에 따라 과거 컨텍스트에 대한 의존성과 현재 시각적 증거에 대한 의존성을 동적으로 균형 있게 조절할 수 있습니다.

훈련 후 분석 능력

AGA 의 독특한 특징은 주의 메커니즘에서 행동 확률을 명시적으로 사용하기 때문에 훈련 후 분석을 용이하게 한다는 점입니다:

• 정방향 분석 (Forward Analysis): 모델이 특정 현재 쿼리에 대해 어떤 과거 행동을 관련 있다고 판단하는지 결정합니다. 특정 행동 쿼리와 과거 행동 키 간의 주의 가중치를 계산함으로써, 연구자들은 모델이 어떤 역사적 사건을 우선시하는지 시각화할 수 있습니다.
• 역방향 분석 (Backward Analysis): "다음 행동이 $a$였다면, 과거 예측의 어떤 변화가 모델로 하여금 $a$에 높은 확률을 부여하게 했을까?"라는 반사실적 (counterfactual) 접근법입니다. 목표 행동과의 교차 엔트로피를 최소화하기 위해 경사 하강법을 통해 과거 예측을 최적화함으로써, 이 방법은 모델이 내면화한 잠재적 지식과 대체 추론 경로를 드러냅니다.

주요 기여

1. 의미론적 주의 유도: 픽셀 수준 쿼리/키를 행동 예측으로 대체하는 AGA 의 도입은 미래 행동이 이전에 예측된 행동에 의존하는 관계를 효과적으로 모델링합니다.
2. 과적합 완화: 시각적 혼란이 아닌 고수준 의미론에 초점을 맞춤으로써, 이 방법은 부분적으로 관찰된 비디오 입력에 대한 과적합에 대한 저항력을 보여줍니다.
3. 해석 가능성: 설계는 투명한 정방향 및 역방향 분석을 가능하게 하여, 훈련 중에 내면화된 행동 의존성과 반사실적 증거에 대한 통찰력을 제공합니다.
4. 적응형 융합: 적응형 게이팅 메커니즘의 포함은 행동 경계에 대한 명시적 감독 없이 역사적 정보와 현재 정보를 컨텍스트 인식적으로 혼합할 수 있게 합니다.

실험 결과

이 방법은 EPIC-Kitchens-100 (EK100), EPIC-Kitchens-55 (EK55), EGTEA Gaze+ 세 가지 벤치마크에서 평가되었습니다.

• EPIC-Kitchens-100:

  • 검증 세트에서 (RGB 입력만 사용), Swin-B 백본을 사용한 AGA 는 전체 클래스에 대해 **18.8%**의 평균 Top-5 재현율 (MT5R) 을 달성하여 AFFT (17.6%) 및 S-GEAR (18.3%) 와 같은 베이스라인을 능가했습니다.
  • 보지 못한 테스트 세트에서 AGA 는 검증 결과와 테스트 결과 간의 격차가 좁아 일관된 성능을 유지하며 강력한 일반화 능력을 보여주었습니다. 전체 클래스에서 **16.9%**의 MT5R 을 달성하여 종종 다중 모드 입력이나 앙상블 전략에 의존하는 방법들과 경쟁력을 보였습니다.
  • 성능 향상은 특히 Unseen 및 Tail 클래스에서 두드러졌으며, 이는 희귀 행동에 대한 강건함을 시사합니다.

• EPIC-Kitchens-55 및 EGTEA Gaze+:

  • AGA 는 선행 프레임에 대한 상세한 라벨이 없는 희소 감독 조건에서도 EK55 및 EGTEA Gaze+ 에서 강력한 성능을 보여주었습니다.
  • EGTEA Gaze+ 에서 Swin-B 를 사용한 AGA 는 **45.4%**의 Top-1 정확도를 달성하여 이전 최첨단 방법들을 능가했습니다.

• 절대 실험 (Ablation Studies):

  • 표준 인과 주의 (causal attention) 를 행동 유도 주의로 대체한 결과 MT5R 이 15.9% 에서 18.2% 로 향상되었습니다.
  • 적응형 게이팅을 추가한 결과 성능이 18.8% 로 더 증가했습니다.
  • EMA 매개변수 $\alpha$는 최근 예측의 영향과 과거 평균 간의 균형을 맞추는 데 0.8 이 최적인 것으로 확인되었습니다.

중요성 및 주장

이 논문은 AGA 가 불완전하고 불확실한 관찰로 인해 발생하는 비디오 행동 예측의 근본적인 과적합 문제를 해결한다고 주장합니다. 주의 메커니즘을 픽셀 수준의 상관관계에서 행동 수준의 의미론적 의존성으로 전환함으로써, 모델은 미래 사건을 더 효과적으로 예측하도록 학습합니다.

저자들은 AGA 가 투명하고 해석 가능한 프레임워크를 제공한다고 강조합니다. "블랙박스" 접근법과 달리 AGA 는 연구자들이 다음을 가능하게 합니다:

• 모델이 포착한 특정 행동 의존성 검토 (정방향 분석).
• 모델이 내면화한 반사실적 증거 및 대체 추론 경로 발견 (역방향 분석).

결과들은 예측된 행동 시퀀스를 의미론적 가이드로 활용하는 것이 정확도와 보지 못한 샘플에 대한 일반화를 개선할 뿐만 아니라, 불확실한 미래 예측이라는 맥락에서 모델의 의사 결정 과정에 대한 더 깊은 이해를 제공한다는 것을 시사합니다.