기술 요약: DemaFormer

문제 정의

시각 언어 기반 시간적 위치 결정 (Temporal Language Grounding, TLG) 은 자연어 쿼리와 의미적으로 대응하는 특정 비디오 순간을 국소화하는 작업입니다. 최근 접근법들은 비디오 순간과 텍스트 쿼리 간의 관계를 학습하기 위해 트랜스포머 기반 어텐션 메커니즘을 활용하지만, 본 논문은 "순수한" (naive) 어텐션이 종종 불충분하다고 주장합니다. 구체적으로, 표준 어텐션 메커니즘은 입력 요소에 대한 사전 지식이 부족하여, 시간적 이웃에 있는 비디오 순간들이 밀접하게 연관된 특징을 보인다는 사실을 활용하지 못합니다. 이러한 한계는 타겟 국소화와 비타겟 순간이 표현 공간에서 구별되지 않게 만드는 비효율적인 결합 순간 - 쿼리 모델링으로 이어집니다 (혼합된 분포를 보여주는 t-SNE 시각화에서 입증됨).

방법론

저자들은 Damped Exponential Moving Average (DEMA) 어텐션 메커니즘과 에너지 기반 모델 (EBM) 프레임워크를 통합한 새로운 트랜스포머 기반 아키텍처인 DemaFormer를 제안합니다.

1. 감쇠 지수 이동 평균 (DEMA) 어텐션

순간 - 쿼리 입력 간의 국소적 의존성을 포착하기 위해, 저자들은 트랜스포머 아키텍처에 DEMA 계산을 도입합니다.

• 메커니즘: 모델은 입력을 중간 공간으로 매핑하고, 현재 은닉 상태를 이전 은닉 상태와 현재 입력의 가중 합으로 계산합니다.
• 감쇠: 표준 지수 이동 평균 (EMA) 과 달리, DEMA 는 가중치 계수 ($\alpha$) 와 함께 학습 가능한 감쇠 계수 ($\delta$) 를 사용합니다. 이러한 계수들은 모델이 인접 정보를 충분히 흡수하면서도 입력 간의 구별성을 보장할 수 있게 합니다.
• 통합: DEMA 출력은 비선형 계층 (SiLU) 을 거쳐 처리된 후 어텐션 메커니즘의 값 텐서로 사용됩니다. 최종 출력은 원래 입력과 어텐션 출력의 적응형 집계입니다.

2. 에너지 기반 모델링 (EBM) 프레임워크

순간 - 쿼리 표현의 분포를 명시적으로 학습하고 타겟 국소화를 비타겟과 분리하기 위해, 저자들은 EBM 프레임워크를 활용합니다.

• 목적: 모델은 관련 국소화의 에너지를 최소화하고 편향된 것들의 에너지를 최대화하는 것을 목표로 합니다. 이는 대조적 발산 (contrastive divergence) 목적 함수로 공식화됩니다.
• 부정 샘플링: EBM 은 고에너지 영역을 나타내는 부정 샘플을 필요로 하므로, 저자들은 Langevin 동역학 방정식을 적응시켜 EBM 분포에서 직접 부정 입력을 샘플링합니다.
  • 초기에는 분포가 실제 분포와 일치하지 않으므로 생성된 샘플이 부정인 것이 보장됩니다.
  • 훈련이 진행됨에 따라 Langevin 방정식은 "하드 네거티브 (hard negative)" 샘플을 생성합니다.
• 에너지 함수: 에너지 함수는 예측된 중요도 점수의 음수 ($E_\theta = -\hat{s}_i$) 로 정의됩니다. 이는 중요도를 최대화하는 것이 에너지를 최소화하는 것과 대응되는 음의 중요도 - 에너지 관계를 생성합니다.
• 훈련 손실: 총 손실은 중요도, 중심, 너비, 오프셋을 위한 표준 매칭 손실과 EBM 프레임워크에서 유도된 부정 로그 가능도 (NLL) 손실을 결합합니다. NLL 손실 내 부정 샘플의 가중치는 에포크에 따라 감소합니다.

3. 전체 아키텍처

• 입력: 모델은 시각적 순간, 텍스트 쿼리, 오디오 신호를 처리합니다. 오디오는 그 잡음 특성으로 인해 단일 계층 어텐션 메커니즘을 통해 시각 시퀀스에 융합됩니다.
• 인코더 - 디코더: 아키텍처는 DEMA 어텐션 계층, 정규화, 비선형 활성화, 그리고 잔차 연결을 모두 활용하는 인코더와 디코더로 구성됩니다.
• 예측: 디코더 출력은 선형 계층을 통과하여 중요도 점수, 중심, 오프셋, 그리고 순간 너비를 예측합니다.

주요 기여

1. DemaFormer 아키텍처: 비디오 - 언어 입력의 의존성 패턴을 효과적으로 포착하기 위해 어텐션 메커니즘에 학습 가능한 감쇠 계수를 가진 지수 이동 평균을 통합한 새로운 트랜스포머 변형.
2. 에너지 기반 학습 프레임워크: EBM 을 사용하여 순간 - 쿼리 분포를 모델링하는 TLG 를 위한 새로운 접근법. 목적 함수는 부정 샘플링을 위해 Langevin 동역학을 활용하여 고전적인 기반 손실을 보조하는 대조적 발산으로 공식화됩니다.
3. 실증적 우월성: 광범위한 실험을 통해 제안된 방법이 네 개의 공개 데이터셋에서 최첨단 (state-of-the-art) 베이스라인을 능가함을 입증했습니다.

실험 결과

저자들은 DemaFormer 를 네 개의 벤치마크 데이터셋인 QVHighlights, Charades-STA, YouTube Highlights, TVSum에서 평가했습니다.

• QVHighlights: DemaFormer 는 이전 최선 베이스라인 (UMT) 보다 Rank 1@0.5 에서 4.54%, Rank 1@0.7 에서 2.01% 의 절대적 개선을 달성했습니다. ASR 캡션으로 사전 훈련된 경우, mAP 는 2.59%, Hit@1 은 2.64 포인트 추가로 향상되었습니다.
• Charades-STA: 모델은 UMT 대비 Rank 1@0.5 를 3.28%, Rank 5@0.5 를 2.53% 개선했습니다. 더 엄격한 임계값 ($\mu=0.7$) 하에서는 Rank 1 에서 5.99% 의 개선이 있었습니다.
• YouTube Highlights 및 TVSum: DemaFormer 는 모든 카테고리 및 전체에서 가장 높은 mAP 점수를 달성했으며, 특정 TVSum 카테고리에서는 두 번째로 좋은 모델 (예: UMT) 보다 최대 19.34% 를 상회했습니다.
• Ablation 연구:
  • 감쇠 인자나 전체 DEMA 계산을 제거하면 성능이 저하되어 국소적 의존성 모델링의 필요성이 확인되었습니다.
  • EBM 목적 함수를 제거하면 Rank 1@0.5 에서 약 3.16% (QVHighlights 기준) 와 같은 심각한 감소가 발생하여 표현 분포의 명시적 모델링의 중요성이 검증되었습니다.
  • 에너지 함수로 중요도 점수를 사용하는 것이 코사인 유사도 기반 에너지 함수보다 우월함이 입증되었습니다.
  • Langevin 샘플링 단계 수 ($K$) 가 100 을 초과하면 성능이 수렴했습니다.

중요성과 주장

본 논문은 DemaFormer 가 이전 어텐션 기반 방법들의 핵심 한계인 표현 공간에서 타겟 비디오 순간을 나머지 비디오와 효과적으로 분리하지 못하는 문제를 해결한다고 주장합니다. DEMA를 통해 국소적 시간적 의존성을 포착하고 EBM을 통해 순간 - 쿼리 쌍의 분포를 명시적으로 모델링함으로써, 이 프레임워크는 더 정확한 기반 결정을 달성합니다.

저자들은 그들의 접근 방식이 다양한 맥락 (일상 브이로그, 뉴스, 스포츠 하이라이트) 에서 특히 효과적이며, t-SNE 시각화는 이전 베이스라인에서 타겟과 비타겟이 섞이는 것과 달리 그들의 모델이 타겟 국소화를 비타겟과 구별된 상태로 유지함을 확인시켜 준다고 언급합니다.

한계점: 저자들은 부정 입력을 위한 Langevin 동역학 샘플링으로 인해 프레임워크에 추가적인 계산 비용이 발생함을 인정합니다. 또한, 교차 영역 시나리오 (예: 스키 비디오로 훈련하고 스케이트 비디오로 테스트) 에서 모델의 성능을 아직 연구하지 않았으며, 이는 향후 연구의 과제로 식별했습니다.