기술 요약: 오픈 보카불러리 액션 인식을 위한 시공간 유사도 볼륨 집계

1. 문제 제기

최근 오픈 보카불러리 액션 인식 (OVAR) 방법들은 일반적으로 텍스트 임베딩과의 정렬을 계산하기 전에 시각적 특징을 글로벌 표현 (예: [CLS] 토큰 사용) 으로 집계하는 방식에 의존합니다. 제로샷 일반화에는 효과적이지만, 이 패러다임은 본질적으로 각 프레임 내의 풍부한 로컬 패치 정보를 폐기합니다. 그 결과, 운동 궤적, 국소화된 상호작용, 시간에 따른 시각적 패턴의 진화와 같은 정교한 시공간 단서들이 가려집니다. 로컬 토큰을 활용하려는 기존 시도들 (예: TC-CLIP, BDC-CLIP) 은 종종 텍스트 정렬 전에 구조화된 시공간 상호작용을 단일 글로벌 벡터로 축소하여, 시간적으로 진화하는 로컬 시각적 패턴과 텍스트 액션 의미 간의 대응 관계를 명시적으로 모델링하지 못합니다.

2. 방법론: 유사도 볼륨 집계 (SimVA)

저자들은 SimVA를 제안하며, 이는 특징 집계에서 유사도 집계로 패러다임을 전환하는 프레임워크입니다. 시각적 특징을 먼저 병합하는 대신, SimVA 는 패치 수준의 시각적 토큰과 텍스트 임베딩 사이에 밀집된 4 차원 시공간 유사도 볼륨을 구성하여 처리 파이프라인 전반에 걸쳐 로컬 증거를 보존합니다.

2.1 유사도 볼륨 구성

입력 비디오 $V$와 액션 텍스트 프롬프트가 주어지면, 프레임워크는 사전 훈련된 CLIP 모델을 사용하여 다음을 추출합니다:

• 시각 임베딩: $T$개의 프레임에 대한 패치 수준 임베딩 $F_{img} \in \mathbb{R}^{T \times H \times W \times D}$.
• 텍스트 임베딩: $N_C$개의 액션 카테고리에 대한 클래스 임베딩 $F_{text} \in \mathbb{R}^{N_C \times D}$.

4 차원 유사도 볼륨 $S \in \mathbb{R}^{T \times H \times W \times N_C}$은 모든 시공간 패치 $(t, i, j)$와 모든 클래스 $c$ 간의 코사인 유사도를 계산하여 구성됩니다. 이 볼륨은 공간과 시간에 걸친 국소화된 시각 - 텍스트 대응 관계를 나타냅니다.

2.2 액션 클래스 샘플링

$N_C$가 큰 경우 전체 볼륨을 직접 집계하는 것은 계산적으로 불가능합니다. SimVA 는 클래스 샘플링 전략을 도입합니다:

1. 프레임 수준의 [CLS] 토큰을 평균화하여 글로벌 비디오 표현 $\bar{V}$를 계산합니다.
2. 글로벌 유사도 점수 $S_{global} = \bar{V}^\top F_{text}$를 계산합니다.
3. 상위 $M$개의 클래스를 선택합니다. 훈련 중에는 탐색을 장려하기 위해 균일한 노이즈가 추가되며, 정답 클래스는 하위 집합에 강제로 포함됩니다.
   이를 통해 클래스 차원을 $N_C$에서 처리 가능한 크기 $M$으로 축소하여 볼륨을 $Z_0 \in \mathbb{R}^{T \times H \times W \times M \times d_f}$로 줄입니다.

2.3 구조화된 시공간 집계

프레임워크는 $N_L$개의 레이어에 걸쳐 반복되는 구조화된 파이프라인을 통해 샘플링된 유사도 볼륨을 처리합니다:

• 공간 집계: Swin Transformer 블록을 사용하여 프레임 내 유사도 패턴을 정제합니다. 이는 동일한 객체에 속하는 패치 간의 로컬 일관성을 강제하고 배경 노이즈를 억제하여 프레임 내에서 로컬 유사성을 문맥화합니다.
• 운동 인지 변조: 프레임 간 변화 단서를 주입하기 위해, 모델은 CLIP 이미지 특징을 사용하여 연속된 프레임 간의 운동 오프셋을 추정합니다. 이러한 오프셋은 글로벌 카메라 운동을 제거하기 위해 정규화되고 변조 신호 $\gamma_t$로 투영됩니다. 이 신호는 시공간 모델링 전에 운동이 있는 영역 (예: 움직이는 객체) 을 강조하면서 공간적으로 정제된 특징을 적응적으로 스케일링합니다.
• 시간 집계: Mamba(상태 - 공간 모델) 블록이 운동 인지 유사도 시퀀스를 처리합니다. 전역적으로 주의를 기울이는 Transformer 와 달리, Mamba 의 순방향 스캐닝 메커니즘은 비디오의 자연스러운 시간적 진행과 일치합니다. 이는 시간적으로 전환을 인지하는 유사도 패턴을 순차적으로 누적하여 시공간 정렬을 보존하면서 시간에 따른 액션별 증거의 진화를 모델링합니다.

2.4 훈련 목적

최종 비디오 수준 점수는 선형 투영과 시공간 평균 풀링을 통해 얻어집니다. 훈련 목적 함수는 다음을 결합합니다:

1. 집계 손실 ($L_{agg}$): 샘플링된 클래스 로짓에 대한 교차 엔트로피 손실.
2. 분류 손실 ($L_{cls}$): [CLS] 토큰을 사용한 글로벌 비디오 - 텍스트 정렬에서 계산된 보조 손실로, 치명적인 망각을 방지하고 사전 훈련된 사전 지식을 보존합니다.

3. 주요 기여

1. 패러다임 전환: 유사도 공간에서 직접 작동하는 CLIP 기반 OVAR 프레임워크를 도입하여, 밀집된 시공간 대응 관계를 보존하기 위해 특징 집계에서 유사도 집계로 전환합니다.
2. 확장 가능한 아키텍처: 막대한 계산 비용 없이 유사도 집계가 대규모 오픈 보카불러리 시나리오로 확장될 수 있도록 하는 메모리 효율적인 클래스 샘플링 전략을 제안합니다.
3. 구조화된 집계: (프레임 내 일관성을 위한) 공간 집계, (프레임 간 역학을 위한) 운동 인지 변조, 그리고 (순차적 진화 모델링을 위한) Mamba 기반 시간 집계를 통합하는 파이프라인을 설계합니다.
4. 실증적 검증: 제로샷, 퓨샷, 베이스 - 투 - 노벌 일반화 벤치마크 전반에 걸쳐 효과성을 입증합니다.

4. 실험 결과

이 방법은 ViT-B/16 CLIP 백본을 사용하여 다섯 가지 표준 벤치마크 (Kinetics-400, Kinetics-600, HMDB-51, UCF-101, Something-Something V2) 에서 평가되었습니다.

• 제로샷 성능: SimVA 는 모든 데이터셋에서 강력한 베이스라인 (예: ActionCLIP, X-CLIP, ViFi-CLIP, TC-CLIP) 보다 우수한 성능을 보였습니다. HMDB-51, UCF-101, K600 에서 최첨단 또는 매우 경쟁력 있는 결과를 달성했습니다 (예: K600 에서 76.5% Top-1, UCF-101 에서 86.2%).
• 퓨샷 학습: 클래스당 $K \in \{2, 4, 8, 16\}$샷 설정에서 SimVA 는 기존 방법들을 일관되게 능가하여 제한된 감독 하의 비디오 작업에 대한 강력한 적응력을 나타냈습니다.
• 베이스 - 투 - 노벌 일반화: 모델은 모든 데이터셋에서 최고의 베이스 정확도를 달성했으며, UCF-101 과 SSv2 에서 가장 높은 조화 평균 (HM) 을 보여, 베이스 클래스의 성능을 유지하면서 보이지 않는 카테고리에 대한 강력한 일반화 능력을 입증했습니다.
• 효율성: 밀집된 볼륨 구성에도 불구하고 SimVA 는 다른 CLIP 기반 방법들과 비교 가능한 계산 예산 (124.6M 파라미터, 315 GFLOPs) 을 유지하며, 유리한 효율성 - 성능 트레이드오프를 입증했습니다.

5. 중요성과 주장

이 논문은 SimVA가 국소화된 시각적 패턴이 텍스트 의미와 상호작용하며 어떻게 진화하는지를 명시적으로 모델링함으로써, CLIP 의 강력한 이미지 - 텍스트 정렬 능력을 시공간 영역으로 효과적으로 이전한다고 주장합니다. 밀집된 시각 - 텍스트 대응 관계를 유지하고 조기 글로벌 풀링을 피함으로써, 이 프레임워크는 미묘한 시간적 변화에 의존하는 정교한 액션의 정밀한 구별을 가능하게 합니다.

저자들은 유사도 공간 집계가 비디오 액션 인식을 위한 비전 - 언어 모델을 적응시키는 유망한 방향이라고 주장합니다. 고정된 클래스 샘플링 예산과 관련된 한계를 인정하며, 적응형 전략이 확장성을 더욱 향상시킬 수 있음을 언급하지만, 현재 접근 방식이 성능과 계산 실현 가능성 사이의 견고한 균형을 제공한다고 유지합니다.