기술 요약: LookWhen – 언제, 어디서, 무엇을 계산할지 학습하여 빠른 비디오 인식

1. 문제 제기

트랜스포머는 비디오 인식을 위한 지배적인 아키텍처가 되었으며, 비디오를 수천 개의 토큰으로 분할합니다. 그러나 이들의 계산 비용은 토큰 수에 따라 초선형적으로 증가하여 긴 비디오 처리에 심각한 병목 현상을 초래합니다. 비디오에는 상당한 중복성이 존재합니다 (일부 토큰은 중복되고, 다른 일부는 주변 환경으로부터 추론 가능함). 그럼에도 불구하고 표준 트랜스포머는 필요 여부와 상관없이 모든 토큰을 처리합니다. 기존 적응형 계산 방법들은 종종 중간 계층에서 토큰을 병합하거나 아티팩트나 관련 없는 노이즈가 포함될 수 있는 어텐션 맵에 의존하는데, 이는 정확도를 희생하거나 비 GPU 친화적 연산으로 인한 높은 런타임 오버헤드를 초래하지 않고는 희소성을 완전히 활용하지 못합니다.

핵심적인 과제는 비디오 인식을 세 가지 명확한 학습 작업으로 분해하는 것입니다:

1. 언제 (When): 처리할 시간적 순간을 결정합니다.
2. 어디 (Where): 처리할 공간적 위치를 식별합니다.
3. 무엇 (What): 추출할 표현을 정의합니다.

이는 효율성을 높이기 위해 출력 표현에 책임 있는 입력 토큰을 신속하게 격리하면서도, 희소한 토큰 서브셋만을 사용하여 밀집된 비디오 표현을 정확하게 근사해야 함을 요구합니다.

2. 방법론: LookWhen 프레임워크

LookWhen은 비디오에 특화된 선택자 - 추출기 (selector–extractor) 프레임워크를 도입하여, 이전 이미지 기반 작업 (LookWhere) 을 중요한 아키텍처 및 사전 학습 적응을 통해 확장합니다.

2.1 아키텍처

모델은 두 가지 명확한 구성 요소로 이루어집니다:

• 얕은 선택자 (Shallow Selector): 다운스케일된 비디오 (시간, 높이, 폭이 축소됨) 를 수신합니다. 이는 공간 - 시간 전체의 모든 토큰에 점수를 매기지만, 얕은 깊이 (3 개의 트랜스포머 레이어) 와 축소된 입력 해상도로 인해 계산 비용이 저렴합니다. 이는 가장 정보량이 많은 토큰을 식별하기 위한 선택자 맵을 출력합니다.
• 깊은 추출기 (Deep Extractor): 전체 해상도 비디오에서 상위 K 개로 선택된 토큰 (비디오 및 프레임 토큰 포함) 만을 수신합니다. 이는 ViT-B 크기의 깊고 표현력 있는 모델로, 이러한 희소 입력만을 사용하여 전체 비디오 표현을 근사합니다.

2.2 사전 학습 전략

선택과 추출 모두에 대한 효과적인 감독 목표 (supervision targets) 를 정의하는 것이 핵심 혁신이며, 이는 비디오용 적합한 "교사"의 부재를 해결합니다.

A. 선택 목표: "언제"와 "어디" 학습

• 어텐션의 문제: 비디오 교사 (예: InternVideo2) 의 표준 어텐션 맵은 종종 아티팩트를 포함하거나 노이즈가 많아 선택을 위한 부적절한 목표가 됩니다.
• 해결책 (Top1-Distance): 어텐션을 예측하는 대신, 선택자는 **토큰의 고유성 (uniqueness)**을 예측하도록 훈련됩니다.
  • 공간적으로 근거된 특징을 가진 이미지 교사 (DINOv3) 가 모든 패치에 대한 특징을 계산하는 데 사용됩니다.
  • "top1-distance" 알고리즘은 특징 공간에서 각 패치와 그 가장 가까운 이웃 간의 코사인 유사도를 계산합니다.
  • 가장 가까운 이웃과 가장 큰 거리를 가진 토큰 (즉, 가장 고유/격리된 토큰) 이 가장 높은 순위로 매겨집니다.
  • 선택자는 이 고유성 점수를 예측하도록 학습하여, 가장 덜 중복된 토큰을 선택합니다.

B. 추출 목표: "무엇" 학습

• 이중 교사 증류 (Dual-Teacher Distillation): 추출기는 두 개의 고정된 교사로부터 표현을 근사하도록 훈련됩니다:
  1. 비디오 교사 (InternVideo2): 글로벌 컨텍스트를 나타내는 비디오 레벨 토큰을 제공합니다.
  2. 이미지 교사 (DINOv3): 프레임 레벨 및 패치 레벨 특징을 제공합니다.
• 시간 정규화: 비디오 내의 변화를 추출기에 가르치기 위해 (세밀한 작업에 중요함), DINOv3 의 프레임별 클래스 토큰은 연결 전에 시간적으로 정규화 (평균 0, 분산 1) 됩니다. 이는 정적 콘텐츠가 아닌 시간적 역동성을 강조하는 목표를 생성합니다.
• 손실 함수: 모델은 결합된 손실을 최소화합니다:
  • $L_{map}$: 예측된 선택자 맵과 목표 선택자 맵 간의 이진 교차 엔트로피 (Binary Cross-Entropy).
  • $L_{video}$: 추출기의 비디오 토큰과 교사들의 비디오 토큰 간의 평균 제곱 오차 (MSE).
  • $L_{frame}$ 및 $L_{patch}$: DINOv3 특징이 공간 - 시간으로 정규화된 프레임 및 패치 토큰에 대한 MSE 손실.

2.3 추론

추론 및 미세 조정 동안 교사는 폐기됩니다. 시스템은 효율적으로 작동합니다: 얕은 선택자가 다운스케일된 비디오에 점수를 매겨 상위 K 개 토큰을 선택하고, 깊은 추출기는 오직 이러한 선택된 토큰만 처리하여 하류 작업을 위한 특징을 생성합니다.

3. 주요 기여

1. 비디오로 확장된 프레임워크: 저자들은 아키텍처 (얕은 선택자, 깊은 추출기) 와 사전 학습 목표를 공간 - 시간 중복성을 처리하도록 적응시킴으로써 선택자 - 추출기 패러다임을 비디오로 확장했습니다.
2. 새로운 선택 메커니즘: 어텐션 맵 대신 특징 공간의 고유성에 기반하여 선택자를 훈련하는 top1-distance를 도입했습니다. 이는 아티팩트 없는 어텐션의 필요성을 피하고 중복된 토큰을 효과적으로 식별합니다.
3. 이중 교사 추출: 글로벌 컨텍스트를 위한 비디오 교사와 시간적으로 정규화된 특징을 가진 이미지 교사를 모두 사용하는 사전 학습 전략을 제안하여, 추출기가 일반적이고 세밀한 표현을 학습할 수 있도록 했습니다.
4. 하드웨어 제약 없는 효율성: 토큰 병합 방법들이 Flash Attention 비호환성이나 높은 피크 메모리로 고통받을 수 있는 것과 달리, LookWhen은 표준 딥러닝 연산을 사용하여 실제 환경에서 매우 효율적입니다.

4. 실험 결과

저자들은 Kinetics-400 (K400), Something-Something-v2 (SSv2), Epic-Kitchens-100 (EK100), Diving48, Jester, Charades 등 여섯 가지 데이터셋에서 LookWhen 을 평가했습니다.

• 정확도 vs FLOPs: LookWhen 은 효율적인 베이스라인 (예: VideoMAE, VideoMamba) 과 동급의 업그레이드된 버전보다 우수한 정확도 - 계산 트레이드오프를 달성합니다.
  • K400에서 LookWhen (70% 희소) 은 UMT-B800e 보다 FLOPs 를 40% 줄이고 VideoMambaPro 보다 FLOPs 를 78% 줄이면서 동등하거나 더 나은 정확도 (84.6%) 를 달성합니다.
  • SSv2에서 108 GFLOPs 에서 72.0% 정확도를 달성하여 VideoMAEv2(180 GFLOPs 에서 71.2%) 를 능가합니다.
• 파레토 우위 (Pareto Dominance): LookWhen 은 12 개 평가 사례 (6 개 작업 × 2 가지 설정: 선형 프로빙 및 미세 조정) 중 9 개에서 파레토 우위 (더 높은 정확도와 더 낮은 비용) 를 보입니다.
• 실제 처리량: NVIDIA L40S GPU 에서 측정된 결과, LookWhen 은 동등한 정확도에서 밀집형 InternVideo2-B(IV2) 보다 6.7 배 빠릅니다. 이 격차는 이론적 FLOP 절감량보다 더 큰데, 그 이유는 IV2+병합 베이스라인이 Flash Attention 비호환성으로 고통받고 배치 크기 1 또는 마스킹이 필요하기 때문입니다.
• 애블레이션 연구:
  • 선택: "top1-dist"(고유성) 로 훈련하는 것은 어텐션 맵 (IV2 또는 DINOv3) 이나 무작위 선택으로 훈련하는 것보다 훨씬 우수한 성능을 보입니다.
  • 추출: 비디오 및 이미지 교사를 모두 사용하고 DINOv3 특징을 시간적으로 정규화하는 것이 가장 좋은 성능을 보여주며, 특히 Diving48 및 Jester 와 같은 세밀한 작업에서 두드러집니다.

5. 중요성과 주장

이 논문은 LookWhen 이 언제, 어디서, 무엇을 계산할지 학습함으로써 비디오 트랜스포머의 계산 비효율성을 성공적으로 해결했다고 주장합니다.

• 효율성: 토큰 병합의 런타임 페널티 없이 희소성을 달성할 수 있음을 보여주어, 더 빠른 비디오 인식을 위한 실용적인 경로를 제시합니다.
• 일반화: 프레임워크는 선형 프로빙 (특징 추출) 과 미세 조정 모두에 효과적인 일반 표현을 학습하며, 특정 시나리오에서는 자신의 밀집형 교사 (InternVideo2) 를 능가하기도 합니다.
• 확장성: 토큰 선택을 깊은 특징 추출과 분리함으로써, 높은 정확도를 유지하면서 공격적인 희소성 (최대 95%) 을 가능하게 합니다.

저자들은 계산 제약으로 인해 현재 ViT-Base 모델로 제한되고, 위치가 근거된 표현을 가진 교사들에 의존한다는 한계를 지적합니다. 그러나 기초 모델들이 더 나은 위치 근거 출력을 제공하도록 진화함에 따라 LookWhen 프레임워크는 더욱 효과적이 될 것이라고 주장합니다. 향후 연구는 긴 비디오, 다중 뷰 처리, 그리고 초분광 데이터로 제안됩니다.