One Trajectory, One Token: Grounded Video Tokenization via Panoptic Sub-object Trajectory

기술 요약: 하나의 궤적, 하나의 토큰

문제 제기
고정된 시공간 패치 (예: ViT3D) 로 비디오를 분할하는 기존 비디오 토큰화 방법은 상당한 확장성 문제를 직면하고 있습니다. 비디오 지속 시간이 증가함에 따라 토큰 수가 선형적으로 증가하여 메모리 병목 현상과 계산 비효율성을 초래합니다. 또한, 이러한 패치 기반 패러다임은 장면의 복잡성을 무시합니다. 동일한 지속 시간을 가진 정적 장면과 동적 동작 시퀀스는 동일한 수의 토큰을 생성합니다. 패치 드롭핑 또는 병합과 같은 기존 토큰 축소 전략은 종종 모델 성능을 저하시키거나 카메라 운동이 존재할 때 시간적 일관성을 유지하지 못합니다. 더 나아가, 이러한 방법들은 3D 합성곱이나 시공간 패치 매핑에 대한 아키텍처 의존성으로 인해 이미지 데이터를 원활하게 통합하는 데 어려움을 겪습니다.

방법론: 그라운딩 비디오 토큰화
저자들은 Grounded Video Tokenization이라는 새로운 패러다임에 기반한 비디오 인코더인 TrajViT를 제안합니다. TrajViT 는 고정된 패치 대신 **팬옵틱 서브-오브젝트 궤적 (panoptic sub-object trajectories)**을 중심으로 토큰을 조직화합니다. 이 접근법은 지각 원칙 (Spelke 의 핵심 인지 원칙과 공통 운명의 게슈탈트 원칙) 과 일치하여, 객체 부분을 시간적으로 지속되는 일관된 개체로 취급합니다.

시스템은 두 가지 주요 구성 요소로 이루어집니다:

1. 팬옵틱 서브-오브젝트 궤적 추출 파이프라인:

   • 키 프레임 감지: 새로운 객체가 나타날 가능성이 있는 키 프레임을 감지하여 비디오를 클립으로 분할합니다. 이는 병렬화 가능한 알고리즘을 사용하여 연속된 프레임 간의 색상 히스토그램과 휘도 강도를 비교함으로써 달성됩니다.
   • 분할 및 추적: 각 클립 내에서 파이프라인은 DirectSAM(가벼운 분할기) 을 사용하여 키 프레임의 모든 객체를 분할한 후, SAM2(추적기) 를 사용하여 해당 클립 내의 후속 프레임으로 이러한 마스크를 전파합니다.
   • 병합: 여러 클립에 걸쳐 있는 객체를 처리하기 위해 시스템은 한 클립의 마지막 프레임과 다음 클립의 첫 번째 프레임 사이에 추가 추적 단계를 수행합니다. 높은 교차율 (IoU) 을 가진 세그먼트는 전체 비디오에 걸쳐 객체 정체성을 유지하기 위해 병합됩니다.
   • 출력: 이 프로세스는 궤적 집합을 생성하며, 각 궤적은 시간 경과에 따른 개별 객체 또는 서브-오브젝트를 나타냅니다.

2. 궤적 인코더:

   • 외관 인코딩: 각 궤적에 대해 모델은 가벼운 합성곱 네트워크 (ResNet-18) 로부터 계층적 시각 특징을 추출합니다. 각 프레임의 분할 마스크 내에서 특징을 집계하기 위해 마스크 풀링을 적용합니다.
   • 시간적 위치 인코딩: 각 프레임의 궤적에 대한 바운딩 박스 좌표는 정현파 임베딩을 사용하여 고차원 벡터로 매핑됩니다.
   • 집계: 외관 및 시간적 위치 시퀀스 (길이가 다양함) 모두 Perceiver Resampler에 의해 처리됩니다. 이 모듈은 단일 학습 가능한 쿼리를 사용하여 프레임 수준 특징 시퀀스에 주의를 기울여 이를 단일 고정 크기 임베딩으로 압축합니다.
   • 최종 토큰: 궤적 토큰은 외관 및 시간적 위치 임베딩을 합산하여 형성됩니다. 이러한 토큰은 표준 트랜스포머 인코더의 입력으로 사용됩니다.

주요 기여

• 새로운 토큰화 패러다임: 이 논문은 토큰 수가 비디오 지속 시간이나 프레임 수와 상관관계가 있는 것이 아니라 개별 객체 궤적의 수와 상관관계가 있는 "그라운딩 비디오 토큰화"를 도입합니다. 이는 본질적으로 장면의 복잡성을 반영합니다.
• TrajViT 아키텍처: 팬옵틱 서브-오브젝트 궤적을 추출하여 의미 있는 고정 크기 토큰으로 변환하는 새로운 인코더로, 하부 트랜스포머 아키텍처를 수정하지 않고도 구현됩니다.
• 원활한 이미지 - 비디오 통합: 이미지와 비디오에 대해 별도의 사전 훈련 파이프라인이 필요한 시공간 패치 방법과 달리, TrajViT 는 이미지 세그먼트를 길이가 1 인 궤적으로 간주하여 단일 단계에서 이미지 및 비디오 데이터에 대한 공동 훈련을 가능하게 합니다.
• 효율성: 이 방법은 시간적 일관성과 조명 변화, 가림, 카메라 운동에 대한 강인성을 유지하면서 토큰 수를 크게 줄입니다 (예: Panda 데이터셋에서 10 배 감소).

실험 결과
TrajViT 는 여러 벤치마크에 걸쳐 표준 ViT3D 및 최첨단 토큰 병합 베이스라인 (예: ToMe, AutoMerge, RLT) 과 비교 평가되었습니다:

• 비디오 - 텍스트 검색: ActivityNet, VATEX, MSR-VTT, Charades 와 같은 데이터셋에서 TrajViT 는 10 배 적은 토큰을 사용하면서도 ViT3D 보다 큰 차이로 성능을 상회했습니다 (평균 상위 5 회상률 6% 증가).
• 동작 분류: TrajViT 는 Kinetics-400 및 UFC-101 에서 우수한 성능을 달성했습니다. Something-Something V2(SSV2) 에서는 토큰 병합 방법보다 성능이 우수했으나 ViT3D 보다 약간 뒤처졌는데, 저자들은 이를 모델이 단순한 자기 중심적 장면에서 복잡한 동작을 과도하게 압축했기 때문이라고 설명합니다.
• 세밀한 작업: TrajViT 는 시간적 궤적의 일관성으로 인해 공간 - 시간 동작 감지 (AVAv2) 및 시간적 클립 검색에서 상당한 향상을 보였습니다.
• VideoLLM 성능: VideoLLM( Llama-3 사용) 의 비디오 인코더로 통합되었을 때, TrajViT-LLM 은 여섯 가지 VideoQA 벤치마크에서 ViT3D-LLM 보다 평균 **5.24%**의 정확도로 상회했습니다. 이는 4 배 빠른 훈련 시간과 18 배 적은 추론 FLOPs로 달성되었습니다.
• 확장성: TrajViT 는 입력 프레임 수 증가 (긴 비디오까지) 및 더 큰 사전 훈련 데이터셋 (2M 에서 8M 비디오) 에 따라 우수한 확장 행동을 보였습니다. 또한 ViT3D 에 비해 이미지 데이터 (DataComp-50M) 추가로부터 더 큰 혜택을 받았습니다.

의의 및 주장
저자들은 TrajViT 가 정확성을 희생하지 않고 효율성을 위해 일관되게 다양한 비디오 분석 작업에서 ViT3D 를 능가하는 최초의 효율적인 인코더라고 주장합니다. 토큰을 객체 궤적에 기반하게 함으로써, 이 방법은 패치 기반 토큰화의 근본적인 비효율성을 해결하여 긴 비디오 이해를 위한 견고하고 확장 가능한 솔루션을 제공합니다. 이 논문은 이 접근 방식이 모델이 장면의 지속 시간이 아닌 장면의 의미적 복잡성에 집중할 수 있게 하여, 객체 중심 작업 및 장편 비디오 분석에 특히 효과적임을 강조합니다. 저자들은 궤적 생성 파이프라인이 일부 오버헤드를 도입하지만, 전체 시스템은 64 프레임보다 긴 비디오의 경우 더 효율적이라고 덧붙였습니다.