Persistent Object Narratives for Token-Efficient Video Language Models

기술 요약: 토큰 효율적인 비디오 언어 모델을 위한 지속적 객체 내러티브 (Persistent Object Narratives)

문제 정의

비디오 대규모 언어 모델(Video-LLMs)은 개방형 비디오 이해 측면에서 발전해 왔으나, 시각적 인터페이스에서 두 가지 주요 한계에 직면해 있습니다:

1. 토큰 집약도(Token Intensity): 현재의 프레임 단위 구성 방식은 시간 및 공간 해상도에 비례하여 시각적 토큰을 생성하므로, 종종 하나의 비디오당 수천 개의 토큰(예: LLaVA-OneVision, LLaVA-Video)을 발생시킵니다.
2. 명시적 객체 구조의 부재: 기존의 압축 기술(예: 희소 메모리, 적응형 시공간 압축)은 토큰 수를 줄이지만, 반복되는 객체의 증거를 명시적으로 조직화하는 데는 실패합니다. 결과적으로 언어 모델은 명시적인 결합 없이 압축된 시퀀스로부터 객체의 대응 관계와 상태 변화를 추론해야 하며, 이는 객체가 가려짐(occlusion)이나 장면 전환(scene cut) 이후 다시 나타날 때 모호함을 초래합니다.

객체 중심 학습(Object-centric learning)은 특징을 객체 형태의 슬롯(slot)으로 그룹화하는 이론적 근거를 제공하지만, 기존의 슬롯 기반 접근 방식은 일반적으로 슬롯을 국소적이고 교환 가능한 것으로 취급하며, 반복되는 관찰을 시간 흐름에 따른 지속적인 객체 인스턴스로 연결하지 못합니다. 반대로, 외부 탐지 및 추적 파이프라인에 의존하는 방법들은 학습되지 않은 구성 요소에 대한 의존성을 유발합니다.

방법론: SlotNarrative

저자들은 SlotNarrative를 제안합니다. 이는 **지속적 객체 내러티브(persistent object narratives)**로 비디오 증거를 조직하는 슬롯 기반의 객체 중심 인터페이스입니다. 이 프레임워크는 세 가지 기능 모듈을 통해 작동합니다.

1. 객체 중심 비디오 표현 (Object-Centric Video Representation)

동결된(frozen) SigLIP 인코더가 샘플링된 프레임에서 패치 특징을 추출합니다. 특징 어댑터와 순환 슬롯 인코더는 이러한 특징들을 $K=11$개의 객체 유사 슬롯 벡터($S_t$)와 패치 정규화된 어텐션 맵($A_t$)으로 그룹화합니다.

• 국소 상태(Local State): 시스템은 마스크 가중치 패치 매칭과 인과적 궤적 인코더(causal trajectory encoder)를 사용하여 국소적 움직임, 기하학적 구조 및 가시성을 추정합니다.
• 장면 처리(Scene Handling): 탐지된 장면 전환 시, 편집을 극단적인 객체 움직임으로 취급하는 것을 방지하기 위해 순환 슬롯 초기화를 리셋하되, 클립 수준의 메모리는 유지합니다.

2. 지속적 객체 메모리 (Persistent Object Memory)

파라미터가 없는 메모리 모듈은 프레임 국소 슬롯 관찰을 지속적인 클립 수준 객체 항목과 연결합니다.

• 재식별(Re-identification): 슬롯이 보이지 않는 상태에서 보이는 상태로 전환될 때, 시스템은 다섯 가지 상호 보완적인 단서(슬롯 특징 유사도, 풀링된 외형 유사도, 궤적 상태 유사도, 최근 관찰 유사도, 위치 근접성)를 사용하여 비활성 메모리 항목과 매칭합니다.
• 매칭 로직: 가중치가 적용된 파라미터 프리 스코어가 재식별을 결정합니다. 탐욕적 일대일 매칭 전략을 통해 중복 점유를 방지합니다. 만약 객체가 다른 원시 슬롯 인덱스로 다시 나타나더라도, 메모리는 지속적인 ID를 보존하여 누락된 구간을 효과적으로 연결합니다.
• 학습 가능한 파라미터 없음: 메모리 자체에는 학습 가능한 가중치가 포함되어 있지 않으며, 고정된 단서 가중치(예: 슬롯 특징 0.3, 외형 0.2)와 임계값에 의존합니다.

3. 유형화된 객체-상태 토큰화 (Typed Object-State Tokenization)

동결된 언어 모델과 인터페이스하기 위해, 유지된 객체 항목은 고정된 크기의 시각적 시퀀스로 직렬화됩니다:

• 인벤토리 선택: 항목들은 가시 지속 시간, 상태 변화, 그리고 "객체성(objectness)"(슬롯 면적과 어텐션 엔트로피를 결합한 지표)에 따라 순위가 매겨집니다. 상위 $M=16$개의 항목이 유지됩니다.
• 토큰 분해: 각 유지된 항목은 다음으로 표현됩니다:
  • 하나의 정체성 토큰(Identity Token): 시간적으로 집계되고 가시성이 가중치 적용된 백본 특징을 사용하여 지속적인 외형을 요약합니다.
  • $J=8$개의 상태 토큰(State Tokens): 세그먼트 수준의 외형, 기하학, 가시성, 궤적 상태 및 재식별 이벤트를 인코딩합니다.
• 고정 예산: 이 설계는 비디오의 샘플링 프레임 수와 무관하게 정확히 $M(1 + J) = 144$개의 시각적 토큰 위치를 할당합니다. 사용되지 않는 위치는 마스킹됩니다.

학습 전략

모델은 세 단계의 순차적 과정으로 학습됩니다:

1. 1단계: 특징 재구성, SlotContrast, 그리고 라벨이 없는 클립에 대한 시너지적 표현 학습(Synergistic Representation Learning)을 사용하여 객체 유사 그룹화 및 국소적 일관성을 학습합니다.
2. 2단계: 미래 관찰 예측 및 신뢰도 기반 타겟을 통해 궤적 및 존재 모듈을 학습합니다.
3. 3단계: 유형화된 객체-상태 표현을 언어 모델(Qwen2-7B-Instruct)과 정렬합니다. 정체성/상태 프로젝터, 레이어 정규화 및 유형화된 임베딩만이 학습되며, 시각적 백본, 메모리 및 언어 모델은 동결된 상태를 유지합니다.

주요 기여

1. 슬롯 기반 객체 중심 인터페이스: 외부 추적 파이프라인 없이 파라미터 프리 메모리를 사용하여 반복되는 관찰을 연관시킴으로써, 비디오 증거를 프레임이나 교환 가능한 per-frame 슬롯이 아닌 지속적인 클립 수준 객체 항목으로 조직합니다.
2. 유형화된 객체-상태 표현: 지속적인 외형과 시변적 상태를 분리합니다. 이 분해를 통해 동결된 Video-LLM을 위한 144개 토큰(1개 정체성 + 8개 상태 토큰 $\times$ 16개 객체)의 압축된 고정 인터페이스를 제공합니다.
3. 효율성 및 성능: 여러 벤치마크에서 유리한 정확도-시각적 토큰 트레이드오프를 입증하며, 지속적 객체 내러티브를 구조화된 시각적 인터페이스로 확립합니다.

실험 결과

저자들은 세 가지 개방형 비디오 QA 벤치마크인 MSVD-QA, MSRVTT-QA, ActivityNet-QA에서 SlotNarrative를 평가했습니다.

• 토큰 효율성: 단 144개의 할당된 시각적 토큰 위치만으로 SlotNarrative는 다음을 달성했습니다:
  • MSVD-QA에서 75.6% 정확도.
  • MSRVTT-QA에서 69.8% 정확도.
  • ActivityNet-QA에서 50.3% 정확도.
• 비교:
  • 가장 가까운 객체 중심 베이스라인인 Slot-VLM(192 토큰)과 비교했을 때, SlotNarrative는 25% 적은 토큰을 사용하면서도 각각 0.7, 0.2, 2.0 포인트의 정확도 향상을 보였습니다.
  • 밀집 토큰 방식(예: 약 6,000개 토큰을 사용하는 LLaVA-OneVision)에 비해 짧은 비디오 데이터셋에서 우수한 성능을 보였으며, 상당한 토큰 감소에도 불구하고 긴 비디오(ActivityNet-QA)에서도 경쟁력 있는 성능을 유지했습니다.
• 절제 연구(Ablation Studies):
  • 궤적 및 메모리: 두 구성 요소 모두 성능을 크게 향 향상시킵니다. 메모리만 제거할 경우 MSVD-QA에서 정확도가 약 3.2 포인트 하락하며, 궤적을 제거할 경우 약 1.8 포인트 하락합니다. 이들의 조합이 최상의 결과를 냅니다.
  • 유형화된 토큰: 정체성 토큰과 상태 토큰을 분리하는 것이 매우 중요합니다. 정체성 토큰(16개)만 사용하거나 상태 토킨(128개)만 사용할 경우, 전체 144-토큰 인터페이스(50.3%)에 비해 상당한 정확도 저하(ActivityNet-QA 기준 각각 44.1% 및 42.4%)가 발생합니다.
  • 예산 민감도: 객체 커버리지($M$)를 줄이는 것이 시간 해상도($J$)를 줄이는 것보다 더 큰 비용을 초환합니다. 예산을 144 토큰 이상으로 늘려도 수익 체감(diminishing returns)이 나타납니다.

의의 및 주장

본 논문은 SlotNarrative가 프레임 단위의 증거보다 지속적 객체 내러티브를 우선시함으로써 Video-LLM 인터페이스의 새로운 패러다임을 구축한다고 주장합니다. 그 의의는 다음과 같습니다:

• 구조화된 압축: 반복되는 관찰을 명시적으로 연결하는 압축적이고 구조화되며 시간적으로 조직된 시각적 인터페이스를 제공하여, 객체 대응 관계를 추론해야 하는 언어 모델의 부담을 줄여줍니다.
• 토큰 효율성: 고정된 낮은 토큰 예산(144 토로)으로 경쟁력 있는 성능을 달성하여, 입력 길이를 비디오의 지속 시간 및 해상도로부터 분리합니다.
• 학습된 연관성: 외부 탐지 또는 추적 모델에 의존하지 않고, 시각적 특징으로부터 직접 누락된 구간 사이의 객체 유사 단위를 발견하고 연관시킬 수 있음을 보여줍니다.

저자들은 모델이 압축적이지만, 혼잡한 장면에서의 장기적 시간 순서(long-range temporal order) 및 파편화(fragmentation) 문제는 여전히 과제로 남아 있다고 겸허히 인정했습니다. 이들은 향ar 작업이 긴 프레임-토큰 시퀀스로 회귀하지 않으면서도 더 풍부한 객체 발견 및 움직임 단서를 찾는 데 집중해야 한다고 제언합니다.