기술 요약: ST-SimDiff

문제 제기

멀티모달 대규모 언어 모델 (MLLM) 은 긴 영상을 처리할 때 상당한 계산 및 저장 병목 현상에 직면합니다. 표준 패러다임은 영상을 프레임 시퀀스로 샘플링한 후 각 프레임을 수백 또는 수천 개의 시각 토큰으로 변환하는 과정을 포함합니다. 영상의 지속 시간과 해상도가 증가함에 따라 토큰 수는 폭발적으로 증가하며, 이는 자기 주의 (self-attention) 메커니즘의 이차 복잡도 ($O(N^2)$) 로 인해 prohibitive 한 계산 비용을 초래합니다.

기존 토큰 압축 방법들은 일반적으로 두 가지 범주로 나뉩니다:

1. 중요도 기반 가지치기 (Importance-based pruning): 낮은 주의 점수를 가진 토큰을 제거하는 방법 (예: FastV, FasterVLM).
2. 유사도 기반 병합/선택 (Similarity-based merging/selection): 프레임 내 또는 인접 프레임 간의 높은 유사도를 기반으로 토큰을 결합하거나 선택하는 방법 (예: FrameFusion, VisionZip).

저자들은 현재 접근 방식에서 두 가지 중요한 한계를 지적합니다:

• 결합된 시공간 모델링의 부재: 기존 방법들은 종종 공간적 및 시간적 상관관계를 분리하여 처리하여, 두 차원의 상호작용에 의존하는 복잡한 동적 이벤트를 포착하지 못합니다.
• "차이 (Difference)"의 간과: 현재 방법들은 중복성을 줄이기 위해 정보적 공통점 (유사성과 중요도) 에 집중합니다. 그러나 중요한 변화, 전환점, 그리고 동적 전환을 종종 간과합니다. 영상 내러티브가 종종 이러한 이벤트에 의해 주도되기 때문에, 유사성만 추구하는 모델은 갑작스러운 행동을 매끄럽게 만들어 오해를 초래할 위험이 있습니다.

방법론: ST-SimDiff

본 논문은 시공간적 유사성 (Spatiotemporal Similarity)(중복성 식별용) 과 시간적 차이 (Temporal Difference)(주요 이벤트 포착용) 사이의 균형을 맞추는 학습이 불필요한 (training-free) 프레임워크인 ST-SimDiff를 제안합니다. 이 방법은 시각 토큰으로 구성된 시공간 그래프에서 작동하며, 병렬 이중 선택 전략을 사용합니다.

1. 시공간 그래프 구성

시각 토큰 $T = \{t_1, \dots, t_N\}$은 그래프 $G=(V, E)$의 정점 (vertices) 으로 모델링됩니다. 간선 집합 $E$는 다음 두 가지의 합집합입니다:

• 공간 간선 ($E_S$): 동일한 프레임 내에서 공간적으로 인접한 토큰들을 연결합니다.
• 시간 간선 ($E_T$): 인접한 프레임에서 동일한 공간 위치에 있는 토큰들을 연결합니다.
  간선 가중치는 연결된 토큰들의 특징 벡터 코사인 유사도로 정의됩니다.

2. 이중 선택 전략

프레임워크는 두 가지 병렬 선택 과정을 실행합니다:

A. 유사도 기반 대표 토큰 선택 (SRTS)

• 목표: 정적이고 중복된 콘텐츠를 압축합니다.
• 과정:
  1. 유사도 임계값 $\tau_{sim}$ 이상의 가중치를 가진 간선만 유지하도록 그래프를 임계화합니다.
  2. 매우 유사한 토큰들의 클러스터를 식별하기 위해 커뮤니티 감지 알고리즘 (구현에서는 연결 요소) 을 적용합니다.
  3. 각 커뮤니티 내에서, 토큰이 클러스터 내 다른 토큰들과 가지는 평균 유사도를 기반으로 중심성 점수를 계산합니다.
  4. 각 커뮤니티에서 가장 높은 중심성 점수를 가진 상위 토큰들을 유지하여 집합 $T_{rep}$를 형성합니다.

B. 차이 기반 이벤트 토큰 선택 (DETS)

• 목표: 주요 동적 전환과 전환점을 포착하는 토큰을 보존합니다.
• 과정:
  1. 그래프 내의 시간 간선 ($E_T$) 을 분석합니다.
  2. 유사도가 급격히 떨어지는 (즉, 가중치가 차이 임계값 $\tau_{diff}$ 이하로 떨어지는) 시간적으로 인접한 토큰 쌍을 식별합니다.
  3. 이러한 쌍에서 후속 토큰을 중요한 이벤트 토큰으로 표시하여 집합 $T_{trans}$를 형성합니다.

3. 최종 축소

최종 토큰 부분집합은 대표 토큰과 이벤트 토큰의 합집합입니다 ($T_{candidate} = T_{rep} \cup T_{trans}$). 이 집합의 크기가 압축 비율 $r$로 결정된 목표 예산을 초과하는 경우, 최종 가지치기 단계가 얕은 LLM 레이어를 기반으로 한 가장 낮은 주의 점수를 가진 토큰들을 제거하여 토큰 수 제약을 엄격하게 준수합니다.

주요 기여

1. 새로운 관점: 저자들은 영상 토큰 압축에서 유사성과 차이가 동등한 중요도를 가져야 한다고 제안하며, 유사성은 중복성을 식별하고 차이는 중요한 순간을 포착한다고 주장합니다.
2. 시공간 그래프 프레임워크: 대표 토큰과 핵심 이벤트 토큰을 동시에 선별할 수 있는 복잡한 시공간 관계를 위한 통합 모델입니다.
3. 이중 선택 전략: 정적 압축을 위한 커뮤니티 감지와 동적 보존을 위한 시간적 차이 분석을 결합한 새로운 메커니즘입니다.
4. 학습 불필요한 효율성: 이 방법은 추가 학습이 필요 없으며, 성능을 유지하거나 향상시키면서 상당한 계산 절감을 달성합니다.

실험 결과

이 방법은 VideoMME, LongVideoBench, EgoSchema라는 세 가지 장편 영상 이해 벤치마크에서 LLaVA-Video-7B와 NVILA-8B를 기본 모델로 사용하여 평가되었습니다.

• 성능: ST-SimDiff는 모든 구성에서 FastV, PruMerge, FasterVLM, VisionZip, FrameFusion을 포함한 최첨단 베이스라인보다 일관되게 우수한 성과를 보였습니다. 특히 50% 토큰 유지 비율에서 ST-SimDiff의 성능은 일부 벤치마크에서 원래 압축되지 않은 모델 (100% 토큰) 과 일치하거나 초과했습니다.
• Ablation 연구:
  • 유사도 모듈 추가 (+Sim) 는 베이스라인 대비 성능을 향상시켰습니다.
  • 결합된 시공간 모델링은 공간 또는 시간 모델링 단독보다 더 효과적이었습니다.
  • 차이 모듈 추가 (++Diff) 는 특히 높은 압축 비율 (30%) 에서 상당한 성능 도약을 제공하여 내러티브에 중요한 이벤트를 보존하는 안전망 역할을 확인시켰습니다.
• 계산 효율성:
  • 추론 시간: ST-SimDiff는 128 프레임 영상에서 베이스라인 대비 추론 시간을 최대 30.2% 단축했습니다.
  • 메모리 사용량: 128 프레임 영상에서 피크 GPU 메모리 사용량은 31.7% 감소하여 제한된 메모리를 가진 하드웨어에서 더 긴 영상을 처리할 수 있게 했습니다.
  • 복잡도: 이 프레임워크는 자기 주의 메커니즘의 이차 복잡도보다 훨씬 낮은 선형 복잡도 $O(Nd)$로 작동합니다.

의의

본 논문은 ST-SimDiff가 기존 영상 이해 연구의 중요한 맹점인 영상 내러티브를 주도하는 "차이"를 간과하면서 유사성을 우선시하는 경향을 해결한다고 주장합니다. 시공간 그래프를 구성하고 이중 선택 전략을 적용함으로써, 이 방법은 중복된 정적 정보를 압축하는 것과 필수적인 동적 이벤트를 보존하는 것 사이의 견고한 균형을 달성합니다. 이 접근법은 효율적인 영상 이해를 위한 원칙적이고 적응적인 솔루션을 제공하며, 토큰 예산을 극적으로 줄여도 고품질 영상 이해를 유지할 수 있음을 보여줍니다.