기술 요약: 비디오 LLM 을 위한 ST-GridPool

문제 제기

최근 멀티모달 대규모 언어 모델 (MLLM) 은 비디오 이해 능력을 향상시켰으나, 정교한 시공간 상호작용을 보존하면서 시각 토큰을 효율적으로 압축하는 데 있어 중요한 병목 현상에 직면해 있습니다. LLaVA 계열과 같은 기존 비디오 LLM 은 일반적으로 자기 어텐션 메커니즘의 2 차 복잡도를 줄이기 위해 단순한 2 차원 풀링이나 보간법에 의존합니다. 그러나 이러한 방법들은 모든 공간 및 시간 토큰을 동일하게 취급하여 비디오 콘텐츠의 이질적인 특성을 간과합니다. 이로 인해 고정보 영역 (예: 중요한 객체) 이 손실되고, 급격한 미세 운동부터 점진적인 장면 진화에 이르기까지 다양한 수준의 시간적 역동성을 포착하지 못하게 됩니다. 또한, 대부분의 기존 토큰 압축 전략은 비용이 많이 드는 재학습이나 특정 아키텍처 수정을 요구하여 플러그 앤 플레이 솔루션으로서의 적용 가능성을 제한합니다.

방법론: ST-GridPool

이러한 한계를 해결하기 위해 저자들은 비디오 LLM 을 위해 특별히 설계된 새로운 학습 없는 시각 토큰 향상 방법인 ST-GridPool을 제안합니다. 이 접근법은 모델 파라미터를 변경하거나 재학습을 요구하지 않고 시공간 차원에 걸쳐 시각 토큰을 정제하는 두 가지 시너지 효과를 내는 구성 요소로 이루어져 있습니다.

1. 피라미드 시간 그리딩 (Pyramid Temporal Gridding, PTG)

PTG 는 다양한 길이의 세그먼트 ($K_l = K \cdot 2^{l-1}$) 에 해당하는 여러 계층으로 비디오 시퀀스를 분할하는 계층적 그리딩 전략을 도입함으로써 균일한 시간 샘플링의 한계를 해결합니다.

• 메커니즘: 각 세그먼트에 대해 프레임의 부분 집합이 균일하게 샘플링되어 공간적으로 연결되고, 중간 토큰 그리드를 형성합니다.
• 프로세스: 이 그리드는 이선형 보간을 통해 원래 해상도로 다시 크기 조절되어 "요약 토큰"을 생성합니다.
• 업데이트: 각 세그먼트의 마지막 프레임은 이 요약 토큰으로 업데이트됩니다.
• 효과: 이를 통해 모델은 추가적인 학습 가능한 파라미터 없이도 정밀한 (단기) 과 거친 (장기) 시간적 역동성을 동시에 포착할 수 있으며, 시간적 표현을 풍부하게 합니다.

2. 노름 기반 공간 풀링 (Norm-based Spatial Pooling, NSP)

NSP 는 토큰 노름과 의미적 풍부함 사이의 상관관계를 활용하여 균일한 공간 다운샘플링 문제를 해결합니다.

• 관찰: HKU-IS 데이터셋에 대한 실험 결과, 시각 토큰의 L2 노름과 중요한 객체의 존재 사이에 강한 양의 상관관계가 있음이 밝혀졌습니다. 배경 영역은 일반적으로 낮은 노름을 보이는 반면, 고정보 영역은 높은 노름을 보입니다.
• 메커니즘: NSP 는 동적 2 차원 가중 풀링 방식을 사용합니다. 슬라이딩 윈도우 내에서 각 토큰의 L2 노름이 계산되고 소프트맥스 함수를 사용하여 정규화되어 적응형 가중치 ($\alpha_{m,n}$) 를 생성합니다.
• 프로세스: 풀링된 토큰은 윈도우 내 시각 특징의 가중 합으로 계산되며, 가중치는 토큰의 노름에 의해 결정됩니다.
• 효과: 이 전략은 의미적으로 풍부한 영역 (높은 노름을 가진 토큰) 을 선택적으로 증폭하고 저정보 배경을 억제하여, 압축 과정에서 중요한 시각적 세부 사항이 보존되도록 합니다.

주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

1. 최초의 학습 없는 비디오 전용 향상: 저자들은 재학습 없이 작동하는 비디오 LLM 을 위해 특별히 설계된 최초의 시각 토큰 향상 방법을 제안합니다. 이는 계산 효율성을 유지하면서 성능을 향상시키기 위해 압축 과정을 최적화합니다.
2. 새로운 아키텍처 구성 요소:
   • 피라미드 시간 그리딩: 다양한 시간 길이에 걸쳐 다중 수준의 시공간 상호작용을 포착하기 위한 계층적 전략을 도입합니다.
   • 노름 기반 공간 풀링: 토큰 노름과 의미적 중요성 사이의 양의 상관관계를 활용하여 압축 과정에서 고가치 시각 정보를 효과적으로 보존합니다.
3. 실증적 검증: 여섯 가지 비디오 이해 데이터셋에 걸친 광범위한 실험을 통해 LLaVA-Video, LLaVA-OneVision 등 여러 최첨단 모델과 다양한 작업에서 일관된 성능 향상을 입증했습니다.

실험 결과

이 방법은 Long Video Understanding (VideoMME, LongVideoBench, EgoSchema) 과 General Video Understanding (NexT-QA, TempCompass, MVBench) 을 위한 벤치마크에서 널리 채택된 비디오 LLM (LLaVA-OneVision-7B 및 LLaVA-Video-7B) 에서 평가되었습니다.

• 성능 향상: ST-GridPool 은 모든 데이터셋에서 일관된 개선을 달성했습니다. 예를 들어, LLaVA-Video-7B 에서는 VideoMME 에서 +0.9%, LongVideoBench 에서 +1.9%, MVBench 에서 +1.2% 의 점수 향상을 보였습니다.
• 토큰 감소 효율성: 엄격한 토큰 예산 (30% 및 50%) 하에서 주요 토큰 감소 방법들과의 비교에서 ST-GridPool 은 FastV, PruMerge, FrameFusion 과 같은 베이스라인을 능가했습니다. 특히 더 엄격한 30% 예산 하에서 세 가지 장편 비디오 벤치마크 모두에서 최고의 점수를 기록했습니다.
• 계산 효율성: 이 방법은 베이스라인에 비해 추론 시간과 피크 GPU 메모리 사용량을 모두 크게 줄이는 이중 최적화를 보여주었으며, 입력 프레임 수가 증가함에 따라 절감 효과가 더욱 두드러졌습니다.
• 애블레이션 연구: PTG 또는 NSP 중 하나를 제거하면 성능이 저하되어 두 구성 요소 모두 필요하며 상호 보완적임을 확인했습니다. 최적의 하이퍼파라미터는 온도 $\beta=1$과 L2-노름 ($p=2$) 으로 발견되었습니다.

중요성 및 주장

본 논문은 ST-GridPool 을 효율적인 토큰 압축과 복잡한 시공간 상호작용 보존 사이의 간극을 메우는 확장 가능한 "플러그 앤 플레이" 솔루션으로 위치시킵니다. 저자들은 이 방법이 비용이 많이 드는 아키텍처 수정이나 재학습 없이 시각 토큰 표현을 향상시키는 강력한 패러다임을 제공한다고 주장합니다. 노름 기반 가중치와 계층적 시간 모델링을 통해 의미 있는 세부 사항의 보존을 극대화함으로써, ST-GridPool 은 기존 비디오 LLM 이 장거리 의존성과 동적 활동을 분석해야 하는 시나리오에서 더욱 견고하고 정확한 비디오 이해를 달성할 수 있게 합니다. 추가 연구와 채택을 촉진하기 위해 코드가 공개되었습니다.