💻 computer science

LongVU-TTT: Causal Test-Time Training for Visual Resampling in Long Video Understanding

LongVU-TTT는 중요한 시간적 증거를 보존하면서 긴 비디오 시퀀스를 효과적으로 압축하기 위해 적응형 빠른 가중치(adaptive fast weights)와 하이브리드 선택기(hybrid selector)를 갖춘 인과적 테스트 단계 훈련(causal Test-Time Training) 리샘플러를 도입하여, 여러 비디오 이해 벤치마크에서 최첨단 성능을 달성했습니다.

원저자: Mahmoud Ahmed, Sameh Abdulah, Olatunji Ruwase, Sam Ade Jacobs, Mathis Bode, Mohamed Elhoseiny

게시일 2026-08-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mahmoud Ahmed, Sameh Abdulah, Olatunji Ruwase, Sam Ade Jacobs, Mathis Bode, Mohamed Elhoseiny

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능과 함께 긴 영상을 시청하는 것은, 어떤 사람에게 2시간짜리 영화의 모든 초 단위 장면을 기억하면서 동시에 그 영화에 대한 특정 질문에 답하라고 요청하는 것과 같습니다. 현재 비디오를 이해하는 AI 시스템은 카메라와 같은 구성 요소가 각 프레임을 스캔하여 언어 뇌로 설명을 전달하는 토대 위에 구축되어 있습니다. 문제는 영상이 길어질수록 정보의 양이 너무 방대해져서 언어 뇌가 이를 단기 기억 속에 모두 담아둘 수 없다는 점입니다. 이를 해결하기 위해 엔지니어들은 몇 개의 대표적인 프레임을 선택하거나 유사한 순간들을 병합하여 영상을 요약하는 방법을 시도해 왔지만, 이러한 방식들은 시간이 흐름에 따라 장면이 어떻게 변하는지를 이해하는 데 필요한 핵심적인 세부 사항들을 종종 제거해 버립니다. 핵심적인 과제는 여전히 남아 있습니다. 어떻게 하면 AI가 이야기를 놓치지 않으면서도 제한된 메모리 공간 안에 정보를 맞추어 수백 개의 프레스를 처리할 수 있을 것인가 하는 점입니다.

연구진은 이 병목 현상을 해결하기 위해 LongVU-TTT라고 불리는 새로운 접근 방식을 개발했습니다. 언어 뇌가 시간의 흐름을 추적하는 무거운 작업을 모두 도맡게 하는 대신, 그들은 카메라와 뇌 사이에 특화된 처리 계층을 삽착했습니다. 이 계층은 영상이 재생되는 동안 영상을 관찰하며 자신의 내부 이해도를 끊임없이 업데이트하는 동적 필터 역할을 합니다. 영상을 정적인 이미지로 취급하는 대신, 이 시스템은 시각적 콘텐츠가 언제 변화하는지를 인식하는 법을 배웁니다. 시스템은 스트림을 처리함에 따라 실시간으로 자신의 내부 연결 구조를 조정함으로써, 효과적으로 영상 역사의 실행 중인 요약본을 만들어냅니다. 등장인물이 방에 들어오거나 자동차가 코너를 도는 것과 같이 중요한 변화가 발생하면, 시스템은 그 순간을 중요한 것으로 표시합니다.

연구진은 고정된 패턴이나 단순한 평균화에 의존하는 기존 기술보다 이러한 지속적이고 즉각적인 조정 방식이 더 효과적이라는 것을 발견했습니다. 이미지를 단순히 픽셀의 평면적인 목록으로 보는 것이 아니라, 우리 눈이 모양과 가장자리를 지각하는 방식과 유사하게 이미지의 2차원적 레이아웃을 존중하는 구조를 사용함으로써, 이 시스템은 다른 방법들이 놓치는 국소적인 세부 사항들을 포착합니다. 결정적으로, 연구진은 이 내부의 실행 중인 요약본이 완벽한 기록 보관소가 아니라는 점을 발견했습니다. 그것은 사건의 전반적인 흐름과 최근의 변화를 기억하지만, 긴 영상의 시작 부분에서 있었던 모든 구체적인 세부 사항까지 기억하지는 못하는 숙련된 관찰자와 더 비슷하게 작동합니다. 이 때문에 시스템은 자신의 동적인 이해와 스마트한 선택 과정을 결합합니다. 즉, 가장 중요한 변화가 일어난 프레임들을 유지하면서, 타임라인이 전체적으로 커버될 수 있도록 나머지 메모리는 균등하게 간격을 둔 샘플들로 채웁니다.

테스트에서 연구진은 최대 512개의 프레임을 포함하는 영상을 처리하여, 언어 뇌가 읽을 수 있도록 단 128개의 프레임으로 압축했습니다. 이러한 대폭적인 축소에도 불구하고, 이 시스템은 영상 이해를 테스트하기 위해 설계된 5가지 벤치마크에서 기존 모델들보다 더 우수한 성능을 보였습니다. 특히 시간을 따라 변화를 추적해야 하는 작업에서 강점을 보였으며, 측정 가능한 차이로 다른 고급 방법들을 능가했습니다. 또한 연구는 중요한 한계점도 명확히 했습니다. 시스템의 내부 상태가 관련 있는 순간들을 그룹화하고 변화를 강조하는 데는 탁월하지만, 먼 과거의 사건들에 대한 실제 시각적 증거를 보유해야 할 필요성을 대체할 수는 없다는 점입니다. 최상의 결과는 시스템이 자신의 내부 지식을 사용하여 프레임 선택을 유도함으로써, 최종 답변을 위한 가장 결정적인 시각적 증거가 보존되도록 했을 때 나타났습니다.

이것이 표준 컴퓨터 하드웨어에서 가능하도록 하기 위해, 연구진은 긴 영상을 학습할 때 발생하는 막대한 메모리 요구량을 처리하는 방법 또한 설계했습니다. 그들은 프로세싱을 작고 관리 가능한 덩어리로 나누고, 시스템이 느려지지 않고 매끄럽게 실행되도록 컴퓨터의 메인 메모리와 프로세서 사이에서 데이터를 이동시키는 방법을 개발했습니다. 이를 통해 특수하고 값비싼 슈퍼컴퓨팅 클러스터를 요구하는 대신, 널리 사용되는 일반 그래픽 카드를 사용하여 긴 시퀀스에 대한 모델 학습을 진행할 수 있었습니다. 그 결과, 이 시스템은 더 높은 정확도와 효율성으로 긴 영상을 이해할 수 있게 되었으며, 긴 시퀀스를 다루는 열쇠는 단순히 더 많은 메모리를 갖는 것이 아니라, 정확히 어떤 순간을 기억할지 아는 데 있다는 것을 입증했습니다.

기술 요약: LongVU-TTT

문제 정의

Long-video 멀티모달 대규모 언어 모델(MLLM)은 근본적인 병목 현상에 직면해 있다: 비디오 길이가 길어질수록 시각적 토큰의 수가 선형적으로 증가하는 반면, LLM 내 셀프 어텐션(self-attention)의 이차 복잡도(quadratic complexity)로 인해 긴 시퀀스를 처리하는 것이 계산적으로 매우 부담스럽다. 기존의 압축 전략(예: 공간 풀링, 토큰 병합 또는 차분 드롭)은 일반적으로 명시적으로 시간적 변화를 모델링하기 전에 프레임 수준의 특징을 압축한다. 결과적으로, 이러한 모델들은 프레임 간에 무엇이 변했는지에 대한 원칙적인 이해 없이 정보를 압축하는 경우가 많다. 또한, 상태 공간 모델(SSM)과 같은 순환 구조(recurrent architectures)는 시간적 전파를 제공하지만, 이들의 평탄화된 시퀀스 연산자는 Vision Transformer(ViT) 인코더의 글로벌 표현을 보완하는 2D 로컬 이웃 상호작용을 명시적으로 인코딩하지 못한다.

방법론: LongVU-TTT

저자들은 ViT 인코더와 LLM 사이에 전용 컨볼루션 TTT(Test-Time Training) 리샘플러를 삽착한 비디오 MLLM인 LongVU-TTT를 제안한다. 이 아키텍처는 압축 전에 시간적 컨텍스트를 통해 표현을 풍부하게 하기 위해 프레임을 순환적으로 처리한다.

핵심 구성 요소

컨볼루션 TTT 리샘플러 (TTT-Conv):
- 빠른 가중치(fast weights)를 MLP 기반으로 사용하는 이전의 TTT 연구와 달리, LongVU-TTT는 빠른 가중치를 **그룹화된 2D 컨볼루션(grouped 2D convolutions)**으로 매개변수화한다. 이는 시간적 전파 과정에서 프레임 특징의 공간 구조( $H \times W$ )를 보존한다.
- 이 레이어는 **인과적 빠른 가중치 업데이트(causal fast-weight updates)**를 채택한다: 각 프레임에 대해, 은닉 상태(빠른 가중치)는 이전 프레임들에 기반하여 업데이트된다.
- 업데이트 규칙은 현재 프레임의 값 투영(value projection)과 현재 빠른 가중치에 의해 생성된 매핑 사이의 자기 지도 학습 기반 **정렬 손실(alignment loss, $\mathcal{L}$ )**을 최소화한다.
- 병렬 인과적 실체화(Parallel Causal Materialization): 인과적 순서와 GPU 효율성 사이의 균형을 맞추기 위해, 저자들은 청크(chunk) 내에서 원시 그래디언트(raw gradients)를 프레임별로 독립적으로 계산한 후, 프리픽스 합(prefix sums)을 통해 가중치 상태를 동시에 실체화하는 전략을 사용한다. 이는 비동기 활성화 체크포인팅을 통해 관리되는 액티베이션 메모리와 병렬 컴퓨팅 간의 트레이드오프를 활용한다.
돌출도 기반 하이브리드 프레임 선택 (Saliency-Driven Hybrid Frame Selection):
- 내부 루프 최적화는 자연스러운 중요도 척도로서 그래디언트 신호를 생성하며, 이를 통해 별도의 학습된 스코어러(scorer)가 필요 없게 한다.
- 두 가지 신호가 추출된다:
  - 그래디언트 방향 변화 ( $G_t$ ): 연속된 프레임 간의 빠른 가중치 그래디언트 사이의 코사인 거리를 측정하여 장면 수준의 변화를 감지한다.
  - 정렬 손실 델타 ( $R_t$ ): 정렬 손실의 양의 증가를 측정하여 장면 내의 이벤트 수준 변화를 감지한다.
- 하이브리드 선택기는 이러한 신호들을 (가중치 $\alpha=0.4$ 로 결합하여) 균등 샘플링과 결합한다. 이는 가장 돌출된 상위- $k$ 프레임(Highlight Set)을 유지하고, 남은 예산은 시간적 커버리지를 보장하기 위해 균등 샘플링된 프레임(Uniform Set)으로 채운다.
시스템 최적화:
- 시퀀스 병렬 처리를 사용하지 않고 40GB GPU에서 512 프레임을 학습할 수 있도록, 저자들은 다음을 구현하였다:
  - 배치 타일형 ViT 프로세싱 (Batch-Tiled ViT Processing): ViT 프레임 배치를 독립적인 타일로 분할하고, 최종 타일까지 ZeRO-3 그래디언트 reduce-scatter를 지연시킨다.
  - 비동기 CPU 활성화 오프로딩 (Asynchronous CPU Activation Offloading): 포워드 패스 동안 활성화를 CPU 메모리로 전송하고, 백워드 패스 동안 이를 비동기적으로 프리페치(prefetch)하여 통신과 계산을 오버랩시킨다.

주요 기여

아키텍처 혁신: LLM의 시각적 토큰 병목 현상 이전에 비디오 특징을 컨텍스트화하기 위해, 인과적 빠른 가중치 업데이트를 갖춘 그룹화된 2D 가중치를 적응시키는 컨볼루션 TTT 리샘플러를 제안한다.
선택 메커니즘: 그래디언트 방향 변화와 정렬 손실 델타를 활용하여 보조 모델 없이 장면 전환과 시각적 변화를 포착하는 돌출도 기반 하이브리드 프레임 선택기를 제공한다.
제어된 연구: 프로젝터 단계에서 다양한 시간적 연산자(Transformers, Gated DeltaNet, Mamba2, TTT-MLP)를 체계적으로 비교하여, 인과적 업데이트 순서와 명시적 2D 로컬 처리가 중요한 설계 선택임을 입증한다.
진단적 통찰: 프로젝터의 빠른 가중치가 에피소드 기억 저장소보다는 **시간적 집계기(temporal aggregator)**로서 기능한다는 증거를 제시한다. 즉, 증거가 멀어질수록 이점은 감소하며, 이는 장기 추론을 위해 명시적인 프레임 유지가 필요함을 시사한다.

실험 결과

모델은 MLVU, LongVideoBench, Video-MME, NExT-QA, LVBench의 다섯 가지 벤치마크에서 평가되었다.

성능: LongVU-TTT는 최대 512 프레임을 처리하여 128개의 LLM 프레임으로 압축한다. 이 모델은 다섯 가지 벤치마크 모두에서 경쟁력 있는 성능을 보이며, 모든 벤치마크에서 가장 가까운 학습 베이스라인인 LLaVA-Video를 능가한다.
- MLVU에서, TTT-Conv는 제어된 조건 하에서 TTT-MLP보다 +2.12, 양방향 Mamba2보다 +3.04 높은 성능을 보인다.
- 세 가지 벤치마크에서 어텐션 기반 및 고정 상태 순환 리샘플러보다 우수한 성능을 보인다.
절제 연구(Ablation) 결과:
- 인과적 vs. 비인과적: 인과적 업데이트가 비인과적 업데이트보다 우수하다.
- 2D vs. 1D: 2D 그룹화된 컨볼루션(TTT-Conv)이 1D MLP 방식(TTT-MLP)보다 우수하다.
- 상태 유지: 청크 간에 빠른 가중치 상태를 유지하는 것이 성능을 향상시키지만, 매 프레임마다 리셋하거나 셔플된 그리드를 사용하면 이점이 줄어든다.
- 선택: 하이브리드 선택 전략(그래디언트 신호와 균등 샘플링의 결합)이 무작위, 균등 또는 단일 신호 선택 방식보다 우수하다.
효율성: 제안된 시스템 최적화는 40GB 하드웨어에서 최대 학습 가능한 프레임 수를 4배 확장하며, 64개 GPU 환경에서 표준 베이스라인 대비 학습 단계 지연 시간을 최대 2.23배 감소시킨다.

의의 및 주장

본 논문은 자신의 기여를 이질적인 모델 전체에서의 새로운 SOTA(State-of-the-Art)가 아니라, 비디오 MLLM의 프로젝터 단계에서 TTT에 대한 제어된 연구로 겸허하게 규정한다.

시간적 집계 vs. 에피소드 기억: 핵심적인 발견은 빠른 가중치 상태가 신뢰할 수 있는 장기 에피소드 저장소라기보다 시간적 집계기로 작동한다는 점이다. 증거와 쿼리 사이의 시간적 간격이 커질수록 빠른 상태의 이점은 감소한다. 따라서 모델은 장기 추론을 위해 명시적인 프레임 유지(하이브리드 선택기를 통해)에 의존하며, TTT 레이어는 주로 선택 전 특징을 컨텍스트화하는 데 사용한다.
설계 원칙: 2D 공간 구조를 보존하고 인과적 업데이트 순서를 강제하는 것이 효과적인 프로젝터 단계의 시간적 모델링에 필수적임을 강조한다.
확장성: 제안된 시스템 최적화는 특수한 분산 어텐션 인프라나 시퀀스 병렬 처리를 요구하지 않고도 40GB 범용 하드웨어에서 긴 비디오 학습(최대 512 프레임)이 가능하다는 것을 보여준다.

저자들은 LongVU-TTT가 외부 유사도 메트릭에 의존하는 대신, TTT 내부 루프 업데이트로부터 직접 압축 신호를 도출함으로써 시공간적 중복성을 효과적으로 해결한다고 결론짓는다.