기술 요약: video-SALMONN S

문제 정의

장기 스트리밍 비디오 이해는 미래의 AI 에이전트에게 필수적인 역량이나, 현재의 최첨단(SOTA) 비디오 거대 언어 모델(LLM)들은 상당한 한계에 직면해 있습니다. 대부분의 기존 모델은 오프라인 방식으로 작동하며, 고정된 최대 입력 시각 토큰 수를 요구합니다. 이는 제한 범위를 초과하는 비디오에 대해 상당한 정보 손실을 초导致합니다. 최근의 스트리밍 방식들은 토큰 병합(token merging)이나 다운샘플링을 통해 연속적인 비디오 입력을 처리하려고 시도하지만, 장기간(예: 3시간 이상)에 걸쳐 누적되는 정보 손실이 발생하여 오프라인 모델보다 성능이 떨어지는 경우가 많습니다. 또한, 외부 메모리나 특화된 프레임 선택에 의존하는 기존 방법들은 복잡한 설계나 특화된 학습 데이터를 필요로 하여 확장성이 제한됩니다. 핵심적인 격차는 에이전트가 몇 시간 전에 관찰한 비디오 스트림으로부터 절차적 지식을 학습하고 이를 실시간 의사 결정에 적용해야 하는 장기 의존성(long-term dependencies) 모델링에 남아 있습니다.

방법론: video-SALMONN S

저자들은 고정된 메모리 예산 하에서 1 FPS 및 360p 해상도로 3시간 이상의 비디오를 처리할 수 있도록 설계된 메모리 강화 스트리밍 오디오-비주얼 LLM인 video-SALMONN S를 제안합니다. 핵심 혁신은 비디오 LLM 최초로 **테스트 시간 훈련(Test-Time Training, TTT)**을 스트리밍 메모리 메커니즘으로 통합한 것입니다.

1. TTTMEM 레이어

토큰 압축에만 의 Rely하지 않고, video-SALMONN S는 단기 멀티모달 표현을 모델 파라미터(fast weights) 내에 내장된 장기 메모리로 변환하는 TTTMEM 레이어를 채택합니다.

• 메커니즘: 이 레이어는 각 입력 미니 배치 비디오 토큰($X_t$)에 대해 MLP의 fast weight($W_t$)를 업데이트하는 순환 신경망(RNN)처럼 작동합니다.
• 손실 함수: 가중치는 다음 두 가지 목적을 최소화하도록 업데이트됩니다:
  1. 다중 뷰 재구성 손실(Multiview Reconstruction Loss): 현재 입력을 재구성합니다.
  2. 장기 예측 손실(Long-Span Prediction Loss): 먼 타임스탬프($X_{t-T}$)의 입력을 예측함으로써, 중요한 과거 정보가 덮어쓰여지는 것을 방지하는 시간적 일관성 정규화 역할을 수행합니다.
• 토큰 관리: 토큰을 병합하는 방식(오버 스무딩을 유발할 수 있음)과 달리, video-SALMONN S는 유사도 기반 폐기(similarity-based discarding) 전략을 사용합니다. 새로운 메모리 토큰을 이전 토큰들과 결합한 후, 이웃 토큰들과 코사인 유사도가 가장 높은 토큰을 폐기함으로써 TTT 레이어의 장기 문맥 표현 능력을 보존합니다.

2. 2단계 학습 체계

긴 시퀀스 학습 시 발생하는 GPU 메모리 제약을 해결하기 위해 2단계 전략이 사용됩니다:

• 1단계 (콜드 스타트, Cold-Start): TTTMEM 파라미터(투영 행렬)와 LLM을 중간 길이의 문맥과 함께 공동 학습시켜 fast-weight 업데이트 메커니즘을 구축합니다.
• 2단계 (규모 확장, Scale-Up): TTTMEM 투영 파라미터는 고정하되, fast-weight 업데이트 규칙은 유지합니다. 그 후 훨씬 더 긴 시퀀스와 증가된 메모리 토큰 수로 학습하여, 확장된 메모리로부터 정보를 추출하는 LLM의 능력을 최적화합니다.

3. 모달리티 인식 메모리 읽기

특정 프롬프트에 대응하면서 고정된 메모리 예산을 관리하기 위해, 모델은 모달리티 인식 및 프롬프트 종속적 메모리 읽기 메커니즘을 사용합니다.

• 모든 메모리 토큰을 처리하는 대신, LLM은 프롬프트와 메모리 청크 사이의 어텐션 점수를 기반으로 가장 관련성이 높은 토큰만을 선택하여 키-값(KV) 캐시를 압축합니다.
• 이는 장기 기억으로부터 특정 정보를 작업 기억(working memory)으로 인출하는 인간의 과정을 모방한 것으로, 스트리밍 제약 조건을 준수하면서도 일정한 메모리 사용량을 유지하게 합니다.

주요 기여

1. video-SALMONN S 모델: TTT를 메모리 메커니즘으로 활용한 최초의 스트리밍 비디오 LLM입니다. 고정된 메모리 예산 하에서 3시간 이상의 비디오(1 FPS, 360p)에 대해 SOTA 성능을 달야하며, 스트리밍 및 비스트리밍 베이스라인을 모두 능가합니다.
2. TTTMEM 레이어 및 학습: 장기 의존성 모델링과 메모리 용량을 정보 손실 없이 강화하기 위해 장기 예측 목적 함수와 2단계 학습 체계를 포함하는 새로운 레이어를 도입했습니다.
3. ELViM 벤치마크: 스트리밍 비디오 LLM이 과거의 비디오 경험(몇 시간 전 관찰)으로부터 절차적 지식을 습득하고 이를 실시간 의사 결정에 재사용할 수 있는지 명시적으로 평가하기 위한 ELViM(Episodic Learning from Video Memory) 벤치마크를 도입했습니다. 이는 주로 단기 지각에 집중하는 기존 벤치마크의 공백을 메웁니다.

결과

모델은 일반적인 장기 비디오 벤치마크(Video-MME, LVBench, VideoEvalPro)와 제안된 ELViM 벤치마크에서 평가되었습니다.

• 장기 비디오 벤치마크: video-SALMONN S는 강력한 스트리밍 및 비스트리밍 베이스라인보다 절대 정확도 면에서 3~7% 더 높은 성능을 일관되게 보여주었습니다. 구체적으로 Video-MME (Long), LVBench, VideoEvalPro에서 각각 비스트리밍 대응 모델 대비 1.7%, 2.9%, 5.4%의 향상을 달성했습니다.
• ELViM 성능: 이 모델은 ELViM에서 강력한 비스트리밍 모델보다 15%의 절대 정확도 향상을 보여주었으며, 이는 비디오 메모리로부터 학습하고 회상하는 우수한 능력을 입증합니다.
• 효율성: TTTMEM 레이어는 추론 시간에 미미한 오버헤드(약 0.1초)만을 추가하며, 모델은 16k 토큰 기준 약 24GB의 고정된 GPU 메모리 풋프린트를 유지하여 기존 스트리밍 방식과 대등한 수준을 보여줍니다.
• 절제 연구(Ablation Studies): 장기 예측 손실이 긴 시간적 거리에서도 정보를 유지하는 데 결정적임을 확인했습니다. 또한 모달리티 인식 읽기 메커니즘은 AdaReTaKe와 같은 학습 없는 KV-캐시 압축 방식보다 일관된 개선을 제공했습니다.

의의 및 주장

본 논문은 video-SALMONN S가 제한된 메모리를 가진 상태에서 스트리밍 입력에 대해 지속적으로 작동할 수 있는 미래의 AI 에이전트를 향한 중요한 진전이라고 주장합니다. 정적인 토큰 압축에서 TTT를 통한 동적인 파라미터 기반 메모리로 전환함으로써, 현재의 스트리밍 방식에 내재된 누적 정보 손실 문제를 완화합니다.

ELViM 벤치마크의 도입은 단순한 지각 작업을 넘어, 멀티모달 시스템의 지속적 학습(continual learning) 및 장기 기억을 평가하기 위한 원칙적인 도구로서 강조됩니다. 저자들은 이 연구가 장기 의사 결정, 교육적 보조, 그리고 확장된 오디오-비주얼 정보에 의존하는 사용자들을 위한 접근성 도구와 같은 응용 분야를 위한 기초가 될 것이라고 위치 지었습니다.