기술 요약: Don't Pause: 온라인 비디오 이해를 위한 스트리밍 비디오-언어 동기화

1. 문제 정의

현재의 온라인 비디오 대규모 언어 모델(Video-LLM)은 스트리밍 시나리오에서 치명적인 한계에 직면해 있습니다. 이들은 일반적으로 전체 문장을 생성하는 동안 **비디오 인지 과정을 일시 중단(pause)**합니다. 이러한 "일시 중단 후 디코딩(pause-and-decode)" 방식은 실시간 비디오-언어 동기성을 깨뜨려, 영상이 끊기는 현상을 유발하고 모델이 "말하는 동안 인지하는 것"을 방해합니다. 기존의 방법들(예: 응답 게이팅, 문장 종료(EOS) 토큰 예측, 검증 기반 방법)은 선제적 응답을 관리하려고 시도하지만, 일반적으로 비디오 스트림 내에 전체 문장을 끼워 넣는 방식이지 개별 단어 토큰과 들어오는 프레임을 교차시키는 방식은 아닙니다. 이는 연속적인 감각 입력과 음성 출력을 유동적으로 통합하는 인간다운 능력을 달성하는 데 실패합니다.

본 논문은 두 가지 핵심 과제를 식별합니다:

1. 동시 인지 및 생성: 비디오 프레임과 단어 토큰을 전체 문장이 지속되는 동안 인지를 차단하지 않고 어떻게 미세한 수준에서 프레임 단위로 교차시킬 것인가?
2. 동적 응답 중재(Dynamic Response Arbitration): 시각적 맥락이 변화할 때(예: 스포츠와 같이 급격히 변하는 이벤트 vs 희소한 이벤트), 미완성된 발화를 계속할지, 새로운 응답을 트리거할지, 혹은 침묵을 유지할지를 어떻게 동적으로 결정할 것인가?

2. 방법론: LyraV

저자들은 동결된(frozen) 온라인 Video-LLM 백본 위에 계층적 제어 프레임워크를 둘러싼 라이브 스트리밍 어시스턴트인 LyraV를 제안합니다. LyraV는 백본을 재학습시키지 않고, **스트리밍 비디오-언어 동기(Streaming Video-Language Synchrony, SVLS)**라는 새로운 패러다임을 구축하기 위해 두 가지 핵심 모듈을 도입합니다.

A. 스트리밍 비디오-언어 동기(SVLS) 패러다임

기존의 오프라인 처리(전체 비디오 $\to$ 캡션) 또는 기존의 온라인 방식(프레임 $\to$ 전체 문장)과 달리, SVLS는 프레임 간격당 작은 토큰 덩어리($m$)를 출력합니다. 이를 통해 모델이 각 프레임의 시간 예산 내에서 서브 버젯(sub-budget) 토큰 덩어리를 방출할 수 있게 함으로써, 전체 문장을 위해 인지가 차단되지 않도록 보장합니다.

B. 프레임 주도 전환 컨트롤러 (Frame-Driven Transition Controller, FDTC)

FDTC는 고수준의 의미적 결정(언제 말할 것인가)을 관리하는 학습이 필요 없는(training-free) 검증 기반 유한 상태 머신입니다. 이는 세 가지 상태로 작동합니다:

• 트리거 상태 (Triggered State): 새로운 응답이 필요할 때 시작됩니다. 모델은 새로운 발화의 첫 $m$개 토큰을 생성합니다.
• 지속 상태 (Continuing State): 핵심적인 혁신 요소입니다. 현재 프레임이 기존의 발화 버퍼를 유창하게 이어갈 수 있다면(퍼플렉시티를 통해 검증됨), 모델은 이 상태에 머물며 추가 토큰을 디코딩합니다. 이는 모델이 불필요하게 문장을 다시 시작하는 것을 방지합니다.
• 침묵 상태 (Silent State): 발화가 완료(EOS 토큰)되고 더 이상 응답이 필요한 새로운 이벤트가 없을 때 진입합니다.

메커니즘: 컨트롤러는 진화하는 시각적 맥락에 따른 현재 응답 접두사(prefix)의 퍼플렉시티(PPL)를 계산하는 검증 메커니즘을 사용합니다. 안정적이거나 감소하는 PPL은 지속 상태를 유지하며, 급격한 증가(의미적 드리프트)는 새로운 응답을 시작하기 위한 트리거 상태로의 전환을 유발합니다.

C. 스트리밍 토큰 페이서 (Streaming Token Pacer, SToP)

SToP은 저수준의 페이싱(얼마나 빨리 말할 것인가)을 관리하는 학습 가능한(trainable) 경량 예측 모듈입니다.

• 기능: 시각적 콘텐츠의 의미적 밀도와 실시간 지연 시간 제약 조건에 맞춰 토큰 방출 수($m_i$)를 동적으로 조정합니다.
• 구조: 멀티모달 히스토리(시각적 임베딩 및 토큰 개수 카테고리)를 입력받아 최적의 토큰 개수 분포를 예측하는 경량 트랜스포머 인코더입니다.
• 지연 시간 제약: 전체 처리 시간(인지 + 생성)이 프레임 간격($\Delta t$)을 초 exceed하지 않도록 예측된 토큰 개수는 하드 레이턴시 컷오프(hard latency cutoff)에 의해 제한되며, 이를 통해 버퍼링 지연을 방지합니다.

3. 주요 기여

1. SVLS 패러다임: Video-LLM이 긴 휴지기 없이 비디오 프레임과 단어 토큰을 매끄럽게 교차하며 동시 스트리밍 인지와 생성을 달리는 새로운 패러다임을 도입했습니다.
2. LyraV 프레임워크: 다음과 같은 플러그 앤 플레이 제어 레이어를 특징으로 합니다:
   • FDTC: 시각적 맥락에 따라 발화 지속과 새로운 응답 트리거 사이를 동적으로 중재하여 매끄러운 내레이션을 가능하게 하는 상태 기반 컨트롤러.
   • SToP: 실시간 지연 시간 예산을 준수하면서 시각적 이벤트 밀도에 맞춰 토큰 방출률을 조절하는 적응형 페이싱 모듈.
3. 경험적 관찰: 저자들은 모델이 단일 트리거 프레임으로부터 고정된 설명을 확정하는 대신, 시각적 증거가 축적됨에 따라 내레이션을 점진적으로 정교화하는 스트리밍 토큰에 대한 동적 추론 능력이 발현됨을 관찰했습니다.

4. 실험 결과

실험은 8개의 벤치마크(온라인 5개, 오프라인 3개)에서 수행되었습니다.

• 스트리밍 동기성: LyraV는 비절단(untruncated) 설정에서 **98.29%의 동기율(Sync Rate, SR)**을 달려, LiveStar(78.93%)와 같은 베이스라인을 크게 앞질렀습니다. 절단(truncated, 제로-레이턴시) 설정에서도 LyraV는 가장 높은 의미 점수(SS: 3.62)와 내러티브 유창성(NF: 4.03)을 기록하며, 단순히 생성을 자르는 모델보다 엄격한 시간 제약 하에서 더 높은 품질의 콘텐츠를 생성함을 입증했습니다.
• 실시간 성능: LyraV는 3.89 FPS(실시간)로 비디오를 처리하며 높은 유동성을 유지합니다.
• 일반적 이해: 오프라인 벤치마크(MVBench, LongVideoBench, VideoMME)에서 LyraV는 동결된 백본(LiveStar)과 비교하여 유의미한 저하 없이 백본의 일반적인 비디오 이해 능력을 보존합니다.
• 스트리밍 QA: OVO-Bench 및 StreamingBench와 같은 벤치마크에서 LyraV는 온라인 모델들 사이에서 최첨단(SOTA) 결과(OVO-Bench에서 50.97)를 달성하며, 백본 및 다른 선제적 모델들을 약간 상회합니다.
• 절제 연구(Ablation Studies): FDTC를 제거하면 성능이 급격히 하락(SS -34.4%, NF -55.4%)하여, 지속 상태의 결정적인 역할을 확인시켜 줍니다. SToP을 제거하면 미미한 하락이 발생하는데, 이는 페이싱이 유동성을 개선하긴 하지만 하드 레이턴시 컷오프만으로도 기본적인 품질은 유지할 수 있음을 나타냅니다.

5. 의의 및 주장

본 논문은 LyraV를 정적인 단일 답변의 정확도를 높이는 모델이 아니라, 스트리밍을 위한 비디오-언어 상호작용을 근본적으로 재고하는 시스템으로 포지셔닝합니다.

• 정적 정확도보다 동기성 우선: 주요 기여는 현재의 Video-LLM에는 없는, 실시간 제약 조건 하에서 "보면서 말하기"의 동기성과 내러티브 유창성을 유지하는 능력입니다.
• 점진적 정교화: 저자들은 LyraV가 모델이 비디오 스트림에 대한 해석을 지속적으로 업데이트하게 함으로써, 저지연 추론과 오류 허용 능력에 있어 잠재적 이점을 제공하는 "동적 추론" 형태를 가능하게 한다고 주장합니다.
• 제한적 범위: 저자들은 자신들의 개선 사항이 동기성 패러다임과 제어 프레임워크에 있음을 명시합니다. 이들은 백본의 고유한 시각적 인지 능력이나 정적 추론 능력을 향상시켰다고 주장하는 것이 아니라, 인지 중단과 끊김 현상을 방지하기 위해 이러한 능력들을 스트리밍 환경에서 어떻게 배치(deploy)할지를 최적화한 것입니다.

결론적으로, 고수준의 의미적 결정(FDTC)과 저수준의 페이싱(SToP)을 분리함으로써, 인지가 전체 문장을 위해 일시 중단되지 않는, 인간과 유사하고 매끄러운 비디오-언어 상호작용을 달성할 수 있음을 보여줍니다.