기술 요약: StreamReady

문제 정의

다중 모달 대규모 언어 모델 (MLLM) 은 짧은 클립을 중심으로 비디오 이해 능력을 발전시켰으나, 확장된 시간적 맥락에 대한 추론의 어려움으로 인해 장시간 비디오 처리에는 어려움을 겪습니다. 최근의 노력들이 MLLM 을 더 긴 비디오로 확장했지만, 대부분 추론 시 전체 비디오가 이용 가능한 오프라인 설정에서 작동합니다. 반면, 스트리밍 비디오 이해는 프레임이 순차적으로 도착하고 모델이 전체 비디오를 결코 보지 못하는 온라인 변형입니다.

현재의 스트리밍 접근법에는 중요한 격차가 존재합니다: 기존 방법들은 주로 증거가 이미 확보된 과거 의존적 (인과적) 시나리오에서의 정답 정확도에 초점을 맞추고 있습니다. 그러나 많은 실세계 응용 분야 (예: 감시, 로봇 공학, 보조 시스템) 는 지지하는 시각적 증거가 나타나기 전에 질문이 제기되는 선제적 (미래 의존적) 추론을 요구합니다. 이러한 설정에서 모델은 언제 답변해야 하는지 결정해야 합니다. 너무 일찍 답변하는 것은 지지되지 않은 추측 (환각) 이 되며, 너무 늦게 답변하는 것은 실시간 유용성을 감소시킵니다. 기존 벤치마크와 방법론들은 증거의 등장 시점相对于 답변의 타이밍을 평가하거나 강제하는 메커니즘이 부족합니다.

방법론: StreamReady 프레임워크

저자들은 "준비도 인식 (readiness-aware)" 형식을 통해 시간적 추론과 명시적 답변 타이밍을 통합하도록 설계된 StreamReady 프레임워크를 제안합니다.

1. 준비도 인식 형식

핵심 기여는 **답변 준비도 점수 (Answer Readiness Score, ARS)**라는 새로운 평가 지표입니다. 표준 정확도와 달리, ARS 는 비대칭적 패널티를 사용하여 정확도와 타이밍을 공동으로 평가합니다:

• 조기 패널티 (Early Penalty, EP): 증거 윈도우 시작 전에 답변하는 것에 대한 가혹한 패널티로, 추측을 억제합니다.
• 지연 패널티 (Late Penalty, LP): 증거 윈도우 종료 후 답변하는 것에 대한 덜 가혹한 패널티로, 약간의 지연을 허용합니다.
• 유효 정확도 (Effective Accuracy): $Acc_e = Acc \times ARS$로 정의되며, 정확하고 시기적절한 모델을 보상합니다.

2. 프레임워크 아키텍처

StreamReady 는 전체 비디오 접근이나 무거운 보조 모델을 요구하지 않습니다. 세 가지 주요 구성 요소로 이루어져 있습니다:

• 계층적 메모리 저장소:

  • 시각 메모리 트리 ($M_V$): 긴 스트림을 효율적으로 관리하기 위한 다중 레벨 구조입니다.
    • $M_{V1}$: 최근 원시 프레임 임베딩의 FIFO 버퍼 (단기 세부 사항).
    • $M_{V2}$: $M_{V1}$에서 K-평균 클러스터링을 통해 유도된 중심점들의 중간 수준 요약.
    • $M_{V3}$: $M_{V2}$에서 추상화된 거친 프로토타입 집합으로, 안정적인 장면과 드리프트를 처리하기 위해 지수 이동 평균 (EMA) 을 통해 업데이트됩니다.
  • 맥락적 메모리 뱅크 ($M_C$): 다중 턴 추론과 의미적 일관성을 지원하기 위해 과거 질문과 해당 답변 표현의 임베딩을 저장합니다.

• 쿼리 인식 추론:

  • 질문을 받으면 모델은 이중 분기 Q-Former 를 활성화합니다.
  • 단기 분기 ($Q_s$): $M_{V1}$의 원시 프레임을 주시하여 즉각적인 맥락을 파악합니다.
  • 장기 분기 ($Q_\ell$): 거친 수준에서 정밀한 수준으로의 검색을 수행합니다. 먼저 $M_{V3}$의 프로토타입을 점수화하여 관련 영역을 식별한 후, $M_{V2}$의 특정 중심점으로 검색을 정제합니다.
  • 맥락적 추론: 소프트 게이팅 메커니즘이 $M_C$에서 관련 과거 QA 쌍을 검색하여 크로스 어텐션을 통해 시각적 특징과 융합합니다.

• 경량 준비도 메커니즘:

  • 학습 가능한 <RDY> 토큰이 장기 추론 표현 ($z_\ell$) 에 추가됩니다.
  • 준비도 헤드 (Readiness Head) (경량 MLP) 는 이 토큰을 모니터링하여 준비도 점수 $R_{pred} \in [0, 1]$를 출력합니다.
  • 추론: 모델은 $R_{pred}$가 임계값을 초과할 때만 답변 생성을 위해 LLM 을 트리거합니다. 그렇지 않으면 관찰을 계속합니다.
  • 학습: 훈련 중에는 실제 증거 타임스탬프를 사용할 수 없으므로, 저자들은 **약한 의사 지도 학습 (weak pseudo-supervision)**을 사용합니다. 그들은 추론 표현이 시각적 메모리 중심점과 매우 유사한 영역을 의사 긍정 영역으로 정의하고, 의사 부정 영역을 정의합니다. 쌍별 대비 손실 (pairwise contrastive loss) 이 준비도 헤드가 긍정 영역에 더 높은 점수를 부여하도록 훈련하며, 시간적 일관성 정규화자가 부드러운 전환을 보장합니다.

주요 기여

1. 준비도 인식 스트리밍의 형식화: 이 논문은 단순히 정확하게 답변하는 것이 아니라 충분한 증거가 나타날 때 정확하게 답변하는 것을 목표로 하는 형식을 도입하며, **답변 준비도 점수 (ARS)**를 통해 이를 형식화합니다.
2. StreamReady 프레임워크: 계층적 시각 메모리, 쿼리 인식 거친 - 정밀 검색, 그리고 내부 증거 충분성에 기반하여 언제 응답할지 결정하는 경량 준비도 토큰을 통합한 새로운 아키텍처입니다.
3. ProReady-QA 벤치마크: 선제적 스트리밍 시나리오를 위해 특별히 설계된 새로운 벤치마크입니다. 특징은 다음과 같습니다:
   • 로컬 및 글로벌 맥락에 걸쳐 있는 5,000 개의 선제적 다중 턴 QA 쌍.
   • ARS 평가를 가능하게 하는 주석 처리된 답변 증거 윈도우(시작 및 종료 타임스탬프).
   • 다섯 가지 작업 유형: 순차적 단계 인식, 반복적 이벤트 카운팅, 단서 발견 응답, 인과적 트리거 감지, 목표 상태 감지.

실험 결과

저자들은 StreamReady 를 ProReady-QA 와 여덟 개의 다른 벤치마크 (네 개 스트리밍, 네 개 오프라인 장시간 비디오) 에서 평가했습니다.

• ProReady-QA 성능: StreamReady 는 다섯 가지 모든 작업에서 가장 높은 유효 정확도와 ARS를 달성했으며, 가장 우수한 베이스라인 (StreamBridge) 보다 평균적으로 **정확도 약 3%**와 **ARS 약 9%**만큼 우월했습니다. 특히 정밀한 타이밍이 필요한 작업 (REC, GSD, CTD) 에서 현저한 향상을 보였습니다.
• 스트리밍 벤치마크: StreamReady 는 선제적 및 비선제적 스트리밍 벤치마크 (StreamingBench, OVOBench) 에서 이전 온라인 방법들 (예: Flash-VStream, StreamBridge) 보다 일관되게 우월하여, 선제적 작업에서 최대 5% 의 향상을 달성했습니다.
• 오프라인 장시간 비디오 벤치마크: 스트리밍을 위해 설계되었음에도 불구하고, StreamReady 는 오프라인 벤치마크 (VideoMME, MLVU, MVBench, EgoSchema) 에서 잘 일반화되어 기존 오프라인 모델들을 능가했습니다. 이는 타이밍이 명시적으로 패널티를 받지 않더라도 계층적 메모리와 추론 메커니즘이 유익함을 시사합니다.
• 효율성: 분석 결과, StreamReady 는 비디오 길이가 증가함에 따라 안정적인 지연 시간과 메모리 사용량을 유지하는 반면, 베이스라인 모델들은 이차적 어텐션 증가나 무거운 토큰 압축 오버헤드로 고통받는 것으로 나타났습니다.

중요성 및 주장

이 논문은 StreamReady가 스트리밍 비디오 이해에서 답변 타이밍을 발전시키기 위한 통합된 기반을 확립한다고 주장합니다. 그 중요성은 다음과 같습니다:

• "무엇을 답변할지"에서 "무엇을 언제 답변할지"로 패러다임을 전환하여, 실세계 스트리밍 응용 분야의 중요한 격차를 해소합니다.
• 비결정적 보조 모델이나 무거운 컴퓨팅에 의존하지 않고, 증거 추적과 결합된 경량 메커니즘을 통해 타이밍을 학습할 수 있음을 보여줍니다.
• 단순 정확도 지표를 넘어 스트리밍 모델의 시간적 적절성을 평가하기 위한 첫 번째 체계적인 테스트베드인 ProReady-QA를 제공합니다.
• 준비도 인식 메커니즘이 선제적 성능뿐만 아니라 다양한 벤치마크에 걸친 일반 비디오 이해 능력도 향상시킨다는 것을 보여줍니다.

저자들은 그들의 작업이 정확할 뿐만 아니라 증거에 기반하고 시기적절한 모델로 분야를 이동시키고 있으며, 이는 실시간 장시간 시나리오에서의 효과적인 배포를 위한 전제 조건이라고 결론지었습니다.