기술 요약: StreamOV

문제 정의

본 논문은 실시간으로 도착하는 동기화된 오디오 - 비주얼 신호를 처리해야 하는 스트리밍 오미 - 비디오 이해라는 신흥 과제를 다룹니다. 이는 완전한 비디오에 오프라인으로 접근하는 방식이 아닙니다. 현재 최첨단 오미 - 모달 모델들은 오프라인 추론을 위해 설계되어 스트리밍 시나리오에서 두 가지 근본적인 불일치를 초래합니다:

1. 메모리 관리: 기존 방법들은 계산 예산을 초과하지 않으면서 장기간에 걸쳐 지속적으로 성장하는 오디오 - 비주얼 컨텍스트를 관리할 수 있는 견고한 메커니즘이 부족합니다.
2. 적극적 상호작용: 오프라인 모델은 언제 응답할지 자율적으로 결정할 수 없습니다. 이들은 모든 쿼리에 대해 응답을 생성하여 침묵의 필요성을 무시하거나, 사전 훈련된 생성 분포를 방해하는 명시적 <silence> 토큰과 같은 비효율적인 메커니즘에 의존하거나, 심층 멀티모달 추론 능력이 부족한 외부 라우터에 의존합니다.

더욱이, 이 분야는 적극적 응답 트리거링과 의도적인 침묵을 포함하는 연속적이고 다회차적인 온라인 오디오 - 비주얼 상호작용을 평가할 수 있는 포괄적인 벤치마크가 부재합니다.

방법론: StreamOV 프레임워크

저자들은 제한된 메모리와 적극적 응답 트리거링을 위한 효율적인 온라인 추론을 위해 설계된 오미 - 모달 대규모 언어 모델 (MLLM) 을 기반으로 한 StreamOV 프레임워크를 제안합니다.

1. 멀티모달 증거 기반 메모리

고정된 메모리 예산 하에서 무한 스트림을 처리하기 위해 StreamOV 는 이중 관점 증거 구성 전략에 의해 구동되는 단기 - 장기 메모리 업데이트 메커니즘을 도입합니다:

• 쿼리 무관 역동성: 시각적 변화 ($S_v$), 오디오 중요도 ($S_a$), 오디오 - 비주얼 동시 폭발 ($S_{cob}$) 을 사용하여 고유한 스트림 역동성을 포착합니다.
• 쿼리 인지 의미: 사전 훈련된 인코더를 사용하여 현재 쿼리와 스트림 간의 관련성을 측정하며, 시각적 ($S_{qv}$) 및 오디오 ($S_{qa}$) 의미 점수를 산출합니다. 게이트 메커니즘은 물리적으로 중요한 오디오나 동기화된 이벤트가 있는 세그먼트를 우선시하도록 오디오 관련성을 정제합니다.
• 증거 라우팅: 시스템은 시각 전용, 오디오 전용, 오디오 - 비주얼 정렬의 세 가지 분리된 증거 유형을 구성합니다.
• 메모리 업데이트:
  • 단기 메모리 ($M^S_t$): 현재 시간 창에서 밀집된 관측치를 유지합니다.
  • 장기 메모리 ($M^L_t$): 증거 점수에 기반하여 전체 기록에서 선택된 희소하고 고정 예산의 정보성 관측치 세트를 유지합니다.
  • 최종 메모리 상태는 이러한 버퍼들의 합집합으로, 시간순으로 직렬화되어 고정된 MLLM 에 입력됩니다.

2. 숨겨진 상태 기반 응답 트리거

외부 라우터에 의존하거나 비의미적 <silence> 토큰을 생성하는 대신, StreamOV 는 MLLM-as-a-trigger 메커니즘을 사용합니다:

• 메커니즘: 모델은 응답할지 대기할지 예측하기 위해 초기 디코딩 단계의 숨겨진 상태 (특히 프리필링 후 상태, $h_{t,0}$) 를 탐지합니다.
• 구현: 경량 크로스 어텐션 트리거 모듈이 이러한 숨겨진 상태를 집계하여 이진 트리거링 로짓을 출력합니다.
• 장점: 이 접근 방식은 사전 훈련된 분포의 방해와 소형 보조 모델의 추론 한계를 피하면서, 숨겨진 상태에 인코딩된 MLLM 의 고유한 인지 준비 상태를 활용합니다.

주요 기여

1. SOVBench: 온라인, 다회차 오미 - 모달 평가를 위한 최초의 포괄적인 벤치마크입니다. 두 가지 구성 요소로 이루어져 있습니다:
   • SOVBench-O: 실시간, 회상, 적극적 상호작용 패러다임 (모델이 의도를 추론해야 하는 인지적 적극성 포함) 을 통한 연속적인 오디오 - 비주얼 이해를 평가합니다.
   • SOVBench-T: 증거가 존재할 때 응답하고 부재할 때 침묵하는 모델의 능력을 테스트하는 응답 트리거링을 위한 이진 분류 벤치마크입니다.
2. StreamOV 프레임워크: 멀티모달 증거 라우팅, 단기 - 장기 메모리, 숨겨진 상태 기반 트리거를 통합하여 효율적인 스트리밍 추론을 가능하게 하는 새로운 아키텍처입니다.
3. 실증적 검증: StreamOV 가 스트리밍, 오프라인, 비주얼 전용 벤치마크 전반에서 최첨단 성능을 달성함을 보여주는 광범위한 실험 결과입니다.

실험 결과

저자들은 고정된 백본과 18.9M 파라미터 트리거를 기반으로 한 StreamOV(Qwen3-Omni-30B-A3B 기반) 를 오프라인 Qwen 모델, 온라인 스트리밍 모델 (예: ROMA, Flash-VStream), 폐쇄형 소스 모델 (Gemini) 등 다양한 베이스라인과 비교 평가했습니다.

• SOVBench 성능: StreamOV 는 SOVBench-O(오디오 - 비주얼 컨텍스트) 에서 평균 정확도 81.6%, SOVBench-O(오디오 - 비주얼 컨텍스트 및 QA 컨텍스트) 에서 **83.8%**를 달성하여 강력한 오프라인 베이스라인인 Qwen3-Omni-30B(각각 73.7% 및 79.9%) 를 능가했습니다.
• 적극적 트리거링: SOVBench-T 에서 StreamOV 는 F1 점수 90.5를 달성하여 트리거가 있는 Qwen3-Omni 베이스라인 (81.4) 과 기타 온라인 모델을 크게 능가했습니다.
• StreamingBench: 오디오 - 비주얼 QA 하위 집합에서 StreamOV 는 Qwen3-Omni 대비 +7.6%, ROMA 대비 **+22.5%**만큼 성능을 향상시켰습니다.
• 오프라인 벤치마크: StreamOV 는 Video-Holmes 및 Daily-Omni 와 같은 오프라인 벤치마크에서 경쟁력 있거나 우수한 성능을 보여주어, 그 효과가 순수한 스트리밍 시나리오를 넘어선다는 것을 입증했습니다.
• 절차 연구: 쿼리 인지, 쿼리 무관, 장기 메모리 구성 요소가 모두 필수적임을 확인했으며, 특히 장기 메모리 모듈이 가장 큰 성능 향상을 제공했습니다.

중요성 및 주장

본 논문은 StreamOV 가 오프라인 오미 - 모달 이해와 현실 세계 스트리밍 상호작용 요구 사항 사이의 간극을 해소한다고 주장합니다. 외부 라우터나 침묵 토큰 없이 적극적 응답 트리거링 메커니즘을 도입하고, 연속적이고 다회차적인 오디오 - 비주얼 추론을 평가하는 표준으로 SOVBench를 확립함으로써, 이 연구는 증거의 충분성에 기반하여 언제 말할지 결정하며 지속적으로 "듣고 보는" 모델을 향한 기초적인 단계를 제공합니다. 저자들은 그들의 방법이 제한된 메모리와 계산 효율성을 유지하면서 최첨단 결과를 달성하여 장시간 스트리밍 애플리케이션에 적합하다고 강조합니다.