🤖 AI

MOSS-Video-Preview: Toward Real-Time Video Understanding via Cross-Attention

이 논문은 인지(perception)와 생성(generation)을 분리하기 위해 2채널 교차 주의 집중(two-channel cross-attention) 구조를 채택하여, 성능 저하를 최소화하면서도 오프라인 베이스라인 대비 상당한 속도 향상을 달면서 연속적인 인지, 답변 수정, 그리고 적시의 침묵을 가능하게 하는 실시간 비디오 이해 프레임워크인 MOSS-Video-Preview를 소개한다.

원저자: Pengyu Wang, Chenkun Tan, Shaojun Zhou, Wei Huang, Qirui Zhou, Zhan Huang, Zhen Ye, Jijun Cheng, Xiaomeng Qian, Yanxin Chen, Xingyang He, Huazheng Zeng, Chenghao Wang, Pengfei Wang, Hongkai Wang, Shan

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pengyu Wang, Chenkun Tan, Shaojun Zhou, Wei Huang, Qirui Zhou, Zhan Huang, Zhen Ye, Jijun Cheng, Xiaomeng Qian, Yanxin Chen, Xingyang He, Huazheng Zeng, Chenghao Wang, Pengfei Wang, Hongkai Wang, Shanqing Gao, Yixian Tian, Chenghao Liu, Xinghao Wang, Botian Jiang, Xipeng Qiu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 TV로 스포츠 경기를 실시간으로 시청하고 있다고 상상해 보세요.

과거의 방식 (오프라인): 경기가 완전히 끝날 때까지 기다린 후, 친구에게 고개를 돌려 말합니다. "자, 이제 무슨 일이 있었는지 알려줄게." 당신은 말을 하는 동안의 액션을 놓쳤습니다.
현재의 "스트리밍" 방식: 경기가 진행되는 동안 말을 하지만, 입을 여는 순간 화면을 보는 것을 멈춥니다. 당신이 문장을 말하는 도중에 골이 들어간다면, 문장을 마칠 때까지 그 사실을 알지 못합니다. 말을 끝내고 나서야 상황을 파악하고 스스로를 수정해야 합니다.
새로운 방식 (MOSS-Video-Preview): 당신은 화면을 보면서 동시에 말을 합니다. 만약 당신이 "팀이 경기를 잘하고 있네요"라고 말하는 도중에 골이 들어간다면, 즉시 말을 끊고 "잠깐만요, 방금 골이 들어갔어요!"라고 말하며 이야기를 업데이트합니다. 만약 흥미로운 일이 일어나지 않는다면, 당신은 아무 말 없이 계속 지켜보기만 합니다.

이 논문은 정확히 이와 같이 보는 것과 말하는 것이 서로를 방해하지 않고 동시에 이루어지도록 설계된 새로운 AI 모델인 MOSS-Video-Preview를 소개합니다.

그들이 이를 어떻게 구현했는지, 쉬운 비유를 통해 설명하겠습니다.

1. 문제점: "교통 체증"

오늘날 대부분의 AI 모델은 단선 도로와 같습니다. 영상을 이해하기 위해 모델은 모든 프레임을 읽어야 하고, 그다음 답변을 쓰기 위해 읽기를 멈춰야 하며, 다시 더 많은 프레임을 읽기 위해 쓰는 것을 멈춰야 합니다. 이것이 교통 체증을 만듭니다. 모델은 "말하는" 동안 새로운 것을 "볼" 수 없습니다.

2. 해결책: "두 차선 고속도로"

저자들은 두 채널 아키텍처를 구축했습니다. 두 개의 별도 차선이 있는 고속도로를 상상해 보세요:

차선 A (눈): 이 차선은 순수하게 영상을 보는 데 전념합니다. 끊임없이 새로운 프레임(자동차)을 받아들입니다.
차선 B (입): 이 차선은 순수하게 말하는 것(텍스트 생성)에 전념합니다.

이전 모델에서는 "눈"과 "입"이 같은 차선을 공유했기 때문에 번갈아 가며 작업해야 했습니다. 이 새로운 모델에서 "눈"은 마치 피트 크루가 자동차가 달리는 동안 새 타이어를 건네주는 것처럼, 옆에서 "입"에 정보를 전달합니다. 자동차(AI)는 정보를 얻기 위해 주행을 멈출 필요가 없습니다.

3. 핵심 비결: "교차 주의 집중 (Cross-Attention)"

이 두 차선 시스템이 작동하게 만들기 위해, 그들은 **교차 주의 집중(Cross-Attention)**이라는 특정 기술을 사용했습니다.

과 been 방식: 누군가 당신의 귀에 책의 다음 페이지를 소리치는 동안 책을 읽으려고 노력하는 것과 같습니다. 당신은 읽기 위해 듣기를 멈춰야 하고, 듣기 위해 읽기를 멈춰야 합니다.
새로운 방식: 당신이 책을 읽고 있는데, 옆에 친구가 서 있는 상황을 상상해 보세요. 다음 페이지에 무엇이 있는지 알고 싶을 때, 당신은 그저 친구의 책을 슬쩍 보기만 하면 됩니다. 당신의 읽기 흐름을 방해하지 않고도 할 수 있습니다. 친구(영상)는 항상 그곳에 있으며, 당신의 읽기를 방해하지 않고 언제든 곁에 있습니다.

4. AI에게 "입을 다무는 법" 가르치기

주요 과제는 AI가 영상을 보고 있으면, 아무 일도 일어나지 않더라도 보이는 모든 것을 설명해야 한다는 압박을 느낄 수 있다는 점입니다.

해결책: 팀은 특별한 훈련 방법을 만들었습니다. 그들은 AI에게 새로운 규칙을 가르쳤습니다: "흥미로운 일이 일어나지 않으면, 아무 말도 하지 마라."
그들은 <|silence|>라는 특별한 토큰을 사용했습니다. AI는 정적인 장면을 볼 때 이 토ке을 말하도록 학습합니다. 이는 마치 도둑을 목격했을 때만 말을 하고, 그 외에는 그저 지켜보고 있는 보안 요원과 같습니다.

5. 결과: 더 빠르고 더 똑똑하게

저자들은 이 모델(그들이 "프리뷰" 또는 "개념 증명"이라 부르는 것)을 테스트하여 다음과 같은 결과를 얻었습니다:

속도: "눈"과 "입"이 서로를 막지 않기 때문에 모델이 훨씬 빠릅니다. 고성능 컴퓨터에서, 이 모델은 기존의 선도적인 모델보다 실제로는 더 큰 모델임에도 불구하고, 말을 시작하는 속도는 5배 더 빠르고 연속적으로 말하는 속도는 2.7배 더 빨랐습니다.
정확도: 이 모델은 언제 어떤 일이 일어나는지(시공간적 추론)를 이해하는 데 매우 뛰어나며, 이는 실시간 상호작용에 필수적입니다.
트레이드오프 (절충): 오늘날 가장 크고 유명한 모델들과 비교했을 때, 일반적인 상식이나 이미지 속 텍스트를 읽는 능력은 약간 떨어집니다. 저자들은 이것이 단순히 모델을 키우거나 더 많은 데이터를 주입하는 것이 아니라, 새로운 아키텍처와 실시간 동작에 집중했기 때문이라고 인정합니다.

요약

MOSS-Video-Preview는 실시간 관찰자처럼 행동하는 AI의 프로토타입입니다. 이 모델은 영상이 끝나기를 기다리지 않습니다. 또한 말을 하기 위해 보는 것을 멈추지도 않습니다. 이 모델은 보고, 말하고, 상황이 변하면 즉시 스스로를 수정하며, 말할 내용이 없을 때는 침묵을 지킵니다.

이 논문은 적절한 아키텍처가 있다면 실시간 영상 이해가 가능하다는 것을 증명한다고 주장합니다. 비록 이 모델이 아직 세상에서 가장 똑똑한 모델은 아닐지라도, 이는 진정으로 세상과 상호작용할 수 있는 미래의 AI 어시스턴트를 향한 문을 여는 "개념 증명"입니다.

기술 요약: MOSS-Video-Preview

문제 정의

현재의 비디오 이해 모델은 주로 생성(generation)이 시작되기 전 전체 비디오 클립이 모두 준비되어 있어야 하는 오프라인 패러다임(offline paradigm) 하에서 작동합니다. 재생 중 응답하는 "스트리밍(streaming)" 시스템이 등장하기도 했으나, 이들은 일반적으로 인지(perception)와 생성(generation)을 순차적이고 상호 배타적인 단계로 취급합니다. 즉, 모델은 답변을 생성하는 동안 새로운 프레임을 입력받는 것을 중단합니다. 이는 모델이 답변 창(reply window) 내에서 발생하는 이벤트에 즉각적으로 반응하지 못하게 하여, 최소 한 번의 응답 길이만큼 수정을 지연시키는 레이턴시 격차를 발생시킵니다.

본 논문은 **실시간 상호작용(real-time interaction)**을 위한 간극을 식별하며, 이를 정의하는 핵심 제약 조건은 다음과 같습니다: 인지는 생성에 의해 차단되어서는 안 된다(perception must not be blocked by generation). 이 패러다임에서 모델은 텍스트를 생성하는 동안에도 새로운 프레임을 지속적으로 인지해야 하며, 이를 통해 새로운 증거가 포착되는 즉시 현재의 답변을 수정하거나 중단할 수 있어야 하고, 관련 변화가 없을 때는 침묵을 유지할 수 있어야 합니다. 기존의 디코더 전용(decoder-only) 설계, 특히 시각적 특징을 자기회귀적(autoregressive) 시퀀스에 강제로 포함시키는 구조는 인지와 생성이 동일한 컨텍스트 윈도우를 두고 경쟁하게 만들어 이러한 요구를 충족하기 어렵습니다.

방법론

1. 아키텍처: 크로스 어텐션 백본 (Cross-Attention Backbone)

저자들은 널리 쓰이는 디코더 전용 설계 대신, 크로스 어텐션 백본(구체적으로 Llama-3.2-11B-Vision을 변형)에 기반한 **투 채널 아키텍처(two-channel architecture)**를 제안합니다.

경로의 분리: 시각적 특징은 자기회귀적 토큰 스트림에 합쳐지는 대신, 사이드 채널(Keys와 Values)을 통해 주입됩니다. 텍스트 백본은 자기회귀적으로 토큰을 생성하는 동시에 사이드 채널로부터 시각적 컨텍스트를 검색(retrieve)합니다.
구조적 이점:
- 비차단형(Non-blocking): 인지(프레임 읽기)와 생성(토큰 출력)이 물리적으로 분리된 경로에서 실행되므로 병렬 진행이 가능합니다.
- 효율성: 시각적 특징은 프리필(prefill) 단계에서 한 번 인코딩되며, 특정 크로스 어텐션 레이어(40개 중 8개)에서만 검색되므로 디코더 전용 모델에서 발생하는 대규모 시각 토큰 풀의 반복적인 셀프 어텐션 오버헤드를 방지합니다.
- 독립적 압축: 이러한 분리는 텍스트 시퀀스에 영향을 주지 않으면서 2D 풀링을 통한 시각 토큰의 독립적인 압축을 가능하게 합니다.
시간적 정렬: 모델은 텍스트와 시각 양측 모두에 **회전 위치 인코딩(Rotary Positional Encoding, RoPE)**을 적용하여, 프레임을 도착 순서에 기반한 통일된 시간 축에 매핑함으로써 시간적 시퀀스를 이해할 수 있게 합니다.

2. 데이터 합성 파이프라인

정적인 캡션 및 QA 데이터셋에는 진화하는 답변이나 침묵 결정의 궤적(trajectory)이 포함되어 있지 않으므로, 저자들은 밀집된 계층적 캡션을 실시간 감독 데이터로 변환하는 실시간 데이터 합성 파이프라인을 도입했습니다.

의미론적 구성: 파이프라인은 비디오 설명에서 세계의 상태가 변화하는 "변화 지점(change points)"을 식별합니다. 그리고 시간이 지남에 따라 정답이 변하는 상태 의존적 지시문(질문)을 생성합니다.
결정-생성: 각 지시문에 대해 모델은 다음을 포함하는 응답 궤적을 합성합니다:
- 수정(Revisions): 새로운 증거가 나타날 때 답변을 업데이트합니다.
- 침묵(Silence): 새로운 정보가 없거나 질문에 답할 수 없는 상태일 때 특수 토큰인 <|silence|>를 출력합니다.
시간적 레이아웃: 합성된 응답은 초당 프레임 스트림에 맞춰 정렬되며, AnimationFrame 플레이스홀더와 텍스트 또는 <|silence|> 토큰을 교차 배치하여 연속적이고 이벤트 중심적인 상호작용을 시뮬레이션합니다.

3. 학습 전략

학습은 "먼저 일반화하고, 나중에 전문화한다(general first, specialize later)"는 접근 방식을 따릅니다.

브릿지 학습(Bridge Training): 비전 인코더와 프로젝터를 동결된 LLM 백본과 정렬합니다.
오프라인 SFT: 대규모 일반 지시문 데이터로 학습하여 견고한 오프라인 비디오 및 멀티모달 이해 능력을 구축합니다.
실시간 SFT: 합성된 실시간 데이터를 사용하여 오프라인 모델을 전문화합니다. 이 단계에서는 실시간 및 오프라인 QA가 혼합된 코퍼스를 사용하며, 시스템 프롬프로를 통해 이를 구분함으로써 모델에게 언제 말하고, 언제 수정하며, 언제 침묵해야 하는지를 가르칩니다.

추론 제어: 추론 시에는 임계값 기반 게이팅 메커니즘(예: $P(\text{silence}) \geq 0.6$ )을 사용하여 모델이 텍스트를 출력할지 <|silence|>를 출력할지 결정하며, 이를 통해 단일 가중치 세트로 오프라인과 실시간 모드를 모두 지원할 수 있습니다.

주요 기여

패러다임 공식화: 본 논문은 오프라인, 스트리밍, 실시간 패러다임을 명확히 구분하며, 실시간 상호작용을 인지와 생성의 동시성 및 "적시 수정(timely corrections)" 능력으로 정의합니다.
아키텍처 설계: 크로스 어텐션 백본이 디코더 전용 설계보다 실시간 상호작용에 구조적으로 우월하며, 시각 처리 빈도를 줄여주는 비차단형 투 채널 경로를 제공함을 입증했습니다.
데이터 합성: 동적인 답변 수정 및 침묵 결정을 포함하여 표준 데이터셋에는 없는 실시간 감독 데이터를 생성하는 파이프라인을 도입했습니다.
실시간 행동: 대규모 언어 모델에 지속적인 인지, 답변 수정, 선제적 침묵 행동을 성공적으로 주입하면서도 오프라인 역량을 희생하지 않았습니다.

결과

오프라인 및 멀티모달 이해

경쟁력 있는 성능: 모델은 일반적인 비디오 및 멀티모달 벤치마크에서 경쟁력 있는 결과를 달성했습니다. 메모리 집약적 작업(예: OCR, 미세 인지) 및 일반 비디오 QA에서는 강력한 Qwen2.5-VL-7B 베이스라인에 뒤처지지만, 공간 및 미세 시간 추론(예: Visuologic, VSI-Bench, Video-Holmes)이 필요한 벤치마크에서는 Qwen2.5-VL-7B를 능가합니다.
전문화의 비용: 오프라인에서 실시간 전문화로 전환할 때 오프라인 이해 능력의 저하는 미미합니다. 일부 비디오 벤치마크에서는 실시간 버전이 오프라인 전용 버전보다 더 높은 성능을 보이기도 합니다.

추론 효율성

속도 향상: 256개 프레임의 비디오를 처리하는 단일 NVIDIA H200에서 11B 파라미터의 MOSS-Video-Preview는 다음을 달s성합니다:
- Qwen2.5-VL-7B 대비 약 5배 빠른 첫 토큰 도달 시간(TTFT) (1.95초 vs 9.94초).
- 약 2.7배 높은 디코딩 처리량 (38.41 vs 14.26 tokens/s).
- 엔드 투 엔드 총 레이턴시 약 46% 감소.
원인 분석: 이러한 이득은 서빙 스택의 엔지니어링 최적화가 아니라, 크로스 어텐션 아키텍처(자기회귀 시퀀스에서 비전을 분리함)에 직접적으로 기인합니다.

의의 및 주장

본 논문은 SOTA(최고 수준) 성능 달성보다는 패러다임과 아키텍처의 검증을 우선시하는 **프리뷰(preview)**이자 **포지션 페이퍼(position paper)**로서의 성격을 띱니다.

실현 가능성: 본 연구는 크로스 어텐션 백본과 특화된 데이터 합성 파이프라인을 사용하여 실시간 비디오 이해가 가능하다는 것을 검증했습니다.
아키텍처의 필요성: "인지는 생성에 의해 차단되어서는 안 된다"는 제약 조건이 투 채널 아키텍처를 필요로 하며, 따라서 크로스 어텐션이 디코더 전용 설계보다 자연스러운 선택임을 주장합니다.
확장성: 저자들은 SOTA 모델과의 남은 성능 격차가 아키텍처 자체가 아닌 주로 데이터 규모와 파라미터 크기에 있다고 보고 있습니다. 이 아키텍처가 향후 확장을 통해 격차를 좁힐 수 있는 유망한 경로를 제공한다고 주장합니다.
한계점: 논문은 실시간 평가를 위한 표준화된 **의사결정 수준 레이턴시 벤치마크(decision-level latency benchmark)**가 부족함을 인정하며, 현재의 지표들이 수정의 "적시성(timeliness)"을 제대로 포착하지 못한다고 지적했습니다. 또한 데이터 엔지니어링 및 절제 실험(ablation studies)이 예비적인 단계임을 인정했습니다.

요약하자면, MOSS-Video-Preview는 인지와 생성을 분리함으로써 실시간 비디오 이해를 위한 실행 가능한 경로를 제시하며, 이 접근 방식이 일반 벤치마크 점수는 현재 오프라인 최적화된 대형 모델보다 낮을지라도 상당한 효율성 이득과 견고한 추론 능력을 제공함을 보여줍니다.