💬 NLP

Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model

Mage-VL은 모션 인식 토크나이저와 이중 시스템 아키텍처를 활용하여 정적 및 동적 추론 작업 모두에서 더 큰 규모의 최첨단 모델들과 대등하거나 이를 능가하면서도, 토큰 소비를 크게 줄이고 추론 속도를 높여 실시간 멀티모달 이해를 달성하는 효율적인 코덱 네이티브 스트리밍 파운데이션 모델입니다.

원저자: Senqiao Yang, Kaichen Zhang, Zhaoyang Jia, Jinghao Guo, Yifei Shen, Xinjie Zhang, Xiaoyi Zhang, Haoqing Wang, Xiao Li, Peng Zhang, Xiang An, Yin Xie, Zhening Liu, Xun Guo, Jiahao Li, Shicheng Zheng, J

게시일 2026-07-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Senqiao Yang, Kaichen Zhang, Zhaoyang Jia, Jinghao Guo, Yifei Shen, Xinjie Zhang, Xiaoyi Zhang, Haoqing Wang, Xiao Li, Peng Zhang, Xiang An, Yin Xie, Zhening Liu, Xun Guo, Jiahao Li, Shicheng Zheng, Jinglu Wang, Zongyu Guo, Wenxuan Xie, Zihan Zheng, Yuxuan Luo, Bin Li, Yan Lu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 스마트폰으로 축구 경기를 생중계로 보고 있다고 상상해 보세요. 카메라는 경기장을 가로지르고, 관중들은 환호하며, 선수들은 앞뒤로 질주합니다. 이제, 이 경기를 실시간으로 이해하려고 노력하는 초지능 로봇을 상상해 보세요. 현재 대부분의 로봇은 500페이지짜리 교과서의 모든 단어, 심지어 "잔디가 초록색이다"라는 문장이 백 번 반복되는 부분까지도 하나하나 다 읽어야 한다고 고집하는 학생과 같습니다. 그들은 정적인 영상의 지루한 부분에 매달려 모든 두뇌 전력과 시간을 낭비하며, 정작 골이 들어가는 결정적인 순간은 놓치고 맙니다. 이것은 일종의 역설입니다. 그들은 복잡한 퍼즐을 푸는 데는 천재적이지만, 움직이는 장면을 효율적으로 보는 데는 형편없기 때문입니다.

Microsoft Mage 팀이 작성한 이 논문은 Mage-VL이라는 새로운 종류의 로봇 두뇌를 소개합니다. 이 모델은 인간의 눈처럼 행동하도록 설계되어 기존의 규칙을 깨뜨립니다. 모든 프레임을 뚫어지게 쳐다보는 대신, Mage-VL은 실제로 변화하거나 움직이는 부분에만 주의를 기울입니다. 마치 움직임 감지 센서만 주시하는 보안 요원과 같습니다. 아무것도 움직이지 않는다면 빈 복도를 감시하는 데 에너지를 낭비하지 않습니다. 이렇게 함으로써 로봇은 영상을 훨씬 더 빠르게 이해하고 더 적은 컴퓨팅 자원을 사용할 수 있으며, 경기가 끝난 후 요약본을 주는 것이 아니라 경기가 진행되는 도중에 당신과 대화를 나눌 수 있게 해줍니다.

"코덱 네이티브(Codec-Native)" 시청의 마법

Mage-VL의 비결은 저자들이 코덱 네이티브 접근 방식이라고 부르는 기술입니다. 넷플릭스나 유튜브 같은 비디오 스트리밍의 세계에서 컴퓨터는 공간을 절약하기 위해 "압축"이라는 기술을 사용합니다. 모든 프레임을 다 보내는 것이 아니라, 전체 그림(I-프레임) 하나를 보낸 뒤 다음 몇 초 동안 변하는 아주 작은 부분들(P-프레임)만 보냅니다. 이것이 당신의 스마트폰이 데이터를 과도하게 소비하지 않고 영화를 스트리밍할 수 있는 방법입니다.

Mage-VL은 이 언어를 네이티브하게 구사하도록 구축되었습니다. 영상을 경직된 정지 이미지 격자로 강제로 변환하는 대신, 이 모델은 비디오 압축에서 사용하는 것과 동일한 모션 신호를 사용하여 무엇이 중요한지 결정합니다. 선수가 달리고 있다면 로봇은 선수에게 초점을 맞춥니다. 배경의 관중들이 가만히 서 있다면 로봇은 이를 완전히 무시합니다. 이는 정물화를 찍기 위해 초당 30장의 사진을 찍는 대신, 흥미로운 일이 생길 때만 사진을 찍는 사진가와 같습니다.

그 결과 엄청난 효율성 향상이 나타났습니다. 논문에 따르면 Mage-VL은 "시각적 토큰(컴퓨터가 처리해야 하는 이미지의 작은 조각들)"의 수를 75% 이상 줄일 수 있습니다. 이는 마치 책을 읽을 때 지루한 내용들을 건너뛰고 흥미진진한 장들만 읽어도 전체 이야기를 완벽하게 이해하는 것과 같습니다.

두 가지 시스템을 갖춘 두뇌

스트리밍 비디오를 처리하기 위해 Mage-VL은 인간의 사고방식에서 영감을 얻은 영리한 두 부분의 두뇌를 사용합니다.

시스템 1 (반사 신경): 이는 매우 빠르고 가벼운 문지기 역할을 합니다. 비디오 스트림을 지켜보며 "지금 흥미로운 일이 일어나고 있는가?"라고 묻습니다. 답이 '아니오'라면 침묵을 유지합니다. 만약 답이 '예'(예: 골이 들어감)라면, 즉시 두 번째 두뇌를 깨웁니다.
시스템 2 (추론기): 이는 본격적인 사고를 담당하는 부분입니다. 문이 열리면, 이 모델은 깊이 파고들어 정확히 무슨 일이 일어났는지 파악하고 응답을 생성합니다.

즉, 로봇은 비디오의 지루한 부분에 대해 생각하느라 시간을 낭비하지 않습니다. 하프타임 쇼가 진행 중이거나 카메라가 경기장을 가로질러 이동할 때는 조용히 있다가, 선수가 공을 차는 순간 바로 의견을 내놓습니다.

발견한 것 (그리고 발견하지 못한 것)

팀은 약 5억 6천만 개의 레이블이 없는 이미지와 1억 개의 레이블이 없는 비디오 프레임을 사용하여 이 모델을 처음부터 학습시켰습니다. 이는 엄청난 양처럼 들리지만, 수십억 개의 이미지-텍스트 쌍이 필요한 다른 거대 모델들과 비교하면 실제로는 꽤 작은 규모입니다. 놀랍게도, 훌륭한 시각적 두뇌를 만들기 위해 반드시 웹 스케일의 방대한 데이터셋이 필요한 것은 아니라는 점을 발견했습니다. Mage-VL의 맞춤형 학습 방식 덕분에, 이 모델은 훨씬 더 큰 모델들과 대등하거나 심지어 비디오 이해 작업에서 능가하는 성능을 보여주었습니다.

주요 발견 사항은 다음과 같습니다:

속도: Mage-VL은 믿을 수 없을 정도로 빠릅니다. 정답을 맞히면서도 실제 시간 기준으로 표준 모델보다 최대 3.5배 빠르게 영상을 처리할 수 있습니다.
"긴 비디오" 학습의 불필요성: 긴 비디오에 대한 질문에 답하는 능력을 키우기 위해 모델을 굳이 긴 비디오로 직접 학습시킬 필요가 없다는 것을 발견했습니다. 짧은 클립에 대한 상세한 설명을 통해 학습시키고 스마트한 "코덱" 방식을 사용함으로써, 모델은 스스로 긴 비디오를 이해하는 법을 배웠습니다.
모션이 공간 추론을 돕는다: 움직이는 비디오로 학습시키는 것이 정적인 3D 형태와 공간 관계를 이해하는 데 실제로 도움이 된다는 것을 발견했습니다. 사물이 어떻게 움직이는지를 보는 것이 로봇이 사물들이 공간 속에서 어떻게 배치되는지 이해하는 데 도움을 주는 것으로 보입니다.
AI가 돕는 AI: 팀은 더 나은 학습 데이터를 작성하기 위해 AI 시스템을 활용했습니다. AI가 생성된 캡션을 검토하고, 오류를 수정하며, 프롬프트를 개선하는 루프를 통해 데이터의 품질을 훨씬 더 높였습니다.

결론

Mage-VL은 AI가 실시간으로 세상의 모습과 소리를 실제로 "보고 듣게" 만드는 데 있어 중요한 진전입니다. 이는 세상을 이해하기 위해 모든 픽셀을 무식하게 밀어붙일 필요가 없다는 것을 증명합니다. 무엇을 볼지 똑똑하게 결정함으로써(비디오 압축 방식과 인간의 눈이 움직임에 집중하는 방식을 모방하여), 이 모델은 더 빠르고, 비용이 적게 들며, 더 즉각적으로 반응하게 되었습니다.

논문은 이 모델이 여전히 복잡한 추론 작업이나 수학적 문제 해결에는 보완할 점이 있다고 언급했지만, 더 작고 효율적인 모델이 역동적이고 움직이는 세상을 이해하는 데 있어 훨씬 크고 느린 거인들을 능가할 수 있음을 성공적으로 입증했습니다. 이는 "모든 것을 읽는 것"에서 "중요한 것을 보는 것"으로의 전환입니다.

기술 요약: Mage-VL: 효율적인 코덱 네이티브 스트리밍 멀티모달 파운데이션 모델

문제 정의

현재의 시각-언어 모델(VLM)은 모라벡의 역설(Moravec's paradox)을 드러내고 있습니다. 즉, 복잡한 오프라인 시각적 추론에는 뛰어나지만, 단순하고 동적인 스트리밍 지각 작업에서는 계산 효율성이 떨어지고 성능이 저하됩니다. 이는 연속적이고 이벤트 중심적인 물리적 지각과 기존 모델의 정적이고 균일한 프레임 샘플링 구조 사이의 구조적 불일치에서 기인합니다. 표준 VLM(예: Qwen-VL, InternVL)은 수십억 개의 정적 이미지-텍스트 쌍으로 사전 학습된 비전 인코더에 의존합니다. 비디오를 처리할 때 이들은 일반적으로 모든 샘플링된 프레임 전반에 걸쳐 중복된 배경 영역을 밀집하게 인코딩하며, 이로 인해 비디오 길이에 따라 계산량이 급격히 증가하고 실시간으로 동적이며 정보가 풍부한 이벤트를 우선순위에 두지 못하는 문제가 발생합니다.

방법론

Mage-VL은 커스텀 비주얼 인코더인 Mage-ViT와 이중 시스템 프로액티브 상호작용 프레임워크를 중심으로 하는 코덱 네이티브 스트리밍 파운데이션 모델 아키텍처를 통해 이러한 한계를 해결합니다.

1. Mage-ViT: 코덱 네이티브 비주얼 토큰화

균일한 프레임 샘플링 대신, Mage-ViT는 고전적 비디오 코덱(예: HEVC/H.265)과 뉴럴 코덱(예: DCVC)의 원리를 채택하여 시각 정보를 선택적으로 인코딩합니다.

희소 선택 (Sparse Selection): 모델은 비디오를 완전히 처리되는 앵커 프레임(I-프레임)과 움직임이나 잔차 에너지를 포함하는 패치만을 유지하는 예측 프레임(P-프레임)으로 나눕니다.
메커니ism: 코덱 기반 패치파이어(patchifier)는 모션 벡터 크기와 잔차 에너지(전통적 코덱의 경우) 또는 학습된 확률 모델(뉴럴 코덱의 경우)을 기반으로 패치별 중요도 텐서 $S$ 를 추정합니다. I-프레임의 모든 패치를 유지하고, 토큰 예산 내에서 상위- $k$ 개의 P-프레임 패치를 선택합니다.
효율성: 16×16 패치 수준에서 작동하는 이 방식은 시공간적 문맥을 보존하면서도 밀집 샘플링 대비 비주얼 토큰 소비를 약 75% 감소시킵니다.
학습: Mage-ViT는 대규모 웹 스케일 이미지-텍스트 코퍼스에 의존하는 대신, 클러스터-판별 목적 함수(cluster-discrimination objective)를 사용하여 약 5억 6천만 개의 레이블 없는 이미지와 1억 개의 레이블 없는 비디오 프레임으로 처음부터 학습되었습니다.

2. Mage-VL 아키텍처 및 학습

Mage-VL은 Mage-ViT를 인과적 언어 디코더(Qwen3-4B-Instruct에서 초기화됨) 및 생물학적 영감을 받은 이중 시스템 아키텍처와 통합합니다:

시스템 1 (이벤트 게이트): 경량화된 프로액티브 게이트가 들어오는 스트리밍 시각 특징을 모니터링합니다. 이 게이트는 현재 컨텍스트에 응답할 가치가 있는 이벤트가 포함되어 있는지 예측하여, 필요할 때만 생성을 트리거합니다.
시스템 2 (인과적 디코더): 게이트가 트리거되면, 전체 모델이 최근의 시각적 문맥을 바탕으로 포괄적인 추론을 수행하고 응답을 생성합니다.
학습 커리큘럼: 모델은 5단계의 점진적 커리큘럼을 거칩니다:
1. 멀티모달 정렬: 밀집된 이미지 및 짧은 비디오 캡션으로 워밍업합니다.
2. 인스트럭션 튜닝: 이미지 인스트럭션 및 시간적 그라운딩(temporal grounding)을 도입합니다.
3. 시간적 확장: 이벤트 순서를 학습하기 위해 긴 비디오 캡션으로 학습합니다.
4. 코덱 네이티브 적응: 이전 단계보다 8배 더 긴 시퀀스를 처리할 수 있도록 비디오 감독(supervision)을 코덱-스트림 토큰화로 전환합니다.
5. 프로액티브 스트리밍: 베이스 언어 모델을 동결하지 않고 "침묵"과 "발화" 결정을 학습하도록 스트리밍 데이터에서 인지 게이트를 미세 조정합니다.

3. AI4AI 데이터 파이프라인

저자들은 에이전트 시스템이 캡셔닝 프롬프트와 코드를 반복적으로 최적화하는 폐쇄 루프 파이프라인인 AI4AI 접근 방식을 사용합니다. 여기에는 다음이 포함됩니다:

프롬프트-코드 공동 설계 (Prompt-Code Co-design): GitHub Copilot을 사용하여 프롬프트와 코드(예: 비디오 프레임에 타임스탬프 오버레이 추가)를 수정함으로써 시간적 그라운딩과 캡션 품질을 개선합니다.
Zero-Vision SFT: 강화 학습(RL) 이전에 시각적 인스트럭션 튜닝을 건너뛰고 순수 텍스트 추론 SFT를 사용하는 것이 더 강력한 에이전트 능력을 해제한다는 발견을 활용합니다.

주요 기여

코덱 네이티브 프로액티브 스트리밍 아키텍처: 희소하고 움직임에 민감한 업데이트를 통해 연속적인 비디오를 처리하는 통합 VLM으로, 비주얼 토큰을 밀집 샘플링의 ≤1/8로 줄이고 이벤트 트리거형 상호작용을 가능하게 합니다.
효율적인 파운데이션 모델: Mage-ViT 및 Mage-VL-4B를 오픈 소스로 공개합니다. Mage-ViT는 훨씬 작은 규모의 레이블 없는 데이터셋으로 학습되었음에도 불구하고, 수십억 개의 이미지-텍스트 쌍으로 학습된 인코더들과 경쟁력 있는 성능을 보여줍니다.
7가지 경험적 발견:
- 웹 스케일 사전 학습은 VLM 비주얼 인코더에 필수적이지 않으며, 아키텍처 설계와 시간적 정렬이 더 중요하다.
- 가변 해상도 사전 학습은 토큰 예산에 따른 연속적이고 단조로운 성능 스케일링을 가능하게 한다.
- 코덱 네이티브 토큰화는 최대 3.5배의 실제 추론 속도 향상을 달면 우수한 정확도-효율성 경계(accuracy-efficiency frontier)를 구축한다.
- 명시적인 Long VideoQA SFT는 불필요하며, 밀집 비디오 캡션으로 미세 조정하는 것만으로도 제로샷 Long VideoQA가 가능하다.
- 동적 비디오 학습은 정적 2D/3D 공간 추론을 시너지 있게 강화한다.
- AI 기반 데이터 파이프라인(프롬프트-코드 공동 설계)은 다운스트림 성능을 체계적으로 향상시킨다.
- 시각적 SFT를 건너뛰고 순수 텍스트 추론 SFT를 사용하는 것이 강력한 멀티모달 RL 능력을 해제한다.

결과

정적 작업: Mage-VL-4B는 정적 이미지 이해 벤치마크(예: DocVQA, OCRBench, MMBench)에서 Qwen3-VL-4B와 대등한 성능을 보입니다.
비디오 및 공간 추론: Mage-VL-4B는 비디오 이해(예: VideoMME에서 +4.3, MLVU에서 +7.2) 및 공간 추론(예: VSI-Bench에서 +11.0)에서 Qwen3-VL-4B를 능가합니다. 또한 대부분의 평가 차원에서 더 큰 모델인 Phi-4-reasoning-vision (15B) 베이스라인을 종합적으로 앞섭�니다.
효율성: Mage-VL은 정확도를 유지하거나 향상시키면서 밀집 프레임 샘플링 베이스라인 대비 최대 3.5배 빠른 실제 추론 시간을 달성합니다.
스트리밍 성능: SoccerNet-Caption 벤치마크에서 Mage-VL은 55.54%의 TimVal과 79.21%의 TriggerAcc를 달려, 도메인 특화 오버피팅 없이 이벤트 트리거 응답 타이밍에서 StreamMind 및 JoyAI를 크게 앞섭니다.
강건성: 모델은 재학습 없이도 다양한 코덱 패밀리(HEVC 및 DCVC-RT와 같은 뉴럴 코덱)에 걸쳐 일반화되며, 이는 시간적 예측 가능성이 토큰 할당을 위한 전이 가능한 기준임을 입증합니다.

의의

본 논문은 Mage-VL이 정적, 밀집 프레임 처리에서 효율적이고 이벤트 중심적인 코덱 네이티브 스트리밍 지각으로의 패러다임 전환을 나타낸다고 주장합니다. 비디오 압축 원리와 생물학적 시각 처리(중복 제거, 움직임 우선순위 지정)를 모델 아키텍처에 정렬함으로써, Mage-VL은 높은 성능의 멀티모달 이해가 거대한 사전 학습 데이터셋이나 밀집된 계산 자원을 필요로 하지 않음을 보여줍니다. 이 연구는 효율적인 파운데이션 모델 개발을 위한 실질적인 레시피를 제공하며, 전통적인 스케일링 법칙에 도전하고 실시간 프로액티브 멀티모달 에이전트를 향한 계산 효율적인 경로를 제시합니다.