💬 NLP

Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model

O Mage-VL é um modelo fundamental de streaming eficiente e nativo de codec que aproveita um tokenizador consciente de movimento e uma arquitetura de sistema duplo para alcançar compreensão multimodal em tempo real com consumo de tokens significativamente reduzido e inferência mais rápida, ao mesmo tempo em que iguala ou supera modelos de estado da arte maiores tanto em tarefas de raciocínio estático quanto dinâmico.

Autores originais: Senqiao Yang, Kaichen Zhang, Zhaoyang Jia, Jinghao Guo, Yifei Shen, Xinjie Zhang, Xiaoyi Zhang, Haoqing Wang, Xiao Li, Peng Zhang, Xiang An, Yin Xie, Zhening Liu, Xun Guo, Jiahao Li, Shicheng Zheng, J

Publicado 2026-07-29

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Senqiao Yang, Kaichen Zhang, Zhaoyang Jia, Jinghao Guo, Yifei Shen, Xinjie Zhang, Xiaoyi Zhang, Haoqing Wang, Xiao Li, Peng Zhang, Xiang An, Yin Xie, Zhening Liu, Xun Guo, Jiahao Li, Shicheng Zheng, Jinglu Wang, Zongyu Guo, Wenxuan Xie, Zihan Zheng, Yuxuan Luo, Bin Li, Yan Lu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a uma partida de futebol ao vivo pelo seu celular. A câmera faz um movimento pelo campo, a multidão ruge e os jogadores correm de um lado para o outro. Agora, imagine um robô superinteligente tentando entender esse jogo em tempo real. A maioria dos robôs atuais é como um estudante que insiste em ler cada palavra de um livro de 50 \text{páginas}, até as partes que apenas dizem "a grama é verde" pela centésima vez. Eles ficam presos nas partes estáticas e entediantes do vídeo, desperdiçando todo o seu poder cerebral e tempo, enquanto perdem o gol de fato sendo marcado. Isso é um pouco paradoxal: eles são gênios na resolução de quebra-cabeças complexos, mas péssimos em simplesmente observar uma cena em movimento de forma eficiente.

Este artigo, escrito pela equipe Microsoft Mage, apresenta um novo tipo de cérebro robótico chamado Mage-VL. Ele foi projetado para quebrar essa regra, agindo mais como um olho humano. Em vez de encarar cada quadro de um vídeo, o Mage-VL presta atenção apenas nas partes que estão realmente mudando ou se movendo. Pense nisso como um segurança que só olha para os sensores de movimento; se nada estiver se movendo, ele não desperdiça energia vigiando o corredor vazio. Ao fazer isso, o robô consegue entender vídeos muito mais rápido e com menos poder computacional, permitindo que ele converse com você sobre um jogo ao vivo conforme ele acontece, em vez de esperar o jogo terminar para dar um resumo.

A Magia do Olhar "Codec-Nativo"

O ingrediente secreto do Mage-VL é algo que os autores chamam de abordagem codec-nativa. No mundo da transmissão de vídeo (como quando você assiste à Netflix ou ao YouTube), os computadores usam um truque chamado "compressão" para economizar espaço. Eles não enviam cada quadro de um vídeo; eles enviam uma imagem completa (um "I-frame") e depois enviam apenas os pequenos fragmentos que mudam nos segundos seguintes (os "P-frames"). É assim que seu telefone pode transmitir um filme sem consumir todos os seus dados.

O Mage-VL foi construído para falar essa linguagem nativamente. Em vez de forçar o vídeo em uma grade rígida de imagens estáticas, ele usa os mesmos sinais de movimento que a compressão de vídeo utiliza para decidir o que é importante. Se um jogador está correndo, o robô dá um zoom no jogador. Se a multidão ao fundo está apenas parada, o robô a ignora completamente. Isso é como um fotógrafo que só tira uma foto quando algo interessante acontece, em vez de tirar 30 fotos por segundo de uma natureza morta.

O resultado é um aumento massivo de eficiência. O artigo mostra que o Mage-VL pode reduzir o número de "tokens visuais" (os pequenos pedaços da imagem que o computador precisa processar) em mais de 75%. É como ler um livro onde você só precisa ler os capítulos emocionantes, pulando o conteúdo irrelevante, mas ainda assim compreendendo a história inteira perfeitamente.

Um Cérebro com Dois Sistemas

Para lidar com este streaming de vídeo, o Mage-VL utiliza um cérebro inteligente de duas partes, inspirado em como os humanos pensam.

Sistema 1 (O Reflexo): Este é um porteiro superveloz e leve. Ele observa o fluxo de vídeo e pergunta: "Algo interessante está acontecendo agora?". Se a resposta for não, ele permanece em silêncio. Se a resposta for sim (como um gol sendo marcado), ele acorda instantaneamente a segunda parte do cérebro.
Sistema 2 (O Raciocinador): Esta é a parte do pensamento pesado. Uma vez que o portão se abre, ele mergulha profundamente para descobrir exatamente o que aconteceu e gerar uma resposta.

Isso significa que o robô não perde tempo pensando nas partes entediantes do vídeo. Ele permanece quieto durante o intervalo ou quando a câmera está apenas percorrendo o estádio, e então intervém no segundo em que um jogador chuta a bola.

O Que Eles Descobriram (e o Que Não Descobriram)

A equipe treinou este modelo do zero usando cerca de 560 milhões de imagens não rotuladas e 100 milhões de frames de vídeo não rotulados. Isso parece muito, mas comparado a outros modelos gigantes que precisam de bilhões de pares imagem-texto, é, na verdade, bastante pequeno. Surpreendentemente, eles descobriram que você não precisa de um conjunto de dados massivo, de escala web, para construir um ótimo cérebro visual. O método de treinamento personalizado do Mage-VL permitiu que ele igualasse ou até superasse modelos muito maiores em tarefas de compreensão de vídeo.

Aqui estão algumas das principais descobertas que fizeram:

Velocidade: O Mage-VL é incrivelmente rápido. Ele pode processar vídeo até 3,5 vezes mais rápido em tempo real em comparação com modelos padrão, mantendo a precisão das respostas.
Não Necessidade de Treinamento para "Vídeos Longos": Eles descobriram que não precisavam treinar o modelo especificamente em vídeos longos para torná-lo bom em responder perguntas sobre eles. Ao treiná-lo em descrições detalhadas de clipes curtos e usando seu método inteligente de "codec", o modelo aprendeu a entender vídeos longos por conta própria.
O Movimento Ajuda no Raciocínio Espacial: Eles descobriram que treinar o modelo em vídeos em movimento realmente o tornou melhor em entender formas 3D estáticas e relações espaciais. Parece que ver como as coisas se movem ajuda o robô a entender como elas se encaixam no espaço.
IA Ajudando IA: A equipe usou um sistema de IA para ajudar a escrever melhores dados de treinamento. Eles fizeram uma IA verificar as legendas que ela gerava, corrigir os erros e melhorar os comandos (prompts), criando um ciclo que tornou os dados de qualidade muito superior.

A Conclusão

O Mage-VL é um passo significativo para tornar a IA capaz de realmente "assistir" e "ouvir" o mundo em tempo real. Ele prova que você não precisa forçar o processamento de cada pixel de um vídeo para entendê-lo. Ao ser inteligente sobre o que observar — imitando a maneira como a compressão de vídeo funciona e como os olhos humanos focam no movimento — o modelo torna-se mais rápido, mais barato de operar e mais responsivo.

Embora o artigo observe que o modelo ainda tem trabalho a fazer em tarefas de raciocínio complexo e problemas matemáticos, ele demonstra com sucesso que um modelo menor e mais eficiente pode superar gigantes muito maiores e mais lentos quando se trata de compreender o mundo dinâmico e em movimento ao nosso redor. É um movimento de "ler tudo" para "assistir ao que importa".

Resumo Técnico: Mage-VL: Um Modelo de Fundação Multimodal de Fluxo Nativo de Codec Eficiente

Declaração do Problema

Os atuais Modelos de Linguagem e Visão (VLMs) exibem uma manifestação do paradoxo de Moravec: embora se destaquem em raciocínio visual offline complexo, sofrem de ineficiência computacional e baixo desempenho em tarefas de percepção de fluxo (streaming) simples e dinâmicas. Isso decorre de um descompasso estrutural entre a percepção física contínua e orientada a eventos e as arquiteturas de amostragem de quadros estáticas e uniformes dos modelos existentes. Os VLMs padrão (ex: Qwen-VL, InternVL) dependem de codificadores de visão pré-treinados em bilhões de pares imagem-texto estáticos. Ao processar vídeo, eles tipicamente codificam regiões de fundo densas e redundantes em todos os quadros amostrados, levando a uma escalabilidade rápida da computação com a duração do vídeo e a uma incapacidade de priorizar eventos dinâmicos e ricos em informação em tempo real.

Metodologia

O Mage-VL aborda essas limitações através de uma arquitetura de modelo de fundação de fluxo nativo de codec, centrada em um codificador visual customizado, o Mage-ViT, e um framework de interação proativa de sistema duplo.

1. Mage-ViT: Tokenização Visual Nativa de Codec

Em vez de amostragem uniforme de quadros, o Mage-ViT adapta princípios de codecs de vídeo clássicos (ex: HEVC/H.265) e codecs neurais (ex: DCVC) para codificar seletivamente a informação visual.

Seleção Esparsa: O modelo divide o vídeo em quadros âncora (I-frames), que são totalmente processados, e quadros preditos (P-frames), onde apenas os patches contendo movimento ou energia residual são retidos.
Mecanismo: Um patchifier impulsionado por codec estima um tensor de importância por patch $S$ baseado na magnitude do vetor de movimento e energia residual (para codecs tradicionais) ou modelos de probabilidade aprendidos (para codecs neurais). Ele retém todos os patches do I-frame e seleciona os top- $k$ patches do P-frame dentro de um orçamento de tokens.
Eficiência: Operando em um nível de patch de 16×16, esta abordagem reduz o consumo de tokens visuais em aproximadamente 75% em comparação com a amostragem densa, preservando o contexto espaço-temporal.
Treinamento: O Mage-ViT é treinado do zero em ~560M de imagens não rotuladas e 100M de quadros de vídeo não rotulados usando um objetivo de discriminação de cluster, em vez de depender de corpora massivos de imagem-texto da web.

2. Arquitetura e Treinamento do Mage-VL

O Mage-VL integra o Mage-ViT com um decodificador de linguagem causal (inicializado a partir do Qwen3-4B-Instruct) e uma arquitetura de sistema duplo inspirada na biologia:

Sistema 1 (Portão de Eventos): Um portão leve e proativo monitora os recursos visuais de fluxo recebidos. Ele prevê se o contexto atual contém um evento digno de resposta, disparando a geração apenas quando necessário.
Sistema 2 (Decodificador Causal): Quando o portão é acionado, o modelo completo realiza o raciocínio abrangente e gera uma resposta baseada no contexto visual recente.
Currículo de Treinamento: O modelo passa por um currículo progressivo de cinco estágios:
1. Alinhamento Multimodal: Aquecimento com legendas densas de imagem e vídeos curtos.
2. Ajuste de Instrução: Introdução de instruções de imagem e ancoragem temporal.
3. Expansão Temporal: Treinamento em legendas de vídeos longos para aprender a ordenação de eventos.
4. Adaptação Nativa de Codec: Mudança da supervisão de vídeo para tokenização de fluxo de codec para lidar com sequências 8× mais longas que os estágios anteriores.
5. Fluxo Proativo: Ajuste fino do portão de cognição em dados de fluxo para aprender decisões de "silêncio" vs. "fala" sem congelar o modelo de linguagem base.

3. Pipelines de Dados AI4AI

Os autores empregam uma abordagem AI4AI para curadoria de dados, utilizando um pipeline de malha fechada onde sistemas agentes otimizam iterativamente prompts de legenda e código. Isso inclui:

Co-design de Prompt-Código: Uso do GitHub Copilot para modificar prompts e código (ex: adicionando sobreposições de timestamp aos quadros de vídeo) para melhorar a ancoragem temporal e a qualidade da legenda.
Zero-Vision SFT: Uma descoberta de que contornar o ajuste de instrução visual em favor de um SFT de raciocínio puramente textual antes do Aprendizado por Reforço (RL) desbloqueia capacidades agênticas mais fortes.

Principais Contribuições

Arquitetura de Fluxo Proativo Nativa de Codec: Um VLM unificado que processa vídeo contínuo via atualizações esparsas e salientes ao movimento, reduzindo os tokens visuais para $\le$ 1/8 da amostragem densa e permitindo interação disparada por eventos.
Modelos de Fundação Eficientes: Lançamento aberto do Mage-ViT e Mage-VL-4B. O Mage-ViT alcança desempenho competitivo com codificadores treinados em bilhões de pares imagem-texto, apesar de ser treinado em um conjunto de dados não rotulado significativamente menor.
Sete Descobertas Empíricas:
- O pré-treinamento em escala web não é essencial para codificadores visuais de VLM; o design arquitetônico e o alinhamento temporal importam mais.
- O pré-treinamento de resolução variável permite o escalonamento de desempenho monotônico e contínuo com orçamentos de tokens.
- A tokenização nativa de codec estabelece uma fronteira de precisão-eficiência superior, alcançando até 3,5× de aceleração na velocidade de inferência de tempo real (wall-clock).
- O SFT explícito de Long VideoQA é redundante; o ajuste fino em legendas densas de vídeo é suficiente para VideoQA zero-shot de longa duração.
- O treinamento de vídeo dinâmico aumenta sinergicamente o raciocínio espacial 2D/3D estático.
- Pipelines de dados impulsionados por IA (co-design de prompt-código) melhoram sistematicamente o desempenho downstream.
- Contornar o SFT visual em favor do SFT de raciocínio puramente textual desbloqueia potentes capacidades de RL multimodal.

Resultados

Tarefas Estáticas: O Mage-VL-4B iguala o Qwen3-VL-4B em benchmarks de compreensão de imagem estática (ex: DocVQA, OCRBench, MMBench).
Raciocínio de Vídeo e Espacial: O Mage-VL-4B supera o Qwen3-VL-4B em compreensão de vídeo (ex: +4,3 em VideoMME, +7,2 em MLVU) e raciocínio espacial (ex: +11,0 em VSI-Bench). Ele supera de forma abrangente a linha de base Phi-4-reasoning-vision (15B) na maioria das dimensões avaliadas.
Eficiência: O Mage-VL alcança até 3,5× mais velocidade de inferência de tempo real em comparação com baselines de amostragem de quadros densos, mantendo ou melhorando a precisão.
Desempenho de Fluxo (Streaming): No benchmark SoccerNet-Caption, o Mage-VL alcança um TimVal de 55,54% e TriggerAcc de 79,21%, estado da arte, superando significativamente o StreamMind e o JoyAI em tempo de resposta disparado por eventos sem overfitting de domínio.
Robustez: O modelo generaliza entre famílias de codecs (HEVC e codecs neurais como DCVC-RT) sem necessidade de retreinamento, demonstrando que a previsibilidade temporal é um crito de alocação de tokens transferível.

Significância

O artigo afirma que o Mage-VL representa uma mudança de paradigma do processamento de quadros estáticos e densos para a percepção de fluxo eficiente, orientada a eventos e nativa de codec. Ao alinhar a arquitetura do modelo com os princípios da compressão de vídeo e do processamento visual biológico (filtragem de redundância, priorização de movimento), o Mage-VL demonstra que a compreensão multimodal de alto desempenho não requer conjuntos de dados de pré-treinamento massivos ou recursos computacionais densos. O trabalho fornece receitas práticas para o desenvolvimento de modelos de fundação eficientes, desafiando as leis de escala convencionais e ofereando um caminho computacionalmente eficiente para agentes multimodais proativos em tempo real.