💬 NLP

Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model

Mage-VL es un modelo fundacional de streaming eficiente y nativo de códec que aprovecha un tokenizador consciente del movimiento y una arquitectura de sistema dual para lograr una comprensión multimodal en tiempo real con un consumo de tokens significativamente reducido e inferencia más rápida, al tiempo que iguala o supera a modelos de vanguardia más grandes tanto en tareas de razonamiento estático como dinámico.

Autores originales: Senqiao Yang, Kaichen Zhang, Zhaoyang Jia, Jinghao Guo, Yifei Shen, Xinjie Zhang, Xiaoyi Zhang, Haoqing Wang, Xiao Li, Peng Zhang, Xiang An, Yin Xie, Zhening Liu, Xun Guo, Jiahao Li, Shicheng Zheng, J

Publicado 2026-07-29

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Senqiao Yang, Kaichen Zhang, Zhaoyang Jia, Jinghao Guo, Yifei Shen, Xinjie Zhang, Xiaoyi Zhang, Haoqing Wang, Xiao Li, Peng Zhang, Xiang An, Yin Xie, Zhening Liu, Xun Guo, Jiahao Li, Shicheng Zheng, Jinglu Wang, Zongyu Guo, Wenxuan Xie, Zihan Zheng, Yuxuan Luo, Bin Li, Yan Lu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás viendo un partido de fútbol en vivo en tu teléfono. La cámara recorre el campo, la multitud ruge y los jugadores corren de un lado a otro. Ahora, imagina a un robot superinteligente tratando de entender ese juego en tiempo real. La mayoría de los robots actuales son como un estudiante que insiste en leer cada palabra de un libro de texto de 500 páginas, incluso las partes que solo dicen "la hierba es verde" por centésima vez. Se quedan estancados en las partes aburridas y estáticas del video, desperdiciando toda su capacidad cerebral y tiempo, mientras se pierden el gol de verdad. Esto es un poco una paradość: son genios resolviendo acertijos complejos pero terribles simplemente observando una escena en movimiento de manera eficiente.

Este artículo, escrito por el equipo de Microsoft Mage, presenta un nuevo tipo de cerebro robótico llamado Mage-VL. Está diseñado para romper esta regla actuando más como un ojo humano. En lugar de mirar cada fotograma de un video, Mage-VL solo presta atención a las partes que realmente están cambiando o moviéndose. Piensa en ello como un guardia de seguridad que solo mira los sensores de movimiento; si nada se mueve, no desperdicia energía mirando el pasillo vacío. Al hacer esto, el robot puede entender videos mucho más rápido y con menos potencia de cómputo, permitiéndole charlar contigo sobre un partido en vivo a medida que sucede, en lugar de esperar hasta que termine el juego para dar un resumen.

La magia de observar de forma "nativa de códec"

El ingrediente secreto de Mage-VL es algo que los autores llaman un enfoque nativo de códec. En el mundo de la transmisión de video (como cuando ves Netflix o YouTube), las computadoras usan un truco llamado "compresión" para ahorrar espacio. No envían cada fotograma de un video; envían una imagen completa (un "I-frame") y luego solo envían los pequeños fragmentos que cambian durante los siguientes segundos (los "P-frames"). Así es como tu teléfono puede transmitir una película sin consumir todos tus datos.

Mage-VL fue construido para hablar este lenguaje de forma nativa. En lugar de forzar el video en una cuadrícula rígida de imágenes estáticas, utiliza las mismas señales de movimiento que la compresión de video usa para decidir qué es importante. Si un jugador está corriendo, el robot hace zoom en el jugador. Si la multitud en el fondo está simplemente parada, el robot la ignora por completo. Esto es como un fotógrafo que solo toma una foto cuando algo interesante sucede, en lugar de tomar 30 fotos por segundo de un bodegón.

El resultado es un aumento masivo de eficiencia. El artículo muestra que Mage-VL puede reducir el número de "tokens visuales" (las pequeñas piezas de la imagen que la computadora tiene que procesar) en más de un 75%. Es como leer un libro donde solo tienes que leer los capítulos emocionantes, saltándote el relleno aburrido, pero aun así entiendes la historia completa perfectamente.

Un cerebro con dos sistemas

Para manejar este video en streaming, Mage-VL utiliza un ingenioso cerebro de dos partes inspirado en cómo piensan los humanos.

Sistema 1 (El Reflejo): Este es un guardián superrápido y ligero. Observa el flujo de video y pregunta: "¿Está pasando algo interesante ahora mismo?". Si la respuesta es no, permanece en silencio. Si la respuesta es sí (como cuando se marca un gol), despierta instantáneamente la segunda parte del cerebro.
Sistema 2 (El Razonador): Esta es la parte del pensamiento pesado y robusto. Una vez que la puerta se abre, se sumerge profundamente para descifrar exactamente qué sucedió y generar una respuesta.

Esto significa que el robot no pierde tiempo pensando en las partes aburridas del video. Se mantiene callado durante el medio tiempo o cuando la cámara solo recorre el estadio, y luego interviene con un comentario en el segundo en que un jugador patea el balón.

Lo que encontraron (y lo que no encontraron)

El equipo entrenó este modelo desde cero utilizando alrededor de 560 millones de imágenes no etiquetadas y 100 millones de fotogramas de video no etiquetados. Eso suena a mucho, pero comparado con otros modelos gigantes que necesitan miles de millones de pares de imagen-texto, es en realidad bastante pequeño. Sorprendentemente, descubrieron que no se necesita un conjunto de datos masivo a escala web para construir un gran cerebro visual. El método de entrenamiento personalizado de Mage-VL le permitió igualar o incluso superar a modelos mucho más grandes en tareas de comprensión de video.

Aquí están algunos de los descubrimientos clave que hicieron:

Velocidad: Mage-VL es increíblemente rápido. Puede procesar video hasta 3.5 veces más rápido en tiempo real en comparación con los modelos estándar, sin dejar de dar las respuestas correctas.
No necesidad de entrenamiento de "video largo": Descubrieron que no necesitaban entrenar específicamente el modelo en videos largos para que fuera bueno respondiendo preguntas sobre ellos. Al entrenarlo con descripciones detalladas de clips cortos y usando su inteligente método de "códec", el modelo aprendió a entender videos largos por sí mismo.
El movimiento ayuda al razonamiento espacial: Encontraron que entrenar el modelo en videos con movimiento realmente lo hizo mejor para entender formas 3D estáticas y relaciones espaciales. Parece que ver cómo se mueven las cosas ayuda al robot a entender cómo encajan en el espacio.
IA ayudando a la IA: El equipo utilizó un sistema de IA para ayudar a escribir mejores datos de entrenamiento. Hicieron que una IA revisara los subtítulos que generaba, corrigiera los errores y mejorara los prompts, creando un ciclo que hizo que los datos fueran de una calidad mucho mayor.

La conclusión

Mage-VL es un paso significativo hacia la creación de una IA que realmente pueda "observar" y "escuchar" el mundo en tiempo real. Demuestra que no es necesario forzar el camino a través de cada píxel de un video para entenderlo. Al ser inteligentes sobre qué mirar —imitando la forma en que la compresión de video funciona y cómo los ojos humanos se enfocan en el movimiento— el modelo se vuelve más rápido, más barato de ejecutar y más receptivo.

Aunque el artículo señala que el modelo aún tiene trabajo por hacer en tareas de razonamiento complejo y problemas matemáticos, demuestra con éxito que un modelo más pequeño y eficiente puede superar a gigantes mucho más grandes y lentos cuando se trata de comprender el mundo dinámico y en movimiento que nos rodea. Es un movimiento de "leer todo" hacia "observar lo que importa".

Resumen Técnico: Mage-VL: Un Modelo de Fundación Multimodal de Streaming Nativo de Códec Eficiente

Planteamiento del Problema

Los modelos actuales de visión-lenguaje (VLM) exhiben una manifestación de la paradoja de Moravec: aunque sobresalen en el razonamiento visual complejo fuera de línea (offline), sufren de ineficiencia computacional y un bajo rendimiento en tareas de percepción de streaming simples y dinámicas. Esto se debe a un desajuste estructural entre la percepción física continua y dirigida por eventos y las arquitecturas de muestreo de fotogramas estáticos y uniformes de los modelos existentes. Los VLM estándar (p. ej., Qwen-VL, InternVL) dependen de codificadores de visión preentrenados con miles de millones de pares de imagen-texto estáticos. Al procesar video, suelen codificar regiones de fondo densas y redundantes en todos los fotogramas muestreados, lo que conduce a un escalado rápido de la computación con la duración del video y a una incapacidad para priorizar eventos dinámicos ricos en información en tiempo real.

Metodología

Mage-VL aborda estas limitaciones a través de una arquitectura de modelo de fundación de streaming nativo de códec, centrada en un codificador visual personalizado, Mage-ViT, y un marco de interacción proactiva de sistema dual.

1. Mage-ViT: Tokenización Visual Nativa de Códec

En lugar del muestreo uniforme de fotogramas, Mage-ViT adapta los principios de los códecs de video clásicos (p. ej., HEVC/H.265) y los códecs neuronales (p. ej., DCVC) para codificar selectivamente la información visual.

Selección Dispersa (Sparse Selection): El modelo divide el video en fotogramas ancla (I-frames), que se procesan completamente, y fotogramas predichos (P-frames), donde solo se conservan los parches que contienen movimiento o energía residual.
Mecanismo: Un particionador (patchifier) impulsado por códec estima un tensor de importancia por parche $S$ basado en la magnitud del vector de movimiento y la energía residual (para códecs tradicionales) o modelos de probabilidad aprendidos (para códecs neuronales). Conserva todos los parches del I-frame y selecciona los top- $k$ parches del P-frame dentro de un presupuesto de tokens.
Eficiencia: Al operar a un nivel de parche de 16×16, este enfoque reduce el consumo de tokens visuales aproximadamente en un 75% en comparación con el muestreo denso, preservando al mismo tiempo el contexto espacio-temporal.
Entrenamiento: Mage-ViT se entrena desde cero con ~560 millones de imágenes no etiquetadas y 100 millones de fotogramas de video no etiquetados utilizando un objetivo de discriminación de clústeres, en lugar de depender de corpus masivos de imagen-texto de la web.

2. Arquitectura y Entrenamiento de Mage-VL

Mage-VL integra Mage-ViT con un decodificador de lenguaje causal (inicializado desde Qwen3-4B-Instruct) y una arquitectura de sistema dual inspirada en la biología:

Sistema 1 (Puerta de Eventos - Event Gate): Una puerta ligera y proactiva monitorea las características visuales entrantes en streaming. Predice si el contexto actual contiene un evento digno de respuesta, activando la generación solo cuando es necesario.
Sistema 2 (Decodificador Causal): Cuando la puerta se activa, el modelo completo realiza un razonamiento exhaustivo y genera una respuesta basada en el contexto visual reciente.
Currículo de Entrenamiento: El modelo se somete a un currículo progresivo de cinco etapas:
1. Alineación Multimodal: Calentamiento con subtítulos densos de imágenes y videos cortos.
2. Ajuste de Instrucciones (Instruction Tuning): Introducción de instrucciones de imagen y localización temporal.
3. Expansión Temporal: Entrenamiento en subtítulos de videos largos para aprender el orden de los eventos.
  драв 4. Adaptación Nativa de Códec: Cambio de la supervisión de video a la tokenización de flujo de códec para manejar secuencias 8× más largas que las etapas anteriores.
4. Streaming Proactivo: Ajuste fino de la puerta de cognición en datos de streaming para aprender decisiones de "silencio" vs. "hablar" sin congelar el modelo de lenguaje base.

3. Pipelines de Datos AI4AI

Los autores emplean un enfoque AI4AI para la curación de datos, utilizando un pipeline de ciclo cerrado donde sistemas agénticos optimizan iterativamente los prompts de subtitulado y el código. Esto incluye:

Co-diseño de Prompt-Código: Uso de GitHub Copilot para modificar prompts y código (p. ej., añadiendo superposiciones de marcas de tiempo a los fotogramas de video) para mejorar la localización temporal y la calidad de los subtítulos.
Zero-Vision SFT: Un hallazgo de que omitir el ajuste fino de instrucción visual en favor de un SFT de razonamiento puramente textual antes del Aprendizaje por Refuerzo (RL) desbloquea capacidades agénticas más fuertes.

Contribuciones Clave

Arquitectura de Streaming Proactivo Nativa de Códec: Un VLM unificado que procesa video continuo mediante actualizaciones dispersas y destacadas por movimiento, reduciendo los tokens visuales a $\leq$ 1/8 del muestreo denso y permitiendo la interacción activada por eventos.
Modelos de Fundación Eficientes: Lanzamiento abierto de Mage-ViT y Mage-VL-4B. Mage-ViT logra un rendimiento competitivo con codificadores entrenados en miles de millones de pares de imagen-texto, a pesar de haber sido entrenado con un conjunto de datos no etiquetados significativamente menor.
Siete Hallazgos Empíricos:
- El preentrenamiento a escala web no es esencial para los codificadores visuales de los VLM; el diseño arquitectónico y la alineación temporal importan más.
- El preentrenamiento de resolución variable permite un escalado de rendimiento continuo y monotónico con los presupuestos de tokens.
- La tokenización nativa de códec establece una frontera de precisión-eficiencia superior, logrando hasta un aumento de 3.5× en la velocidad de inferencia de tiempo real (wall-clock).
- El SFT de VideoQA largo explícito es redundante; el ajuste fino en subtítulos de video densos es suficiente para el VideoQA largo zero-shot.
- El entrenamiento de video dinámico mejora sinérgicamente el razonamiento espacial 2D/3D estático.
- Los pipelines de datos impulsados por IA (co-diseño de prompt-código) mejoran sistemáticamente el rendimiento downstream.
- Omitir el SFT visual en favor de un SFT de razonamiento puramente textual desbloquea potentes capacidades de RL multimodal.

Resultados

Tareas Estáticas: Mage-VL-4B iguala a Qwen3-VL-4B en benchmarks de comprensión de imágenes estáticas (p. ej., DocVQA, OCRBench, MMBench).
Razonamiento de Video y Espacial: Mage-VL-4B supera a Qwen3-VL-4B en comprensión de video (p. ej., +4.3 en VideoMME, +7.2 en MLVU) y razonamiento espacial (p. ej., +11.0 en VSI-Bench). Supera de manera integral a la línea base más grande Phi-4-reasoning-vision (15B) en la mayoría de las dimensiones evaluadas.
Eficiencia: Mage-VL logra hasta 3.5× de velocidad de inferencia de tiempo real comparado con las líneas base de muestreo de fotogramas densos, manteniendo o mejorando la precisión.
Rendimiento de Streaming: En el benchmark SoccerNet-Caption, Mage-VL logra un 55.54% de TimVal y un 79.21% de TriggerAcc, superando significativamente a StreamMind y JoyAI en la precisión de respuesta activada por eventos sin sobreajuste de dominio.
Robustez: El modelo se generaliza a través de familias de códecs (HEVC y códecs neuronales como DCVC-RT) sin reentrenamiento, demostando que la predictibilidad temporal es un criterio transferible para la asignación de tokens.

Significado

El artículo afirma que Mage-VL representa un cambio de paradigma del procesamiento de fotogramas estáticos y densos hacia una percepción de streaming eficiente, dirigida por eventos y nativa de códec. Al alinear la arquitectura del modelo con los principios de la compresión de video y el procesamiento visual biológico (filtrado de redundancia, priorización del movimiento), Mage-VL demuestra que la comprensión multimodal de alto rendimiento no requiere conjuntos de datos de preentrenamiento masivos ni recursos computacionales densos. El trabajo proporciona recetas prácticas para desarrollar modelos de fundación eficientes, desafiando las leyes de escalado convencionales y ofreciendo un camino computacionalmente eficiente hacia agentes multimodales proactivos y en tiempo real.