💬 NLP

Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model

Mage-VL est un modèle de fondation de streaming efficace et natif du codec qui exploite un tokenizer sensible au mouvement et une architecture à double système pour parvenir à une compréhension multimodale en temps réel avec une consommation de jetons considérablement réduite et une inférence plus rapide, tout en égalant ou en surpassant des modèles de pointe plus vastes sur les tâches de raisonnement statiques et dynamiques.

Auteurs originaux : Senqiao Yang, Kaichen Zhang, Zhaoyang Jia, Jinghao Guo, Yifei Shen, Xinjie Zhang, Xiaoyi Zhang, Haoqing Wang, Xiao Li, Peng Zhang, Xiang An, Yin Xie, Zhening Liu, Xun Guo, Jiahao Li, Shicheng Zheng, J

Publié 2026-07-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Senqiao Yang, Kaichen Zhang, Zhaoyang Jia, Jinghao Guo, Yifei Shen, Xinjie Zhang, Xiaoyi Zhang, Haoqing Wang, Xiao Li, Peng Zhang, Xiang An, Yin Xie, Zhening Liu, Xun Guo, Jiahao Li, Shicheng Zheng, Jinglu Wang, Zongyu Guo, Wenxuan Xie, Zihan Zheng, Yuxuan Luo, Bin Li, Yan Lu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un match de football en direct sur votre téléphone. La caméra balaie le terrain, la foule rugit et les joueurs courent de l'avant vers l'arrière. Maintenant, imaginez un robot super intelligent essayant de comprendre ce match en temps réel. La plupart des robots actuels sont comme un étudiant qui s'obstine à lire chaque mot d'un manuel de 500 pages, même les passages qui disent simplement « l'herbe est verte » pour la centième fois. Ils s'embourbent dans les parties ennuyeuses et statiques de la vidéo, gaspillant toute leur puissance cérébrale et leur temps, alors qu'ils ratent le moment où un but est marqué. C'est un peu un paradox d'un autre genre : ils sont des génies pour résoudre des énigmes complexes mais sont incapables de regarder simplement une scène en mouvement de manière efficace.

Ce document, écrit par l'équipe Microsoft Mage, présente un nouveau type de cerveau robotique appelé Mage-VL. Il est conçu pour briser cette règle en agissant davantage comme un œil humain. Au lieu de fixer chaque image d'une vidéo, Mage-VL ne prête attention qu'aux parties qui changent ou qui bougent réellement. Voyez cela comme un agent de sécurité qui ne regarde que les capteurs de mouvement ; si rien ne bouge, il ne gaspille pas d'énergie à surveiller le couloir vide. En faisant cela, le robot peut comprendre les vidéos beaucoup plus rapidement et avec moins de puissance de calcul, ce qui lui permet de discuter avec vous d'un match en direct au fur et à mesure qu'il se déroule, plutôt que d'attendre la fin du match pour donner un résumé.

La magie de l'observation « codec-native »

La recette secrète de Mage-VL est ce que les auteurs appellent une approche codec-native. Dans le monde de la diffusion vidéo (comme lorsque vous regardez Netflix ou YouTube), les ordinateurs utilisent une astuce appelée « compression » pour économiser de l'espace. Ils n'envoient pas chaque image d'une vidéo ; ils envoient une image complète (un « I-frame ») puis n'envoient que les minuscules morceaux qui changent au cours des quelques secondes suivantes (les « P-frames »). C'est ainsi que votre téléphone peut diffuser un film sans consommer toutes vos données.

Mage-VL a été construit pour parler nativement ce langage. Au lieu de forcer la vidéo dans une grille rigide d'images statiques, il utilise les mêmes signaux de mouvement que la compression vidéo pour décider de ce qui est important. Si un joueur court, le robot zoome sur le joueur. Si la foule en arrière-plan est simplement immobile, le robot l'ignore complètement. C'est comme un photographe qui ne prend une photo que lorsqu'un événement intéressant se produit, plutôt que de prendre 30 photos par seconde d'une nature morte.

Le résultat est un gain d'efficacité massif. Le document montre que Mage-VL peut réduire le nombre de « jetons visuels » (les minuscules morceaux de l'image que l'ordinateur doit traiter) de plus de 75 %. C'est comme lire un livre où vous n'avez à lire que les chapitres passionnants, en sautant les parties ennuyeuses, tout en comprenant parfaitement l'histoire entière.

Un cerveau à deux systèmes

Pour gérer ce flux vidéo, Mage-VL utilise un cerveau ingénieux en deux parties, inspiré de la façon dont les humains réfléchissent.

Système 1 (Le réflexe) : C'est un gardien très rapide et léger. Il surveille le flux vidéo et demande : « Se passe-t-il quelque chose d'intéressant en ce moment ? » Si la réponse est non, il reste silencieux. Si la réponse est oui (comme lors de la marque d'un but), il réveille instantanément la seconde partie du cerveau.
Système 2 (Le raisonneur) : C'est la partie de la réflexion lourde et intense. Une fois que la porte est ouverte, il plonge en profondeur pour comprendre exactement ce qui s'est passé et générer une réponse.

Cela signifie que le robot ne perd pas de temps à réfléchir aux parties ennuyeuses de la vidéo. Il reste silencieux pendant la mi-temps ou lorsque la caméra balaie simplement le stade, puis il intervient avec un commentaire dès qu'un joueur frappe dans le ballon.

Ce qu'ils ont trouvé (et ce qu'ils n'ont pas trouvé)

L'équipe a entraîné ce modèle de zéro en utilisant environ 560 millions d'images non étiquetées et 100 millions de trames vidéo non étiquetées. Cela semble énorme, mais comparé à d'autres modèles géants qui nécessitent des milliards de paires image-texte, c'est en réalité assez peu. Étonnamment, ils ont découvert qu'il n'est pas nécessaire d'avoir un ensemble de données à l'échelle du web pour construire un excellent cerveau visuel. La méthode d'entraînement personnalisée de Mage-VL lui a permis d'égaler ou même de surpasser des modèles beaucoup plus grands sur des tâches de compréhension vidéo.

Voici certaines des découvertes clés qu'ils ont faites :

Vitesse : Mage-VL est incroyablement rapide. Il peut traiter la vidéo jusqu'à 3,5 fois plus vite en temps réel par rapport aux modèles standards, tout en donnant les bonnes réponses.
Pas besoin d'entraînement sur « longues vidéos » : Ils ont découvert qu'ils n'avaient pas besoin d'entraîner spécifiquement le modèle sur de longues vidéos pour qu'il soit capable de répondre à des questions les concernant. En l'entraînant sur des descriptions détaillées de clips courts et en utilisant leur méthode intelligente de « codec », le modèle a appris à comprendre les longues vidéos de lui-même.
Le mouvement aide le raisonnement spatial : Ils ont constaté que l'entraînement du modèle sur des vidéos en mouvement le rendait meilleur pour comprendre les formes 3D statiques et les relations spatiales. Il semble que voir comment les choses bougent aide le robot à comprendre comment elles s'emboîtent dans l'espace.
L'IA aidant l'IA : L'équipe a utilisé un système d'IA pour aider à rédiger de meilleures données d'entraînement. Ils ont fait vérifier les légendes générées par une IA, corriger les erreurs et améliorer les requêtes (prompts), créant ainsi une boucle qui a rendu les données de bien meilleure qualité.

L'essentiel

Mage-VL est une étape importante pour créer une IA capable de réellement « regarder » et d'« écouter » le monde en temps réel. Il prouve qu'il n'est pas nécessaire de forcer le passage à travers chaque pixel d'une vidéo pour la comprendre. En étant intelligent sur ce qu'il regarde — en imitant la façon dont la compression vidéo fonctionne et la façon dont l'œil humain se concentre sur le mouvement — le modèle devient plus rapide, moins coûteux à exploiter et plus réactif.

Bien que le document note que le modèle doit encore progresser sur les tâches de raisonnement complexe et les problèmes mathématiques, il démontre avec succès qu'un modèle plus petit et plus efficace peut surpasser des géants beaucoup plus grands et plus lents lorsqu'il s'agit de comprendre le monde dynamique qui nous entoure. C'est un passage de « tout lire » à « regarder ce qui compte ».

Résumé Technique : Mage-VL : Un modèle de fondation multimodal de streaming natif pour les codecs, efficace

Énoncé du problème

Les modèles de langage visuels (VLM) actuels manifestent une occurrence du paradoxe de Moravec : bien qu'ils excellent dans le raisonnement visuel complexe hors ligne, ils souffrent d'une inefficacité computationnelle et de faibles performances sur les tâches simples de perception de streaming dynamique. Cela découle d'une inadéquation structurelle entre la perception physique continue et événementielle et les architectures d'échantillonnage de trames statiques et uniformes des modèles existants. Les VLM standards (par exemple, Qwen-VL, InternVL) reposent sur des encodeurs visuels pré-entraînés sur des milliards de paires image-texte statiques. Lors du traitement de vidéos, ils encodent typiquement des régions d'arrière-plan denses et redondantes à travers toutes les trames échantillonnées, ce qui entraîne une montée en charge rapide du calcul avec la durée de la vidéo et une incapacité à prioriser les événements dynamiques riches en informations en temps réel.

Méthodologie

Mage-VL remédie à ces limitations grâce à une architecture de modèle de fondation de streaming natif pour les codecs, centrée sur un encodeur visuel personnalisé, Mage-ViT, et un cadre d'interaction proactive à double système.

1. Mage-ViT : Tokenisation visuelle native pour les codecs

Au lieu d'un échantillonnage de trames uniforme, Mage-ViT adapte les principes des codecs vidéo classiques (par exemple, HEVC/H.265) et des codecs neuronaux (par exemple, DCVC) pour encoder sélectivement l'information visuelle.

Sélection parcimonieuse : Le modèle divise la vidéo en trames ancres (I-frames), qui sont entièrement traitées, et en trames prédites (P-frames), où seuls les patchs contenant du mouvement ou de l'énergie résiduelle sont conservés.
Mécanisme : Un patchificateur piloté par le codec estime un tenseur d'importance par patch $S$ basé sur l'amplitude du vecteur de mouvement et l'énergie résiduelle (pour les codecs traditionnels) ou des modèles de probabilité appris (pour les codecs neuronaux). Il conserve tous les patchs de l'I-frame et sélectionne les top- $k$ patchs de la P-frame dans un budget de tokens.
Efficacité : Opérant au niveau de patch 16×16, cette approche réduit la consommation de tokens visuels d'environ 75 % par rapport à l'échantillonnage dense tout en préservant le contexte spatio-temporel.
Entraînement : Mage-ViT est entraîné à partir de zéro sur environ 560 millions d'images non étiquetées et 100 millions de trames vidéo non étiquetées à l'aide d'un objectif de discrimination de cluster, plutôt que de s'appuyer sur de massifs corpus image-texte à l'échelle du web.

2. Architecture et entraînement de Mage-VL

Mage-VL intègre Mage-ViT à un décodeur de langage causal (initialisé à partir de Qwen3-4B-Instruct) et une architecture à double système inspirée de la biologie :

Système 1 (Porte d'événement) : Une porte proactive légère surveille les caractéristiques visuelles entrantes en streaming. Elle prédit si le contexte actuel contient un événement méritant une réponse, déclenchant la génération uniquement lorsque cela est nécessaire.
Système 2 (Décodeur causal) : Lorsque la porte est déclenchée, le modèle complet effectue un raisonnement complet et génère une réponse basée sur le contexte visuel récent.
Curriculum d'entraînement : Le modèle suit un curriculum progressif en cinq étapes :
1. Alignement multimodal : Mise en chauffe avec des légendes d'images denses et de courtes vidéos.
2. Ajustement d'instructions : Introduction d'instructions d'images et de mise en correspondance temporelle (grounding).
3. Expansion temporelle : Entraînement sur des légendes de vidéos longues pour apprendre l'ordonnancement des événements.
4. Adaptation native pour les codecs : Passage de la supervision vidéo à la tokenisation de flux par codec pour gérer des séquences 8× plus longues que les étapes précédentes.
5. Streaming proactif : Ajustement fin de la porte de cognition sur des données de streaming pour apprendre les décisions "silence" vs "parole" sans figer le modèle de langage de base.

3. Pipelines de données AI4AI

Les auteurs emploient une approche AI4AI pour la curation de données, utilisant un pipeline en boucle fermée où des systèmes agentiques optimisent de manière itérative les prompts de légende et le code. Cela inclut :

Co-conception Prompt-Code : Utilisation de GitHub Copilot pour modifier les prompts et le code (par exemple, ajouter des superpositions d'horodatage aux trames vidéo) afin d'améliorer la précision temporelle et la qualité des légendes.
Zero-Vision SFT : Une découverte selon laquelle le fait de contourner l'ajustement d'instruction visuelle au profit d'un SFT de raisonnement purement textuel avant l'apprentissage par renforcement (RL) débloque des capacités agentiques plus fortes.

Contributions clés

Architecture de streaming proactive native pour les codecs : Un VLM unifié qui traite la vidéo continue via des mises à jour parcimonieuses et saillantes au mouvement, réduisant les tokens visuels à $\le$ 1/8 de l'échantillonnage dense et permettant une interaction déclenchée par les événements.
Modèles de fondation efficaces : Publication ouverte de Mage-ViT et Mage-VL-4B. Mage-ViT atteint des performances compétitives avec des encodeurs entraînés sur des milliards de paires image-texte malgré un entraînement sur un ensemble de données non étiquetées nettement plus petit.
Sept découvertes empiriques :
- Le pré-entraînement à l'échelle du web n'est pas essentiel pour les encodeurs visuels des VLM ; la conception architecturale et l'alignement temporel comptent davantage.
- Le pré-entraînement à résolution variable permet une mise à l'échelle de performance continue et monotone avec les budgets de tokens.
- La tokenisation native pour les codecs établit une frontière précision-efficacité supérieure, atteignant des accélérations de vitesse d'inférence en temps réel (wall-clock) allant jusqu'à 3,5×.
- Le SFT explicite pour le long VideoQA est redondant ; l'ajustement fin sur des légendes vidéo denses suffit pour le zero-shot long VideoQA.
- L'entraînement vidéo dynamique améliore de manière synergique le raisonnement spatial 2D/3D statique.
- Les pipelines de données pilotés par l'IA (co-conception prompt-code) améliorent systématiquement les performances en aval.
- Contourner le SFT visuel au profit d'un SFT de raisonnement pur par texte débloque de puissantes capacités de RL multimodal.

Résultats

Tâches statiques : Mage-VL-4B égale Qwen3-VL-4B sur les benchmarks de compréhension d'images statiques (ex: DocVQA, OCRBench, MMBench).
Raisonnement vidéo et spatial : Mage-VL-4B surpasse Qwen3-VL-4B pour la compréhension vidéo (ex: +4,3 sur VideoMME, +7,2 sur MLVU) et le raisonnement spatial (ex: +11,0 sur VSI-Bench). Il surpasse de manière exhaustive la ligne de base plus large Phi-4-reasoning-vision (15B) sur la plupart des dimensions évaluées.
Efficacité : Mage-VL atteint jusqu'à 3,5× plus de vitesse d'inférence en temps réel par rapport aux bases d'échantillonnage de trames denses tout en maintenant ou en améliorant la précision.
Performance de streaming : Sur le benchmark SoccerNet-Caption, Mage-VL atteint un 55,54 % de TimVal et un 79,21 % de TriggerAcc, surpassant de manière significative StreamMind et JoyAI pour le déclenchement de la réponse temporelle sans surapprentissage spécifique au domaine.
Robustesse : Le modèle se généralise à travers les familles de codecs (HEVC et codecs neuronaux comme DCVC-RT) sans réentraînement, démontant que la prédictibilité temporelle est un critère transférable pour l'allocation de tokens.

Signification

L'article affirme que Mage-VL représente un changement de paradigme, passant d'un traitement de trames denses et statiques à une perception de streaming efficace, proactive et native pour les codecs. En alignant l'architecture du modèle sur les principes de la compression vidéo et du traitement visuel biologique (filtrage de la redondance, priorité au mouvement), Mage-VL démontre qu'une compréhension multimodale de haute performance ne nécessite pas de jeux de données de pré-entraînement massifs ou de ressources de calcul denses. Ce travail fournit des recettes pratiques pour développer des modèles de fondation efficaces, défiant les lois d'échelle conventionnelles et offrant une voie de calcul efficace vers des agents multimodaux proactifs et en temps réel.