Molmo2: Open Weights and Data for Vision-Language Models with Video Understanding and Grounding

Le papier présente Molmo2, une nouvelle famille de modèles de langage-vision à poids ouverts et entraînés sur des données inédites, qui atteint l'état de l'art parmi les modèles open source et surpasse même certains modèles propriétaires grâce à des capacités exceptionnelles de compréhension vidéo et d'ancrage spatial (pointage et suivi).

L'essentiel

🎬 Molmo2 : Le Super-Héros "Ouvrir" qui Comprend les Vidéos

Imaginez que l'intelligence artificielle (IA) est comme un immense chef d'orchestre. Jusqu'à présent, les meilleurs chefs d'orchestre capables de comprendre des vidéos (comme des films, des matchs de foot ou des tutoriels) étaient fermés à clé. Personne ne savait comment ils apprenaient, ni quelles partitions ils utilisaient. C'était comme si Google ou OpenAI gardaient leur recette secrète dans un coffre-fort.

Molmo2, c'est la nouvelle star qui vient dire : "Attendez, on peut faire aussi bien, mais en ouvrant grand les portes !". C'est une famille de modèles d'IA entièrement ouverts (le code, les données, les poids sont publics) qui comprend non seulement ce qui se passe dans une vidéo, mais aussi où et quand cela se passe.

Voici les trois super-pouvoirs de Molmo2 expliqués simplement :

1. Le Détective "Doigt sur la Carte" (Le Grounding) 🕵️‍♂️

La plupart des IA actuelles sont comme des touristes qui regardent un film et disent : "Oh, il y a un chien qui court !". C'est bien, mais un peu vague.

Molmo2, lui, est un détective précis. Si vous lui demandez : "Montre-moi exactement quand le chien a trébuché", il ne se contente pas de répondre par le texte. Il pointe du doigt l'écran à l'endroit exact et au moment précis (la seconde) où l'événement a eu lieu.

• L'analogie : Imaginez un professeur de géographie. Les autres IA vous disent "Il y a une montagne". Molmo2, lui, prend un stylo rouge et dessine un cercle précis autour de la montagne sur la carte, tout en vous disant à quelle heure vous l'avez vue.

2. Le Compteur de "Tout et N'importe Quoi" 🦆🚗

Les IA ont souvent du mal à compter les choses dans une vidéo. "Combien de canards y a-t-il dans ce lac ?" est une question piège.
Molmo2 a été entraîné avec une méthode spéciale : avant de compter, il doit pointer chaque canard individuellement. C'est comme si on lui apprenait à toucher chaque objet avec son doigt virtuel avant de dire le chiffre.

• Le résultat : Il est devenu un champion du monde pour compter des objets qui bougent, même s'il y en a 50 ou 60 à l'écran, surpassant même des modèles privés très puissants sur certaines tâches.

3. Le Suiveur de Course (Tracking) 🏃‍♂️

Si vous demandez "Suis le joueur en maillot rouge", Molmo2 ne perd pas le joueur des yeux. Il suit son trajet de la première à la dernière seconde, même s'il passe derrière un poteau ou s'il y a une foule dense.

• L'analogie : C'est comme un chien de berger qui garde un œil constant sur une seule brebis dans un troupeau de 100, sans jamais se tromper de cible.

---

🍳 Comment a-t-il été cuisiné ? (La Recette)

La grande innovation de ce papier, c'est la recette. La plupart des modèles actuels apprennent en "copiant" les réponses d'autres IA privées (comme un élève qui triche en regardant les réponses du prof).

Molmo2, lui, a été entraîné sans tricher :

1. Des données humaines : Les chercheurs ont demandé à de vraies personnes de décrire des vidéos en détail, de poser des questions et de pointer des objets. C'est de l'artisanat pur, pas de la copie.
2. Une cuisine de précision : Ils ont créé de nouveaux "ingrédients" (des jeux de données) pour apprendre à l'IA à faire des choses très spécifiques : compter, pointer, suivre des objets.
3. L'architecture : Ils ont utilisé une technique intelligente pour "emballer" les vidéos (comme ranger des valises dans un coffre) afin que l'IA puisse voir beaucoup plus d'images sans se fatiguer.

🏆 Pourquoi c'est important ?

Avant Molmo2, si vous vouliez créer une application qui aide les aveugles à décrire ce qu'ils voient, ou un robot qui range votre maison en voyant les objets, vous deviez payer cher pour utiliser les modèles fermés de Google ou d'OpenAI.

Avec Molmo2 :

• C'est gratuit et ouvert : N'importe qui peut télécharger le modèle, l'améliorer et l'utiliser.
• C'est transparent : On sait exactement comment il a appris.
• C'est performant : Il rivalise, et parfois bat, les géants propriétaires sur des tâches complexes comme le suivi d'objets ou le comptage.

En résumé

Molmo2, c'est comme si la communauté scientifique avait décidé de construire la meilleure voiture du monde, mais en laissant les plans, les pièces et le manuel de réparation sur la table de la cuisine, pour que tout le monde puisse apprendre à conduire, réparer et améliorer la voiture ensemble. Et cette voiture est capable de voir, de compter et de pointer avec une précision que peu de modèles fermés peuvent égaler.

Résumé technique

Titre : Molmo2 : Poids et Données Ouverts pour les Modèles Langage-Vision avec Compréhension Vidéo et Ancrage (Grounding)

1. Problématique

Les modèles langage-vision (VLM) les plus performants actuels, en particulier pour la compréhension vidéo, sont majoritairement propriétaires (fermés). Leurs poids, leurs données d'entraînement et leurs recettes de formation ne sont pas accessibles. De plus, les modèles open-source existants souffrent de deux lacunes majeures :

1. Dépendance aux données synthétiques : Ils reposent souvent sur des données générées par des modèles propriétaires (distillation), ce qui limite leur transparence et leur capacité à innover au-delà de ces modèles.
2. Manque d'ancrage (Grounding) : La plupart des modèles VLM actuels ne peuvent pas localiser précisément des objets ou des événements dans l'espace et le temps (par exemple, pointer un objet spécifique dans une vidéo, suivre son trajet, ou compter des objets dynamiques). Même les modèles propriétaires manquent souvent de cette capacité fine.

L'objectif de Molmo2 est de combler ce fossé en fournissant une famille de modèles entièrement open-source (poids, données, code) qui atteint l'état de l'art (SOTA) tout en intégrant des capacités d'ancrage spatio-temporel avancées.

2. Méthodologie

A. Architecture du Modèle
Molmo2 suit une architecture standard de VLM connectant un encodeur visuel et un grand modèle de langage (LLM) :

• Encodeur Visuel : Utilisation de SigLIP 2 (So400m/14) pour encoder les images et les vidéos.
• Connecteur : Un module qui projette les caractéristiques visuelles (patchs) dans l'espace d'embedding du LLM. Il utilise un pooling adaptatif (2x2 pour les images, 3x3 pour les vidéos) pour réduire le nombre de tokens.
• LLM : Basé sur des architectures Qwen3 (pour les modèles 4B et 8B) et OLMo (pour le modèle 7B).
• Entrées : Le modèle accepte des images uniques, des ensembles d'images et des vidéos. Pour les vidéos, les frames sont échantillonnées (2 fps par défaut) et intercalées avec des marqueurs temporels.

B. Collecte et Construction des Données (Le Cœur de l'Innovation)
L'équipe a créé 9 nouveaux jeux de données sans utiliser de distillation à partir de modèles propriétaires fermés. La collecte repose sur une collaboration humain-LLM et des pipelines innovants :

1. Molmo2-Cap (Légendage Dense) : 104k vidéos avec des légendes extrêmement détaillées (moyenne de 924 mots/vidéo). Les annotateurs parlent leurs descriptions (transcrites par Whisper), qui sont ensuite enrichies par des détails visuels au niveau de la trame générés par un modèle Molmo précoce.
2. Molmo2-AskModelAnything (QA Vidéo) : 140k paires question-réponse humaines, générées via un processus itératif humain-LLM pour éviter les questions trop génériques ou le comptage pur (réservé aux tâches de pointage).
3. Molmo2-VideoPoint & Tracking : Des datasets pour l'ancrage spatio-temporel.
   • Pointage : 650k requêtes demandant de cliquer sur des objets/actions spécifiques dans le temps et l'espace.
   • Suivi (Tracking) : Données de suivi d'objets avec des requêtes complexes, converties à partir d'annotations de segmentation et de boîtes englobantes existantes.
4. Données Synthétiques : Utilisation d'un générateur basé sur le modèle de légendage Molmo2 pour créer des millions de paires Q/R à partir de vidéos YouTube (Molmo2-CapQA, -SubtitleQA).
5. Données Multi-images : Création de jeux de données pour la compréhension de documents et le pointage sur plusieurs images.

C. Stratégies d'Entraînement
L'entraînement se déroule en trois étapes :

1. Pré-entraînement : Légendage d'images et pointage pour initier les capacités d'ancrage.
2. Fine-tuning Supervisé (SFT) : Entraînement conjoint sur un mélange massif de données (images, vidéos, multi-images, NLP).
3. Long-Context SFT : Une étape finale pour améliorer la compréhension de vidéos longues.

Innovations Techniques Clés :

• Encodage "Message-Tree" : Représentation des vidéos avec plusieurs annotations sous forme d'arbres linéarisés, permettant un traitement efficace des multiples tâches sur une même vidéo.
• Packing (Empaquetage) : Algorithme dynamique pour combiner plusieurs exemples courts en une seule séquence longue, réduisant le gaspillage de calcul dû au padding.
• Pondération des Tokens (Token Weighting) : Ajustement dynamique de la perte (loss) pour équilibrer l'apprentissage entre les tâches à sortie courte (Q/R multiples choix) et les tâches à sortie très longue (légendage dense), évitant que les longs textes ne dominent l'entraînement.
• Attention Bidirectionnelle : Permettre aux tokens visuels de s'attirer mutuellement, améliorant la cohérence globale.

3. Résultats Principaux

Les évaluations couvrent des benchmarks académiques standards, des tâches d'ancrage spécifiques et une étude de préférence humaine.

• Performance Générale (Vidéo) : Molmo2-8B surpasse tous les autres modèles open-weight (comme Qwen3-VL, InternVL) sur les benchmarks de compréhension vidéo courte (MVBench, MotionBench) et de légendage. Il est compétitif avec des modèles propriétaires comme Gemini 2.5 Pro sur certaines tâches.
• Ancrage et Pointage (Grounding) : C'est le point fort de Molmo2.
  • Comptage : Surpasse Qwen3-VL (35.5% vs 29.6% de précision sur le comptage vidéo).
  • Pointage Vidéo : Surpasse significativement les modèles ouverts et dépasse même Gemini 3 Pro sur certaines tâches de pointage (38.4 vs 20.0 de score F1).
  • Suivi d'Objets : Obtient les meilleurs scores (J&F, HOTA) sur des benchmarks complexes comme MeViS et ReasonVOS, surpassant les modèles spécialisés en segmentation.
• Préférence Humaine : Dans une étude Elo, Molmo2-8B est classé égal ou supérieur aux meilleurs modèles ouverts et devance certains modèles propriétaires (y compris GPT-5 et Claude Sonnet 4.5) sur des tâches de QA ouvertes.
• Images et Multi-images : Le modèle maintient des performances SOTA sur les benchmarks d'images (VQA, OCR) et gère compétitivement les tâches multi-images.

4. Contributions Clés

1. Premier Écosystème Open-Source SOTA Vidéo : Molmo2 est la première famille de modèles entièrement ouverte (données, poids, code) à atteindre des performances compétitives avec les géants propriétaires dans le domaine vidéo.
2. Nouveaux Datasets de Référence : La publication de 9 nouveaux datasets (notamment pour le légendage dense, le pointage vidéo et le suivi) comble un vide critique dans les données open-source pour l'ancrage spatio-temporel.
3. Capacités d'Ancrage Avancées : Démonstration qu'un modèle VLM généraliste peut effectuer des tâches de pointage, de comptage et de suivi d'objets avec une précision inégalée par les modèles ouverts précédents.
4. Recette d'Entraînement Efficace : Démonstration de l'efficacité des techniques de "packing", de "message-tree" et de pondération des tokens pour entraîner des modèles multimodaux complexes sur des données hétérogènes.

5. Signification et Impact

Molmo2 marque un tournant majeur pour la communauté de la recherche en vision par ordinateur et en IA générative :

• Transparence et Reproductibilité : En rendant les données et les modèles totalement ouverts, Molmo2 permet à la communauté de comprendre, auditer et améliorer les systèmes de compréhension vidéo, brisant le monopole des modèles fermés.
• Fondation pour les Applications Réelles : Les capacités d'ancrage (pointer, suivre, compter) sont essentielles pour des applications critiques comme la robotique domestique, l'analyse sportive, la surveillance de sécurité et les véhicules autonomes. Molmo2 fournit la base open-source nécessaire pour développer ces technologies.
• Preuve de Concept : Il démontre qu'il est possible de construire des modèles de pointe sans dépendre de la distillation à partir de modèles propriétaires, en misant sur la qualité des données humaines et les architectures efficaces.

En résumé, Molmo2 établit un nouveau standard pour les modèles vision-langage ouverts, en particulier pour la compréhension vidéo fine et l'interaction spatiale, tout en promouvant une science ouverte et collaborative.