Molmo2: Open Weights and Data for Vision-Language Models with Video Understanding and Grounding

El artículo presenta Molmo2, una nueva familia de modelos de lenguaje visual de código abierto con pesos y datos totalmente accesibles que, gracias a un conjunto de siete nuevos datasets de video y una receta de entrenamiento innovadora, logran un rendimiento superior en la comprensión de video y en tareas de fundamentación espacial (como el seguimiento y la indicación por puntos), superando tanto a los modelos de código abierto existentes como a algunos modelos propietarios.

Lo esencial

¡Hola! Imagina que quieres enseñar a un niño a entender no solo fotos, sino películas enteras, y que además de contarle qué pasa, le pidas que señale con el dedo exactamente dónde y cuándo ocurre cada cosa. Eso es básicamente lo que hace Molmo2.

Aquí tienes una explicación sencilla, usando analogías de la vida real, de lo que han logrado estos investigadores del Instituto Allen de IA y la Universidad de Washington.

🎬 ¿Qué es Molmo2?

Piensa en Molmo2 como un super-observador que acaba de terminar sus estudios. A diferencia de otros "super-observadores" (modelos de IA) que son secretos y solo las grandes empresas pueden usar, Molmo2 es totalmente abierto. Es como si alguien hubiera escrito un libro de texto de cocina, abierto la cocina y dejado que todo el mundo cocine con él, en lugar de vender solo el plato final.

Su especialidad no es solo "ver" una película y decirte "hay un perro", sino entender la historia completa, contar cuántos perros hay, decirte en qué segundo exacto el perro se cae, y hasta seguir al perro mientras corre por la pantalla.

🧩 El Problema: Los "Cocineros" Secretos

Hasta ahora, los mejores modelos para entender videos eran como chefes secretos. Tenían recetas (datos de entrenamiento) que nadie conocía. Algunos incluso copiaban lo que hacían otros chefs secretos para aprender.

• El problema: Si quieres mejorar la cocina, necesitas saber qué ingredientes usaron. Como no sabían los ingredientes, la comunidad de código abierto se estancaba.
• La solución de Molmo2: Decidieron cocinar desde cero, sin copiar a nadie. Crearon sus propios ingredientes (datos) y compartieron la receta completa.

🛠️ Los Ingredientes Secretos (Los Datos)

Para entrenar a este nuevo modelo, no usaron robots para escribir las descripciones (eso suele ser aburrido y repetitivo). En su lugar, contrataron a humanos reales para que hicieran cosas geniales:

1. Narradores de Cine (Descripciones Densas): Imagina que le pides a alguien que describa un video de 30 segundos. La mayoría diría: "Un hombre camina". Pero los anotadores de Molmo2 actuaron como narradores de documentales: describían el color de la camisa, el ruido del viento, el cambio de luz y cada movimiento pequeño. ¡Crearon descripciones tan largas y detalladas que parecen guiones de película!
2. Detectives de Puntos (Grounding): Aquí está la magia. Le preguntaron a los humanos: "¿Dónde está el gato?". El humano no solo escribió "el gato", sino que hizo clic en el video exactamente donde estaba el gato en ese segundo. Esto le enseñó al modelo a "señalar" con el dedo virtual.
3. Cazadores de Objetos (Seguimiento): Le pidieron a la gente que siguiera a un objeto a través de todo el video, como si fuera un juego de "encuentra al intruso" pero en movimiento.

🏋️‍♂️ El Entrenamiento: Cómo aprendió

Molmo2 no aprendió de golpe. Fue como un atleta que sigue un plan de entrenamiento estricto:

• Fase 1 (Mirar fotos): Primero aprendió a ver fotos y señalar cosas en ellas (como un niño aprendiendo a usar un puntero láser).
• Fase 2 (Ver videos): Luego, le mostraron miles de videos. Aquí aprendió a conectar los puntos en el tiempo. No solo vio qué pasó, sino cuándo pasó.
• Fase 3 (La técnica del "Empaquetado"): Imagina que tienes que leer 100 libros. En lugar de leerlos uno por uno, aprendió a leer fragmentos de muchos libros al mismo tiempo de forma eficiente. Esto le permitió aprender muchísimo más rápido sin volverse loco.

🏆 ¿Qué tan bueno es?

El resultado es impresionante. Molmo2 es el campeón de los modelos abiertos.

• En contar cosas: Si le preguntas "¿Cuántos coches hay en la carretera?", Molmo2 cuenta mejor que casi cualquier otro modelo abierto, e incluso le gana a algunos modelos de pago (como Gemini o GPT) en tareas de contar objetos específicos.
• En señalar: Si le dices "Señala el momento en que el jugador marca el gol", Molmo2 puede poner un punto exacto en el video. ¡Otro modelo abierto (Qwen) apenas acertaba el 15% de las veces, mientras que Molmo2 acertó casi el 40%!
• En seguir objetos: Si le pides "Sigue al bailarín que salta", Molmo2 puede mantener el foco en ese bailarín aunque se mueva rápido o se esconda detrás de otros.

💡 ¿Por qué es importante esto?

Imagina que quieres construir un robot que ayude a limpiar tu casa. Ese robot necesita entender videos: "¿Dónde está el vaso que se cayó?" o "¿Cuántas veces se cayó el gato?".

• Antes, solo las grandes empresas podían tener robots con esa inteligencia.
• Con Molmo2, cualquier investigador, estudiante o desarrollador puede tomar este modelo, adaptarlo y crear robots, herramientas de seguridad o asistentes médicos que entiendan el mundo en movimiento.

En resumen

Molmo2 es como abrir la caja de juguetes más avanzada del mundo y decir: "Aquí están los planos, los materiales y las instrucciones. ¡Construyan algo increíble!". Han demostrado que no necesitas ser una corporación gigante para crear inteligencia artificial que vea, cuente y señale el mundo con una precisión asombrosa.

¡Es un gran paso para que la tecnología sea de todos y no solo de unos pocos! 🚀🌍

Resumen técnico

Resumen Técnico: Molmo2 - Modelos de Lenguaje Visual Abiertos con Comprensión de Video y Anclaje (Grounding)

1. El Problema

Los modelos de lenguaje visual (VLM) más potentes actuales para la comprensión de video son propietarios (cerrados), con pesos, datos y recetas de entrenamiento inaccesibles. Los modelos de código abierto existentes presentan dos limitaciones críticas:

1. Dependencia de datos sintéticos: Muchos se entrenan distilando conocimiento de modelos propietarios, lo que limita su capacidad de innovación real y transparencia.
2. Falta de "Grounding" (Anclaje): La mayoría de los modelos actuales solo ofrecen comprensión de alto nivel (descripción general). Sin embargo, aplicaciones críticas como robótica, análisis deportivo y seguridad requieren grounding: la capacidad de señalar objetos específicos en píxeles, rastrearlos a lo largo del tiempo o contar objetos con precisión espacial y temporal. Incluso los modelos propietarios carecen a menudo de estas capacidades de manera robusta.

2. Metodología y Arquitectura

Arquitectura del Modelo

Molmo2 sigue una arquitectura estándar de VLM que conecta un codificador de visión (ViT) con un Modelo de Lenguaje Grande (LLM) a través de un módulo conector.

• Base: Utiliza LLMs de código abierto como base (Qwen3 para modelos de 4B y 8B, y OLMo para el modelo de 7B).
• Codificador de Visión: Emplea SigLIP 2 (So400m/14), un codificador entrenado con datos abiertos, procesando imágenes en recortes superpuestos (crops) para mantener alta resolución.
• Entrada de Video: Muestra frames a 2 fps (o más para contextos largos) y utiliza tokens temporales para intercalar el texto con los frames.
• Atención Bidireccional: Se introduce atención bidireccional entre los tokens visuales, lo que mejora significativamente la comprensión de relaciones espaciales y temporales.

Estrategias de Entrenamiento Innovadoras

1. Empaquetamiento (Packing) y Árboles de Mensajes: Para manejar la gran variabilidad en la longitud de secuencias (desde preguntas cortas hasta descripciones de video de miles de palabras), se utiliza un algoritmo de empaquetamiento eficiente que combina múltiples ejemplos en una sola secuencia. Además, las anotaciones múltiples para un mismo video se codifican como "árboles de mensajes" con máscaras de atención personalizadas para evitar que las ramas se interfieran entre sí.
2. Pesaje de Tokens (Token Weighting): Dado que las descripciones de video largas dominan la pérdida de entrenamiento, se aplica un esquema de pesaje para equilibrar el aprendizaje entre tareas de respuesta corta (QA) y respuestas largas (captions), evitando que el modelo olvide las tareas de precisión.
3. Entrenamiento en Tres Etapas:
   • Pre-entrenamiento: Enfoque en descripción de imágenes y anclaje (pointing) en imágenes.
   • SFT (Fine-Tuning Supervisado): Mezcla conjunta de datos de imágenes, videos y múltiples imágenes.
   • Contexto Largo: Una etapa final corta para mejorar la comprensión de videos extensos.

3. Contribuciones Clave: Datos Abiertos

La contribución más significativa es la creación de un corpus de datos totalmente abierto, construido sin distilar de modelos VLM propietarios. Se presentan 9 nuevos conjuntos de datos:

1. Molmo2-Cap: Un corpus de 104k videos con descripciones densas y detalladas (promedio de 924 palabras por video). Los anotadores humanos narran los clips hablados (transcritos con Whisper) y luego se enriquecen con detalles visuales de nivel de frame generados por el propio Molmo.
2. Molmo2-AskModelAnything: 140k pares de preguntas y respuestas (QA) de video de alta calidad, generados mediante una colaboración humano-LLM para evitar preguntas genéricas.
3. Molmo2-VideoPoint: Más de 650k consultas de apuntado en 280k videos. Los humanos seleccionan frames y hacen clic en la ubicación exacta de objetos, acciones o eventos, cubriendo categorías complejas como expresiones de referencia y anomalías visuales.
4. Molmo2-VideoTrack: Datos de rastreo de objetos basados en puntos, cubriendo 3.6k clips y 15k consultas complejas, derivado de anotaciones de segmentación y cajas delimitadoras existentes pero re-etiquetadas con consultas de lenguaje natural no triviales.
5. Datasets Sintéticos y de QA Larga: Incluyen datasets de preguntas basadas en subtítulos (SubtitleQA) y datasets de video largo (>1 minuto) para abordar la debilidad conocida de los modelos abiertos en contenido de larga duración.
6. Datasets Multi-Imagen: Mejoran la comprensión de documentos y conjuntos de imágenes relacionadas.

4. Resultados

Molmo2 establece nuevos estándares de estado del arte (SoTA) entre los modelos de pesos abiertos y compite directamente con los sistemas propietarios.

• Comprensión de Video Corto: Supera a modelos abiertos anteriores en benchmarks como MVBench y MotionBench, y es competitivo con modelos propietarios como Gemini 3 Pro y GPT-5.
• Conteo y Descripción: En tareas de conteo visual y descripción densa, el modelo de 8B supera a la mayoría de los modelos abiertos y se acerca a los sistemas cerrados. Por ejemplo, en conteo de video, alcanza una precisión de 35.5% frente al 29.6% de Qwen3-VL.
• Grounding (Anclaje) en Video:
  • Apuntado (Pointing): Molmo2 supera significativamente a los modelos abiertos existentes (Qwen3-VL: 1.5 F1 vs Molmo2: ~38-39 F1) y también supera a modelos propietarios como Gemini 3 Pro (20.0 F1) en tareas de apuntado temporal y espacial.
  • Rastreo (Tracking): Logra resultados superiores en benchmarks de segmentación de objetos referenciados (MeViS, Ref-YT-VOS) y en su propio benchmark Molmo2-Track, superando tanto a VLMs generales como a modelos especializados de segmentación.
• Evaluación Humana: En una evaluación de preferencia humana, Molmo2-8B se clasifica igual o mejor que otros modelos de pesos abiertos y supera a varios modelos propietarios (incluyendo GPT-5 y Claude Sonnet 4.5) en tareas generales.

5. Significancia e Impacto

• Transparencia y Reproducibilidad: Molmo2 es el primer modelo de VLM de última generación que libera pesos, datos de entrenamiento y código de forma completa, sin depender de la distilación de modelos cerrados. Esto permite a la comunidad científica investigar, auditar y mejorar los fundamentos de la comprensión de video.
• Capacidades de Grounding: Demuestra que es posible entrenar modelos que no solo "ven" el video, sino que pueden señalar, rastrear y contar objetos en el espacio y el tiempo con alta precisión, una capacidad esencial para la robótica y la interacción física con el entorno.
• Cierre de la Brecha: Acorta la brecha de rendimiento entre los modelos de código abierto y los sistemas propietarios, demostrando que la calidad de los datos (especialmente los datos de grounding densos y humanos) es un factor más crítico que el simple aumento de la escala de parámetros o el uso de datos sintéticos de modelos cerrados.

En resumen, Molmo2 representa un hito en la investigación de visión por computadora, proporcionando una base sólida, abierta y capaz para el desarrollo futuro de sistemas de inteligencia artificial que interactúan con el mundo visual dinámico.