Molmo2: Open Weights and Data for Vision-Language Models with Video Understanding and Grounding

Het paper introduceert Molmo2, een nieuwe familie van open-source video-taalmodellen met open gewichten en data die state-of-the-art prestaties leveren op het gebied van video-begrip en pixel-gebaseerde grounding, mede dankzij zeven nieuwe video-datasets en een geavanceerde trainingsreceptuur.

De kern

🎬 Molmo2: De Open-Source Superheld voor Videobegrip

Stel je voor dat je een enorme bibliotheek hebt met miljoenen video's. De meeste mensen kunnen alleen kijken naar de beelden, maar ze kunnen er niet echt naar luisteren of er precies op wijzen. De slimste "bibliothecarissen" (de AI-modellen) die dit nu kunnen, zijn vaak geheimzinnig. Ze zitten opgesloten in een kasteel (propriëtaire modellen zoals die van Google of OpenAI), en niemand mag zien hoe ze werken of welke boeken ze gebruiken om te leren.

Molmo2 is de nieuwe, open-source bibliothecaris die de poorten openzet. Het is een familie van slimme computerhersenen die niet alleen video's kan kijken, maar ze ook echt begrijpt, kan tellen, en zelfs met zijn vinger kan wijzen op precies wat er gebeurt.

Hier zijn de belangrijkste punten, vertaald naar alledaagse taal:

1. Het Ontbrekende Puzzelstukje: "Aanwijzen" (Grounding)

Stel je voor dat je een video bekijkt van een voetbalwedstrijd.

• Oude modellen: Kunnen zeggen: "Er wordt gevoetbald." (Dit is goed, maar vaag).
• Molmo2: Kan zeggen: "Kijk, op seconde 12:30 springt de speler in het oranje shirt (wijst precies op de speler) en schiet de bal (wijst op de bal) in de hoek."

Dit noemen ze grounding. Het is alsof het model niet alleen kijkt, maar ook met zijn vinger kan wijzen op het scherm. Molmo2 is de eerste open-source model dat dit zo goed doet, zelfs in video's waar dingen bewegen en verdwijnen.

2. De "Geheime Recepten" (De Data)

De grootste uitdaging voor open-source AI is dat ze vaak "koken" met ingrediënten die door de dure, gesloten modellen zijn gemaakt. Dat is alsof je een chef-kok bent die alleen recepten mag gebruiken die door een andere chef zijn geschreven. Je leert dan niet echt zelf koken.

Molmo2 heeft een nieuwe, schone keuken gebouwd:

• Menselijke Annotatie: In plaats van een andere AI te laten schrijven, hebben echte mensen video's bekeken en verteld wat er gebeurt. Ze hebben zelfs gesproken (want spreken is vaak gedetailleerder dan typen) en deze opnames getranscribeerd.
• Nieuwe Datasets: Ze hebben 9 nieuwe "receptboeken" (datasets) gemaakt. Denk hierbij aan:
  • Dense Captions: Zeer lange, gedetailleerde beschrijvingen van video's (niet zomaar "een hond loopt", maar "een bruine hond rent over het gras en blaft naar een eekhoorn").
  • Vragen & Antwoorden: Mensen stelden lastige vragen over video's, zoals "Hoeveel keer heeft de robot de rode blok vastgepakt?"
  • Wijzen & Volgen: Mensen klikten precies op de plek in de video waar iets gebeurt, of volgden een object terwijl het zich verplaatste.

3. De "Trucjes" om Slimmer te Worden (Training)

Om deze enorme hoeveelheid data te verwerken, hebben de onderzoekers slimme trucjes bedacht:

• De "Pakketjes" (Packing): Stel je voor dat je een vrachtwagen vol moet laden met dozen van verschillende maten. Normaal gesproken zitten er veel lege ruimtes tussen. Molmo2 gebruikt een slimme methode om de dozen perfect in elkaar te schuiven, zodat de vrachtwagen (de computer) altijd vol zit en niet tijd verspillen.
• Twee-Weg Communicatie: Normaal gesproken kijken de visuele hersenen (die de beelden zien) en de taalhersenen (die praten) alleen naar voren. Molmo2 laat ze ook naar elkaar terugkijken. Het is alsof een team van detectives samen aan een bord zit en constant overleggt, in plaats van dat de ene detective alleen kijkt en de andere alleen schrijft.
• Token-Gewicht: Als een video een heel lang verhaal heeft, mag dat niet alle aandacht opeisen. Molmo2 leert om ook goed te luisteren naar korte, belangrijke vragen.

4. De Resultaten: Hoe goed is het?

Molmo2 is nu de sterkste open-source video-AI ter wereld.

• Vergeleken met de concurrentie: Het doet het beter dan andere open modellen (zoals Qwen of InternVL) en komt in de buurt van de duurste, gesloten modellen (zoals Gemini 3 Pro of GPT-5).
• Specifieke sterke punten:
  • Tellen: Het kan heel goed tellen hoeveel dingen er in een video zijn (bijvoorbeeld: "Hoeveel auto's rijden er voorbij?").
  • Wijzen: Het kan precies aangeven waar en wanneer iets gebeurt.
  • Volgen: Het kan een object (bijvoorbeeld een danser) volgen door de hele video heen, zelfs als het even uit beeld is.

5. Waarom is dit belangrijk?

Vroeger was de beste technologie alleen beschikbaar voor grote bedrijven met veel geld. Met Molmo2 krijgen onderzoekers, studenten en kleine bedrijven toegang tot dezelfde krachtige technologie.

• Geen "Black Box": Iedereen kan zien hoe het werkt.
• Geen "Kringloop": Het model is niet getraind op de output van andere AI's, dus het is echt origineel.
• Toekomst: Dit helpt bij het bouwen van robots die in huizen kunnen werken, auto's die zelf kunnen rijden, of hulpmiddelen voor mensen met een visuele beperking die video's kunnen "lezen".

Samenvattend

Molmo2 is als het openen van de deuren van een supergeavanceerd laboratorium. Het is een slimme, open-source robot die video's niet alleen ziet, maar ze ook echt begrijpt, kan tellen en met zijn vinger kan wijzen op de kleinste details. En het beste van alles? Iedereen mag meekijken en meedoen.

Technische samenvatting

1. Het Probleem

Huidige state-of-the-art video-taalmodellen (VLMs) zijn grotendeels propriëtraat (gesloten bron, zoals Gemini of GPT-5). De beste open-source modellen hebben twee grote tekortkomingen:

• Ze vertrouwen vaak op synthetische data die is gegenereerd door gesloten VLMs (distillatie), wat de open-source gemeenschap afhankelijk maakt van deze gesloten systemen.
• Ze missen gronding (grounding)-capaciteiten in video's. Hoewel beeldgronding (wijzen naar objecten op een foto) standaard is geworden, kunnen bestaande modellen vaak niet aangeven wanneer en waar een gebeurtenis plaatsvindt in een video, of objecten continu volgen (tracking) over tijd en ruimte. Zelfs sommige gesloten modellen hebben hier moeite mee.

2. Methodologie

A. Data Collectie en Dataset Creatie
De kern van Molmo2 is een volledig open data-pipeline die geen distillatie van gesloten VLMs gebruikt. In plaats daarvan gebruiken ze menselijke annotatie en samenwerking tussen mensen en open LLMs. Ze hebben negen nieuwe datasets ontwikkeld:

• Dense Video Captioning (Molmo2-Cap): 104k video's met uiterst gedetailleerde beschrijvingen (gemiddeld 924 woorden per video). Annotatoren spreken beschrijvingen in (in plaats van te typen), die worden getranscribeerd en verrijkt met frame-level details.
• Video QA (AskModelAnything, CapQA, SubtitleQA): Mensen stellen specifieke, fijnmazige vragen over video's. Antwoorden worden verfijnd via een mens-LLM cyclus. Er zijn ook synthetische datasets gegenereerd voor langere video's.
• Video Pointing & Tracking (Molmo2-VideoPoint, Molmo2-VideoTrack):
  • Pointing: Mensen klikken op exacte locaties in videoframes om objecten, acties of gebeurtenissen aan te wijzen (bijv. "klik op het moment dat de bal wordt geraakt").
  • Tracking: Mensen annoteren objecten die door de video bewegen, inclusief complexe queries over meerdere objecten.
• Multi-Image Datasets: Datasets voor het begrijpen en wijzen naar objecten over meerdere afbeeldingen heen.

B. Model Architectuur
Molmo2 volgt een standaard VLM-architectuur maar met specifieke aanpassingen voor video:

• Vision Encoder: Gebruikt SigLIP 2 (384x384 px).
• Connector: Verwerkt visuele tokens via pooling (2x2 voor afbeeldingen, 3x3 voor videoframes om token-count te verlagen).
• LLM: Gebaseerd op Qwen3 (voor de 4B en 8B modellen) en OLMo 3 (voor de 7B model).
• Input: Ondersteunt single images, multi-image sets en video's. Voor video's worden frames bemonsterd (bijv. 2 fps) en geïnterleaved met tijdstempels.

C. Training Strategie
Het trainingsproces verloopt in drie fasen:

1. Pre-training: Focus op beeldbeschrijving en wijzings-taken (pointing) om de basis te leggen.
2. Supervised Fine-Tuning (SFT): Training op een mengsel van alle nieuwe video-, beeld- en tekst-datasets.
   • Token Weighting: Een innovatieve techniek om lange output (zoals video beschrijvingen) niet te laten domineren ten koste van korte taken (zoals multiple choice). Lange captions krijgen een lagere weight (0.1) om het leerproces te balanceren.
   • Packing & Message Trees: Efficiënte verpakking van meerdere voorbeelden in één sequentie en het gebruik van boom-achtige structuren voor video's met meerdere annotaties, wat de trainingssnelheid met 15x verhoogt.
   • Bi-directionele Attention: Visuele tokens kunnen naar elkaar kijken, wat de prestaties verbetert.
3. Long-Context SFT: Een korte extra fase om het model te trainen op langere contexten (tot 36.864 tokens) voor langere video's.

3. Belangrijkste Bijdragen

• Eerste volledig open VLM-familie die state-of-the-art presteert op video-taken zonder gebruik te maken van gesloten VLM-data.
• Uitgebreide Grounding Capabilities: Molmo2 is de eerste open model-familie die geavanceerde video-pointing (wijzen naar momenten en locaties) en video-tracking (volgen van objecten over tijd) ondersteunt.
• Nieuwe Datasets: Negentien nieuwe datasets die specifiek zijn ontworpen voor fijne-granulariteit in video's, inclusief datasets voor het tellen van objecten in video's en het volgen van complexe bewegingen.
• Efficiënte Training: Innovaties zoals token-weighting en message-tree encoding maken het mogelijk om grote, diverse datasets efficiënt te trainen.

4. Resultaten

Molmo2 presteert opmerkelijk goed op diverse benchmarks:

• Video Begrip: Overtreft andere open-source modellen op benchmarks zoals MVBench en MotionBench. De 8B versie is competitief met gesloten modellen zoals Gemini 2.5 Pro en GPT-5 op korte video-taken.
• Grounding (Tellen & Wijzen):
  • Op video-telling (counting) scoort Molmo2-8B 35.5% nauwkeurigheid, significant hoger dan Qwen3-VL (29.6%) en zelfs beter dan Gemini 3 Pro (20.0%) op specifieke taken.
  • Op video-pointing (F1-score) behaalt Molmo2-8B 38.4, wat een enorme sprong is ten opzichte van bestaande open modellen (Qwen3-VL: ~1.5) en zelfs beter is dan Gemini 3 Pro (20.0).
• Tracking: Molmo2 overtreft alle bestaande open modellen en gespecialiseerde tracking-modellen op benchmarks zoals MeViS en ReasonVOS, met name in het hanteren van occlusie en complexe queries.
• Menselijke Voorkeur: In een menselijke evaluatie (Elo-rating) scoort Molmo2-8B hoger dan andere open-weight modellen en is het vergelijkbaar met of beter dan sommige gesloten modellen (zoals GPT-5 en Claude Sonnet 4.5) op algemene video-vaardigheden.

5. Betekenis en Impact

Molmo2 is een mijlpaal voor de open-source gemeenschap in het veld van multimodale AI.

• Democratisering: Het bewijst dat state-of-the-art video-vaardigheden bereikbaar zijn zonder afhankelijk te zijn van gesloten, proprietary data of modellen.
• Toepassingen: De capaciteit om objecten te volgen en te wijzen in video's is cruciaal voor toepassingen zoals robotica, veiligheidsmonitoring, sportanalyse en assistieve technologieën.
• Transparantie: Door de volledige openstelling van data, code en gewichten, kunnen onderzoekers nu bouwen op een solide basis om video-vaardigheden verder te verbeteren, in plaats van te werken met "black box" systemen.

Kortom, Molmo2 sluit de kloof tussen gesloten en open video-taalmodellen en introduceert nieuwe standaarden voor wat open-source systemen kunnen bereiken op het gebied van ruimtelijke en temporele gronding.