Molmo2: Open Weights and Data for Vision-Language Models with Video Understanding and Grounding

Die Arbeit stellt Molmo2 vor, eine Familie von Open-Weight-Vision-Language-Modellen, die durch ein neues Set aus sieben Videodatensätzen und zwei Multi-Bild-Datensätzen sowie eine optimierte Trainingsmethode state-of-the-art-Leistungen in Videoverständnis und pixelgenauer Verankerung (Grounding) erzielt und dabei sowohl bestehende Open-Source-Modelle als auch proprietäre Systeme wie Gemini 3 Pro übertrifft.

Das Wesentliche

Stell dir vor, du hast einen sehr klugen Freund, der nicht nur Bilder und Videos sehen kann, sondern sie auch wirklich versteht. Er kann dir nicht nur sagen, „Da ist ein Hund", sondern er kann dir auch zeigen, wo genau der Hund im Bild steht, wann er im Video aufgetaucht ist und sogar zählen, wie viele Hunde es sind, wenn sie sich bewegen.

Das ist im Grunde Molmo2, ein neues, hochmodernes Computer-Modell, das von Forschern am Allen Institute for AI und der University of Washington entwickelt wurde. Hier ist die Erklärung, warum dieses Projekt so besonders ist, einfach und mit ein paar bildhaften Vergleichen:

1. Das Problem: Die „Black Box" der KI

Bisher waren die besten VideokIs (wie die von Google oder OpenAI) wie Geheimrezepte in einem verschlossenen Safe. Niemand durfte wissen, wie sie gekocht wurden oder welche Zutaten (Daten) sie verwendet haben. Viele andere offene Modelle haben versucht, diese Geheimrezepte zu kopieren, indem sie die Ergebnisse der teuren, geschlossenen KIs abgeguckt haben. Das ist wie ein Koch, der nur die fertige Pizza schmeckt und versucht, das Rezept zu erraten – das Ergebnis ist selten perfekt.

Molmo2 ändert das. Es ist wie ein offenes Kochbuch, bei dem jeder die Zutaten, den genauen Kochprozess und das Ergebnis sehen kann. Und das Beste: Die Zutaten wurden nicht von einer anderen KI „abgeschrieben", sondern von Menschen sorgfältig ausgewählt und vorbereitet.

2. Die Superkraft: „Grounding" (Das Zeigen mit dem Finger)

Die meisten KIs können Videos nur beschreiben. Wenn du fragst: „Wie viele Autos fahren vorbei?", antworten sie mit einem Text: „Es waren drei."

Molmo2 kann aber zeigen. Stell dir vor, du hast einen unsichtbaren Finger, der auf den Bildschirm zeigt.

• Frage: „Wo ist das rote Auto?"
• Molmo2-Antwort: Es setzt einen kleinen Punkt genau auf das rote Auto im Video.
• Frage: „Wann fiel die Tasse vom Tisch?"
• Molmo2-Antwort: Es markiert den exakten Moment im Zeitstrahl des Videos.

Das nennt man Grounding (Verankerung). Es ist der Unterschied zwischen jemandem, der dir von einem Unfall erzählt, und jemandem, der dir genau die Stelle im Video zeigt, wo es passiert ist. Molmo2 ist der erste offene KI-Modell-Typ, der das bei Videos so gut kann.

3. Die Zutaten: Ein riesiges, menschliches Datensalat

Damit ein KI-Modell so klug wird, braucht es Übungsmaterial. Die Forscher haben neue Datensätze erstellt, die wie ein riesiges, buntes Buffet sind:

• Detaillierte Beschreibungen: Statt nur „Ein Mann läuft" zu sagen, haben Menschen Videos so detailliert beschrieben wie ein Drehbuchautor („Ein Mann in einem lila Kimono läuft an einem gelben Hund vorbei, der ein Bleistift hält").
• Zeigen und Zählen: Es gibt spezielle Übungen, bei denen Menschen Videos ansehen und Punkte setzen, um Objekte zu zählen oder zu verfolgen (z. B. „Zeige mir alle Tänzer, die von links nach rechts laufen").
• Keine Abkürzungen: Alles wurde von Menschen gemacht, nicht von einer anderen KI generiert. Das verhindert, dass das Modell nur die Fehler anderer KIs lernt.

4. Der Lernprozess: Wie ein Schüler, der alles auf einmal lernt

Stell dir vor, du musst für eine Prüfung lernen, die aus drei Teilen besteht:

1. Bilder beschreiben: Du lernst, Fotos genau zu beschreiben.
2. Videos verstehen: Du lernst, Handlungen in Videos zu erkennen.
3. Punkte setzen: Du lernst, mit dem Finger auf Dinge zu zeigen.

Die meisten Modelle lernen diese Dinge getrennt. Molmo2 lernt sie gleichzeitig und vermischt. Die Forscher haben eine spezielle Technik entwickelt (eine Art „Packing"-Methode), die es dem Modell erlaubt, viele kleine Lektionen in einem großen Lernblock zu verarbeiten, ohne den Überblick zu verlieren. Es ist wie ein Schüler, der nicht nur Mathe lernt, sondern Mathe, Sport und Musik in einem einzigen, effizienten Tag – und dabei alle Fächer perfekt beherrscht.

5. Das Ergebnis: Ein Open-Source-Riese

Warum ist das wichtig?

• Für alle: Da alles offen ist (Code, Daten, Modell), kann jeder Forscher darauf aufbauen. Wir müssen nicht mehr warten, bis große Tech-Konzerne uns etwas geben.
• Leistung: Molmo2 ist so stark, dass es in vielen Tests (wie Videos zählen oder Objekte verfolgen) sogar besser abschneidet als die besten geschlossenen Modelle von Google (Gemini) oder OpenAI.
• Zukunft: Mit Molmo2 können wir Roboter bauen, die genau sehen, was sie tun, oder Suchmaschinen, die nicht nur nach Texten, sondern nach genauen Momenten in Videos suchen können.

Zusammenfassend:
Molmo2 ist wie ein offenes, hochintelligentes Gehirn, das gelernt hat, nicht nur zu schauen, sondern auch zu zeigen und zu zählen. Es hat bewiesen, dass man keine geheimen Zutaten braucht, um die besten VideokIs der Welt zu bauen – man braucht nur gute menschliche Lehrer und einen offenen Geist.

Technische Zusammenfassung

1. Problemstellung

Derzeitige State-of-the-Art-Video-Sprachmodelle (VLMs) sind fast ausschließlich proprietär (geschlossen). Die besten Open-Weight-Modelle basieren entweder auf synthetischen Daten, die von proprietären Modellen generiert wurden (Distillation), oder veröffentlichen ihre Trainingsdaten und -rezepte nicht. Dies behindert die Open-Source-Community, Fortschritte auf dem Gebiet zu erzielen.

Ein entscheidendes Defizit bestehender Modelle ist die Grounding-Fähigkeit (Verankerung). Während viele Anwendungen nur ein hohes Verständnis von Videoinhalten benötigen, erfordern andere präzise räumlich-zeitliche Lokalisierung:

• Grounding: Das Modell soll nicht nur antworten, sondern auch wo und wann ein Ereignis stattfindet (z. B. durch Zeigen auf Pixel oder Verfolgen von Objekten über die Zeit).
• Datenmangel: Es fehlen hochwertige, offene Datensätze für Video-Grounding, insbesondere für komplexes Zählen, Zeigen und Verfolgen von Objekten in Videos, die nicht von geschlossenen Modellen abgeleitet wurden.

2. Methodik

A. Datenerstellung (Der Kernbeitrag)

Das Team hat einen vollständig offenen Daten-Stack entwickelt, der keine geschlossenen VLMs zur Generierung von Trainingsdaten verwendet. Stattdessen wird eine Kombination aus menschlicher Annotation und effizienten Pipelines genutzt:

• Neue Datensätze (9 insgesamt):

  • Molmo2-Cap: Ein Korpus mit 104.000 Videos und 431.000 Clips mit extrem detaillierten Beschreibungen (durchschnittlich 924 Wörter pro Video). Die Annotation erfolgt über gesprochene Beschreibungen (Transkription + LLM-Verfeinerung), ergänzt durch frame-level Details.
  • Molmo2-AskModelAnything: 140.000 menschlich erstellte Video-QA-Paare mit feinkörnigen Fragen.
  • Molmo2-VideoPoint & Molmo2-VideoTrack: Über 650.000 Zeigeanfragen (Pointing) und 15.000 komplexe Tracking-Abfragen. Diese ermöglichen es dem Modell, Objekte im Video zu lokalisieren, zu zählen und zu verfolgen.
  • Synthetische Daten: Für längere Videos und spezifische QA-Tasks (z. B. Molmo2-CapQA, SubtitleQA) wurde ein Generator entwickelt, der auf dem eigenen Captioning-Modell basiert, um Fragen aus Captions und Transkripten abzuleiten.
  • Multi-Bild-Daten: Erweiterung auf mehrere Bilder pro Anfrage für Dokumentenverständnis und Multi-Bild-Grounding.

• Verarbeitung: Die Daten werden in „Message Trees" kodiert, um mehrere Annotationen pro Video/Bild effizient zu verarbeiten, ohne Cross-Attention zwischen verschiedenen Beispielen zu erlauben.

B. Modellarchitektur und Training

• Architektur: Molmo2 folgt dem Standard-VLM-Design: Ein Vision Encoder (SigLIP 2) wird über einen Connector-Modul mit einem Large Language Model (LLM) verbunden.
  • Vision Encoder: Verarbeitet Bilder als Overlapping Crops (bis zu 24 Crops bei Inferenz) und Videos mit 2 fps (bis zu 384 Frames).
  • Connector: Nutzt Attention-Pooling (2x2 für Bilder, 3x3 für Videos), um die Token-Anzahl zu reduzieren.
  • LLM: Basierend auf Qwen3 (für 4B/8B Modelle) und OLMo (für das 7B Modell). Es unterstützt bidirektionale Aufmerksamkeit zwischen visuellen Tokens.
• Trainings-Rezept (Drei Phasen):
  1. Pre-Training: Bild-Captioning und Bild-Pointing (mit PixMo-Daten).
  2. Supervised Fine-Tuning (SFT): Gemeinsames Training auf dem integrierten Multimodal-Datensatz (Bilder, Videos, Multi-Bilder).
  3. Long-Context SFT: Kurzes Training mit längeren Kontexten (bis zu 36.864 Tokens) für lange Videos.
• Innovationen im Training:
  • Token-Weighting: Anpassung der Gewichtung im Loss, um lange Captions (die viele Tokens produzieren) nicht gegenüber kurzen Antworten (Multiple Choice) zu dominieren.
  • Packing & Message Trees: Effizientes Zusammenpacken vieler kurzer Beispiele in eine Sequenz, um Padding zu vermeiden und den Durchsatz zu erhöhen (15x Effizienzsteigerung).
  • Bidirektionale Attention: Visuelle Tokens dürfen untereinander aufeinander achten, was die Leistung verbessert.

3. Schlüsselbeiträge

1. Erste vollständig offene SOTA-VLM-Familie: Molmo2 ist das erste Modell, das State-of-the-Art-Leistung bei Video-Verständnis und Grounding bietet, ohne auf proprietäre Daten oder geschlossene Modelle zur Datengenerierung zurückzugreifen.
2. Umfassende Grounding-Fähigkeiten: Das Modell kann nicht nur Fragen beantworten, sondern auch:
   • Objekte in Bildern und Videos zählen (Counting).
   • Auf spezifische Objekte oder Ereignisse zeigen (Pointing) mit räumlich-zeitlichen Koordinaten.
   • Objekte über die Zeit verfolgen (Tracking) mit IDs.
3. Neue Benchmark-Datensätze: Einführung von Molmo2-VideoPoint, Molmo2-VideoTrack und Molmo2-Cap als neue Evaluierungsstandards für feinkörniges Video-Verständnis.
4. Transparenz: Vollständige Offenlegung von Gewichten, Code und allen Trainingsdaten.

4. Ergebnisse

Die Evaluation erfolgte auf einer breiten Palette von Benchmarks (Video-Verständnis, Captioning, Zählen, Grounding, Tracking) im Vergleich zu proprietären Modellen (GPT-5, Gemini 3 Pro, Claude Sonnet 4.5) und anderen Open-Weight-Modellen (Qwen3-VL, InternVL).

• Video-Verständnis: Molmo2-8B erreicht State-of-the-Art-Ergebnisse bei kurzen Videos, Zählen und Captioning unter Open-Weight-Modellen und ist mit proprietären Modellen konkurrenzfähig.
• Grounding (Zählen & Zeigen):
  • Zählen: Molmo2-8B erreicht 35,5% Genauigkeit auf dem BURST-VideoCount-Benchmark (vs. 29,6% bei Qwen3-VL-8B).
  • Zeigen: Auf dem Video-Pointing-Benchmark (Molmo2-VP) erreicht Molmo2-8B einen F1-Score von 38,4, was deutlich über Gemini 3 Pro (20,0) und allen anderen Open-Modellen liegt.
• Tracking: Auf Benchmarks wie MeViS und Ref-YT-VOS übertrifft Molmo2 alle bisherigen Open-Modelle und spezialisierte Segmentierungsmodelle. Es erreicht J&F-Scores von über 70%, während andere Modelle oft unter 50% bleiben.
• Menschliche Präferenz: In einer Studie mit 105.000 Bewertungen wurde Molmo2-8B als gleichwertig oder besser als andere Open-Modelle und besser als einige proprietäre Modelle (z. B. GPT-5, Claude Sonnet 4.5) eingestuft.

5. Bedeutung und Fazit

Molmo2 schließt die Lücke zwischen proprietären VLMs und der Open-Source-Community. Es beweist, dass hochleistungsfähige Modelle für Video-Verständnis und präzises Grounding ohne Abhängigkeit von geschlossenen Systemen trainiert werden können.

• Für die Forschung: Bietet eine solide Basis für zukünftige Entwicklungen in Video-AI, Robotik, autonomen Systemen und Assistenztechnologien.
• Für die Praxis: Die Fähigkeit, Objekte im Video zu zählen, zu verfolgen und zu lokalisieren, macht das Modell für Anwendungen wie Sicherheitsüberwachung, Sportanalyse und industrielle Inspektion nutzbar.
• Open Science: Durch die vollständige Offenlegung des Trainings-Rezepts und der Daten setzt Molmo2 einen neuen Standard für Transparenz und Reproduzierbarkeit im Bereich der Multimodalen KI.

Zusammenfassend stellt Molmo2 einen Meilenstein dar, der zeigt, dass „Open Weights + Open Data" auch bei komplexen Aufgaben wie Video-Grounding die Leistung proprietärer Systeme erreichen oder übertreffen können.