Molmo2: Open Weights and Data for Vision-Language Models with Video Understanding and Grounding

Il paper presenta Molmo2, una nuova famiglia di modelli visione-linguaggio open-weight che, grazie a un set di dati video e multi-immagine raccolti senza l'uso di modelli proprietari e a una ricetta di formazione innovativa, raggiunge prestazioni all'avanguardia nel grounding video, superando sia i modelli open-source esistenti che alcuni modelli proprietari come Gemini 3 Pro.

L'essenziale

Immagina di avere un super-osservatore che non solo guarda i video, ma può anche indicare con il dito esattamente cosa sta succedendo, dove e quando. Fino a oggi, questo super-ossatore era un segreto custodito gelosamente dalle grandi aziende tecnologiche (come Google o OpenAI). Chiunque volesse usarlo doveva pagare o affidarsi a scatole nere di cui nessuno conosceva i segreti.

Molmo2 è come se un gruppo di scienziati (l'Allen Institute for AI e l'Università di Washington) avesse deciso di costruire il proprio super-osservatore, aprendo le porte di casa sua a tutti. Non solo hanno condiviso il "cervello" del robot (il codice e i pesi del modello), ma hanno anche rivelato la ricetta segreta e gli ingredienti (i dati) usati per costruirlo. E la cosa più incredibile? Non hanno copiato gli altri, ma hanno creato tutto da zero, senza rubare le ricette dei rivali.

Ecco i tre pilastri di questa avventura, spiegati con metafore semplici:

1. Gli Occhi che non si limitano a guardare (Il "Grounding")

La maggior parte delle intelligenze artificiali oggi è come un turista che guarda un video di un concerto: ti dice "C'è molta gente che salta e c'è musica". È una descrizione generica.
Molmo2 è diverso. È come un detective con una penna luminosa.

• Se gli chiedi "Quante volte il robot afferra il cubo rosso?", Molmo2 non ti dice solo "5 volte". Ti indica esattamente sul video, punto per punto, ogni singola volta che la mano tocca il cubo.
• Se gli chiedi "Dove cade la tazza?", lui traccia un percorso continuo che segue la tazza mentre cade, come se ci mettesse un adesivo sopra.
• Questo si chiama "Grounding": collegare le parole al mondo reale, pixel per pixel. È una capacità che nemmeno i modelli più costosi e chiusi possiedono bene.

2. La Cucina: 9 Nuovi Ingredienti Freschi

Per addestrare questo detective, gli scienziati non hanno usato "avanzi" o dati sintetici generati da altre intelligenze artificiali (che spesso sono imprecisi). Hanno preparato 9 nuovi piatti (dataset) cucinati a mano:

• I Capitoli del Libro (Captioning): Hanno chiesto a persone reali di descrivere video con dettagli incredibili, come se stessero raccontando una storia a un amico. Non solo "un uomo cammina", ma "un uomo con una giacca rossa cammina veloce verso la porta blu mentre piove".
• Il Quiz Interattivo (QA): Hanno creato milioni di domande e risposte su video, chiedendo cose strane e specifiche ("Quanti bisonti ci sono?", "Di che colore è la maglietta di Rob?").
• Il Gioco del "Trova l'Errore" (Pointing): Hanno addestrato il modello a cliccare su oggetti specifici nel video, anche se ce ne sono centinaia. È come un gioco di "Cerca e Trova" su scala industriale.

3. La Tecnica Segreta: Impacchettare i Viaggi

Immagina di dover insegnare a un bambino a guardare un film intero. Se gli mostri 1000 fotogrammi alla volta, si confonde.
Gli scienziati di Molmo2 hanno inventato un metodo per "impacchettare" i dati in modo intelligente (chiamato packing e message-tree).

• È come se invece di dare al modello un libro pagina per pagina, gli dessi un e-book intelligente che sa saltare le parti noiose e concentrarsi sui momenti salienti, permettendogli di leggere intere storie (video lunghi) senza perdere il filo.
• Inoltre, hanno insegnato al modello a guardare in entrambe le direzioni: non solo legge le parole e guarda l'immagine, ma fa in modo che le parole e l'immagine si "parlino" tra loro per capire meglio il contesto.

Perché è importante?

Fino a ieri, se volevi un assistente che potesse analizzare video di sicurezza, aiutare robot a cucinare, o analizzare partite di calcio per trovare errori, dovevi pagare un abbonamento a un servizio segreto.
Ora, con Molmo2, chiunque (ricercatori, sviluppatori, studenti) può scaricare questo "cervello", modificarlo e usarlo per costruire le proprie applicazioni.

In sintesi:
Molmo2 è come se avessimo dato a tutti la mappa del tesoro e gli strumenti per costruire un robot che non solo "vede" i video, ma li capisce fino al dettaglio, indicando con il dito esattamente cosa sta succedendo, tutto senza dover chiedere il permesso a nessuno. È un passo gigante verso un futuro in cui l'intelligenza artificiale è trasparente, aperta e utile per tutti.

Sommario tecnico

1. Il Problema

I modelli linguistici visivi (VLM) più potenti per la comprensione video rimangono attualmente proprietari (es. Gemini, GPT-5), con pesi, dati e ricette di formazione chiusi. Le alternative open-source esistenti soffrono di due limiti principali:

1. Dipendenza da dati sintetici: Molti modelli open-source sono addestrati su dati generati da VLM proprietari, creando un "collo di bottiglia" che impedisce alla comunità open di migliorare oltre lo stato dell'arte proprietario.
2. Mancanza di Grounding (Ancoraggio): La maggior parte dei modelli attuali fornisce solo comprensione ad alto livello (descrizioni, risposte a domande). Manca la capacità di grounding fine-granulare, ovvero la capacità di indicare pixel specifici (punti), tracciare oggetti nel tempo o contare elementi con precisione spaziale e temporale. Anche i modelli proprietari hanno capacità di grounding video limitate.

2. Metodologia e Architettura

Molmo2 è una famiglia di modelli VLM completamente open-source che colma il divario tra comprensione video, grounding e capacità di ragionamento.

Architettura del Modello:

• Base: Utilizza un encoder visivo (SigLIP 2) e un Large Language Model (LLM) basato su Qwen3 (per le varianti 4B e 8B) o OLMo (per la variante 7B).
• Connector: Un modulo che collega l'encoder visivo all'LLM, utilizzando finestre di pooling (2x2 per immagini, 3x3 per video) per ridurre il numero di token visivi.
• Input: Supporta immagini singole, set di immagini multiple e video. Per i video, campiona i frame (fino a 384 frame per contesti lunghi) e intercala token temporali.
• Output Grounded: Il modello genera testo libero ma anche output ancorati come coordinate di punti (per il counting e il pointing), tracce di oggetti e catene di pensiero localizzate.

Strategia di Addestramento:
L'addestramento segue una pipeline a tre stadi:

1. Pre-training: Addestramento su captioning di immagini e pointing (punti) per stabilire le basi del grounding.
2. Supervised Fine-Tuning (SFT): Addestramento congiunto su un mix di dati multimodali (immagini, video, multi-immagine).
3. Long-Context SFT: Una fase finale su dati SFT con lunghezza di contesto estesa (fino a 36k token) per migliorare la comprensione di video lunghi.

Innovazioni Tecniche:

• Token Weighting: Una strategia innovativa che bilancia l'importanza dei token durante la perdita (loss). Poiché le caption video lunghe possono dominare il calcolo della loss, i token delle caption ricevono un peso ridotto (0.1) rispetto alle risposte brevi, prevenendo il degrado delle prestazioni su task a risposta breve.
• Packing e Message-Tree Encoding: Tecniche efficienti per impaccare più esempi brevi in una singola sequenza lunga, massimizzando l'efficienza dell'addestramento. Gli esempi con più annotazioni sono codificati come alberi di messaggi con maschere di attenzione personalizzate.
• Attenzione Bidirezionale: Abilitare l'attenzione bidirezionale tra i token visivi migliora significativamente le prestazioni.

3. Contributi Chiave: I Dati (Molmo2 Data)

Il contributo più significativo è la creazione di un corpus di dati completamente open, costruito senza distillare da modelli proprietari. Include 9 nuovi dataset:

1. Molmo2-Cap (Captioning Densi): 104k video con caption dettagliate (media di 924 parole/video), generate da annotatori umani che parlano descrizioni (trascritte) e arricchite con dettagli visivi a livello di frame.
2. Molmo2-AskModelAnything (QA Umano): 140k coppie domanda-risposta su video, con risposte raffinate tramite un loop uomo-LLM.
3. Molmo2-VideoPoint (Grounding Spaziale-Temporale): 650k query di pointing su 280k video. Gli annotatori cliccano su oggetti/azioni specifiche nel tempo e nello spazio. Copre oggetti, animali, azioni, riferimenti complessi e anomalie visive.
4. Molmo2-VideoTrack (Tracking): Dati di tracciamento basati su punti per 3.6k clip video, con query linguistiche complesse che richiedono di seguire oggetti specifici tra molti altri.
5. Dataset Sintetici e Curati: Include dataset sintetici per QA video (CapQA, SubtitleQA) e dataset multi-immagine per migliorare la comprensione di documenti e grafici.

Tutti i dati sono costruiti con pipeline innovative che combinano annotazione umana, trascrizione vocale e generazione assistita da LLM (senza usare VLM chiusi per la generazione iniziale delle caption video).

4. Risultati

Molmo2 ha raggiunto lo stato dell'arte (SoTA) tra i modelli open-weight e ha competuto direttamente con i sistemi proprietari su numerosi benchmark.

• Comprensione Video: Su benchmark a video breve (MVBench, MotionBench), Molmo2-8B supera i modelli open precedenti e si avvicina alle prestazioni di modelli proprietari come Gemini 3 Pro.
• Grounding (Counting e Pointing):
  • Counting: Su BURST-VideoCount, Molmo2-8B ottiene il 35.5% di accuratezza, superando significativamente Qwen3-VL (29.6%) e avvicinandosi a Gemini 3 Pro.
  • Pointing: Su Molmo2-VideoPoint, Molmo2-8B raggiunge un F1 score di 38.4, superando di gran lunga Gemini 3 Pro (20.0) e Qwen3-VL (1.5).
• Tracking Video: Su benchmark come MeViS e Ref-YT-VOS, Molmo2 supera tutti i modelli open e i modelli specializzati, ottenendo i migliori punteggi J&F e HOTA, dimostrando una capacità superiore di tracciare oggetti in scenari complessi e con occlusioni.
• Preferenza Umana: In una valutazione di preferenze umane su 450 domande, Molmo2-8B è stato classificato pari o superiore ad altri modelli open e ha superato alcuni modelli proprietari (inclusi GPT-5 e Claude Sonnet 4.5) in termini di qualità delle risposte.
• Multimodalità: Eccelle anche su task di immagini singole e multi-immagine, mantenendo alte prestazioni su OCR e ragionamento visivo.

5. Significato e Impatto

Molmo2 rappresenta una svolta fondamentale per la ricerca open-source nel campo della visione artificiale:

• Democratizzazione del SoTA: Dimostra che è possibile costruire modelli video-language all'avanguardia senza dipendere da dati sintetici generati da modelli proprietari chiusi.
• Capacità di Grounding: Introduce capacità di grounding video (punti, tracciamento, counting) che erano precedentemente limitate ai modelli proprietari, aprendo la strada a nuove applicazioni in robotica, analisi sportiva e monitoraggio industriale.
• Trasparenza: La pubblicazione completa di pesi, codice e dati (inclusi i dataset di addestramento) permette alla comunità scientifica di studiare, riprodurre e migliorare ulteriormente le tecniche di addestramento per la comprensione video.
• Scalabilità: La famiglia di modelli (4B, 7B, 8B) offre opzioni efficienti per diverse risorse computazionali, rendendo lo stato dell'arte accessibile anche con hardware limitato.

In sintesi, Molmo2 stabilisce un nuovo standard per i modelli VLM open-source, dimostrando che con dati di alta qualità e strategie di addestramento innovative, è possibile competere con i giganti proprietari nella comprensione video e nel grounding fine-granulare.