Molmo2: Open Weights and Data for Vision-Language Models with Video Understanding and Grounding

O artigo apresenta o Molmo2, uma nova família de modelos de linguagem e visão com pesos e dados abertos que alcança o estado da arte em compreensão de vídeo e capacidades de fundamentação (grounding) por meio de sete novos conjuntos de dados de vídeo e duas de múltiplas imagens, superando modelos proprietários e existentes em tarefas como apontamento, rastreamento e contagem.

O essencial

Imagine que você tem um amigo muito inteligente, mas que só consegue ver o mundo através de fotos estáticas. Ele é ótimo em descrever uma foto de um gato, mas se você mostrar um vídeo de um gato correndo, pulando e derrubando um vaso, ele fica confuso. Ele não sabe quando o vaso caiu, nem consegue apontar exatamente onde o gato estava no meio da ação.

Agora, imagine que esse amigo ganhou novos óculos mágicos e um novo cérebro. Ele não só vê o vídeo, mas consegue apontar para o momento exato em que o vaso quebrou, contar quantos gatos havia na cena e seguir o gato enquanto ele corre pela sala.

Esse é o Molmo2, o novo "super-herói" de inteligência artificial apresentado neste artigo.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Problema: Os "Robôs de Vidro"

Atualmente, os melhores robôs que entendem vídeos (como os da Google ou OpenAI) são "robôs de vidro". Eles são incríveis, mas são fechados. Ninguém sabe como eles foram feitos, ninguém pode ver o que eles aprenderam e ninguém pode melhorar o sistema. É como se você tivesse um carro de corrida, mas o motor fosse feito de vidro: você vê que ele funciona, mas não pode consertá-lo ou melhorar o motor porque não tem acesso às peças.

Além disso, esses robôs fechados muitas vezes são "cegos" para detalhes finos. Eles sabem que "algo caiu", mas não conseguem apontar onde e quando isso aconteceu no vídeo.

2. A Solução: O Molmo2 (O "Cozinheiro Aberto")

A equipe do Allen Institute for AI criou o Molmo2. Pense nele como um cozinheiro de cozinha aberta.

• Aberto: Eles liberaram a receita completa, os ingredientes e o próprio cozinheiro. Qualquer pessoa pode usar, estudar e melhorar.
• Sem "Gorila" (Distilação): Muitos robôs abertos hoje são feitos copiando respostas de robôs fechados (como se o cozinheiro aberto apenas copiasse o prato pronto do vizinho). O Molmo2 foi treinado do zero, com dados humanos, sem copiar ninguém. É uma receita original.

3. Os Ingredientes: A "Fazenda de Dados"

Para treinar esse robô, eles não usaram apenas vídeos aleatórios da internet. Eles construíram uma fazenda de dados gigantesca e muito específica. Imagine que eles contrataram milhares de pessoas para fazer tarefas muito específicas:

• O Cronista Detalhista: Em vez de apenas dizer "um carro passa", as pessoas descreveram os vídeos com detalhes de romances: "O carro preto, com a placa X, passou rápido, o motorista bateu na janela e sorriu". Isso ensinou o robô a ser um narrador minucioso.
• O Caçador de Pontos: Eles pediram para as pessoas apontarem no vídeo: "Aponte onde o cachorro pulou", "Conte quantos balões existem", "Siga o jogador de futebol enquanto ele corre". Isso ensinou o robô a ter precisão cirúrgica (o que chamam de grounding).
• O Detetive de Vídeos Longos: Eles treinaram o robô com vídeos longos e perguntas difíceis, como "Qual foi a cor da camisa do jogador que marcou o gol no minuto 12?".

4. A Técnica: O "Mapa do Tesouro"

O Molmo2 usa uma técnica especial chamada atendimento bidirecional e pesagem de tokens.

• Analogia: Imagine que você está lendo um livro. Normalmente, você lê uma palavra de cada vez. O Molmo2, ao contrário, consegue olhar para a palavra que você acabou de ler e também para a próxima, entendendo o contexto todo de uma vez.
• Além disso, ele sabe dar mais importância às partes difíceis. Se o vídeo tem 1000 palavras de descrição, mas apenas 5 pontos para apontar, o robô não ignora os 5 pontos. Ele dá um "peso extra" para garantir que ele acerte o apontamento, mesmo que seja uma parte pequena do texto.

5. O Resultado: O Que Ele Consegue Fazer?

O Molmo2 é o melhor modelo aberto do mundo hoje em várias tarefas:

• Contagem: Se você perguntar "quantos patos estão no lago?", ele conta certo, mesmo que sejam 50 patos.
• Pontuação: Se você perguntar "onde está o pato que está comendo?", ele coloca um ponto vermelho exatamente no pato, no frame certo.
• Rastreamento: Se você pedir "siga o pato que caiu na água", ele consegue seguir o pato através do vídeo, mesmo que ele saia da tela e volte.
• Vídeos Longos: Ele consegue assistir a um vídeo de 30 minutos e responder perguntas sobre o que aconteceu no meio dele.

6. Por que isso importa?

Antes, se você quisesse construir um robô que ajudasse em uma fábrica a vigiar máquinas, ou um robô que ajudasse médicos a analisar cirurgias em vídeo, você tinha que pagar milhões para usar os robôs fechados das grandes empresas.

Com o Molmo2, qualquer universidade, startup ou pesquisador pode baixar esse modelo, colocá-lo em seu servidor e criar soluções incríveis para o mundo real, sem depender de empresas fechadas. É como se eles tivessem dado a chave da oficina para todo o mundo, permitindo que a comunidade científica construa o futuro juntos.

Resumo em uma frase:
O Molmo2 é o primeiro robô de visão e linguagem de elite que é totalmente aberto, treinado com dados humanos (sem copiar outros robôs) e capaz de apontar e rastrear objetos em vídeos com uma precisão que antes só os robôs secretos das grandes empresas conseguiam.

Resumo técnico

Resumo Técnico: Molmo2

1. O Problema

Os modelos de linguagem e visão (VLMs) mais avançados para compreensão de vídeo são atualmente proprietários (fechados), com pesos, dados de treinamento e receitas de treinamento não divulgados. As soluções de código aberto existentes geralmente dependem de dados sintéticos gerados por modelos proprietários (distilação) ou não divulgam seus dados de treinamento. Isso cria uma barreira para a comunidade de pesquisa de código aberto, impedindo a melhoria fundamental dos modelos de vídeo e imagem.

Além disso, existe uma lacuna crítica na capacidade de fundamentação (grounding). Embora a fundamentação em imagens (apontar para objetos) seja comum, a fundamentação em vídeo — que requer localizar objetos ou eventos no espaço e no tempo (ex: "quantas vezes o robô pega o bloco?" ou "quando a xícara cai?") — é escassa e limitada, mesmo em sistemas proprietários. A maioria dos modelos não consegue apontar, rastrear ou contar objetos com precisão em vídeos longos ou complexos.

2. Metodologia

O Molmo2 é uma família de modelos VLMs totalmente aberta (pesos, dados e código) que supera o estado da arte (SOTA) em modelos de código aberto. A abordagem combina uma arquitetura de modelo eficiente com um pipeline de dados inovador.

• Arquitetura:

  • Segue o design padrão de conectar um codificador de visão (ViT) e um Modelo de Linguagem (LLM) via um módulo conector.
  • Utiliza o SigLIP 2 como codificador de visão e LLMs baseados em Qwen3 (para modelos de 4B e 8B) e OLMo (para o modelo de 7B).
  • Inovações de Treinamento:
    • Atenção Bidirecional: Permite que os tokens visuais atendam uns aos outros, melhorando a compreensão contextual.
    • Estratégia de Pesos de Token: Ajusta o peso da perda durante o treinamento para equilibrar tarefas de saída curta (pergunta e resposta) com saídas longas (legendas densas), evitando que as legendas dominem o treinamento.
    • Empacotamento (Packing) e Árvores de Mensagem: Técnicas eficientes para agrupar múltiplos exemplos curtos em sequências longas e codificar vídeos com múltiplas anotações como árvores de mensagens, aumentando drasticamente a eficiência do throughput de treinamento (15x).

• Coleta de Dados (O Diferencial Principal):

  • O Molmo2 foi treinado em um dos maiores corpora multimodais focados em vídeo totalmente aberto até hoje, sem distilação de modelos proprietários.
  • 9 Novos Conjuntos de Dados:
    1. Molmo2-Cap: 104k vídeos com legendas densas e altamente detalhadas (média de 924 palavras/vídeo), criadas por humanos falando descrições que são transcritas e enriquecidas com detalhes visuais de quadro.
    2. Molmo2-AskModelAnything: 140k pares de perguntas e respostas (QA) de vídeo, focados em perguntas de raciocínio fino.
    3. Molmo2-CapQA e SubtitleQA: 1,3M de pares QA sintéticos gerados a partir de legendas e transcrições.
    4. Molmo2-VideoPoint: 650k+ consultas de apontamento em vídeo para 280k vídeos, cobrindo objetos, ações e expressões de referência.
    5. Molmo2-VideoTrack: 15k consultas complexas de rastreamento de objetos com anotações de pontos.
    6. Conjuntos de Dados Multi-Imagem: Para melhorar a compreensão de documentos e conjuntos de imagens relacionadas.
  • Pipeline de Coleta: Utiliza uma colaboração humano-LLM onde humanos fornecem descrições faladas ou perguntas, e LLMs ajudam a refinar e estruturar os dados, garantindo alta qualidade sem depender de VLMs fechados para a geração inicial de dados.

3. Principais Contribuições

1. Família de Modelos Abertos SOTA: Lançamento de três modelos (Molmo2-4B, 8B e 7B-O) que superam ou igualam modelos proprietários em várias tarefas de vídeo.
2. Capacidade de Fundamentação em Vídeo: Introdução de capacidades robustas de apontamento (pointing) e rastreamento (tracking) em vídeo, permitindo que o modelo identifique quando e onde algo acontece, além de contar objetos.
3. Conjunto de Dados Aberto e Diverso: A criação de nove novos conjuntos de dados focados em vídeo, incluindo legendas densas, QA de longo prazo e fundamentação espaciotemporal, todos construídos sem distilação de modelos fechados.
4. Técnicas de Treinamento Eficientes: Demonstração de que o uso de message-tree encoding, sequence packing e atenção bidirecional entre tokens visuais melhora significativamente o desempenho e a eficiência.

4. Resultados

Os modelos Molmo2 foram avaliados em uma ampla gama de benchmarks, superando modelos anteriores de pesos abertos e competindo com sistemas proprietários de ponta:

• Compreensão de Vídeo Curto e Longo: O Molmo2-8B atinge resultados de SOTA em benchmarks como MVBench e MotionBench, superando modelos abertos anteriores e competindo com o Gemini 3 Pro e GPT-5 em tarefas de contagem e legendagem.
• Fundamentação (Grounding):
  • Contagem de Vídeo: Supera o Qwen3-VL (35.5% vs 29.6% de precisão) e supera o Gemini 3 Pro em algumas tarefas de contagem.
  • Apontamento em Vídeo: Alcança um F1 de 38.4, superando significativamente o Gemini 3 Pro (20.0) e o Qwen3-VL (1.5).
  • Rastreamento de Objetos: Supera todos os modelos de base (incluindo modelos especializados de segmentação) em benchmarks acadêmicos como MeViS e Ref-YT-VOS, alcançando pontuações J&F superiores a 70% em vários cenários.
• Avaliação Humana: Em uma avaliação de preferência humana, o Molmo2-8B foi classificado como igual ou superior a outros modelos de pesos abertos e superou alguns modelos proprietários (incluindo GPT-5 e Claude Sonnet 4.5) em tarefas gerais.
• Limitações Observadas: O modelo ainda apresenta dificuldades em vídeos muito longos (>3 minutos) devido à necessidade de reduzir a taxa de quadros (FPS), o que desalinha as anotações. Também há casos de repetição de texto em legendas extremamente longas.

5. Significado

O Molmo2 representa um marco crucial para a comunidade de IA de código aberto. Ao fornecer pesos, dados e código totalmente abertos sem depender de modelos proprietários para gerar dados de treinamento, ele democratiza o acesso a capacidades avançadas de compreensão de vídeo.

A capacidade de realizar fundamentação espaciotemporal (apontar e rastrear no tempo) abre portas para aplicações práticas que exigem precisão, como:

• Robótica doméstica e industrial (interação com objetos dinâmicos).
• Análise esportiva detalhada.
• Sistemas de segurança e monitoramento de tráfego.
• Ferramentas de acessibilidade e busca em vídeo.

O trabalho demonstra que é possível construir modelos de visão-linguagem de ponta com dados abertos, estabelecendo um novo padrão para transparência e reprodutibilidade na pesquisa de VLMs.