💬 NLP

EmbodiedMidtrain: Bridging the Gap between Vision-Language Models and Vision-Language-Action Models via Mid-training

O artigo apresenta o "EmbodiedMidtrain", uma abordagem que preenche a lacuna entre Modelos Visão-Linguagem (VLMs) e Modelos Visão-Linguagem-Ação (VLAs) ao utilizar um motor de dados para selecionar e realizar um treinamento intermediário com dados de VLMs mais alinhados ao domínio robótico, resultando em um melhor desempenho em tarefas de manipulação.

Autores originais: Yiyang Du, Zhanqiu Guo, Xin Ye, Liu Ren, Chenyan Xiong

Publicado 2026-04-23

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yiyang Du, Zhanqiu Guo, Xin Ye, Liu Ren, Chenyan Xiong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você quer ensinar um robô a fazer tarefas domésticas, como arrumar a mesa ou pegar uma xícara. Para isso, você precisa de um "cérebro" para o robô.

Neste artigo, os pesquisadores propõem uma nova maneira de criar esse cérebro, chamada EmbodiedMidtrain. Para entender como funciona, vamos usar uma analogia simples: o Chef de Cozinha e o Estágio.

O Problema: O Chef que nunca viu uma cozinha

O VLM (O Chef Generalista):
Imagine um chef de cozinha muito famoso e inteligente (chamado de VLM - Modelo de Visão e Linguagem). Ele leu milhões de livros de receitas, viu milhões de fotos de comida e sabe falar sobre gastronomia, história da culinária e até descrever pratos com palavras bonitas. Ele é ótimo em entender o mundo visual e linguístico.
- No mundo real: Esses são os modelos de IA que já existem (como os que você usa para gerar imagens ou responder perguntas).
O VLA (O Chef que precisa trabalhar):
Agora, você quer que esse chef não apenas fale sobre comida, mas que pegue os ingredientes, corte o tomate e coloque no prato sem derrubar nada. Isso é o VLA (Modelo de Visão, Linguagem e Ação).
- O problema: O chef generalista nunca treinou com as mãos. Ele sabe que um tomate é vermelho e redondo, mas não sabe a força exata que precisa fazer para pegá-lo sem esmagar. Se você tentar ensinar ele diretamente a trabalhar na cozinha, ele vai demorar muito e cometer muitos erros, porque ele está tentando aprender a "física" do trabalho a partir de "teoria" pura.

A Solução: O "Treinamento Intermediário" (Mid-training)

Os autores dizem: "Espera aí! Não vamos tentar ensinar o chef a trabalhar na cozinha direto. Vamos dar a ele um estágio intermediário antes."

É aqui que entra o EmbodiedMidtrain:

O Grande Pulo do Gato (A Lacuna de Dados):
Os pesquisadores descobriram que os dados que o chef leu (fotos de livros, receitas teóricas) são muito diferentes dos dados que ele precisa para trabalhar (vídeos de robôs pegando objetos). É como tentar aprender a pilotar um avião lendo apenas enciclopédias de aerodinâmica. Existe um "abismo" entre o que ele sabe e o que ele precisa fazer.
O Filtro Inteligente (O Estagiário Esperto):
Em vez de pegar todos os livros que o chef já leu e tentar ensiná-lo com eles, eles criaram um "filtro inteligente".
- Imagine que você tem uma biblioteca gigante com 1 milhão de livros. A maioria é sobre história, poesia e ficção científica (dados gerais).
- Mas, dentro dessa biblioteca, existem alguns capítulos específicos que falam sobre como segurar objetos, como julgar distâncias e como interagir com o mundo físico.
- O EmbodiedMidtrain usa um pequeno "detector" (um classificador leve) para vasculhar essa biblioteca e selecionar apenas os trechos que são mais parecidos com o trabalho real de um robô.
O Treino (Mid-training):
Eles pegam esses trechos selecionados e fazem o chef estudar apenas eles por um tempo. Isso não é o treino final de robô, é um "aquecimento".
- Resultado: O chef agora não é mais apenas um teórico. Ele leu sobre como segurar coisas, sobre espaço e movimento. Ele está "mentalmente preparado" para a cozinha.
O Treino Final (Fine-tuning):
Agora, quando você finalmente coloca o chef na cozinha para treinar a ação real (o VLA), ele aprende muito mais rápido e faz um trabalho muito melhor, porque sua base já foi ajustada para entender a física do mundo, não apenas a teoria.

Por que isso é incrível?

Economia de Recursos: O modelo deles é pequeno (1,1 bilhão de parâmetros), mas depois desse "treino intermediário", ele bate modelos gigantes (de 30 bilhões) que foram treinados com muito mais dinheiro e tempo. É como um atleta pequeno que, com o treino certo, ganha de um gigante.
Funciona para todos: Eles testaram esse método em diferentes "chefs" (modelos base) e funcionou para todos.
Não perde a inteligência: O modelo continua sendo inteligente em outras coisas (como responder perguntas), mas ganha uma "intuição" extra para mexer com o mundo físico.

Resumo em uma frase

O EmbodiedMidtrain é como dar a um robô um "curso intensivo de física e interação" antes de colocá-lo para trabalhar, selecionando apenas as lições mais úteis de uma biblioteca gigante, para que ele aprenda a mover seus braços com muito mais facilidade e precisão.

Resumo Técnico: EmbodiedMidtrain

1. O Problema

Os Modelos Visão-Linguagem-Ação (VLAs) são fundamentais para o controle robótico geral, unindo percepção visual, compreensão linguística e geração de ações. A maioria dos VLAs atuais utiliza Modelos Visão-Linguagem (VLMs) pré-treinados como base (backbone), aproveitando suas ricas representações visuais e linguísticas.

No entanto, existe uma lacuna fundamental de distribuição de dados:

Dados de VLM: Cobrem tarefas gerais como legendagem, resposta a perguntas visuais (VQA) e compreensão de documentos, formando uma distribuição ampla e diversa.
Dados de VLA: São baseados em trajetórias de manipulação robótica, fundamentadas em interação física e raciocínio espacial.
O Conflito: A distribuição dos dados de VLA ocupa regiões compactas e separadas da distribuição geral dos VLMs. Mesmo que um VLM forneça uma boa inicialização para linguagem e visão, suas representações internas podem não ser adequadas para o raciocínio corporal (embodied reasoning) exigido pela geração de ações. Ajustar (fine-tuning) diretamente um VLM geral em dados robóticos muitas vezes não resulta em desempenho ótimo, pois o modelo parte de um ponto de partida desalinhado.

2. Metodologia: EmbodiedMidtrain

Os autores propõem o EmbodiedMidtrain, um framework de "mid-training" (treinamento intermediário) projetado para alinhar a distribuição de dados do VLM com o domínio de VLA antes do ajuste fino final para a tarefa robótica.

O processo consiste em três etapas principais:

Análise da Lacuna de Distribuição:
- Os autores caracterizam a lacuna entre VLMs e VLAs usando a Distância de Discrepância de Média Máxima (MMD) e visualização t-SNE.
- Descobrem que, embora haja uma separação global, alguns subconjuntos de dados de VLM estão intrinsecamente mais alinhados com o domínio de VLA do que outros. Isso sugere que a lacuna não é binária, mas um espectro de alinhamento.
Motor de Seleção de Dados (Data Engine):
- Em vez de usar todos os dados de VLM indiscriminadamente ou apenas dados robóticos específicos, o método seleciona uma subamostra de dados de VLM que são mais próximos do domínio de VLA.
- Estimador de Proximidade (Proximity Estimator): Um classificador binário leve e aprendível é treinado sobre as características congeladas (frozen features) do VLM. Ele aprende a distinguir dados de VLA (positivos) de dados de VLM (negativos).
- Pontuação e Seleção: O classificador atribui uma pontuação de proximidade a cada amostra de VLM. As amostras com as pontuações mais altas (top-K) são selecionadas para formar um conjunto de dados curado e alinhado.
- Objetivo: Preservar a diversidade dos dados de VLM originais, mas deslocar a distribuição de treinamento para focar em amostras relevantes para tarefas corporais (como raciocínio espacial).
Treinamento Intermediário e Ajuste Fino:
- O VLM é submetido a um mid-training no conjunto de dados curado.
- Posteriormente, este VLM "mid-treinado" é usado como inicialização para o fine-tuning final do VLA na tarefa robótica específica.

3. Contribuições Principais

Pipeline de Mid-training Baseado em Proximidade: Introdução do EmbodiedMidtrain, que utiliza um estimador de proximidade aprendível para curar misturas de dados de VLM alinhadas ao domínio de VLA, sem exigir mudanças arquiteturais no modelo.
Ganhos Consistentes de Desempenho: Demonstração de que essa abordagem melhora consistentemente o desempenho em múltiplos backbones de VLM e benchmarks de manipulação robótica.
Transferibilidade entre Backbones: A seleção de dados feita com base nas características de um modelo (ex: InternVL3.5-1B) transfere-se eficazmente para outros modelos (ex: Qwen3VL-2B), indicando que o estimador captura propriedades de alinhamento gerais.
Análise de Dinâmica de Treinamento: Evidência de que o mid-training fornece uma inicialização fundamentalmente melhor, com ganhos visíveis desde os primeiros passos do fine-tuning e que se ampliam ao longo do tempo, diferentemente de um simples "vantagem inicial".

4. Resultados Experimentais

Os experimentos foram conduzidos em três benchmarks de manipulação simulada: Calvin ABC-D, SimplerEnv Bridge e Libero-10.

Desempenho Competitivo com Menor Escala: O modelo InternVL3.5-1B (1.1B de parâmetros) com EmbodiedMidtrain superou modelos especialistas de VLA (como OpenVLA e $\pi_0$ ) e superou VLMs "off-the-shelf" que são 3 a 8 vezes maiores (como Paligemma-2 e KosMos-2), utilizando apenas uma fração do orçamento de treinamento.
Melhoria sobre Seleção Aleatória: O uso do estimador de proximidade aprendível superou significativamente a seleção aleatória de dados e métricas heurísticas manuais (como distância no espaço de características ou perplexidade).
Preservação de Diversidade: A seleção de dados não colapsou a distribuição para uma região estreita; o conjunto curado manteve alta diversidade (similar ao VLM geral), mas com um alinhamento direcionado para tarefas corporais.
Retenção de Capacidades: O mid-training preservou a maioria das capacidades originais do VLM (como VQA geral), enquanto reorientou o modelo para habilidades relevantes para a robótica (raciocínio espacial).

5. Significado e Impacto

O trabalho EmbodiedMidtrain oferece uma solução eficiente e escalável para o problema de adaptação de modelos fundacionais para a robótica.

Eficiência de Recursos: Demonstra que a qualidade e o alinhamento dos dados de treinamento intermediário são mais críticos do que simplesmente aumentar o tamanho do modelo ou o volume de dados brutos.
Paradigma de Adaptação: Estabelece que a ponte entre VLMs e VLAs não deve ser feita apenas no fine-tuning final, mas através de uma fase de adaptação de distribuição de dados (mid-training) que prepara as representações internas do modelo para o raciocínio físico.
Reprodutibilidade: Os autores liberarão código, dados e modelos, facilitando pesquisas futuras na área de inteligência corporal (embodied intelligence).

Em resumo, o EmbodiedMidtrain prova que é possível criar robôs controlados por IA de alto desempenho utilizando modelos menores e dados mais inteligentes, superando a barreira da incompatibilidade de distribuição entre a internet (dados de VLM) e o mundo físico (dados de VLA).