💻 computer science

InternVLA-A1: Unifying Understanding, Generation and Action for Robotic Manipulation

O artigo apresenta o InternVLA-A1, um modelo unificado baseado em uma arquitetura Mixture-of-Transformers que integra compreensão semântica, geração de previsão visual e execução de ações para superar as limitações de modelos VLA existentes, demonstrando desempenho superior em tarefas de manipulação robótica real e simulada.

Autores originais: Junhao Cai, Zetao Cai, Jiafei Cao, Yilun Chen, Zeyu He, Lei Jiang, Hang Li, Hengjie Li, Yang Li, Yufei Liu, Yanan Lu, Qi Lv, Haoxiang Ma, Jiangmiao Pang, Yu Qiao, Zherui Qiu, Yanqing Shen, Xu Shi, Yan

Publicado 2026-02-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Junhao Cai, Zetao Cai, Jiafei Cao, Yilun Chen, Zeyu He, Lei Jiang, Hang Li, Hengjie Li, Yang Li, Yufei Liu, Yanan Lu, Qi Lv, Haoxiang Ma, Jiangmiao Pang, Yu Qiao, Zherui Qiu, Yanqing Shen, Xu Shi, Yang Tian, Bolun Wang, Hanqing Wang, Jiaheng Wang, Tai Wang, Xueyuan Wei, Chao Wu, Yiman Xie, Boyang Xing, Yuqiang Yang, Yuyin Yang, Qiaojun Yu, Feng Yuan, Jia Zeng, Jingjing Zhang, Shenghan Zhang, Shi Zhang, Zhuoma Zhaxi, Bowen Zhou, Yuanzhen Zhou, Yunsong Zhou, Hongrui Zhu, Yangkun Zhu, Yuchen Zhu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você quer ensinar um robô a fazer um sanduíche. A maioria dos robôs hoje em dia funciona como um estudante muito inteligente, mas que nunca saiu de casa. Eles leem milhões de livros sobre como fazer sanduíches (entendem as palavras e os conceitos), mas quando chegam na cozinha, se o pão cair de um jeito estranho ou se alguém empurrar a mesa, eles travam. Eles não "sentem" a física do mundo.

Por outro lado, existem robôs que são como atletas de reflexo rápido. Eles reagem muito bem ao que veem no momento, mas não conseguem planejar o futuro. Se você jogar uma bola para eles, eles podem tentar pegá-la, mas não conseguem prever onde ela vai quicar antes mesmo de ela tocar o chão.

O InternVLA-A1 é o "super-herói" que une essas duas habilidades. O papel que você enviou descreve como os pesquisadores criaram esse robô. Vamos descomplicar como ele funciona usando analogias do dia a dia:

1. O Cérebro de Três Mentes (A Arquitetura)

A grande inovação deste robô não é apenas ter um cérebro, mas ter três especialistas trabalhando juntos em uma única equipe, todos conversando ao mesmo tempo:

O Entendedor (Understanding): É como um bibliotecário ou um professor. Ele olha para a cena, lê o que você pediu ("pegue o pão") e entende o contexto. Ele sabe o que é um pão, uma faca e uma mesa.
O Sonhador (Generation): Este é o diferencial. É como um cineasta ou um jogador de xadrez. Antes de o robô mover o braço, o "Sonhador" cria um "filme mental" rápido do que vai acontecer nos próximos segundos. Ele prevê: "Se eu puxar o pão agora, ele vai escorregar para a direita". Ele não apenas vê o presente, ele imagina o futuro.
O Executor (Action): É o braço e a mão do robô. Ele recebe as instruções do "Entendedor" e o "roteiro do filme" do "Sonhador" para decidir exatamente como mover os músculos.

A Mágica: Em robôs antigos, essas partes conversavam devagar ou não conversavam. No InternVLA-A1, elas usam um sistema de "atenção unificada". É como se os três estivessem em uma mesa de reunião, onde o Sonhador diz: "Ei, se você fizer isso, o objeto vai cair!", e o Executor ajusta o movimento instantaneamente antes mesmo do objeto cair.

2. A Escola de Treinamento (Os Dados)

Para treinar esse robô, os pesquisadores não usaram apenas um tipo de aula. Eles criaram uma "escola híbrida" com três fontes de aprendizado:

O Simulador (Mundo Virtual): É como um videogame super realista. O robô pratica milhões de vezes em um computador. É barato, rápido e permite que ele cometa erros sem quebrar nada. O problema é que o mundo virtual nunca é 100% igual ao real (o "pão" virtual não tem a mesma textura do pão real).
O Mundo Real (Robôs de Verdade): São robôs reais coletando dados em laboratórios. É caro e lento, mas ensina a física real (atrito, peso, gravidade).
Vídeos Humanos (A Vida Real): Aqui está o toque de gênio. Eles usaram vídeos de pessoas fazendo tarefas no dia a dia (como cozinhar ou arrumar a casa). Isso ensina ao robô a "intenção" humana e a diversidade de movimentos, sem precisar de um robô caro para filmar tudo.

A Estratégia: O robô estuda o "videogame" para ganhar velocidade e variedade, assiste aos "vídeos humanos" para entender a intenção e pratica com "robôs reais" para aprender a física. O resultado é um robô que aprende rápido, mas não é ingênuo.

3. Por que isso é importante? (O Resultado)

O teste mostrou que esse robô é muito melhor em situações dinâmicas.

Cenário Estático: Colocar um vaso em uma mesa parada. Todos os robôs bons conseguem fazer isso.
Cenário Dinâmico: Pegar um pacote que está vindo em uma esteira rolante que está se movendo, ou pegar um ingrediente que está sendo jogado no ar.
- Os robôs antigos (como o $\pi_{0.5}$ ) olham para o objeto, calculam onde ele está agora e tentam pegar. Muitas vezes, eles erram porque o objeto já mudou de lugar.
- O InternVLA-A1 usa o "Sonhador". Ele vê o objeto, prevê onde ele estará daqui a meio segundo e move a mão para lá antes de o objeto chegar. É como pegar uma bola de beisebol: você não olha para onde a bola está, você olha para onde ela vai estar.

Resumo em uma frase

O InternVLA-A1 é um robô que não apenas entende o que você pede e age sobre isso, mas também imagina o futuro do mundo ao seu redor para agir com precisão, mesmo quando as coisas estão se movendo rápido. Ele é o primeiro a combinar a inteligência de um livro, a previsão de um cineasta e a habilidade de um atleta em um único sistema.

Resumo Técnico: InternVLA-A1

1. O Problema

Os modelos atuais de Visão-Linguagem-Ação (VLA), baseados em Modelos de Linguagem Multimodal (MLLMs), demonstram excelente proficiência na compreensão semântica, mas falham em deduzir a dinâmica do mundo físico. Eles são otimizados para mapeamentos reativos de percepção para ação, carecendo de capacidade de raciocínio sobre como os estados evoluem sob movimento e contato.

Limitações Atuais: Modelos baseados apenas em tokens de texto não modelam bem as leis físicas. Abordagens recentes que utilizam "Modelos de Mundo" (previsão de vídeo) sofrem com falta de fundamentação semântica e são frágeis a erros de previsão.
Desafio de Dados: A dependência exclusiva de dados de robôs reais é cara e ineficiente para cobrir variações de cena de longo alcance (cauda longa), enquanto dados de simulação sofrem com a lacuna "sim-to-real" (diferença entre simulação e realidade).

2. Metodologia

O InternVLA-A1 propõe uma arquitetura unificada que integra compreensão, geração (previsão) e ação em um único framework, utilizando uma arquitetura de Mistura de Transformers (Mixture-of-Transformers - MoT).

Arquitetura Unificada (MoT):
O modelo coordena três "especialistas" (experts) que interagem através de um mecanismo unificado de self-attention mascarado:
1. Expert de Compreensão (Understanding): Baseado em MLLMs (InternVL3 ou Qwen3-VL), processa entradas multimodais (imagens e texto) para capturar o contexto semântico do ambiente.
2. Expert de Geração (Generation): Um módulo leve que prevê estados visuais futuros (previsão de "foresight"). Utiliza um tokenizador baseado em VAE (COSMOS) e decodificação paralela (não autoregressiva) para garantir eficiência em tempo real (~13 Hz), evitando a latência de geradores de vídeo tradicionais.
3. Expert de Ação (Action): Integra o contexto semântico e as previsões dinâmicas para sintetizar comandos de controle robótico usando Flow Matching (mapeamento de fluxo), permitindo a geração de ações contínuas e precisas.
Estratégia de Treinamento Híbrida:
O modelo é pré-treinado em uma mistura massiva e heterogênea de dados (mais de 692 milhões de quadros), combinando:
- Dados de Simulação: InternData-A1 (630k trajetórias) e RoboTwin, fornecendo diversidade escalável e cobertura de cenários de cauda longa.
- Dados de Robôs Reais: AgiBot-World e RoboMind, para garantir fidelidade física e reduzir a lacuna sim-to-real.
- Vídeos Humanos Ego-cêntricos: EgoDex, para enriquecer representações visuais e capturar dinâmicas complexas de manipulação sem a necessidade de teleoperação robótica.
Objetivos de Otimização:
O treinamento minimiza uma função de perda combinada:
1. Geração de Previsão Visual: Prever latentes de quadros futuros condicionados ao estado atual e histórico.
2. Previsão de Ação (Flow Matching): Aprender campos de velocidade para transformar ruído em demonstrações de especialistas, condicionados ao contexto semântico e dinâmico.

3. Principais Contribuições

Unificação de Semântica e Dinâmica: A primeira arquitetura VLA que acopla rigidamente o raciocínio semântico de MLLMs com a previsão de dinâmica física (Modelo de Mundo) dentro de um único pipeline de inferência.
Arquitetura Eficiente de Geração: Substitui a previsão autoregressiva lenta por uma estratégia de decodificação paralela baseada em VAE, permitindo inferência em tempo real (~13 Hz) em GPUs de consumo (RTX 4090).
Receita de Dados Híbrida: Demonstra que a combinação sinérgica de dados sintéticos, reais e vídeos humanos supera o uso isolado de qualquer uma dessas fontes, fechando a lacuna de generalização.
Escalabilidade: Implementação em duas escalas (2B e 3B parâmetros) que superam modelos maiores (como o $\pi_0$ de 3.3B) em tarefas específicas.

4. Resultados

O InternVLA-A1 foi avaliado em 12 tarefas do mundo real e benchmarks de simulação, superando consistentemente os modelos líderes ( $\pi_0$ , $\pi_0.5$ , GR00T N1.5):

Tarefas Estáticas (Manipulação Real):
- A versão de 3B parâmetros alcançou 75.1% de taxa de sucesso média, superando o $\pi_0.5$ (70.7%) em +4.4%.
- Destaque em tarefas de longo horizonte, como "Fazer Sanduíche" (93.3% vs 73.3% do $\pi_0.5$ ).
Tarefas Dinâmicas (O Cenário Mais Crítico):
- O modelo mostrou superioridade marcante em ambientes onde o cenário evolui durante a execução (ex: esteiras rolantes).
- Ganho de +26.7% em tarefas dinâmicas em comparação ao $\pi_0.5$ (86.7% vs 60.0% em média nas tarefas dinâmicas testadas).
- Na tarefa "Picking de Ingredientes em Movimento", alcançou 93.3% contra 66.7% do $\pi_0.5$ .
Benchmark de Simulação (RoboTwin 2.0):
- Superou o $\pi_0.5$ em +2.6% nos cenários "Hard" (randomizados de domínio).
Estudos de Ablação:
- A remoção do pré-treinamento causou uma queda de 51.6% no desempenho.
- A remoção do Expert de Geração reduziu a taxa de sucesso média de 77.0% para 57.6%, confirmando que a previsão visual é crucial para a robustez dinâmica.

5. Significado e Impacto

O InternVLA-A1 representa um avanço significativo na direção de robôs generalistas capazes de operar em ambientes não estruturados e dinâmicos. Ao resolver a desconexão entre a compreensão semântica e a previsão física, o modelo permite que robôs "imaginem" consequências futuras antes de agir, tornando-os mais robustos a variações de cena e movimentos.
A estratégia de treinamento híbrido oferece um caminho viável e econômico para escalar a inteligência robótica, reduzindo a dependência de coleta massiva de dados reais e mitigando o custo de simulação. O trabalho estabelece um novo estado da arte (SOTA) para manipulação robótica, especialmente em cenários onde a dinâmica e o tempo são fatores críticos.