🤖 machine learning

Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models

O Qwen-RobotManip é um modelo de fundação de Visão-Linguagem-Ação generalizável que aproveita um framework de alinhamento unificado através das dimensões de representação, movimento e comportamento para permitir o treinamento em larga escala em um corpus de código aberto de aproximadamente 38.100 horas, alcançando desempenho de estado da arte e capacidades de generalização emergente através de diversas plataformas robóticas e benchmarks fora da distribuição.

Autores originais: Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang, Jiazhao Zhang, Jie Zhang, Jingyang Fan, Gengze Zhou, Qihang Peng, Chenxu Lv, Xiaoyue Chen, An

Publicado 2026-06-17

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang, Jiazhao Zhang, Jie Zhang, Jingyang Fan, Gengze Zhou, Qihang Peng, Chenxu Lv, Xiaoyue Chen, An Yang, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou, Chenfei Wu, Xiong-Hui Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Ensinar Robôs a "Pensar" como Humanos

Imagine que você quer ensinar um robô a fazer tarefas domésticas. No passado, os cientistas tentavam ensinar robôs mostrando a eles milhares de vídeos de outros robôs realizando tarefas específicas. Mas isso é como tentar ensinar um cachorro a jogar xadrez mostrando a ele vídeos de outros cachorros jogando xadrez. É caro, os dados são raros e, se o novo robô parecer ligeiramente diferente (tiver um formato de braço diferente), ele fica confuso.

A equipe do Qwen-RobotManip fez uma pergunta diferente: Podemos ensinar robôs usando a mesma "receita de escala" que tornou os chatbots de IA tão inteligentes?

Os chatbots ficaram inteligentes porque leram tudo na internet — livros, fóruns, artigos e vídeos. Eles aprenderam a conectar ideias porque todo esse texto estava "alinhado" (todos usavam a mesma linguagem). A equipe queria ver se poderia fazer o mesmo para os robôs: pegar todos os dados de robôs disponíveis (mesmo de diferentes robôs) e todos os vídeos de movimentos de mãos humanas disponíveis, misturá-los e ensinar um robô a entender o mundo de forma geral, não apenas uma tarefa específica.

O Problema: A "Barreira Linguística" entre Robôs

A equipe percebeu que havia um grande problema. O texto é fácil de alinhar; "gato" significa "gato" em todos os livros. Mas os dados de robôs são bagunçados.

Corpos Diferentes: Um robô tem um braço longo; outro tem um braço curto. Um tem duas mãos; outro tem uma.
Visões Diferentes: Uma câmera olha de cima; outra olha de lado.
Linguagens Diferentes: Um robô registra o movimento em "ângulos de junta" (o quanto o cotovelo dobra); outro registra em "espaço 3D" (onde a mão está na sala).

Se você apenas jogar tudo isso em um liquidificador, o robô terá uma dor de cabeça. É como tentar aprender uma língua ouvindo falantes de francês, japonês e espanhol gritando ao mesmo tempo sem um tradutor. Os sinais conflitam e o robô não aprende nada.

A Solução: O "Tradutor Universal"

Para resolver isso, a equipe construiu o Qwen-RobotManip, um cérebro robótico que atua como um Tradutor Universal. Eles não apenas despejaram dados; criaram um conjunto estrito de regras para traduzir tudo para uma linguagem comum antes de ensinar o robô.

Eles alinharam três coisas:

O Corpo (Representação): Eles criaram um "mapa corporal padronizado". Quer o robô seja um braço humanoide ou um simples gripper, o cérebro traduz seus movimentos para um formato único e compartilhado.
A Visão (Movimento): Em vez de dizer ao robô "mova seu cotovelo 30 graus", eles o ensinam a "mover sua mão em direção àquela xícara". Eles ancoram todos os movimentos à visão da câmera. Se a câmera vê a xícara mover para a esquerda, o rob em vez de aprender a mover para a esquerda, independentemente do que seus próprios membros estão fazendo. Isso é como aprender a dirigir observando a estrada, não memorizando o quanto girar o volante.
O Contexto (Comportamento): Eles deram ao robô uma "janela de memória". Antes de fazer um movimento, o robô olha para o que acabou de fazer um segundo atrás. Isso o ajuda a se adaptar sobre a hora, como um humano ajustando o aperto se sente uma caixa escorregando.

Os Dados: O Truque de Mágica "Humano-para-Robô"

A equipe precisava de uma quantidade massiva de dados para treinar este cérebro. Eles não tinham milhões de horas de gravações caras de robôs. Então, usaram um truque inteligente: Síntese Humano-para-Robô.

A Fonte: Eles coletaram milhares de horas de vídeos de humanos realizando tarefas (como cozinhar ou limpar) filmados de uma perspectiva de primeira pessoa (como usando uma GoPro).
A Mágica: Eles usaram IA para "trocar" as mãos humanas nos vídeos por braços robóticos.
- Analogia: Imagine pegar um vídeo de um chef humano cortando vegetais. A IA observa a mão do humano se mover, entende onde a faca estaria e, então, substitui digitalmente a mão humana por um braço robótico, renderizando o braço robótico fazendo exatamente o mesmo corte.
O Resultado: Eles transformaram 1.900 horas de vídeos humanos em 24.800 horas de dados de robôs em 15 tipos diferentes de robôs.

No total, eles construíram uma biblioteca de treinamento de 38.100 horas de dados, usando apenas dados de código aberto (sem dados corporativos secretos).

Os Resultados: Isso Realmente Funciona?

A equipe testou o cérebro do robô de duas maneiras:

O Teste do "Livro Didático": Testes padrão onde o robô vê exatamente a mesma sala e objetos para os quais foi treinado. Aqui, o robô se saiu bem, mas muitos outros modelos também se saíram.
O "Teste do Mundo Real" (OOD): É aqui que a mágica aconteceu. Eles testaram o robô em novas salas, com novos objetos, iluminação diferente e até em robôs que nunca tinham visto antes.

As Descobertas:

Generalização: Enquanto outros robôs falhavam quando as luzes mudavam ou a mesa se movia, o Qwen-RobotManip continuava funcionando. Ele entendia o conceito da tarefa, não apenas o padrão visual.
Transferência entre Corpos: Eles treinaram o robô em um robô com dois braços (AgileX) e depois o testaram em um robô completamente diferente (como um braço Franka ou UR5) que nunca tinha visto. Ele teve sucesso onde outros falharam.
Autocorreção: Nos testes do mundo real, se o robô deixasse um objeto cair, ele não desistia. Ele tentava novamente, ajustando o aperto, muito parecido com um humano faria.
Seguimento de Instruções: Se você dissesse "Pegue a xícara vermelha", ele pegava a xícara vermelha, mesmo que a xícara estivesse em um lugar estranho ou a iluminação fosse ruim. Outros modelos frequentemente ignoravam a instrução e pegavam o que estivesse mais próximo.

A Conclusão

O artigo argumenta que o segredo para tornar os robôs inteligentes não é apenas coletar mais dados; é alinhar esses dados corretamente primeiro.

Pense nisso como construir uma biblioteca. Se você jogar livros de diferentes idiomas, tamanhos e formatos em uma pilha, ninguém conseguirá ler. Mas se você traduzir todos para uma linguagem padrão e organizá-los nas mesmas prateleiras, você poderá ler qualquer coisa.

O Qwen-RobotManip provou que, ao traduzir todos os dados de robôs e humanos para uma "linguagem comum" (ações alinhadas à câmera), você pode treinar um robô para ser um verdadeiro generalista — capaz de aprender novas tarefas e trabalhar em diferentes corpos sem precisar ser treinado do zero. Eles alcançaram isso usando apenas dados gratuitos, sugerindo que a barreira para construir robôs inteligentes pode ser menor do que pensávamos, desde que tenhamos as ferramentas de "tradução" corretas.

Resumo Técnico: Qwen-RobotManip: O Alinhamento Desbloqueia a Escala para Modelos de Fundação de Manipulação Robótica

Declaração do Problema

Embora os modelos de fundação em linguagem e multimodalidade tenham alcançado uma forte generalização ao alinhar fontes de dados heterogêneas sob uma formulação unificada, aplicar essa "receita de escala" à manipulação robótica permanece um desafio significativo. Diferente do texto, os dados de manipulação são inerentemente heterogêneos, caros de coletar e limitados em diversidade. Os atuais modelos de Visão-Linguagem-Ação (VLA) frequentemente exibem uma generalização superficial, apresentando bom desempenho em benchmarks padrão in-distribution, mas falhando quando testados além de configurações estreitas (por exemplo, diferentes embodiments robóticos, perturbações visuais ou instruções não vistas). O problema central identificado é que, sem um framework de alinhamento unificado, a escala do volume de dados entre diversos embodiments leva à interferência em vez de sinergia, pois representações incompatíveis de observação e ação impedem que o modelo aprenda habilidades físicas transferíveis.

Metodologia

1. Framework de Alinhamento de Cross-Embodiment Unificado

O núcleo do Qwen-RobotManip é um framework de alinhamento unificado projetado para tornar o treinamento em larga escala de múltiplas fontes coerente. Este framework opera em três dimensões:

Alinhamento de Representação: O modelo utiliza um vetor estado-ação canônico de 80 dimensões. Esta estrutura acomoda diversas morfologias robóticas (braço único, braços duplos, mãos destras, bases móveis) ao mapear graus de liberdade específicos para slots semânticos fixos (posições das juntas, pose do efetor final, estado da garra) e realizar o preenchimento com zeros (zero-padding) nas dimensões não utilizadas. Uma máscara binária por dimensão garante que os gradientes fluam apenas através de entradas semanticamente povoadas.
Alinhamento de Movimento: Para abordar a fragmentação causada por diferentes frames de coordenadas entre os conjuntos de dados, o modelo adota uma representação de pose delta no frame da câmera para ações do efetor final. Em vez de poses absolutas nos frames de base do robô, as ações são expressas como deltas relativos no sistema de coordenadas da câmera. Isso garante que movimentos visualmente semelhantes sejam numericamente próximos entre diferentes embodiments, facilitando a transferência de cross-embodiment. A geometria da câmera é injetada no especialista de ação via Codificação Posicional de Câmera (CaPE).
Alinhamento Comportamental: O modelo emprega um mecanismo de adaptação de política in-context. Ao condicionar as previsões de ação atuais em uma janela estruturada de histórico de execução recente (pares observação-ação) do mesmo episódio, a política se adapta às assinaturas cinemáticas e dinâmicas comportamentais específicas do robô atual sem atualizações de parâmetros. A amostragem de contexto estocástica durante o treinamento impede que o modelo dependa de atalhos de recência, forçando-o a aprender perfis comportamentais consistentes.

2. Corpus de Dados Escalável de Múltiplas Fontes

Para alcançar a escala necessária, os autores construíram um corpus de pré-treinamento de ~38.100 horas utilizando apenas conjuntos de dados de código aberto e vídeos de demonstração humana, evitando a coleta de dados proprietários.

Síntese Humano-para-Robô: Um pipeline converte ~1.933 horas de vídeos de manipulação de mãos humanas egocêntricas em trajetórias robóticas em 15 plataformas robóticas diferentes. Isso envolve retargeting de ação (mapeando pontos-chave da mão para poses de garra), alinhamento visual (inpainting de mãos humanas e renderização de modelos robóticos) e otimização de pose de base. Este processo gera ~24.808 horas de dados sintetizados.
Curadoria de Dados: Um pipeline rigoroso de múltiplos estágios filtra dados heterogêneos para identificar mudanças súbitas, alinhamento de tendência estado-ação, valores extremos e consistência cinemática (verificações de Cinemática Direta). Também inclui verificações de qualidade cross-modais para consistência de instrução e sobreposição de vídeo-estado.
Co-treinamento Visão-Linguagem: Para evitar o esquecimento catastrófico das capacidades perceptivas e de raciocínio, o modelo é treinado via uma estratégia de fluxo duplo. Ele otimiza conjuntamente o corpus de manipulação e um fluxo de visão-linguagem (VL) curado (~28M de pontos de dados), que inclui raciocínio de cadeia de pensamento incorporada (ECoT), compreensão de vídeo egocêntrico e tarefas de raciocínio espacial geral.

3. Arquitetura do Modelo

O Qwen-RobotManip é construído sobre o backbone Qwen-VL (Qwen3.5-4B), que codifica entradas multimodais. A geração de ação é tratada por um Transformer de Difusão de Correspondência de Fluxo (DiT) atuando como um especialista de ação. O backbone e o especialista são acoplados via atenção cruzada (cross-attention), onde o especialista fundamenta as previsões de ação tanto em observações espaciais quanto em instruções linguísticas. O modelo é treinado com um objetivo de correspondência de fluxo (flow-matching) para prever campos de velocidade para geração de ação contínua.

Principais Contribuições

Framework de Alinhamento Unificado: Introdução de uma representação de estado-ação canônica, parametrização de pose delta no frame da câmera e adaptação de política in-context que permite o treinamento coerente através de diversos embodiments.
Motor de Dados Escalável: Um pipeline de síntese humano-para-robô e um processo de curadoria que agrega ~38.100 horas de dados de manipulação de fontes abertas, demonstrando que o pré-treinamento em larga escala é viável sem dados proprietários.
Novo Padrão de Avaliação: Uma mudança dos benchmarks in-distribution para avaliação Out-of-Distribution (OOD). O artigo introduz novos benchmarks (RoboTwin-IF para seguimento de instrução, RoboTwin-XE para transferência de cross-embodiment) e utiliza configurações OOD existentes (LIBERO-Plus, RoboCasa365, EBench) para medir a generalização genuína.
Validação no Mundo Real: Validação extensiva em quatro plataformas físicas (AgileX ALOHA, Franka, UR, ARX) e ocupando o 1º lugar na trilha de generalista RoboChallenge Table30-v1.

Resultados

O Qwen-RobotManip demonstra melhorias substanciais sobre modelos anteriores de estado da arte (incluindo $\pi0.5$ , GR00T-N1.7 e StarVLA) em todos os eixos de avaliação OOD:

Generalização de Tarefa e Cena: Supera o $\pi0.5$ em 7,0 pontos no LIBERO-Plus, 21,5 pontos no desafiador cenário RoboTwin-Clean2Rand Hard e 18,5 pontos no EBench.
Seguimento de Instrução: Alcança 72,2% no novo benchmark RoboTwin-IF, uma melhoria de 22,6 pontos sobre o $\pi0.5$ , indicando um robusto condicionamento de linguagem.
Transferência de Cross-Embodiment: Em testes de transferência zero-shot (treinado em AgileX, testado em ARX, UR5, Franka), o modelo atinge uma taxa de sucesso de 23,9% usando ações de EEF no frame da câmera, o que é 3,2x maior que o $\pi0.5$ (7,5%) e supera significativamente as bases de espaço de junta (joint-space).
Desempenho no Mundo Real: Na trilha de generalista RoboChallenge Table30-v1, atinge uma taxa de sucesso de 45% e uma pontuação de processo de 59,83, ocupando o 1º lugar. Demonstra capacidades emergentes como comportamento espontâneo de tentativa (retry) quando as agarres falham e coordenação bimanual robusta em tarefas complexas como despejar batatas fritas ou conectar cabos.
Leis de Escala: Estudos de ablação confirmam que, com o alinhamento adequado (UnifiedEEF), o desempenho escala log-linearmente com o volume de dados, enquanto representações não alinhadas falham em mostrar benefícios de escala.

Significância e Alegações

O artigo argumenta que o alinhamento é um pré-requisito para a escala de dados na robótica. Sem uma formulação unificada que torne os movimentos físicos numericamente consistentes entre os embodiments, aumentar o volume de dados produz sinais conflitantes em vez de melhoria de capacidade.

Os autores afirmam que o Qwen-RobotManip fornece uma resposta afirmativa sobre se a receita de escala dos modelos de linguagem pode ser aplicada à robótica. Ao priorizar o alinhamento primeiro, o modelo alcança capacidades de generalização emergentes — incluindo seguimento de instrução zero-shot, robustez a perturbações, recuperação de erro reativa e transferência de cross-embodiment — utilizando apenas dados de código aberto.

Além disso, o artigo postula que os benchmarks padrão in-distribution são insuficientes como proxies para a capacidade de modelos de fundação, muitas vezes recompensando a memorização de padrões em vez da generalização genuína. Os autores defendem as configurações de avaliação OOD como o "norte" para medir modelos de fundação robótica, argumentando que a verdadeira generalização só é revelada quando os modelos são testados em tarefas, ambientes e embodiments não vistos. O trabalho sugere que a barreira de dados para modelos de fundação de manipulação pode ser menor do que o assumido, desde que infraestruturas robustas de síntese e curadoria estejam em vigor.