💻 computer science

DreamTrajectory: Trajectory-Guided Action Generation with World Model Alignment for Mobile Manipulation

O DreamTrajectory é uma estrutura de trajetória guiada para manipulação móvel que melhora as políticas de Visão-Linguagem-Ação existentes ao prever conjuntamente trajetórias do efetor final e ações de corpo inteiro para guiar o movimento coordenado, enquanto emprega um modelo de mundo leve para refinamento em tempo de teste para alinhar as ações executadas com as trajetórias planejadas, aumentando significativamente as taxas de sucesso tanto em simulação quanto em tarefas reais ricas em contato.

Autores originais: Zheng Yang, Wenjie Zhang, Xiangyu Chen, Wenxuan Song, Xianpeng Wang, Yihang Kang, Wen Chen, Lujia Wang, Renjing Xu, Xiaowen Chu

Publicado 2026-08-04

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zheng Yang, Wenjie Zhang, Xiangyu Chen, Wenxuan Song, Xianpeng Wang, Yihang Kang, Wen Chen, Lujia Wang, Renjing Xu, Xiaowen Chu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um robô que não está apenas preso a uma mesa ou a um chão de fábrica, mas que pode circular pela sua sala de estar, pegar uma caneca de café e entregá-la a você. Este é o sonho da manipulação móvel. É um canto complicado da robótica porque o robô tem que fazer duas coisas ao mesmo tempo: girar suas rodas para chegar ao lugar certo e mover seu braço para agarrar o objeto, tudo isso enquanto a câmera em sua cabeça vê o mundo girando e se deslocando. Pense nisso como tentar fazer malabarismo enquanto anda de monociclo; se você focar apenas no malabarismo, pode cair da bicicleta, mas se focar apenas na bicicleta, deixa as bolas caírem.

Por muito tempo, os robôs aprenderam a fazer isso olhando para uma imagem e um comando como "pegue a laranja" e imediatamente cuspindo uma lista de instruções de motor para cada roda e articulação. Mas isso é como tentar escrever um romance tentando adivinhar cada letra de uma vez sem um esboço do enredo. O robô frequentemente se perde na enorme quantidade de escolhas, o que leva a movimentos desajeitados ou colisões. Além disso, uma vez que o robô decide o que fazer, ele apenas faz cegamente, esperando pelo melhor. Se o chão estiver escorregadio ou o objeto for mais pesado do que o esperado, o robô não percebe que seu plano falhou até que já tenha derrubado a caneca. Os cientistas estão tentando consertar isso dando aos robôs uma maneira melhor de planejar e uma forma de conferir seu trabalho antes de se moverem.

Apresentamos o DreamTrajectory, uma nova abordagem que atua como um diretor inteligente para a performance de um robô. Em vez de apenas adivinhar os comandos motores finais, este sistema primeiro esboça um caminho de "sonho" para a mão do robô (o efetuador final) seguir. É como um coreógrafo desenhando uma rotina de dança em um quadro branco antes mesmo dos dançarinos começarem a se mover. O robô então gera os movimentos específicos de rodas e braço necessários para traçar esse esboço. Mas aqui está a parte inteligente: antes de o robô realmente se mover, ele executa uma rápida simulação mental. Ele pergunta: "Se eu tentar este movimento específico, minha mão realmente terminará onde planejei?". Ele testa algumas versões diferentes do movimento, escolhe a que melhor corresponde ao caminho do "sonho" e só então executa.

Os pesquisadores testaram essa ideia de duas maneiras. Primeiro, eles a executaram em uma simulação de computador chamada MS-HAB, onde os robôs praticam em mesas e geladeiras virtuais. Eles descobriram que, sem esse planejamento e verificação extras, os robôs tinham sucesso apenas cerca de 32,3% das vezes. Ao adicionar o caminho do "sonho", o sucesso saltou para 47,5%. Quando adicionaram a etapa de simulação mental para conferir os movimentos, a taxa de sucesso subiu ainda mais para 54,8%. A melhoria foi especialmente grande para tarefas complicadas que envolvem contato, como abrir uma porta de geladeira ou fechar um balcão, onde o robô tem que tatear através do movimento.

Eles não pararam na tela do computador. Eles também tentaram isso em um robô físico real, um ARX LIFT, no mundo real. Os resultados foram ainda mais impressionantes. Em tarefas como colher frutas e abrir gavetas, os robôs passaram de um sucesso de 63,3% para 81,7% com o planejamento de trajetória, e finalmente para 90,0% quando adicionaram a dupla checagem mental. O sistema funciona usando um "modelo de mundo" leve — um cérebro pequeno e rápido que prevê o que acontece a seguir — para pontuar diferentes escolhas de ação. Ele não precisa ser retreinado toda vez; ele apenas se conecta para ajudar o robô principal a tomar decisões mais inteligentes sobre a hora.

O artigo sugere que este método resolve dois grandes problemas: impede que o robô adivinhe cegamente em um vasto espaço de movimentos possíveis e impede que o robô execute ideias ruins ao checar o plano primeiro. Os autores observam que o sistema é muito eficiente, adicionando apenas uma quantidade minúscula de poder computacional extra (cerca de 11,75 milissegundos de atraso por etapa) para obter esses grandes ganhos. Embora os resultados sejam promissores, eles se baseiam em simulações específicas e um conjunto limitado de tarefas do mundo real, sugerindo que, embora a abordagem seja eficaz, ela é uma ferramenta específica para este tipo de robô móvel, não uma solução mágica para todos os problemas robóticos existentes.

Resumo Técnico: DreamTrajectory

Definição do Problema

A manipulação móvel exige que robôs coordenem a locomoção da base e a destreza do braço em ambientes não estruturados, operando sob condições de visualização e contato em constante mudança. Isso cria um espaço de ação significativamente maior e mais sensível a erros de execução do que a manipulação com base fixa. O artigo identifica duas limitações primárias nas atuais políticas de Visão-Linguagem-Ação (VLA) para este domínio:

Planejamento de Movimento Implícito: As VLAs atuais mapeiam observações diretamente para blocos de ação (action chunks) de corpo inteiro sem um plano de movimento explícito no espaço da tarefa. Essa falta de uma representação intermediária torna a predição coordenada de base e braço imprecisa, pois o movimento pretendido permanece implícito dentro do espaço de ação de alta dimensão.
Execução em Malha Aberta: As políticas existentes executam blocos de ação previstos em malha aberta. Elas carecem de mecanismos para verificar se as ações comandadas realizarão o movimento pretendido antes da execução. Consequentemente, erros de controle, colisões e contatos não modelados acumulam-se, criando um hiato entre o movimento planejado e o realizado, o que frequentemente leva à falha, particularmente em tarefas ricas em contato.

Metodologia: DreamTrajectory

Os autores propõem o DreamTrajectory, um framework guiado por trajetória que aborda essas limitações através de dois componentes principais: uma política de geração conjunta e um procedimento de refinamento em tempo de teste.

1. Geração de Ação Guiada por Trajetória

Em vez de mapear observações diretamente para ações, o DreamTrajectory prevê conjuntamente uma trajetória planejada do efetor final e um bloco de ação de corpo inteiro dentro de um único especialista de ação.

Representação: O movimento futuro do efetor final é representado como uma sequência de poses 7D (posição e orientação) em um referencial local ao bloco, ancorado na pose atual da base.
Arquitetura: O modelo utiliza um Transformer de fluxo duplo treinado via correspondência de fluxo condicional (conditional flow matching).
- Fluxo de Trajetória: Gera o caminho pretendido do efetor final.
- Fluxo de Ação: Gera os comandos de base e braço para realizar esse caminho.
Atenção Causal de Grupo: Uma máscara de atenção assimétrica é empregada, onde os tokens de ação atendem ao fluxo de trajetória completo, mas os tokens de trajetória não atendem aos tokens de ação. Isso garante que a trajetória sirva como um guia explícito no espaço da tarefa para a geração de ação, sem ser influenciada pelo processo de geração de ação.

2. Refinamento em Tempo de Teste via Modelo de Mundo de Trajetória

Para reduzir o hiato entre planejamento e execução, o DreamTrajectory introduz um modelo de mundo de trajetória condicionado à ação leve e um procedimento de busca–predição–pontuação (search–predict–score).

Modelo de Mundo: Um modelo recorrente (especificamente um GRU) prevê a trajetória do efetor final que um candidato a bloco de ação induziria, dado a observação e o estado atuais. Diferente de modelos analíticos, este é aprendido a partir de dados de interação para capturar desvios causados por contatos, auto-colisões e erros de controle.
Procedimento de Refinamento:
1. Amostragem: O sistema amostra $N$ candidatos a blocos de ação ao redor da proposta inicial da política (usando perturbações Gaussianas).
2. Predição: O modelo de mundo prevê a trajetória induzida para cada candidato em paralelo.
3. Pontuação: Os candidatos são classificados com base em uma função de pontuação que equilibra a concordância de trajetória (alinhamento entre a trajetória induzida prevista e a trajetória planejada) e a suavidade do movimento.
4. Seleção: O candidato com a maior pontuação é executado. Este processo atua como um estágio de plug-in que não requer o retreinamento da política principal.

Principais Contribuições

O artigo delineia três contribuições primárias:

Framework de Geração Conjunta: Formular a manipulação móvel como a geração conjunta de uma trajetória planejada do efetor final e um bloco de ação de corpo inteiro. Isso utiliza uma máscara de atenção causal de grupo para tornar a trajetória um guia explícito para o controle coordenado de base e braço.
Mecanismo de Refinamento Leve: Introduzir um modelo de mundo de trajetória condicionado à ação e um procedimento de busca–predição–pontuação. Este opera em um espaço de trajetória compacto em vez de espaço de pixels, permitindo um refinamento eficiente em tempo de teste sem retreinamento da política.
Validação Empírica: Demonstrar melhorias consistentes de desempenho tanto em tarefas de manipulação móvel simuladas (MS-HAB) quanto em uma plataforma física ARX LIFT (mundo real).

Resultados Experimentais

Os autores avaliaram o DreamTrajectory no benchmark MS-HAB (simulação) e em uma plataforma física ARX LIFT (mundo real).

Simulação (MS-HAB)

Avaliado em seis subtarefas de set_table (ex: pegar objetos, abrir/fechar geladeiras e balcões):

Baseline ( $\pi_{0.5}$ ): 32,3% de sucesso médio.
Com Guia de Trajetória (sem refinador): 47,5% de sucesso médio.
Full DreamTrajectory (com refinador): 54,8% de sucesso médio.
Ganhos Notáveis: As maiores melhorias foram observadas em tarefas de objetos articulados ricas em contato (ex: "Abrir Geladeira" melhorou de 5,0% para 51,0%; "Fechar Balcão" de 38,0% para 80,0%).

Experimentos no Mundo Real

Avaliado em três tarefas: coleta e colocação de frutas, abertura de gaveta e fechamento de gaveta.

Baseline ( $\pi_{0.5}$ ): 63,3% de sucesso médio.
Com Guia de Trajetória: 81,7% de sucesso médio.
Full DreamTrajectory: 90,0% de sucesso médio.
Especificidades: Coleta e colocação de frutas melhorou de 45,0% para 80,0%; abertura de gaveta de 60,0% para 90,0%.

Eficiência

O framework introduz um overhead computacional mínimo:

A cabeça de trajetória adiciona apenas 0,017M de parâmetros.
O modelo de mundo adiciona 49,02M de parâmetros (aprox. 1,40% da VLA subjacente de 3,5B de parâmetros).
O aumento total da latência de inferência é de aproximadamente 11,75 ms por etapa de replanejamento em uma RTX 4090.

Significância e Alegações

O artigo afirma que o DreamTrajectory fornece uma abordagem eficaz e computacionalmente leve para a manipulação móvel coordenada. Sua significância reside em:

Representação Intermediária Explícita: Ao introduzir uma trajetória explícita do efetor final, o sistema desacopla o que precisa ser feito (movimento no espaço da tarefa) de como fazer (controle de corpo inteiro), melhorando a precisão em espaços de ação de alta dimensão.
Mecanismo de Consistência: O refinamento em tempo de teste permite que o sistema avalie candidatos contra o movimento pretendido pela política antes da execução, filtrando efetivamente ações que falhariam devido a dinâmicas não modeladas ou contatos.
Complementaridade: Os resultados demonstram que o guia de trajetória e o refinamento do modelo de mundo são complementares; o guia melhora a geração inicial, enquanto o refinamento corrige desvios residuais entre plano e execução, levando a um desempenho robusto em cenários complexos e ricos em contato.