💻 computer science

DriftingVLA: Native One-Step Vision-Language-Action Generation via Per-Dimension Temporal Drifting

O DriftingVLA é um modelo nativo de visão-linguagem-ação de etapa única que utiliza um objetivo de deriva de distribuição com Deriva Temporal por Dimensão para gerar blocos de ação completos em uma única passagem direta, alcançando o estado da arte em tarefas de benchmark ao mesmo tempo em que oferece uma aceleração de 3,36 vezes em relação aos métodos convencionais baseados em fluxo de múltiplas etapas.

Autores originais: Yuxuan Gao, Shiqi Zhang, Yedong Shen, Yifan Duan, Wenhao Yu, Xin Zhang, Siyuan Cao, Jiajun Deng, Yanyong Zhang

Publicado 2026-09-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuxuan Gao, Shiqi Zhang, Yedong Shen, Yifan Duan, Wenhao Yu, Xin Zhang, Siyuan Cao, Jiajun Deng, Yanyong Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Robôs que podem ver, compreender a linguagem e mover-se com fluidez humana têm sido o sonho da inteligência artificial há muito tempo. Durante anos, pesquisadores construíram sistemas que combinam uma poderosa compreensão visual e linguística com a capacidade de controlar braços robóticos. Esses sistemas, conhecidos como modelos de visão-linguagem-ação, atuam como o cérebro do robô, processando o que a câmera vê e as palavras que um humano diz, para então decidir como mover as articulações do robô para completar uma tarefa. No entanto, um gargalo significativo tem impedido essas máquinas de alcançar uma verdadeira responsividade em tempo real. Para gerar uma sequência suave de movimentos, esses modelos tradicionalmente dependem de um processo complexo de múltiplas etapas. Imagine tentar desenhar um círculo perfeito fazendo pequenas correções hesitantes em cada ponto ao longo da linha; o robô tem que calcular um caminho, dar um passo, verificar seu trabalho e, então, dar outro passo, repetindo este ciclo muitas vezes para cada movimento que faz. Embora este método produza resultados de alta qualidade, ele é lento, introduzindo um atraso que faz o robô parecer lento e pouco responsivo em um mundo dinâmico.

Uma equipe de pesquisadores apresentou agora uma nova abordagem que muda fundamentalmente a forma como esses robôs planejam seus movimentos, permitindo que gerem uma sequência completa de ações em um único instante. O trabalho deles, centrado em um sistema que chamam de DriftingVLA, substitui o lento processo de correção iterativa por um método que aprende a prever todo o movimento futuro de uma só vez. Em vez de calcular um caminho passo a passo durante a tarefa real, o sistema aprende uma conexão direta entre um ponto de partida aleatório e o movimento final desejado durante sua fase de treinamento. Essa mudança permite que o robô ignore completamente os cálculos repetitivos durante a execução, saltando diretamente para a ação correta. Em testes envolvendo tarefas de manipulação complexas, este novo método não apenas igualou a precisão dos sistemas antigos e mais lentos, mas também tornou o robô mais de três vezes mais rápido, reduzindo o tempo necessário para decidir sobre um movimento de mais de duzentos milissegundos para menos de setenta.

O cerne desta descoberta reside em como os pesquisadores ensinaram o robô a compreender a relação entre suas diferentes partes móveis. Um braço robótico não se move apenas em uma única linha; ele possui múltiplos membros e graus de liberdade que devem trabalhar juntos, como mover-se para frente, rotacionar e abrir uma garra. Tentativas anteriores de acelerar esses sistemas frequentemente tratavam todo o movimento como um grande bloco ou o dividiam em momentos minúsculos e desconectados no tempo. A nova abordagem, no entanto, reconheceu que cada direção específica de movimento — como o levantamento vertical de uma garra ou a rotação de um pulso — possui seu próprio ritmo e padrão estatístico único. Os pesquisadores desenvolveram uma técnica chamada Per-Dimension Temporal Drifting (Desvio Temporal por Dimensão), que trata o histórico completo de cada direção de movimento individual como uma unidade separada a ser aprendida. Isso permite que o sistema compreenda as nuances específicas de como uma garra deve abrir ou como um pulso deve girar, sem forçar esses diferentes movimentos a se conformarem a uma regra matemática única e rígida.

Crucialmente, este método não sacrifica a capacidade do robô de coordenar seus membros. Mesmo que o sistema aprenda os padrões de cada direção de movimento separadamente, ele ainda gera todo o plano de ação como um todo unificado. O cérebro do robô, que compreende linguagem e visão, permanece intacto e continua a guiar o especialista em ação que produz os movimentos. Ao treinar o sistema para refinar suas previsões através de muitos cenários de "e se" simultaneamente, os pesquisadores garantiram que a decisão de etapa única final fosse tão precisa quanto o resultado de um cálculo lento de múltiplamente etapas. Isso significa que o robô ainda pode realizar tarefas delicadas, como despejar líquido de um recipiente para outro ou empilhar blocos com dois braços trabalhando em sincronia, sem a hesitação que assolava os modelos anteriores.

Os pesquisadores testaram este novo sistema tanto em ambientes simulados quanto no mundo real para ver se a velocidade vinha ao custo da confiabilidade. Em uma série de simulações desafiadoras envolvendo tarefas como pegar objetos e rearranjá-los, o novo sistema alcançou uma taxa de sucesso de quase 98,3%, superando ligeiramente os melhores modelos de múltiplas etapas existentes. Quando transferido para um cenário do mundo real com braços robóticos físicos, o sistema manteve sua vantagem, obtendo sucesso em 77,67% dos testes em seis tarefas diferentes, incluindo desafios de coordenação de braço único e de braços duplos. Este desempenho foi notavelmente superior a outros métodos de etapa única que tentaram acelerar os sistemas antigos simplesmente encurtando seu processo de cálculo, o que frequentemente resultava em uma queda significativa na precisão. O novo método provou que, ao mudar a forma como o sistema aprende, em vez de apenas como ele calcula, é possível alcançar tanto velocidade quanto precisão.

Além dos números brutos, o estudo destacou os ganhos de eficiência decorrentes da remoção do loop de cálculo repetitivo. No mundo real, onde cada fração de segundo conta, o novo sistema reduziu o tempo necessário para gerar um bloco de movimento de 227,61 milissegundos para 67,67 milissegundos. Isso representa uma aceleração de mais de três vezes, eliminando efetivamente o lag que faz os robôs parecerem desconectados de seu ambiente. Embora o processo de treinamento tenha exigido um pouco mais de poder computacional para lidar com os múltiplos cenários de "e se" durante a fase de aprendizado, este custo é um investimento único. Uma vez treinado, o robô opera com uma eficiência de etapa única e enxuta que não demanda recursos extras. O trabalho demonstra que o futuro da robótica responsiva pode não residir na construção de computadores mais rápidos para rodar algoritmos mais lentos, mas sim no redesenho dos próprios algoritmos para que sejam inerentemente diretos e imediatos.

Resumo Técnico: DriftingVLA

Declaração do Problema

Modelos de Visão-Linguagem-Ação (VLA) convencionais, particularmente aqueles baseados em correspondência de fluxo (ex: $\pi_0$ , $\pi_{0.5}$ ), destacam-se na geração de blocos de ação expressivos e contínuos. No entanto, eles dependem de integração numérica iterativa durante a inferência para recuperar ações a partir de um campo vetorial aprendido. Esse processo requer múltiplas avaliações sequenciais do especialista de ação (por exemplo, 10 Avaliações de Função de Rede ou NFEs), introduzindo uma latência significativa que dificulta o controle robótico online em tempo real.

Embora esforços recentes tenham tentado acelerar essas políticas via destilação (ex: SnapFlow) ou adaptando formulações de fluxo para predição de passo único (ex: MeanFlowVLA), esses métodos ainda permanecem derivados do processo de transporte em tempo de inferência. Há uma necessidade de um VLA nativo de passo único que gere um bloco de ação completo em uma única passagem direta (forward pass), sem depender de refinamento iterativo ou solvers numéricos durante a implantação, mantendo ao mesmo tempo o alto desempenho de controle das políticas de fluxo de múltiplos passos.

Metodologia

Os autores propõem o DriftingVLA, um framework que desloca o fardo do refinamento da distribuição da integração em tempo de inferência para a otimização em tempo de treinamento usando Desvio de Distribuição (Distribution Drifting).

1. Geração Nativa de Passo Único via Desvio de Distribuição

Ao contrário dos modelos baseados em fluxo que aprendem um campo de velocidade $v_\theta$ para ser integrado ao longo do tempo, o DriftingVLA aprende um mapeamento direto $f_\theta$ de ruído Gaussiano para um bloco de ação completo.

Objetivo de Treinamento: O modelo utiliza uma formulação de Política Baseada em Desvio (DBP). Durante o treinamento, para um contexto $c_t$ dado, o modelo gera $G$ blocos de ação irmãos a partir de amostras latentes independentes. Um "campo de desvio" é construído utilizando atração em direção a trajetórias demonstradas e repulsão de irmãos gerados.
Otimização: Em vez de aplicar o campo de desvio iterativamente na inferência, as correções são absorvidas nos parâmetros do gerador via um objetivo de regressão com parada de gradiente (stop-gradient). Uma vez treinado, a política executa uma única passagem direta: $\hat{A}_t = f_\theta(Z_t, c_t)$ , onde $Z_t$ é uma única amostra de ruído.
Adaptação de Arquitetura: O DriftingVLA mantém o backbone multimodal pré-treinado (VLM) do $\pi_{0.5}$ , mas inicializa do zero o especialista de ação. O especialista de ação é retreinado para mapear o ruído diretamente para blocos de ação, em vez de prever velocidades de fluxo. O VLM e o especialista de ação são pós-treinados conjuntamente, com o contexto multimodal compartilhado entre as amostras irmãs para evitar computação redundante.

2. Desvio Temporal por Dimensão (PDTD)

Um desafio crítico ao estender o desvio de distribuição para VLAs é definir a geometria do bloco de ação $A \in \mathbb{R}^{H \times D}$ (onde $H$ é o horizonte temporal e $D$ é a dimensão da ação).

Limitações de Organizações Existentes:
- Desvio por Bloco (Chunk-wise Drifting): Achata o bloco inteiro, misturando canais de ação heterogêneos (ex: translação, rotação, garra) em uma única geometria. Isso causa interferência entre canais, onde a escala de uma dimensão afeta o sinal de desvio de outras.
- Desvio por Passo (Step-wise Drifting): Trata cada passo de tempo de forma independente, fragmentando a trajetória temporal de canais de ação individuais.
Solução PDTD: Os autores introduzem o Desvio Temporal por Dimensão (Per-Dimension Temporal Drifting - PDTD), que trata a trajetória temporal completa de cada dimensão de ação individual ( $A_{:,d} \in \mathbb{R}^H$ $A_{:, d} \in R^{H}$ ) como uma unidade de desvio separada.
- Geometria: Estatísticas de desvio (escalas de distância, afinidades, forças) são computadas independentemente para cada dimensão de ação $d$ .
- Geração Conjunta: Crucialmente, o PDTD fatoriza apenas a geometria de treinamento, não o gerador em si. O modelo VLA compartilhado ainda gera o bloco completo $H \times D$ conjuntamente, preservando as dependências entre dimensões necessárias para o controle coordenado.

Principais Contribuições

VLA Nativo de Passo Único: A extensão da geração baseada em desvio nativo para VLAs pré-treinados baseados em fluxo. Isso é alcançado preservando o backbone multimodal pré-treinado enquanto se reaprende a interface de ação como um gerador condicional direto, eliminando a necessidade de integração numérica ou destilação de trajetória de fluxo durante a implantação.
Desvio Temporal por Dimensão (PDTD): Uma nova organização para o desvio de blocos de ação que respeita as distintas semânticas de controle e características de distribuição de diferentes dimensões de ação. O PDTD preserva trajetórias temporais completas por canal enquanto separa geometrias de canais heterogêneos, superando as abordagens de Desvio por Bloco e por Passo.
Avaliação Abrangente: Uma avaliação extensa através de benchmarks de simulação (LIBERO, RoboTwin 2.0) e seis tarefas de manipulação de braço único e duplo no mundo real, demonstrando que a geração nativa de passo único pode igualar ou exceder o desempenho de políticas de fluxo iterativas, reduzendo significativamente a latência.

Resultados Experimentais

Desempenho em Simulação:
- LIBERO: O DriftingVLA alcançou uma taxa de sucesso geral de 98,32%, superando a política original de 10-NFE $\pi_{0.5}$ (97,10%) e a linha de base de passo único SnapFlow (97,48%).
- RoboTwin 2.0: O DriftingVLA atingiu 81,09%, excedendo o $\pi_{0.5}$ de 10-NFE em 1,51 pontos e o SnapFlow em 2,56 pontos. Notavelmente, um truncamento de passo único padrão da política $\pi_{0.5}$ caiu para 63,76%, destacando a necessidade do treinamento nativo.
Desempenho no Mundo Real:
- Em seis tarefas do mundo real (braço único e duplo), o DriftingVLA alcançou uma taxa de sucesso de 77,67%, superando o $\pi_{0.5}$ (74,22%) e outras linhas de base de passo único por margens significativas.
- O PDTD consistiu em superar as variantes de Desvio por Bloco e por Passo tanto em simulação quanto em configurações do mundo real.
Eficiência:
- Latência: A geração nativa de passo único reduziu a latência do bloco de ação de 227,61 ms (10-NFE) para 67,67 ms, um aceleração de 3,36×.
- Sobrecarga de Treinamento: Aumentar o número de amostras irmãs ( $G$ ) de 2 para 8 aumentou as horas de GPU de treinamento em apenas 3,78% e a memória de pico em 9,54%, devido ao design de amostragem de contexto compartilhado.

Significância

O artigo demonstra que o refinamento iterativo de ação pode ser removido do loop de implantação sem sacrificar o desempenho de controle. Ao mover o refinamento da distribuição para a fase de treinamento via desvio de distribuição e utilizar uma geometria temporal por dimensão, o DriftingVLA alcança a implantação nativa de passo único. Essa abordagem resolve o gargalo de latência dos VLAs baseados em fluxo, mantendo a expressividade e as capacidades de coordenação necessárias para a manipulação robótica complexa, oferecendo um caminho viável para o controle robótico de alto desempenho e tempo real.