💻 computer science

Jetson-PI: Towards Onboard Real-Time Robot Control via Foresight-Aligned Asynchronous Inference

O Jetson-PI é um framework inovador para o implante de modelos de Visão-Linguagem-Ação em dispositivos embarcados de baixa potência como o Jetson Orin, que alcança controle em tempo real ao combinar um módulo de correção futura alinhado à previsão para resolver o desalinhamento percepção-execução com escalonamento baseado em confiança e otimizações de nível de sistema para minimizar o tempo de reação e a latência.

Autores originais: Zebin Yang, Qi Wang, Yunhe Wang, Xiurui Guo, Bo Yu, Shaoshan Liu, Jiafeng Xu, Hao Dong, Meng Li

Publicado 2026-07-15

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zebin Yang, Qi Wang, Yunhe Wang, Xiurui Guo, Bo Yu, Shaoshan Liu, Jiafeng Xu, Hao Dong, Meng Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô a dobrar uma camisa ou pegar uma tigela. Você dá a ele um cérebro (um modelo de IA super inteligente) que olha para uma imagem e um comando como "pegue a tigela preta" e então diz ao braço do robô o que fazer. Isso é chamado de um modelo de Visão-Linguagem-Ação (VLA).

O problema? Esses cérebros são enormes e famintos. Se você tentar rodar eles no próprio computador embarcado do robô (como um Jetson Orin, que é poderoso, mas minúsculo comparado a um desktop), o robô fica travado em "modo de pensamento". Leva muito tempo para calcular o próximo movimento e, quando o robô finalmente se move, o mundo já mudou. É como tentar pegar uma bola usando óculos que mostram onde a bola estava um segundo atrás, não onde ela está agora. O robô erra.

A Grande Ideia: "Previsão" e "Async"
Os autores deste artigo, Jetson-PI, criaram uma maneira inteligente de fazer esses robôs pensarem mais rápido e se moverem de forma mais inteligente sem precisar de um supercomputador massivo e voraz por energia. Eles chamam o método deles de Jetson-PI.

Aqui está como eles resolveram as duas principais dores de cabeça:

1. A Correção do "Viagem no Tempo" (Resolvendo o Desalinhamento)

O Problema: No modo antigo, o robô olha para uma imagem, pensa por um longo tempo (digamos, 1,4 segundos) e então se move. Mas nesses 1,4 segundos, o robô pode já ter batido em algo, ou o objeto pode ter se deslocado. O robô está agindo com base em "notícias antigas".

A Solução: Em vez de apenas esperar, o Jetson-PI usa um truque de "Alinhamento de Previsão" (Foresight-Aligned). Imagine que o robô tem uma pequena e super rápida bola de cristal (um módulo de correção futura leve).

O robô se compromete com um movimento (como "alcançar a tigela").
A bola de cristal prevê instantaneamente como o mundo parecerá depois que esse movimento terminar.
O robô então usa essa "visão futura" para planejar o próximo movimento.

É como um jogador de xadrez que não apenas olha para o tabuleiro agora, mas visualiza instantaneamente o tabuleiro após o próximo movimento do oponente, permitindo planejar seu próprio próximo movimento perfeitamente. Isso impede que o robô aja com base em informações desatualizadas.

2. A Correção do "Pulo Inteligente" (Resolvendo a Reação Lenta)

O Proble Para: Mesmo com a bola de cristal, o robô ainda precisa verificar o mundo real ocasionalmente. Mas verificar o mundo é lento porque o "cérebro grande" (um VLM) é pesado. Se você verificar o mundo toda vez, o robô se moverá muito devagar.

A Solução: Os autores introduziram um "Agendador Baseado em Confiança" (Confidence-Based Scheduler).

A bola de cristal (módulo de futuro) também possui um "medidor de confiança". Ela diz: "Estou 90% certa de que sei o que está acontecendo a seguir!"
Se a confiança for alta, o robô pula a verificação do cérebro pesado e apenas usa a bola de cristal para continuar se movendo. É como dirigir em uma estrada familiar onde você não precisa checar o GPS a cada segundo.
Se a confiança cair (talvez o robô esteja pegando um objeto difícil), o agendador diz: "Ok, pausa! Vamos verificar o mundo real com o cérebro grande para garantir".

Isso significa que o robô só faz o trabalho pesado quando é absolutamente necessário, tornando-o muito mais ágil.

3. A "Atualização do Sistema" (Acelerando o Motor)

Os autores também perceberam que o software rodando no robô estava sendo ineficiente. Eles trataram o computador do robô como uma cozinha movimentada:

Não Reconstruir o Forno: Em vez de reconstruir as instruções de cozimento (o grafo de computação) toda vez, eles construíram uma vez e a reutilizaram.
Não Caminhar até a Geladeira: Eles mantiveram todos os ingredientes (dados) logo ali no balcão (memória GPU) para que o chef não tivesse que andar de um lado para o outro até a geladeira (memória CPU).
Desdobrar os Passos: Eles combinaram muitos passos pequenos em um único movimento grande e suave.

Os Resultados: Isso Funciona?

Os autores testaram isso em simulações e em robôs reais.

Velocidade: Em um Jetson Orin, o método deles tornou a frequência de controle do robô 8,66 vezes mais rápida do que usando o PyTorch padrão e 5,41 vezes mais rápida do que usando uma ferramenta chamada vla.cpp.
Sucesso: Em um teste chamado LIBERO (um benchmark para tarefas de robótica), o robô deles teve sucesso 14,8% mais vezes do que um método anterior de topo chamado VLASH.
Bateria: Eles mostraram que usar uma placa de desktop poderosa (RTX 4090) drenaria a bateria de um robô 6,0 vezes mais rápido do que usar o próprio Jetson Orin embarcado. O Jetson-PI permite que o robô funcione em sua própria bateria por muito mais tempo.

O Que Eles Dizem Explicitamente Que Não Funciona
Os autores testaram algumas ideias e descartaram:

Processamento Paralelo: Eles tentaram rodar o "cérebro grande" e o "especialista em ação" ao mesmo tempo para economizar tempo. Eles descobriram que isso falha em computadores embarcados pequenos porque ambos lutam pela mesma largura de banda de dados limitada, atrasando tudo. Isso só funciona em grandes computadores desktop.
Apenas Prever o Estado do Robô: Métodos anteriores tentavam adivinhar onde o braço do robô estaria no futuro. Os autores descobriram que isso não é suficiente porque não leva em conta como o ambiente (a mesa, os objetos) muda. Você precisa prever o ambiente, não apenas o robô.

O Quão Certos Eles Estão?
O artigo é muito confiante nos números que mediram. Eles realizaram simulações extensas no benchmark LIBERO e testaram em robôs reais (como o X2-W) em um ambiente de laboratório. Eles mediram exatamente os milissegundos de atraso e as taxas exatas de sucesso. Eles afirmam claramente que, embora seu método seja um enorme avanço para robôs móveis, ele ainda não consegue igualar totalmente o poder bruto de um cluster massivo de supercomputadores se os modelos ficarem ainda maiores no futuro. Mas para um robô que precisa se mover com sua própria bateria? Eles sugerem que esta é uma solução prática e funcional.

Em resumo, o Jetson-PI ensina um robô a "pensar à frente" e "pular o trabalho pesado" quando é seguro, permitindo que ele se mova de forma rápida e inteligente sem precisar de um supercomputador em sua mochila.

Resumo Técnico: Jetson-PI

Declaração do Problema

Modelos de Visão-Linguagem-Ação (VLA) têm demonstrado um desempenho notável em tarefas incorporadas ao aproveitar Modelos de Visão-Linguagem (VLMs) pré-treinados e realizar o ajuste fino em conjuntos de dados de demonstração robótica. No entanto, implantar esses modelos em dispositivos embarcados de baixa potência (ex: NVIDIA Jetson Orin) enfrenta duas barreiras críticas:

Alta Latência de Inferência: A complexidade computacional dos modelos VLA resulta em uma latência de inferência substancial (ex: ~~1,4s no Jetson Orin), levando a frequências de controle baixas (~~0,7 Hz) e tempos de reação lentos.
Limitações da Inferência Assíncrona Existente: Embora a inferência assíncrona (paralelizando a execução da ação com a próxima inferência) possa ocultar a latência, ela introduz dois problemas específicos em dispositivos de borda:
- Desalinhamento Percepção-Execução: No momento em que um bloco de ação (action chunk) é previsto e executado, o ambiente evoluiu em relação à imagem de entrada usada para a previsão. Esse desalinhamento piora com tempos de inferência mais longos, fazendo com que a precisão da previsão caia.
- Tempo de Reação Longo: A velocidade de reação do robô permanece limitada pelo tempo de inferência do VLA. Além disso, os métodos assíncronos existentes frequentemente exigem grandes blocos de ação para manter a estabilidade, o que aumenta ainda mais o tempo de reação médio às mudanças ambientais.

Implantar modelos VLA em GPUs de alto desempenho (ex: RTX 4090) não é uma solução viável para robótica móvel devido a sérios problemas de consumo de energia (reduzindo a vida útil da bateria em 6,0×) e à necessidade de conectividade de rede se executados como servidores.

Metodologia: Jetson-PI

Os autores propõem o Jetson-PI, um framework para implantação eficiente de VLA em dispositivos embarcados via Correção Assíncrona Alinhada à Previsão (Foresight-Aligned Asynchronous Correction). O método aborda os desafios identificados através de três componentes principais:

1. Correção Assíncrona Alinhada à Previsão

Para resolver o desalinhamento percepção-execução, os autores introduzem um módulo de Correção Futura (Future Correction Module) leve.

Mecanismo: Em vez de prever apenas imagens futuras ou estados do robô, este módulo prevê a representação comprimida futura do VLM (estado latente) no tempo $t + \Delta$ (onde $\Delta$ é a latência de inferência), condicionado às ações assumidas para execução.
Treinamento: Um pipeline de treinamento de dois estágios é utilizado. Primeiro, o especialista de ação aprende a prever ações a partir de estados ocultos futuros. Segundo, o módulo de correção é treinado para prever esses estados futuros a partir do estado atual e das ações assumidas, gerando uma estimativa de confiança.
Benefício: Isso permite que o especialista de ação preveja ações baseadas no estado futuro do ambiente, em vez da observação obsoleta, alinhando a previsão com o tempo de execução. O módulo é extremamente leve (40M de parâmetros, ~1% do tamanho total do VLA).

2. Otimização de Agendamento Baseada em Confiança

Para reduzir o tempo de reação, os autores propõem uma estratégia de agendamento dinâmica que equilibra as invocações do VLM e do Especialista de Ação.

Lógica: O Módulo de Correção Futura atua como um agendador. Se sua confiança prevista estiver acima de um limiar $\theta$ , o sistema pula a pesada inferência do VLM e depende exclusivamente do Especialista de Ação para gerar subsequentes blocos de ação. Se a confiança cair (indicando alta incerteza ou mudança significativa no ambiente), o VLM é invocado para atualizar o cache KV e os estados ocultos.
Racional: Isso evita a abordagem "ingênua" de executar o VLM e o Especialista de Ação em paralelo, que os autores mostram ser ineficiente em dispositivos de borda devido à contenção de largura de banda (ambos os componentes tornam-se limitados por largura de banda em hardware de borda, ao contrário de GPUs de alto desempenho onde o VLM é limitado por computação).

3. Acelerações de Nível de Sistema

Os autores construíram um framework de inferência baseado em llama.cpp adaptado para as características de VLA em plataformas de borda:

Reuso de CUDA Graph: Como os comprimentos de tokens do VLA são determinísticos (resolução de imagem fixa e instruções curtas), o grafo CUDA é construído uma única vez e reutilizado, eliminando o overhead de construção do grafo.
Buffering Intermediário Residente na GPU: Resultados intermediários entre componentes (ViT $\to$ LLM $\to$ Especialista de Ação) são mantidos na memória da GPU para evitar a latência de comunicação CPU-GPU.
Unrolling de Flow Matching: As etapas de denoising iterativas do Especialista de Ação são desdobradas (unrolled) em um único grafo de computação unificado, reduzindo o número de chamadas de lançamento de kernel.

Principais Contribuições

Identificação de Desafios Específicos de Borda: O artigo destaca que a inferência assíncrona padrão falha em dispositivos de borda devido à contenção de largura de banda e à natureza específica do desalinhamento percepção-execução, que não pode ser resolvido apenas prevendo estados do robô.
Correção Alinhada à Previsão: Um módulo inovador que prevê latentes futuros do VLM condicionados às ações assumidas, permitindo que o especialista de ação opere em representações ambientais futuras.
Agendamento Adaptativo: Um mecanismo impulsionado por confiança que ajusta dinamicamente a frequência das invocações do VLM, reduzindo significativamente o tempo de reação sem sacrificar a precisão.
Mecanismo de Inferência Otimizado para Borda: Um design de sistema que utiliza reuso de grafos, residência de memória e unrolling para maximizar o throughput em dispositivos limitados por largura de banda.

Resultados Experimentais

Os autores avaliaram o Jetson-PI no benchmark LIBERO (usando o modelo $\pi0.5$ ) e em robôs reais (PrimeBot X2-W).

Frequência de Controle: No NVIDIA Jetson Orin, o Jetson-PI alcança uma melhoria de 8,66× na frequência de controle em comparação com a inferência PyTorch ingênua e uma melhoria de 5,41× em comparação com o vla.cpp.
Taxa de Sucesso: No benchmark LIBERO, o Jetson-PI supera o método assíncrono de última geração VLASH em 14,8% na taxa de sucesso média. Ele mantém alta precisão mesmo quando a latência de inferência ( $\Delta$ ) aumenta, enquanto o VLASH e o RTC (Reinforced Trajectory Correction) degradam significativamente.
Desempenho no Mundo Real: Em experimentos no mundo real envolvendo tarefas complexas como dobrar roupas, o Jetson-PI em um Jetson Orin alcançou desempenho comparável a uma configuração de RTX 4090, com perda de precisão negligenciável em relação à linha de base de alto desempenho.
Detalhamento de Latência: As otimizações do sistema (reuso de grafos, buffering, unrolling) reduziram o tempo de reação total de ~1,4s para ~0,16s no Jetson Orin.

Significância e Alegações

O artigo afirma que o Jetson-PI fornece uma solução prática para implantar modelos VLA de larga escala em robôs móveis de baixa potência e operados por bateria. Ao abordar os gargalos específicos da computação de borda — especificamente a restrição de largura de banda e o hiato temporal entre percepção e execução — o método permite o controle robótico de alta frequência e responsivo sem os penalidades de energia de clusters de GPU de alto desempenho. Os autores enfatizam que, embora as plataformas embarcadas sejam fundamentalmente limitadas em comparação com clusters de GPU, o Jetson-PI oferece um caminho viável para expandir as aplicações de VLA de demonstrações laboratoriais para cenários reais e móveis.