💻 computer science

RIO: Flexible Real-Time Robot I/O for Cross-Embodiment Robot Learning

Este artigo apresenta o RIO, um framework Python de código aberto projetado para superar a infraestrutura fragmentada de robôs, fornecendo componentes flexíveis e leves para controle e processamento de dados em diversas plataformas de hardware, permitindo assim o treinamento e a implantação eficientes de modelos de Visão-Linguagem-Ação de última geração em diferentes corporificações.

Autores originais: Pablo Ortega-Kral, Eliot Xing, Arthur Bucker, Vernon Luk, Junseo Kim, Owen Kwon, Angchen Xie, Nikhil Sobanbabu, Yifu Yuan, Megan Lee, Deepam Ameria, Bhaswanth Ayapilla, Jaycie Bussell, Guanya Shi, Jon

Publicado 2026-05-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Pablo Ortega-Kral, Eliot Xing, Arthur Bucker, Vernon Luk, Junseo Kim, Owen Kwon, Angchen Xie, Nikhil Sobanbabu, Yifu Yuan, Megan Lee, Deepam Ameria, Bhaswanth Ayapilla, Jaycie Bussell, Guanya Shi, Jonathan Francis, Jean Oh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a fazer tarefas domésticas, como dobrar uma camisa ou esfregar uma tigela. No mundo da robótica, isso é atualmente como tentar ensinar uma criança a falar todas as línguas diferentes do mundo, mas com uma pegadinha: toda vez que você troca para um robô diferente (um "corpo" ou "encarnação" diferente), você precisa reaprender completamente como falar com ele.

Se você tem um braço robótico de uma empresa e uma câmera de outra, o código que faz com que funcionem juntos é frequentemente um emaranhado de instruções personalizadas. Se quiser trocar para um braço robótico diferente, não pode apenas substituir a peça; muitas vezes é preciso reescrever todo o "cérebro" do robô do zero. Isso torna incrivelmente difícil e lento compartilhar avanços entre cientistas.

Apresentamos o RIO (Robot I/O).

Pense no RIO como um tradutor universal e um sistema modular "plug-and-play" para robôs. É um kit de software leve que permite aos pesquisadores combinar e trocar diferentes partes de robôs sem reescrever o código a cada vez.

Veja como funciona, usando algumas analogias simples:

1. A Abordagem "Lego" (Flexibilidade)

Imagine que você tem uma caixa de blocos de Lego. Alguns são braços robóticos, outros são garra (mãos), alguns são câmeras e outros são controladores de teleoperação (as coisas que humanos usam para mover o robô).

Sem o RIO: Você precisa colar os blocos juntos com cola superforte e permanente. Se quiser trocar o braço, precisa desmontar tudo e começar de novo.
Com o RIO: Os blocos têm conectores padrão. Você pode encaixar um "braço Franka" em uma "garra Robotiq" ou um "óculos de realidade virtual" em um "robô humanoide" apenas alterando um arquivo de configuração. A lógica central (o "cérebro" que diz ao robô o que fazer) permanece exatamente a mesma; apenas o "corpo" muda.

2. A "Fita de Energia Universal" (Middleware)

Robôs precisam conversar entre si em velocidade da luz. Geralmente, partes diferentes falam "línguas" (protocolos) diferentes.

Solução do RIO: Ele age como uma régua de energia inteligente ou um adaptador universal. Ele fica entre o hardware do robô e o software. Seja você usando uma conexão de memória compartilhada de alta velocidade (como duas pessoas sussurrando diretamente na mesma sala) ou uma conexão de rede (como falar pela internet), o RIO lida com a tradução automaticamente. Isso significa que você pode trocar o método de comunicação sem alterar o código do robô.

3. O Controle Remoto de "Teleoperação"

Para ensinar um robô, humanos frequentemente o "teleoperam" — ou seja, usam um controlador e movem o robô com suas próprias mãos.

O RIO suporta uma enorme variedade desses controladores: desde teclados e gamepads simples até óculos de realidade virtual de alta tecnologia (como o Apple Vision Pro) e braços robóticos especializados que imitam o movimento humano.
O artigo mostra que você pode usar o mesmo software para controlar um único braço robótico, um robô de dois braços ou até mesmo um humanoide de tamanho real andando por aí, apenas trocando o controlador e o corpo do robô.

4. O "Motorista Inteligente de Entrega" (Inferência de Política)

Uma vez que o robô é treinado, ele precisa tomar decisões (como "pegar a xícara") e se mover. Isso é chamado de "inferência".

O RIO foi projetado para ser rápido. Ele separa o "pensar" (executar o modelo de IA) do "fazer" (enviar comandos para os motores).
O artigo compara o RIO a outro sistema popular chamado LeRobot. Eles descobriram que o RIO é muito mais rápido ao levar um comando da câmera para a mão do robô.
- LeRobot: Levou cerca de 581 milissegundos (um tempo longo na velocidade de robôs).
- RIO: Levou apenas 130 milissegundos.
- Analogia: Se o LeRobot é como enviar uma carta pelo correio, o RIO é como enviar uma mensagem de texto. Essa velocidade é crucial para tarefas dinâmicas, como virar uma tortilha ou jogar uma bola, onde um atraso de fração de segundo causa falha.

O Que Eles Realmente Fizeram?

Os autores não apenas construíram a ferramenta; eles a testaram no mundo real. Eles usaram o RIO para:

Coletar dados por meio de humanos controlando robôs para realizar tarefas domésticas (dobrar camisas, esfregar tigelas, pegar caixas).
Treinar modelos avançados de IA (como π0.5 e GR00T) com esses dados.
Implantar esses modelos treinados em três tipos muito diferentes de robôs:
1. Robôs de braço único (como um braço de fábrica padrão).
2. Robôs bimanuais (robôs com dois braços).
3. Humanoides (robôs que parecem e andam como humanos).

Eles conseguiram fazer com que esses robôs dobrassem roupas, pegassem objetos e até mesmo caminhassem, provando que a mesma pilha de software pode acionar hardware completamente diferente.

A Conclusão

O artigo argumenta que o maior gargalo na aprendizagem de robôs não é apenas ter mais dados ou melhores modelos de IA; é a infraestrutura. Cientistas estão atualmente desperdiçando muito tempo construindo "fiação" personalizada para cada novo robô.

RIO é uma ferramenta gratuita e de código aberto que fornece a "fiação" de uma vez por todas. Ela permite que a comunidade de robótica pare de reinventar a roda e comece a focar em ensinar robôs a fazer coisas mais complexas e úteis, independentemente de como o robô se parece.

Resumo Técnico: RIO – I/O de Robô em Tempo Real Flexível para Aprendizado de Robôs Cross-Embodiment

Declaração do Problema

Apesar dos avanços recentes em modelos Visão-Linguagem-Ação (VLA) e da agregação de conjuntos de dados em grande escala e multi-embodiment (por exemplo, Open X-Embodiment), a implantação de políticas de robôs generalistas permanece impedida por infraestrutura fragmentada. O código robótico atual é tipicamente altamente específico para a configuração exata de hardware do usuário, criando sobrecarga significativa ao tentar reutilizar, compartilhar ou adaptar artefatos entre diferentes plataformas.

A questão central é a falta de uma infraestrutura completa de robô flexível, reutilizável e performática. Pesquisadores frequentemente enfrentam o ônus de reescrever pilhas de controle inteiras ao alternar entre morfologias de robôs (por exemplo, de um braço único para um humanoide) ou configurações de hardware (por exemplo, diferentes garras ou câmeras). Essa fragmentação impede o progresso cumulativo observado em outras áreas de aprendizado de máquina, onde abstrações de alto nível permitem iteração rápida em hardware diverso. Consequentemente, reproduzir resultados frequentemente exige replicar configurações de hardware um-a-um, ou empreender um esforço de engenharia substancial para adaptar políticas aprendidas a novas plataformas.

Metodologia: O Framework RIO

Para abordar esses desafios, os autores apresentam RIO (Robot I/O), um framework Python leve e de código aberto projetado para fornecer I/O flexível e em tempo real para aprendizado de robôs cross-embodiment. O RIO não é uma solução monolítica, mas um conjunto de blocos de construção reutilizáveis que permitem aos usuários compor pilhas de controle adaptadas às suas configurações específicas.

Filosofia de Design

O RIO é construído sobre cinco princípios:

Flexível: Agnóstico a componentes; os usuários podem escolher e alternar entre opções em cada camada (robôs, sensores, teleoperação, middleware, políticas) com mínima reconfiguração.
Reutilizável: Composto por blocos de construção leves que podem ser combinados rapidamente.
Acessível: Rápido de instalar, baseado em Python e controlado via um único arquivo de configuração e CLI.
Performático: Capaz de controle em tempo real de alta frequência com inferência de política assíncrona.
Consistente: Garante coleta de dados e aprendizado escaláveis e reproduzíveis.

Arquitetura do Sistema

O framework utiliza uma arquitetura baseada em Nós onde cada componente (interfaces de teleoperação, sensores, robôs, políticas) é implementado como um Node que herda de um modelo comum.

Nós e Middlewares: Os Nós herdam dinamicamente de um Middleware especificado (por exemplo, Memória Compartilhada, Zenoh, ZeroRpc, Threads, Portal) que trata a passagem de mensagens. Os Nós suportam três padrões de execução: apenas publicação, apenas solicitação ou combinado. Essa abstração permite que a mesma lógica seja executada em diferentes camadas de transporte (por exemplo, memória compartilhada local para depuração versus baseada em rede para robôs distribuídos).
Estações de Robô: A instanciação de todos os nós para um ambiente específico é agregada em um único arquivo de configuração de "estação" (um dataclass composável). Isso define a topologia de hardware (por exemplo, {braço, garra, câmera_de_pulso}). O loop de controle principal interage apenas com APIs de alto nível, desacoplando a lógica da aplicação das especificidades do hardware.
Teleoperação e Coleta de Dados: O RIO suporta diversos métodos de teleoperação, incluindo controle relativo do efetuador final (Spacemouse, Gamepad), mapeamento absoluto de juntas (Leader-Follower/ALOHA) e redirecionamento baseado em VR para humanoides. Os dados são coletados em um formato padronizado estilo RLDS com unidades consistentes (metros/radianos) e comprimidos usando RoboDM para armazenamento eficiente.
Inferência de Política: Uma API de alto nível permite a troca transparente de políticas (VLAs, Políticas de Difusão, RL). Um nó wrapper de política lida com inferência assíncrona, convertendo observações padronizadas para formatos específicos da política e suavizando ações antes de enviar comandos ao hardware.

Contribuições Principais

Framework RIO: Introdução de um framework de I/O de Robô flexível e em tempo real que fornece infraestrutura reutilizável para coleta de dados e implantação de políticas em diversos embodiments. Permite configuração combinatória de robôs, sensores, dispositivos de teleoperação e políticas.
Validação em Morfologias: Demonstração da capacidade do RIO de suportar fluxos de trabalho de implantação de VLA em três morfologias distintas (braço único, bimanual, humanoide) e quatro plataformas de hardware com diferentes garras e câmeras.
Implantação no Mundo Real: Ajuste fino e implantação bem-sucedida de VLAs de última geração (especificamente $\pi0.5$ e GR00T) e outras políticas (Política de Difusão, PPO) em tarefas domésticas (pegar e colocar, dobrar, esfregar tigela) e tarefas de locomoção. Isso inclui uma política cross-embodiment treinada em dados mistos de duas morfologias de robô diferentes.

Resultados e Avaliação

Os autores avaliaram o RIO em um desktop equipado com uma NVIDIA RTX 4090, focando em desempenho, latência e taxas de sucesso em diversas tarefas.

Desempenho da Política:
- Braço Único (xArm7): $\pi0.5$ alcançou >90% de sucesso em tarefas de dobrar e pegar e colocar. A Política de Difusão alcançou 66,7% de sucesso em virar tortilla dinâmico e 100% em lançar bola.
- Bimanual (SO-100): $\pi0.5$ alcançou $\ge$ 60% de sucesso em dobrar tecido e esfregar tigela.
- Humanoide (Unitree G1, Booster T1): GR00T N1.5 alcançou 95% de sucesso em pegar caixa. Políticas RL-PPO controlaram com sucesso a locomoção em ambas as plataformas.
Latência e Desempenho:
- Latência do Middleware: Memória Compartilhada e Zenoh alcançaram latência de ida e volta sub-milissegundo (~0,4–0,5 ms), enquanto Thread e ZeroRpc permaneceram próximos em ~1 ms.
- Latência Ponta a Ponta: O RIO alcançou uma latência de observação para ação de 130,3 ms comparado a 581,2 ms para LeRobot sob condições idênticas. Essa eficiência é atribuída à arquitetura simplificada do RIO e à inferência assíncrona baseada em middleware direta, evitando a sobrecarga de servidores de política dedicados.
- Utilização de Recursos: A inferência assíncrona manteve alta utilização de GPU (até ~80%) durante toda a execução, demonstrando saturação eficiente de computação.

Significado e Afirmações

O artigo postula que a falta de infraestrutura flexível e reutilizável é uma barreira crítica para o progresso cumulativo na robótica. Ao fornecer uma abordagem "traga-sua-própria-pilha-de-treinamento", o RIO reduz a barreira para que praticantes implantem, avaliem e iterem em abordagens modernas de aprendizado de robô em hardware diverso.

Os autores afirmam que o RIO abstrai com sucesso a lógica do usuário, permitindo que seja escrita uma vez e reutilizada em qualquer estação de robô. Trocar hardware ou políticas torna-se uma mudança de configuração em vez de uma reescrita de código. Embora o trabalho atual foque no ajuste fino de single-embodiment e reconheça que a generalização cross-embodiment permaneça um problema de pesquisa aberto, o framework é projetado para facilitar a coleta de dados padronizados e de alta qualidade cross-embodiment, que é um pré-requisito para avanços futuros em políticas de robôs generalistas. Os autores disponibilizam o framework como código aberto para acelerar o ritmo do aprendizado de robô em hardware do mundo real.