💻 computer science

SteadyTray: Learning Object Balancing Tasks in Humanoid Tray Transport via Residual Reinforcement Learning

O artigo apresenta o ReST-RL, uma arquitetura de aprendizado por reforço hierárquico que, ao desacoplar a locomoção da estabilização de carga através de um módulo residual, permite que o humanoide Unitree G1 transporte objetos em bandejas de forma estável e robusta, superando abordagens end-to-end e demonstrando generalização zero-shot da simulação para a realidade.

Autores originais: Anlun Huang, Zhenyu Wu, Soofiyan Atar, Yuheng Zhi, Michael Yip

Publicado 2026-03-12

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Anlun Huang, Zhenyu Wu, Soofiyan Atar, Yuheng Zhi, Michael Yip

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um garçom em uma festa muito agitada. Você precisa caminhar por uma multidão, desviar de pessoas, acelerar e frear, mas ao mesmo tempo, precisa equilibrar uma bandeja com uma taça de vinho cheia até a borda e um copo de água. Se você balançar demais, o vinho derrama; se parar bruscamente, a taça cai.

Agora, imagine que esse garçom é um robô humanoide (como o Unitree G1, que parece um humano de metal). Para um robô, isso é um pesadelo: quando ele pisa no chão, o corpo todo treme. Esses tremores sobem pelas pernas e chegam aos braços, fazendo a bandeja oscilar.

O artigo "SteadyTray" apresenta uma solução inteligente para esse problema, chamada ReST-RL. Vamos explicar como funciona usando uma analogia simples:

1. O Problema: O "Garçom Treme"

Robôs humanoides são ótimos para andar, mas seus passos geram vibrações. Se você tentar ensinar um robô a andar e equilibrar a bandeja ao mesmo tempo, de uma só vez (como se fosse um único cérebro), ele fica confuso. É como tentar andar em uma prancha de surf enquanto tenta fazer malabarismos: o cérebro tenta fazer as duas coisas, mas acaba fazendo nenhuma delas perfeitamente. O robô ou cai, ou derruba a bandeja.

2. A Solução: O "Mestre" e o "Estagiário" (ReST-RL)

Os pesquisadores criaram um sistema de duas camadas, como se fosse uma equipe de trabalho:

O Mestre (A Política Base): Pense nele como um atleta olímpico de corrida. Ele já sabe andar perfeitamente, sabe como mover as pernas, manter o equilíbrio do corpo e seguir a velocidade que você pede. Ele foi treinado apenas para andar bem. Ele não sabe nada sobre a bandeja ou a taça.
O Estagiário (O Módulo Residual): Este é o especialista em equilíbrio. Ele observa o Mestre andando. Se ele vê que o Mestre vai dar um passo que vai fazer a taça de vinho tremer, o Estagiário não manda o Mestre parar. Em vez disso, ele faz um ajuste fino e rápido nos braços e no tronco do robô para cancelar o tremor.

A mágica: O robô usa o "Mestre" para saber como andar e o "Estagiário" para saber como corrigir qualquer trepidação que o andar cause. Eles trabalham juntos, mas cada um tem sua função clara.

3. O Treinamento: "Aula com Óculos de Realidade Aumentada"

Como ensinar o Estagiário a fazer isso tão bem?

Na Simulação (O Laboratório): Eles treinaram o robô em um computador. Lá, o robô tinha "superpoderes" (informações privilegiadas) que ele não teria no mundo real, como saber exatamente a velocidade de cada gota de líquido na taça ou a força exata de um empurrão.
A Distilação (O Pulo do Gato): Depois de aprender com esses superpoderes, eles "ensinaram" o robô a fazer o mesmo trabalho usando apenas os sentidos normais (câmeras e sensores de movimento), como se estivessem tirando os óculos de realidade aumentada dele. Isso garante que o robô funcione no mundo real, sem precisar de superpoderes.

4. O Resultado: O Garçom Invencível

O robô foi testado no mundo real com um Unitree G1. Os resultados foram impressionantes:

Andando e virando: O robô anda, acelera, freia e faz curvas, mas a bandeja permanece perfeitamente nivelada.
Empurrões: Se alguém empurrar o robô ou empurrar a taça, o robô reage instantaneamente, ajustando o corpo para que nada caia.
Objetos diferentes: Funciona com uma taça de vinho cheia, uma xícara de café, ferramentas médicas ou até um pote de comida. O robô não precisa ser reprogramado para cada objeto novo; ele aprendeu a lógica do equilíbrio.

Resumo em uma frase

O SteadyTray é como dar a um robô um "instinto de equilíbrio" separado da sua "habilidade de andar", permitindo que ele carregue coisas frágeis e cheias de líquido em um mundo bagunçado, sem derramar uma gota, mesmo quando é empurrado ou precisa correr.

É um grande passo para que robôs possam, no futuro, entregar café quente em hospitais ou levar instrumentos cirúrgicos em salas de operação sem medo de derrubar nada.

1. O Problema: Transporte de Cargas Instáveis em Humanoides

O artigo aborda um desafio crítico na robótica de humanoides: a estabilização de cargas não fixas (como copos com líquido, instrumentos frágeis ou objetos soltos) sobre bandejas durante a locomoção dinâmica em ambientes não estruturados.

Desafio Principal: A locomoção bípede gera oscilações inerentes no tronco e na base devido aos impactos dos pés. Essas perturbações propagam-se pela cadeia cinemática do robô, tornando extremamente difícil manter uma bandeja nivelada e evitar que objetos soltos deslizem, tombem ou caiam.
Limitações das Abordagens Atuais: Métodos existentes de estabilização de efetuador final (como o SoFTA) funcionam para objetos presos à mão, mas falham em cenários onde o objeto está apenas repousado sobre uma bandeja (acoplamento não rígido). Abordagens de aprendizado de ponta a ponta (End-to-End) frequentemente degradam a estabilidade da marcha ao tentar otimizar simultaneamente a locomoção e a estabilização da carga.

2. Metodologia: ReST-RL (Residual Student-Teacher Reinforcement Learning)

Os autores propõem uma arquitetura hierárquica chamada ReST-RL, que desacopla explicitamente a locomoção da estabilização da carga, utilizando uma abordagem de "Professor-Aluno" com aprendizado residual.

A. Arquitetura Hierárquica

O sistema é dividido em duas partes principais:

Política Base (Locomoção): Uma política pré-treinada ( $\pi_{base}$ ) responsável por gerar uma marcha bípede robusta e manter a bandeja nivelada sob condições normais. Esta política é congelada durante o treinamento do módulo residual.
Módulo Residual (Estabilização): Um módulo que aprende a gerar ações corretivas para cancelar as perturbações induzidas pela marcha e por forças externas, sem alterar a qualidade da marcha base.

B. Mecanismos de Integração Residual

O artigo explora duas formas de integrar as correções:

Adaptador de Ação Residual: Adiciona uma ação corretiva ( $\tilde{a}_t$ ) diretamente à ação da política base.
Adaptador FiLM (Feature-wise Linear Modulation): Modula as ativações internas das camadas congeladas da política base com base em características latentes extraídas das observações, permitindo um ajuste mais fino e estruturado.

C. Treinamento com Observações Privilegiadas e Destilação

Fase de Treinamento (Professor): O módulo residual é treinado no simulador utilizando observações privilegiadas (dados que não estão disponíveis no mundo real, como velocidade exata do objeto, posição da bandeja e gravidade projetada). Isso permite que o "Professor" aprenda a dinâmica ideal de estabilização.
Fase de Destilação (Aluno): Para implantação no mundo real, um "Aluno" (encoder) é treinado para imitar as saídas latentes do Professor, mas utilizando apenas observações não privilegiadas (dados de sensores reais, como câmeras e propriocepção). O adaptador residual permanece congelado.
Design Crítico: O treinamento inclui atrasos de observação (delay), latência de controle e randomização de domínio (massa, atrito, ruído) para garantir robustez e transferência Sim-to-Real.

3. Contribuições Técnicas Principais

Framework ReST-RL: Proposta de uma estrutura de RL residual que separa a locomoção da estabilização de carga, resolvendo o conflito de objetivos entre manter o equilíbrio do robô e estabilizar a bandeja.
Generalização Zero-Shot: Demonstração de que o sistema pode transportar objetos variados (copos, ferramentas médicas, líquidos) e resistir a perturbações externas sem necessidade de re-treinamento ou ajuste fino (fine-tuning).
Análise de Design: Identificação de que o uso de atrasos de observação durante o treinamento é crucial não apenas para a transferência Sim-to-Real, mas também para melhorar o desempenho geral de estabilização, forçando o controlador a ser temporalmente consistente.
Benchmark SteadyTray: Introdução de um novo benchmark para avaliar a capacidade de humanoides de transportar cargas instáveis sob perturbações.

4. Resultados Experimentais

Os resultados foram validados em simulação (Isaac Lab) e em hardware real (Humanóide Unitree G1).

Desempenho em Simulação:
- O ReST-RL superou significativamente as abordagens End-to-End e a política base isolada.
- Taxa de Sucesso: Alcançou 96,9% na tarefa de rastreamento de velocidade variável e 74,5% de robustez contra forças externas (empurrões no robô e no objeto).
- O método End-to-End teve desempenho inferior (44-50% de sucesso sob perturbações), indicando que o aprendizado conjunto de locomoção e estabilização é instável.
Desempenho no Mundo Real (Unitree G1):
- O robô demonstrou capacidade de transporte estável de uma taça de vinho cheia e outros objetos frágeis.
- Recuperação de Perturbações: O sistema recuperou-se rapidamente de chutes no robô e empurrões no objeto, mantendo a bandeja nivelada e evitando que o conteúdo derramasse.
- Generalização: Funcionou bem com objetos de diferentes massas, geometrias e propriedades de contato, sem re-treinamento.

5. Significado e Impacto

O trabalho representa um avanço significativo para a aplicação prática de humanoides em serviços (como entrega de refeições, transporte de instrumentos médicos em salas de cirurgia e assistência a idosos).

Viabilidade Prática: Demonstra que é possível automatizar tarefas de transporte que exigem alta precisão e estabilidade em ambientes dinâmicos e desordenados, onde plataformas rodadas ou quadrúpedes falhariam.
Paradigma de Controle: A abordagem de "Residual RL" oferece um caminho promissor para combinar habilidades de locomoção robustas (já aprendidas) com novas habilidades de manipulação complexa, evitando a necessidade de re-treinar todo o sistema do zero.
Transferência Sim-to-Real: O sucesso na implantação no Unitree G1 valida a eficácia das técnicas de destilação de políticas e randomização de domínio para tarefas de contato rico e dinâmica complexa.

Em resumo, o SteadyTray resolve o gargalo de engenharia de estabilizar cargas soltas em humanoides em movimento, utilizando uma arquitetura inteligente que preserva a estabilidade da marcha enquanto adiciona uma camada de correção ativa para a carga.