💻 computer science

Stay Seated: Learning Omnidirectional Humanoid Locomotion on a Passive Mobile Chair with Casters

Este artigo apresenta uma estrutura de aprendizado por reforço que permite a um robô humanoide alcançar uma locomoção sentada omnidirecional robusta e zero-shot sim-to-real em uma cadeira móvel passiva ao estender ambientes padrão de rastreamento de velocidade com recompensas especializadas e configurações de contato, enquanto demonstra que combinar a regularização de deslizamento do pé com aprendizado de simetria ou currículo equilibra efetivamente a eficiência energética e o desempenho de rastreamento.

Autores originais: Kango Yanagida, Kazuki Miyazawa, Takato Horii

Publicado 2026-08-31

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kango Yanagida, Kazuki Miyazawa, Takato Horii

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um robô que pode se sentar e trabalhar em uma mesa exatamente como um ser humano. Durante anos, engenheiros ensinaram robôs a caminhar sobre duas pernas, mas ficar parado exige energia constante; os motores do robô precisam trabalhar duro apenas para manter o equilíbrio contra a gravidade, gerando calor e drenando energia. Os humanos, no entanto, têm uma solução mais simples para tarefas longas: nós nos sentamos. Ao apoiar nosso peso em uma cadeira, liberamos nossos músculos e podemos nos movimentar pelo escritório sem nunca levantar. Essa observação simples despertou uma nova questão para pesquisadores de robótica: um robô humanoide pode aprender a se movimentar enquanto está sentado, usando uma cadeira com rodas e seus próprios pés para se impulsionar para frente, para trás e para os lados?

Uma equipe de pesquisadores partiu para responder a isso, ensinando um robô a navegar enquanto está sentado em uma cadeira móvel passiva. Diferente de uma cadeira de rodas autônoma que se move por conta própria, esta cadeira não possui motor; é um assento simples sobre rodas. Para se mover, o robô deve usar os pés para empurrar contra o chão, propelindo tanto a si mesmo quanto a cadeira em qualquer direção. O desafio é complexo porque o robô não pode simplesmente travar seu corpo ao assento. Ele deve manter um equilíbrio delicado e variável, mantendo o quadril em contato com a cadeira enquanto seus pés encontram apoio no chão para gerar movimento. Se o robô perder o contato com o assento ou escorregar demais, a tarefa falha.

Para resolver isso, os pesquisadores utilizaram um método chamado aprendizado por reforço profundo, um processo onde um programa de computador aprende por tentativa e erro em um mundo virtual. Eles começaram com um ambiente de treinamento padrão projetado para robôs em pé e o modificaram para incluir o cenário sentado. Eles não mostraram vídeos de humanos se movendo nem deram ao robô um conjunto de instruções pré-escritas sobre como andar. Em vez disso, eles simplesmente disseram ao robô a velocidade e a direção em que ele deveria estar se movendo, e deixaram que ele descobrisse o resto. O "cérebro" do robô recebia apenas informações básicas sobre sua própria posição corporal e o comando que lhe foi dado, sem quaisquer sensores especiais para sentir a cadeira ou o chão.

Os pesquisadores testaram diversas maneiras diferentes de guiar o processo de aprendizado. Eles queriam ver se adicionar regras específicas sobre como o robô deveria mover seus pés ou como ele deveria tratar suas pernas esquerda e direita ajudaria. Uma regra penalizava o robô se seus pés escorregassem no chão, esperando que isso o incentivasse a um movimento mais suave. Outra regra incentivava o robô a usar as pernas esquerda e direita de forma igual, enquanto uma terceira regra fazia o robô começar com comandos fáceis e lentos antes de aumentar gradualmente a dificuldade.

Os resultados revelaram uma verdade surpreendente sobre como o robô aprendeu. Quando os pesquisadores usaram apenas a regra contra o deslizamento dos pés, o robô frequentemente falhava de uma maneira estranha. Em vez de aprender a se impulsionar para frente, algumas versões do robô simplesmente desistiam e permaneciam perfeitamente imóveis, ignorando comandos para mover-se diagonalmente. Ele havia encontrado uma "armadilha local", uma solução que tecnicamente evitava o deslizamento, mas falhava na tarefa real. No entanto, quando os pesquisadores combinaram a regra de não deslizamento com a regra de simetria ou a regra de dificuldade gradual, o robô aprendeu com sucesso. Ele descobriu como se propelir em todas as direções sem ficar travado.

A abordagem mais eficaz combinou um aumento gradual de velocidade com uma regra que incentivava o movimento equilibrado das pernas. Essa combinação permitiu que o robô seguisse os comandos com alta precisão, muitas vezes performando melhor do que um robô semelhante treinado para ficar em pé e caminhar. Os pesquisadores analisaram exatamente como o robô se movia e descobriram que a direção do deslocamento mudava a forma como ele usava as pernas. Ao mover-se para trás ou para os lados, o robô plantava um pé firmemente e estendia o joelho para empurrar a cadeira para longe. Ao mover-se para frente, ele fazia o oposto: tocava o chão primeiro com o calcanhar e depois dobrava o joelho para puxar a si mesmo e a cadeira em direção àquele pé.

Essa diferença no movimento teve um impacto direto na eficiência energética. O robô foi mais eficiente ao mover-se para trás, seguido pelo movimento lateral. Mover-se para frente foi a tarefa que exigiu mais energia, requerendo aproximadamente o dobro do esforimento para mover-se lateralmente em altas velocidades. Isso provavelmente ocorreu porque o movimento para frente dependia de dobrar o joelho após o pé tocar o solo, um movimento que gerava mais fricção e exigia mais força para manter a velocidade.

O estudo concluiu com um teste bem-sucedido no mundo real. Os pesquisadores pegaram o programa de computador que treinaram em simulação e o instalaram diretamente em um robô físico sem quaisquer ajustes adicionais. O robô, sentado em uma cadeira real com rodas, começou imediatamente a se mover para frente, para trás e para os lados, e até mesmo a girar, exatamente como havia feito no treinamento virtual. Ele conseguiu permanecer sentado e seguir comandos usando apenas seus sensores internos, provando que um robô pode aprender a navegar em um ambiente sentado complexo sem precisar ver a cadeira ou sentir o chão. Este trabalho sugere que robôs poderiam em breve se juntar a nós em nossas mesas, movendo-se para pegar ferramentas ou reposicionar-se enquanto permanecem sentados, economizando energia e imitando uma forma de trabalho muito humana.

Resumo Técnico: Stay Seated – Aprendendo Locomoção Humanoide Omnidirecional em uma Cadeira Móvel Passiva com Rodízios

1. Formulação do Problema

Este estudo aborda o desafio da locomoção-manipulação sentada para robôs humanoides, focando especificamente na locomoção omnidirecional enquanto sentado em uma cadeira móvel passiva equipada com rodízios. Ao contrário do aprendizado por reforço profundo (DRL) tradicional para locomoção humanoide, que assume uma postura em pé onde o robô deve gerar continuamente torque nas juntas para suportar seu peso, esta tarefa envolve um robô delegando o suporte de peso a uma cadeira.

A dificuldade central reside na topologia de contato única:

Contato Pelve–Assento Não Fixo: A pelve do robô não está rigidamente presa à cadeira; ela deve manter o contato sem escorregar enquanto a cadeira se move.
Propulsão Direta Pé–Chão: O sistema propelido pelo robô depende do contato intermitente pé–chão para mover tanto o robô quanto a cadeira passiva.
Controle Omnidirecional: O robô deve rastrear comandos de velocidade translacional ( $v_x, v_y$ ) e taxa de guinada ( $\omega_z$ ) em todas as direções sem uma referência de movimento dedicada ou demonstração humana.

O objetivo é aprender uma política de controle que permita ao robô mover-se e manipular objetos enquanto permanece sentado, servindo como um primeiro passo para a locomoção-manipulação sentada eficiente para tarefas prolongadas em mesas.

2. Metodologia

Os autores estendem um ambiente padrão de rastreamento de velocidade em pé para acomodar a locomoção sentada usando Otimização de Política Próxima (PPO) dentro do framework de simulação mjlab.

A. Sistema e Modelagem

Robô: Um humanoide Unitree G1 de 29 graus de liberdade.
Cadeira: Uma cadeira móvel passiva com cinco rodízios e um assento rotativo.
Modelagem de Contato: A malha de colisão da pelve é refinada para corresponder à geometria visual para evitar deslizamentos laterais não naturais. O solver de contato utiliza um cone de fricção elíptico em vez de um piramidal para lidar melhor com a interação pelve–assento.
Espaço de Observação:
- Ator: Utiliza apenas propriocepção (posições/velocidades das juntas, velocidade angular do torso, projeção da gravidade) e comandos de velocidade. Crucialmente, ele exclui sensores de contato (pé–chão, pelve–assento) e estados da cadeira para facilitar a transferência sim-to-real.
- Crítico: Recebe a observação do ator mais informações privilegiadas (estados exclusivos do simulador, incluindo pose da cadeira, forças de contato e alturas dos pés).

B. Design de Recompensa

A função de recompensa combina vários termos:

Recompensa de Tarefa ( $r_{task}$ ): Incentiva o rastreamento de velocidades translacionais e de guinada alvo.
Recompensa de Postura ( $r_{posture}$ ): Penaliza inclinações excessivas do torso/cadeira e o desvio das juntas em relação à postura sentada inicial.
Recompensa de Estado Sentado ( $r_{seat}$ ): Incentiva a manutenção da posição da pelve em relação à cadeira e garante o contato pelve–assento.
Penalidades: Inclui penalidades para movimento dos pés, autocolisão, limites de junta e termos de regularização específicos.

C. Componentes de Treinamento e Estudo Fatorial

O estudo emprega um design fatorial completo $2^3$ para avaliar o impacto de três componentes específicos de treinamento:

Regularização de Simetria (SY): Aplica aumento de dados de simetria esquerda-direita e um termo de perda de espelhamento ao erro do ator.
Penalidade de Deslizamento do Pé (FS): Penaliza a velocidade tangencial do pé durante o contato para reduzir o consumo de energia (Custo de Transporte, CoT).
Currículo de Comando (CC): Um cronograma que inicia o treinamento com intervalos de comando de velocidade menores ( $\pm 0.5$ m/s) antes de expandir para o intervalo total ( $\pm 1.0$ m/s).

Os autores comparam oito condições (todas as combinações de SY, FS e CC) contra uma linha de base e uma política de locomoção em pé.

3. Principais Contribuições

Formulação da Locomoção Sentada: O artigo define a locomoção sentada em uma cadeira passiva como um problema de rastreamento de velocidade omnidirecional com contato corpo–ferramenta não fixo e propulsão direta pé–chão, aprendido sem referências de movimento ou demonstrações humanas.
Transferência Zero-Shot Sim-to-Real: A política aprendida, que depende exclusivamente de propriocepção e comandos de velocidade (sem detecção de contato ou estimativa de estado da cadeira), foi transferida com sucesso para um robô físico Unitree G1 sem necessidade de ajuste fino.
Análise de Componentes de Treinamento:
- Limitações do FS: O estudo revela que a regularização de Deslizamento do Pé (FS) sozinha pode fazer com que as políticas convirjam para ótimos locais estacionários, onde o robô permanece imóvel para evitar penalidades de deslizamento, falhando em rastrear comandos diagonais frontais.
- Mitigação: Combinar FS com Regularização de Simetria (SY) ou Currículo de Comando (CC) evita essa falha sem exigir o reajuste do peso do FS.
- Necessidade de Simetria: Enquanto a locomoção em pé naturalmente gera uso simétrico das pernas, a locomoção sentada permite soluções assimétricas (uma perna dominando a propulsão). A SY mostrou-se crítica para impor simetria bilateral em tarefas sentadas, o que é desejável para a longevidade do hardware e estabilidade.

4. Resultados e Análise

A. Desempenho de Rastreamento

Taxa de Sucesso: Todas as políticas treinadas mantiveram o estado sentado em mais de 99% das execuções de comandos aleatórios de 20 segundos.
Precisão de Rastreamento: As melhores condições (SY+CC e SY+FS+CC) alcançaram erros de rastreamento translacional comparáveis ou ligeiramente melhores que a política em pé.
Impacto do FS: Políticas usando apenas FS mostraram alta variância e frequentemente falharam em rastrear comandos diagonais devido ao ótimo local estacionário. Quando combinadas com SY ou CC, o desempenho de rastreamento melhorou significamente.

B. Características de Marcha e Eficiência Energética

CoT Dependente de Direção: O Custo de Transporte (CoT) seguiu a ordem: Trás < Lateral $\ll$ Frente.
- Trás/Lateral: Caracterizados por extensão da perna plantada (estender o joelho enquanto o calcanhar está fixo) para empurrar o sistema.
- Frente: Caracterizados por contato inicial pelo calcanhar seguido de flexão do joelho.
Eficiência vs. Rastreamento: Embora o FS tenha reduzido o CoT (melhorando a eficiência energética), ele aumentou o erro de rastreamento. Isso indica um compromra onde a supressão agressiva do movimento dos pés dificulta os movimentos propulsivos necessários para o rastreamento de velocidade.
Simetria: A SY aplicou com sucesso o comportamento de pernas simétricas durante o movimento longitudinal, enquanto políticas sem SY frequentemente desenvolveram estratégias assimétricas onde uma perna dominava a propulsão.

C. Implantação Sim-to-Real

A política foi implantada em um Unitree G1 físico. O robô gerou com sucesso movimentos frontais, traseiros, laterais e de curva enquanto sentado, utilizando apenas entradas proprioceptivas e comandos de velocidade, demonstrando a viabilidade da abordagem sem detecção de contato explícita.

5. Significância e Alegações

O artigo afirma que a locomoção sentada pode ser adquirida estendendo minimamente os ambientes padrão de rastreamento de velocidade em pé, desde que estratégias específicas de regularização e currículo sejam empregadas para lidar com a dinâmica de contato única.

Complementaridade: O comportamento sentado é apresentado como um complemento ao comportamento em pé, oferecendo eficiência energética (sem corrente de sustentação para suporte de peso) e a capacidade de mudar de posição de trabalho sem levantar.
Robustez: O estudo demonstra que uma política treinada sem detecção de contato ou estimativa de estado da cadeira pode generalizar para um robô físico, sugerindo que a propriocepção e os comandos de velocidade são suficientes para esta tarefa complexa rica em contatos.
Insight Metodológico: O trabalho destaca que, embora as penalidades de deslizamento do pé sejam benéficas para a eficiência energética, elas devem ser cuidadosamente equilibradas com o aprendizado de currículo ou restrições de simetria para evitar o colapso catastrófico da política (ótimos locais estacionários) em cenários sentados.

Os autores não alegam superioridade sobre a locomoção em pé em todas as métricas, mas enfatizam que a locomoção sentada é um modo de operação viável, eficiente e distinto, que pode ser aprendido efetivamente usando DRL com ajustes arquiteturais e de treinamento específicos.