💻 computer science

Learning Multi-Humanoid Pickup and Transport via Decentralized Object-Centric Control

Este artigo propõe uma estrutura de controle descentralizada e centrada em objetos que permite que equipes de múltiplos humanoides coletem e transportem cooperativamente objetos de diversos tamanhos usando pinçamento bimanual sem garras, demonstrando que políticas treinadas em tarefas de robô único transferem-se efetivamente para cenários de múltiplos robôs, beneficiando-se ainda mais de um treinamento de coordenação explícito.

Autores originais: Bikram Pandit, Mohitvishnu S. Gadde, Aayam Kumar Shrestha, Alan Fern

Publicado 2026-09-17

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Bikram Pandit, Mohitvishnu S. Gadde, Aayam Kumar Shrestha, Alan Fern

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os robôs podem fazer mais do que apenas se mover em linha reta ou empurrar caixas simples. Eles podem caminhar, equilibrar-se e carregar coisas pesadas, tal como os seres humanos fazem. Este campo, conhecido como robótica humanoide, fez grandes progressos ao ensinar máquinas individuais a pegar em objetos e transportá-los de um lugar para outro. No entanto, um único robô tem limites. Ele só consegue levantar certa quantidade de peso e só consegue alcançar certa distância. Quando o objeto é demasiado grande, pesado ou tem uma forma estranha, um único robô simplesmente não consegue realizar o trabalho sozinho. É aqui que entra a ideia de trabalho de equipa. Tal como um grupo de pessoas pode reunir-se para mover um móvel grande, uma equipa de robôs poderia coordenar-se para carregar uma carga pesada em conjunto. O desafio tem sido ensinar estas máquinas a trabalhar juntas sem precisarem de um comandante central para lhes dizer exatamente o que fazer a cada segundo. Se elas não conseguirem comunicar entre si, como saberão quando levantar, quando caminhar e como manter o objeto estável?

Investigadores da Universidade Estadual de Oregon desenvolveram uma nova forma de resolver este problema, permitindo que equipas de humanoides cooperem sem terem de falar umas com as outras. O trabalho deles foca-se num sistema onde cada robô recebe um ponto específico no objeto que deve segurar. Em vez de tentarem compreender toda a forma do objeto ou a posição de todos os outros robôs, cada máquina só precisa de saber onde as suas mãos devem tocar na carga. Esta abordagem, que os autores chamam de controlo descentralizado centrado no objeto, trata o objeto como o centro da ação. A cada robô é atribuída uma pequena região na superfície do objeto, como um patch específico numa mesa grande, e aprende a agarrar esse ponto usando as duas mãos num movimento de pinça. Uma vez agarrado, o robô segue uma instrução simples para mover o objeto numa determinada direção, como para a frente, para o lado ou para cima. Como cada robão segue a mesma regra básica baseada no seu próprio ponto local, eles movem-se naturalmente juntos sem precisarem de enviar mensagens de ida e volta.

Os investigadores treinaram os seus robôs utilizando uma simulação computacional, começando com apenas um robô a aprender a pegar e carregar caixas de diferentes tamanhos e pesos. Ensinaram o robô a aproximar-se de um objeto, agarrá-lo com as mãos, levantá-lo e caminhar enquanto o mantinha estável. Assim que o robô individual dominou isto, os investigadores introduziram um segundo robô na simulação. Eles não ensinaram os robôs a coordenarem-se diretamente entre si. Em vez disso, deixaram o segundo robô aprender da mesma forma, usando o seu próprio ponto no objeto. Surpreendentemente, as competências que os robôs aprenderam ao trabalhar sozinhos transferiram-se muito bem para o trabalho em grupo. Uma política treinada num único robô conseguiu lidar com uma equipa de até dez robôs sem qualquer treino adicional. Isto sugere que a dificuldade central da tarefa não é a coordenação entre os robôs, mas sim a capacidade de cada robô segurar a sua parte da carga de forma segura. Quando os robôs trabalham juntos, eles partilham o peso, e o objeto torna-se mais estável. Em testes com dez robôs a carregar uma carga pesada, o objeto inclinou muito menos do que quando um único robô o carregava, mostrando que o trabalho de equipa tornou o transporte mais suave e seguro.

O sistema provou ser incrivelmente flexível. Os investigadores testaram-no com objetos que nunca tinham sido vistos durante o treino, incluindo um armário de metal, um frigorífico, um tronco de madeira, uma cama e uma laje de betão. Os robôs pegaram e moveram com sucesso todos estes itens, mesmo sem terem encontrado estas formas específicas anteriormente. Também testaram o sistema com equipas de tamanhos variados, de um a dez robôs, e descobriram que o desempenho se manteve elevado em todos os casos. Os robôs podiam inclusive passar um objeto de um para o outro. Nestes cenários de transferência, um robô segurava o objeto enquanto um segundo robô se aproximava, agarrava o seu próprio ponto, e então o primeiro robô largava o objeto. Isto aconteceu de forma fluida, quer os robôs estivessem parados, a caminhar ou mesmo a alturas diferentes. Os investigadores também mediram quanta energia os robôs utilizavam. Descobriram que, embora adicionar um segundo robô custasse inicialmente um pouco mais de energia devido à necessidade de coordenação, adicionar mais robôs além disso não aumentava significativamente o custo de energia por unidade de peso movido. Isto significa que equipas maiores podem carregar cargas mais pesadas sem se tornarem ineficientes.

Para provar que isto não era apenas um truque de computador, os investigadores levaram o seu sistema para o mundo real. Utilizaram dois robôs humanoides reais, chamados Digit V3, para realizar as tarefas. Sem qualquer novo treino ou ajustes, os robôs pegaram com sucesso numa caixa de cartão, carregaram-na juntos e passaram-a de um para o outro. Os robôs basearam-se em sensores externos para ver onde a caixa estava em relação aos seus próprios corpos, mas uma vez terem essa informação, executaram a mesma estratégia de controlo descentralizado que aprenderam na simulação. Esta transferência bem-sucedida da simulação para a realidade mostra que a abordagem é robusta o suficiente para uso no mundo real. Os investigadores observam que o seu sistema atual funciona melhor quando todos os robôs têm o mesmo papel e simplesmente seguram partes diferentes do objeto. Ainda não lida com situações em que os robôs precisam de assumir papéis muito diferentes, como um liderar e o outro seguir, ou onde os robôs têm pinças em vez de mãos planas. No entanto, os resultados sugerem que uma forma de pensar simples e local sobre a tarefa pode resolver problemas complexos de trabalho de equipa. Ao focar-se no objeto e no ponto específico que cada robô deve segurar, o sistema permite que um grupo de máquinas atue como uma unidade coordenada única, capaz de mover as coisas pesadas e desajeitadas que um único robô nunca conseguiria gerir sozinho.

Resumo Técnico: Aprendizado de Coleta e Transporte Multi-Humanoide via Controle Descentralizado Centrado no Objeto

Declaração do Problema

Avanços recentes na loco-manipulação humanoide permitiram que robôs individuais coletem e transportem objetos de diversos tamanhos e pesos. No entanto, muitas cargas do mundo real permanecem grandes demais, pesadas demais ou irregulares para serem manuseadas por um único humanoide. Essas tarefas exigem que equipes de robôs coordenem o movimento de corpo inteiro enquanto interagem através de uma carga compartilhada. As abordagens existentes para o transporte humanoide cooperativo são escassas, frequentemente dependendo de modelos analíticos, tamanhos de equipe fixos ou suposições específicas de líder-seguidor. Além disso, métodos anteriores baseados em aprendizado têm tido dificuldade em generalizar para variados tamanhos de equipe, layouts de fixação e geometrias de objetos sem a necessidade de redesenho por tarefa.

O desafio central abordado é o desenvolvimento de um framework baseado em aprendizado para loco-manipulação colaborativa multi-humanoide que suporte equipes de tamanho variável, diversas geometrias de objetos e transferências (handovers) contínuas de robô para robô, tudo isso sem exigir comunicação direta entre robôs ou comandos de pose global precisos.

Metodologia

Controle Descentralizado Centrado no Objeto (decMHT)

Os autores introduzem o decMHT, uma abstração de controle descentralizada e centrada no objeto. Este framework unifica a coleta e o transporte por um único robô, o transporte cooperativo multi-robô e as transferências de robô para robô sob uma única política.

1. Design da Interface:
O sistema depende de duas entradas principais fornecidas a cada robô:

Especificação de Fixação ( $A(r)$ ): Uma definição geométrica local fornecida no início do episódio. Ela especifica um frame de fixação local relativo ao torso do robô, dois pontos de fixação simétricos (esquerda e direita) e uma distância de folga frontal. Crucialmente, ela não descreve a geometria total da carga, permitindo que a mesma representação lide com caixas compactas, barras alongadas ou painéis irregulares.
Comando Centrado no Objeto ( $C_{pl}$ ): Um comando de alto nível que especifica a velocidade planar desejada, taxa de guinada (yaw rate) e a altura de um frame de referência no objeto (ex: seu centroide). Este comando global é transformado em um comando local ( $C_{cf}^{(r)}$ ) para cada robô usando uma transformação rígida fixa baseada no offset de fixação do robô.

2. Arquitetura de Controle:
O sistema emprega uma arquitetura descentralizada hierárquica onde cada robô executa a mesma política de forma independente usando apenas observações locais:

Política de Locomoção de Baixo Nível ( $\pi_l$ ): Uma rede neural pré-treinada e congelada que converte velocidades de base comandadas, taxas de guinada e alturas de torso em alvos de juntas das pernas.
Política de Manipulação de Alto Nível ( $\pi_h$ ): Uma política recorrente (LSTM de duas camadas) que recebe como entrada o estado proprioceptivo, a especificação de fixação, o comando local e uma flag de modo. Ela produz alvos de posição das juntas da parte superior do corpo e comandos de locomoção. A flag de modo ( $m^{(r)}$ ) alterna o robô entre idle (manter pose nominal) e track (aproximar-se, fixar-se e rastrear o objeto).

3. Abordagem de Treinamento:
A política de alto nível é treinada usando Otimização de Política Próxima Independente (IPPO) em simulação (IsaacLab com modelos Agility Robotics Digit V3).

Currículo: O treinamento começa com tarefas de coleta e transporte por um único robô, progredindo através de estágios de formação de contato assistida, sustentação sem assistência, rastreamento de altura e rastreamento total de comando.
Ajuste Fino (Fine-Tuning): A política de um único robô é ajustada finamente em episódios cooperativos de dois robôs para expor o controlador à dinâmica acoplada de cargas compartilhadas.
Estratégia de Generalização: A política nunca é treinada com $N \ge 3$ robôs. A avaliação em equipes maiores (até 10 robôs) é realizada zero-shot.
Randomização de Domínio: Para garantir robustez e transferência sim-to-real, o treinamento inclui a randomização de ruído de sensores, fricção, rigidez de motores e perturbações externas.

Principais Contribuições

Abstração decMHT: Introdução de uma interface de alto nível, centrada no objeto, que suporta variados tamanhos de equipe, layouts de fixação e geometrias de objetos sem redesenho por tarefa.
Controle Hierárquico Descentralizado: Desenvolvimento de uma arquitetura de controle e currículo de treinamento que permite que humanoides se coordenem através de um objeto compartilhado usando apenas observações locais e sem comunicação direta.
Escalabilidade e Transferência Zero-Shot: Demonstração em simulação que um único controlador treinado em no máximo dois robôs suporta equipes de até dez humanoides através de diversas geometrias de objetos e configurações de fixação, incluindo transferências entre diferentes elevações.
Validação Sim-to-Real: Implementação bem-sucedida em dois humanoides Digit V3 reais realizando manipulação colaborativa de objetos sem necessidade de ajuste fino adicional no mundo real.

Resultados Experimentais

Escalabilidade e Desempenho

Tamanho da Equipe: O sistema foi avaliado com equipes de $N \in \{1, \dots, 10\}$ robôs. As taxas de sucesso de coleta permaneceram acima de 97% para todos os tamanhos de equipe. A qualidade do transporte geralmente melhorou com o aumento do tamanho da equipe; os erros de rastreamento linear e de altura diminuíram, e a inclinação da carga foi significativamente reduzida (o RMS de inclinação caiu de 8,04° para um robô para 1,21° para dez robôs).
Massa da Carga: A política generalizou zero-shot para cargas de até 50 kg, excedendo em muito a faixa de massa de treinamento (0,5–1,5 kg). O aumento do tamanho da equipe permitiu que o sistema levantasse cargas mais pesadas mantendo a estabilidade.
Geometria do Objeto: O framework generalizou para geometrias não vistas (armário de metal, geladeira, tronco de madeira, cama, placa de concreto) sem retreinamento. Embora a coleta tenha sido bem-sucedida na maioria dos objetos, a "cama" (pesada, com regiões de preensão finas) apresentou o maior desafio, com uma taxa de sucesso de 85,2% para o decMHT contra 44,1% para a ablação treinada com um único robô.

Análise Comparativa

vs. Treinamento de Robô Único (decMHT(1)): A política treinada para um único robô alcançou taxas de coleta comparáveis, mas exibiu maiores erros de rastreamento, taxas de queda e inclinação da carga durante o transporte. Isso indica que, embora a abstração de fixação capture a mecânica do levantamento, o ajuste fino multi-robô é necessário para aprender a dinâmica acoplada necessária para um transporte estável.
vs. Baselines Centralizados e Especializados: O decMHT teve desempenho comparável aos baselines centralizados (treinados em estados de junta) e baselines especializados por objeto, apesar de usar uma abordagem descentralizada e sem modelo (model-free).
Custo de Transporte (CoT): A eficiência energética (CoT) aumentou bruscamente de um para dois robôs, mas estabilizou conforme a equipe crescia. O decMHT manteve um CoT menor do que a ablação de um único robô para todas as equipes multi-robô.

Capacidades de Transferência (Handover)

O sistema demonstrou com sucesso transferências de robô para robô em configurações estáticas, dinâmicas (objeto em movimento) e de níveis cruzados (diferentes elevações). O decMHT superou a ablação de um único robô, particularmente em cenários dinâmicos onde o robô receptor precisava estabelecer contato enquanto o objeto estava em movimento.

Transferência Sim-to-Real

A abordagem foi validada em dois humanoides Digit V3 reais. Usando um sensor externo para estimar o pose do frame de fixação, os robôs realizaram com sucesso a coleta por um único robô, o transporte cooperativo multi-robô e as transferências puramente alternando as flags de modo, sem modificação de política ou ajuste fino no mundo real.

Significância e Alegações

O artigo afirma ser o primeiro a demonstrar um framework de loco-manipulação multi-humanoide descentralizado e aprendido que generaliza através de variados tamanhos de equipe em simulação realista para robôs e é implantado em hardware humanoide real.

Os autores enfatizam que a abstração baseada em fixação captura a estrutura essencial necessária para a coordenação, permitindo que políticas treinadas em tarefas de um único robô transfiram de forma não trivial para configurações cooperativas. No entanto, eles também observam que o treinamento multi-robô explícito é benéfico para aprender as dinâmicas de coordenação específicas que melhoram a estabilidade e a eficiência do transporte.

O trabalho destaca como uma interface comum de controle centrada no objeto pode unificar diversos modos de manipulação (coleta, transporte, transferência) e escalar para grandes equipes sem a necessidade de planejamento global complexo ou comunicação direta entre robôs, abordando uma lacuna significativa na atual robótica humanoide cooperativa.