Learning Humanoid End-Effector Control for Open-Vocabulary Visual Loco-Manipulation

Este artigo apresenta o HERO, um novo paradigma para locomanipulação em robôs humanoides que combina modelos de visão de grande escala para generalização visual aberta com um controle preciso de efetuador final baseado em aprendizado por simulação, permitindo a manipulação confiável de diversos objetos em ambientes reais variados.

O essencial

Imagine que você tem um robô humanoide (um robô com corpo de humano) chamado HERO. O grande desafio que os cientistas enfrentaram não foi fazer o robô andar de cabeça para baixo ou pular (coisas que ele já sabe fazer), mas sim fazer algo que parece bobo para nós, mas é um pesadelo para robôs: pegar um objeto aleatório em uma mesa aleatória, usando apenas o que ele vê.

Pense em pegar uma caneca de café na sua mesa de escritório. Para nós, é fácil: olhamos, esticamos o braço, dobramos a cintura se necessário e pegamos. Para um robô, isso é como tentar pegar uma agulha em um palheiro enquanto está de cabeça para baixo e com os olhos vendados.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Problema: "O Robô é Cego e Treme"

Antes deste trabalho, os robôs humanoides tinham dois grandes problemas:

• Eles não entendiam o que viam: Se você pedisse para pegar "a caneca laranja", eles ficavam confusos se houvesse uma caneca azul ou um copo laranja por perto.
• Eles tinham mãos trêmulas: Mesmo que o robô soubesse onde a caneca estava, quando ele tentava mover a mão até lá, ele errava por 10 a 13 centímetros. É como tentar enfiar uma chave na fechadura do carro com uma luva de boxe gigante. Você erra a fechadura e bate no carro.

2. A Solução: Uma Equipe de Especialistas (O Sistema Modular)

Os autores do HERO decidiram não tentar ensinar o robô a fazer tudo de uma vez só (o que seria como tentar ensinar um cachorro a tocar piano e dirigir um carro ao mesmo tempo). Em vez disso, eles criaram uma equipe de especialistas que trabalham juntos:

• O "Olho" Inteligente (Visão): Eles usaram modelos de inteligência artificial gigantes (como o "Grounding DINO" e "SAM") que funcionam como um detetive superpoderoso. Você diz: "Pegue o 'spam'". O robô olha ao redor, ignora tudo o que não é spam e aponta exatamente onde está a lata. Ele entende o mundo como nós entendemos, não apenas como pixels.
• O "Mestre de Cerimônias" (Planejamento): Uma vez que o robô sabe onde está o objeto, ele precisa decidir como chegar lá. Ele precisa decidir: "Devo agachar? Devo torcer o tronco? Devo esticar o braço?" É como um coreógrafo que diz ao dançarino qual movimento fazer para alcançar o objeto sem cair.
• O "Mecânico de Precisão" (Controle do Braço): Aqui está a grande inovação. O robô precisa mover a mão com precisão milimétrica.

3. O Segredo do Sucesso: O "GPS de Alta Precisão"

O maior problema dos robôs é que o "mapa" que eles têm do próprio corpo (chamado cinemática) é imperfeito. É como se o robô tivesse um GPS que dizia que ele estava na Rua A, mas ele estava na Rua B.

O HERO resolveu isso criando um sistema de correção em tempo real:

• O "Espelho Mágico" (Modelo Neural): Em vez de confiar apenas no mapa antigo e errado, o robô usa uma "aprendizagem" (uma rede neural) que aprendeu a corrigir os erros do GPS. É como ter um passageiro no carro que grita: "Ei, você está 2 centímetros à esquerda, ajuste a direção!".
• O "Replanejamento Constante": Se o robô começa a se desviar um pouco (o que acontece quando ele se move), ele não insiste no caminho errado. Ele para, olha de novo e recalcula a rota instantaneamente. É como usar o Waze: se você errar a saída, ele não te deixa batendo no muro; ele recalcula o caminho em segundos.

4. O Resultado: O Robô que "Sente" o Mundo

Com essa combinação, o robô HERO conseguiu:

• Entender comandos de linguagem: Você pode dizer "pegue o livro roxo" ou "pegue a garrafa de limpeza" em qualquer lugar.
• Usar o corpo todo: Ele não apenas move o braço. Ele agacha, torce a cintura e se inclina, exatamente como um humano faria para alcançar algo baixo ou alto.
• Precisão Cirúrgica: Em vez de errar por 10 cm, ele erra apenas por 2,5 cm. Isso é a diferença entre derrubar a caneca e pegá-la com sucesso.

Resumo em uma Metáfora

Imagine que você está tentando pegar uma maçã em uma árvore alta.

• Robôs antigos: Tentavam pular cegamente na direção da árvore. Muitas vezes batiam no tronco ou caíam.
• HERO: Primeiro, usa óculos de visão noturna para ver exatamente onde a maçã está (Visão). Depois, um treinador diz exatamente como dobrar os joelhos e esticar o braço (Planejamento). Finalmente, um instrutor de yoga ao seu lado corrige sua postura a cada milésimo de segundo para garantir que sua mão chegue exatamente na maçã, sem derrubá-la (Controle de Precisão).

Conclusão:
Este trabalho é importante porque mostra que não precisamos treinar robôs para cada tarefa específica (como "pegar copo", "pegar livro"). Podemos dar a eles "olhos inteligentes" e "mãos precisas" e deixá-los aprender a pegar qualquer coisa em qualquer lugar, assim como nós fazemos. Isso abre as portas para robôs que podem ajudar em casas, escritórios e fábricas de verdade, lidando com objetos do dia a dia de forma autônoma.

Resumo técnico

1. O Problema

O artigo aborda o desafio de permitir que robôs humanoides realizem loco-manipulação (movimento combinado com manipulação) de objetos novos em ambientes não estruturados, baseando-se apenas em comandos de linguagem natural e sensores a bordo.

Os principais desafios identificados são:

• Generalização vs. Precisão: Métodos existentes de aprendizado por imitação (imitation learning) em tempo real têm dificuldade em generalizar para novos objetos e cenas devido à escassez de grandes conjuntos de dados de treinamento. Por outro lado, métodos modulares que usam grandes modelos de visão (LVMs) para planejamento de alto nível frequentemente falham na execução de baixo nível.
• Controle de Precisão: A manipulação de objetos exige que a mão do robô (efetuador final - EE) atinja uma posição e orientação específicas. Trabalhos anteriores de controle de corpo inteiro em humanoides (como para acrobacias) toleram erros de 8–13 cm, o que é inaceitável para pegar objetos, onde a precisão deve ser da ordem de milímetros.
• Incerteza Cinemática: Robôs humanoides de baixo custo (como o Unitree G1) sofrem com erros sistemáticos na cinemática direta analítica (devido a folgas mecânicas e elasticidade), tornando a estimativa da posição da mão baseada apenas em sensores de motor imprecisa.
• Equilíbrio Dinâmico: Para alcançar objetos em diferentes alturas e distâncias, o robô precisa coordenar todo o corpo (agachar, torcer o tronco, dobrar a cintura) mantendo o equilíbrio, o que exige um controle de 29 graus de liberdade (DoF) simultaneamente.

2. Metodologia: O Sistema HERO

Os autores propõem o HERO (Humanoid End-Effector Control), um sistema modular que separa o planejamento de ação (o que pegar e como) da execução de ação (como mover o robô até lá).

A. Arquitetura Modular de Alto Nível (Percepção e Planejamento)

• Entrada: Uma consulta de linguagem natural (ex: "pegue a caneca laranja").
• Percepção: Utiliza Grandes Modelos de Visão (LVMs) pré-treinados, especificamente Grounding DINO e SAM (Segment Anything Model), para segmentar o objeto de interesse na imagem RGB-D do robô.
• Previsão de Pegada: O modelo AnyGrasp gera poses de pegada paralela para o objeto detectado.
• Retargeting: A pose de pegada é adaptada para a mão Dex-3 do robô Unitree G1, ajustando a orientação para maximizar a área de contato e a robustez.

B. Controle de Baixo Nível (O Núcleo do HERO)

Esta é a contribuição técnica central. O sistema usa um controlador de rastreamento de efetuador final (EE) que combina robótica clássica com aprendizado de máquina para atingir alta precisão.

1. Planejamento de Referência: Um planejador de movimento (cuRobo) gera uma trajetória de referência para o corpo superior (braços e cintura) baseada na pose alvo do EE.
2. Política de Rastreamento ($\pi_t$): Uma rede neural (MLP) que recebe o estado proprioceptivo atual, a trajetória de referência e, crucialmente, o erro residual da pose do EE. Ela comanda os 29 DoFs do robô.
3. Modelos Neurais de Correção (Inovação Chave):
   • Cinemática Direta Neural Residual ($\eta$): Em vez de confiar na cinemática direta analítica (que tem erro de ~1.76 cm), o sistema treina um modelo neural para prever o resíduo (correção) entre a cinemática analítica e a pose real do EE.
   • Odometria Neural Residual ($\xi$): Como a base do robô se move dinamicamente (agachando/torcendo), a pose da base em relação aos pés também tem erro analítico. Um segundo modelo neural corrige a estimativa da posição da base, assumindo que os pés estão fixos no chão.
4. Ajuste de Meta e Replanejamento:
   • Goal Adjustment: O sistema ajusta a meta de entrada da política baseada no erro atual, escalando o vetor de erro para "empurrar" o robô para a posição correta.
   • Closed-Loop Replanning: A cada 6 segundos (300 passos), o planejador de movimento recalcula a trajetória de referência para corrigir desvios acumulados, garantindo que o robô não saia da distribuição de dados da política de aprendizado.

3. Contribuições Principais

1. Alta Precisão de Rastreamento: Desenvolvimento de uma política de controle que reduz o erro de rastreamento do efetuador final de 8–13 cm (estado da arte anterior) para ~2.5 cm no mundo real, permitindo a manipulação de objetos.
2. Correção de Erros Sistemáticos: Demonstração de que a cinemática direta analítica em humanoides de baixo custo é imprecisa e a criação de modelos neurais residuais para corrigir tanto a cinemática do braço quanto a odometria da base, reduzindo o erro em 6x.
3. Sistema Modular de Vocabulário Aberto: A primeira demonstração bem-sucedida de um humanoide pegando objetos de vocabulário aberto (novos objetos em novas cenas) usando apenas sensores a bordo e controle de corpo inteiro, sem necessidade de grandes conjuntos de dados de imitação no mundo real.
4. Validação em Cenários Reais: Testes extensivos em ambientes variados (escritórios, cafés, laboratórios) com objetos de diferentes formas, pesos e texturas.

4. Resultados

Os experimentos foram realizados no robô Unitree G1 com mãos Dex-3.

• Precisão de Rastreamento (Simulação e Mundo Real):
  • O HERO alcançou uma taxa de erro de tradução média de 2.44 cm no mundo real (com MoCap), comparado a 8.29 cm (AMO) e 13.57 cm (FALCON) em simulação.
  • A correção neural reduziu o erro de cinemática direta de 1.76 cm para 0.27 cm.
• Sucesso na Tarefa de Pegada (Mundo Real):
  • 90% de taxa de sucesso ao pegar 10 objetos diários em mesas de alturas padrão (0.74m) e baixas (0.56m).
  • 73.3% de sucesso ao generalizar para 10 cenas diárias diferentes (escritórios, laboratórios, cafés).
  • 80% de sucesso em cenas com desordem (cluttered scenes).
• Análise de Espaço de Trabalho: A inclusão do controle da cintura (torção e flexão) aumentou o volume de trabalho alcançável em 2.1x comparado ao uso apenas dos braços.

5. Significado e Impacto

O trabalho é significativo porque:

• Desbloqueia a Manipulação em Humanoides: Mostra que é possível realizar manipulação precisa em humanoides sem depender exclusivamente de aprendizado por imitação em grande escala no mundo real, que é caro e difícil de escalar.
• Valida Abordagens Modulares: Demonstra que separar o planejamento (usando LVMs poderosos) da execução (usando controle aprendido em simulação) é uma via mais escalável e robusta do que tentar aprender tudo de ponta a ponta (end-to-end).
• Solução para o "Gap Sim2Real": Ao abordar especificamente os erros de hardware (cinemática e odometria) através de modelos residuais, o trabalho oferece um caminho prático para transferir políticas de simulação para robôs físicos de baixo custo com alta precisão.
• Aplicabilidade Prática: O sistema permite que robôs operem em ambientes humanos reais, interagindo com objetos cotidianos de forma autônoma, um passo crucial para a integração de robôs humanoides em lares e escritórios.

Em resumo, o HERO estabelece um novo paradigma para o controle de humanoides, combinando a inteligência visual de modelos fundacionais com um controle de baixo nível preciso e adaptativo, permitindo que robôs "vejam" e "peguem" objetos novos em qualquer lugar.