Resumo Técnico: LadderMan

Definição do Problema

Permitir que robôs humanoides operem em ambientes centrados em humanos requer capacidades robustas de escalada de escadas. No entanto, esta tarefa apresenta desafios significativos em comparação com a locomoção em solo plano ou a subida de escadas de degraus. A escalada de escadas exige uma coordenação precisa e sustentada entre os contatos da parte superior e inferior do corpo em apoios de pés e mãos esparsos, descontínuos e estreitos. Pequenos erros de percepção ou controle podem levar a falhas catastróficas. Além disso, as escadas do mundo real variam significamente em inclinação, espaçamento de degraus e design estrutural, tornando a generalização difícil. As abordagens existentes frequentemente dependem de controle baseado em modelos que exigem modelagem precisa do ambiente e ajuste específico para a tarefa, ou métodos de aprendizado por reforço (RL) que produzem comportamentos dominados pela parte inferior do corpo, falhando em explorar a coordenação de todo o corpo. Adicionalmente, poucos métodos abordam a manipulação sobre a escada, onde o robô deve manter o equilíbrio enquanto realiza tarefas.

Metodologia

Os autores propõem o LadderMan, um sistema unificado para escalada de escada perceptiva e manipulação sobre a escada por humanoides. O sistema emprega um pipeline de aprendizado de dois estágios escalável e um framework de agente duplo para manipulação.

1. Aprendizado de Múltiplas Políticas Especialistas (Estágio 1)

Para evitar a necessidade de grandes conjuntos de dados de movimento que cubram geometrias diversas, os autores introduzem o rastreamento de movimento híbrido.

• Movimento de Referência Único: O sistema aprende múltiplas políticas especialistas baseadas em estado ($\pi_{\phi,z}^{expert}$) correspondentes a diferentes configurações de escada (inclinação $\phi$, espaçamento de degraus $z$) a partir de um único movimento de referência.
• Rastreamento Assimétrico: O prêmio de rastreamento é particionado em componentes da parte superior e inferior do corpo. A parte inferior do corpo é rastreada estritamente para garantir comportamentos de escalada estáveis, enquanto a parte superior é rastreada com restrições relaxadas para permitir a adaptação a geometrias de escada específicas.
• Adaptação Orientada à Tarefa: O sistema incorpora prêmios de contato centrados na escada e prêmios de escalada. As posições de contato são geradas automaticamente com base na geometria alvo da escada, permitindo que a política adapte os locais de contato sem necessidade de anotação manual para cada configuração.

2. Destilação Unificada de Política Visuomotora (Estágio 2)

As múltiplas políticas especialistas são destiladas em uma única política visuomotora baseada em profundidade ($\pi_{visual}$) usando aprendizado por imitação e reforço híbrido.

• Objetivo Híbrido: A política é otimizada usando uma combinação de um objetivo de RL baseado em PPO (usando os mesmos prêmios dos especialistas) e um termo de divergência KL para incentivar a imitação de comportamentos especialistas. O peso do termo de imitação é suavizado (annealed) durante o treinamento, permitindo uma transição de uma inicialização impulsionada pela imitação para uma otimização impulsionada pela tarefa.
• Entradas: A política unificada recebe como entrada propriocepção, observações de profundidade e um comando binário de direção de escalada.

3. Redução do Gap Sim-to-Real

Para permitir a transferência zero-shot para hardware do mundo real, os autores abordam o gap de percepção de profundidade sim-to-real, que é crítico para degraus de escada finos.

• Modelo de Visão de Fundação (VFM): Em vez de depender de uma extensa randomização de profundidade, o sistema utiliza um VFM pré-treinado (Fast-FoundationStereo) para processar imagens estéreo em tons de cinza do mundo real em mapas de profundidade. Isso fornece observações de profundidade mais limpas e geometricamente consistentes.
• Mascaramento Focado nos Degraus (RFM): Durante o treinamento, regiões que não são degraus são mascaradas com uma probabilidade de $p=0.1$ para forçar a política a focar em estruturas de escalada relevantes para a tarefa, em vez de geometria de fundo ou suportes específicos da escada.

4. Manipulação Sobre a Escada via Aprendizado de Agente Duplo

Para tarefas de manipulação enquanto está na escada, os autores empregam uma formulação de agente duplo para desacoplar a estabilização da manipulação.

• Agente da Parte Inferior ($\pi_l$): Responsável por manter o equilíbrio estável e os contatos com a escada.
• Agente da Parte Superior ($\pi_u$): Rastreia alvos de manipulação teleoperados (poses de braço, pulso e cintura).
• Desacoplamento: Ao usar redes ator-crítico separadas, o sistema reduz a interferência entre os objetivos de estabilização e manipulação, permitindo uma teleoperação estável de todo o corpo na escada.

Principais Contribuições

1. Sistema Perceptivo Unificado: O LadderMan permite escalada de escada perceptiva zero-shot robusta através de diversas geometrias (inclinação, espaçamento de degraus, estrutura) usando um único movimento de referência e controle visuomotor baseado em profundidade.
2. Rastreamento de Movimento Híbrido: Um método inovador para aprender múltiplas políticas de escalada especialista a partir de um único movimento de referência, combinando o rastreamento relaxado da parte superior do corpo com a adaptação de contato orientada à tarefa, eliminando a necessidade de grandes conjuntos de dados de movimento.
3. Percepção Sim-to-Real: A integração de um Modelo de Visão de Fundação e o mascaramento focado nos degraus para reduzir o gap de percepção de profundidade, permitindo a implantação em hardware real sem extensiva sintonia manual ou modificações de hardware.
4. Manipulação Estável Sobre a Escada: Um framework de aprendizado de agente duplo que permite com sucesso tarefas de manipulação complexas (ex: ajustar pinturas, substituir lâmpadas) enquanto mantém o equilíbrio na escada, superando políticas padrão de teleoperação de todo o corpo.

Resultados Experimentais

O sistema foi avaliado em um humanoide Unitree G1 de 1,3m e 29-DoF usando uma câmera Intel RealSense D435i e NVIDIA Jetson Orin.

• Desempenho no Mundo Real: O LadderMan escalou com sucesso três escadas reais diversas (variando em ângulo, espaçamento e material) de forma zero-shot. Alcançou uma velocidade de escalada de 3,4 segundos por degrau, comparável a sujeitos humanos (3,2 s/degrau).
• Manipulação: O sistema realizou com sucesso tarefas de ajuste de pintura, substituição de lâmpadas e entrega de caixas enquanto mantinha o equilíbrio.
• Generalização: Em simulação, a política alcançou taxas de sucesso >95% em escadas com espaçamentos de degraus entre 24-28cm e inclinações entre 55-65 graus. Manteve ~57% de sucesso mesmo em configurações de limite extremo.
• Estudos de Ablação:
  • Aprendizado de Especialista: O rastreamento de movimento padrão falhou em geometrias diferentes da referência, enquanto o rastreamento de movimento híbrido teve sucesso em todas as configurações testadas.
  • Sim-to-Real: Remover o VFM, o mascaramento focado nos degraus ou o componente de RL no estágio de destilação reduziu significativamente as taxas de sucesso no mundo real, com algumas variantes falhando completamente.
  • Manipulação: A política de agente duplo manteve o equilíbrio estável durante a manipulação, enquanto uma linha de base de estado da arte (TWIST2) frequentemente perdia o equilíbrio.

Significância e Limitações

O artigo afirma que o LadderMan representa um marco importante para o implante de humanoides em ambientes industriais (construção, manutenção) ao resolver o desafiador problema da escalada de escada perceptiva e manipulação sem modificações de hardware.

Limitações reconhecidas pelos autores:

• A política de escalada é atualmente avaliada em escadas inclinadas até 75 graus e ainda não se estende a escadas verticais, que requerem estratégias diferentes e forças de contato maiores.
• As capacidades de manipulação são atualmente limitadas pela ausência de efetuadores destros no hardware atual.

Os autores afirmam que todo o código de treinamento e inferência, juntamente com os modelos implantáveis, será disponibilizado em código aberto.