A Hybrid Autoencoder for Robust Heightmap Generation from Fused Lidar and Depth Data for Humanoid Robot Locomotion

Resumo Técnico: Um Autoencoder Híbrido para Geração Robusta de Mapas de Altura

Definição do Problema
A locomoção confiável para robôs humanoides em ambientes não estruturados e centrados em humanos é dificultada pela instabilidade inerente da morfologia bípede e pelas limitações dos sistemas de percepção atuais. Abordagens tradicionais frequentemente dependem de pipelines de sensor único (seja câmeras de profundidade ou LiDAR) ou técnicas de mapeamento manualmente projetadas e computacionalmente caras, como SLAM e voxelização. Esses métodos frequentemente sofrem com sensibilidade à iluminação, propriedades de superfície, latência significativa e deriva (drift). Além disso, os pipelines de percepção-para-controle existentes carecem de uma representação intermediária robusta que equilibre o detalhamento do terreno com a eficiência computacional necessária para o controle em tempo real.

Metodologia
O artigo propõe um framework modular baseado em aprendizado que desacopla a percepção do controle, utilizando um mapa de altura (heightmap) centrado no robô como a representação intermediária. O núcleo do sistema é uma Estrutura de Encoder-Decoder Híbrida (EDS) projetada para reconstruir o terreno a partir de dados sensoriais brutos de alta dimensão.

• Fusão de Sensores: O sistema funde dados de três fontes: uma câmera de profundidade Intel RealSense, um LiDAR LIVOX MID-360 e um IMU embarcado.
  • Processamento de LiDAR: Para permitir o processamento eficiente por CNN, a nuvem de pontos 3D não estruturada do LiDAR é transformada via projeção esférica em uma imagem de amplitude 2D estruturada (resolução de 276 × 40). Isso inclui etapas de pré-processamento como preenchimento de lacunas (gap-filling), interpolação de vizinho mais próximo e filtragem de mediana para mitigar artefatos de projeção.
  • Processamento de Profundidade: As imagens de profundidade são processadas em resolução de 160 × 120.
• Arquitetura:
  • Encoders: Ramos de Redes Neurais Convolucionais (CNN) separados processam as imagens de profundidade e de amplitude do LiDAR. Cada ramo utiliza quatro camadas convolucionais com stride para reduzir a resolução espacial e extrair características, mapeando-as para um vetor latente de 256 dimensões.
  • Fusão e Núcleo Temporal: Os vetores latentes são concatenados com um vetor de estado do robô de 15 dimensões (dados do IMU) e a previsão do mapa de altura do passo de tempo anterior. Essa representação unificada é processada por um núcleo recorrente consistindo em duas camadas de Unidade Recorrente de Portão (GRU) empilhadas (256 unidades ocultas) para garantir consistência temporal e lidar com oclusões.
  • Decoder: Uma cabeça de decodificação totalmente conectada produz o mapa de altura previsto final de 165 dimensões.
• Estratégia de Treinamento: Um processo de treinamento em duas etapas é empregado. Primeiro, autoencoders convolucionais simétricos são pré-treinados de maneira não supervisionada em dados simulados ruidosos para estabilizar a extração de características. Segundo, esses encoders são integrados ao EDS completo com o núcleo GRU e treinados em um ambiente supervisionado usando mapas de altura de verdade fundamental (ground-truth).
• Otimização do Mapa de Altura: O mapa de altura centrado no robô é otimizado para o comportamento da política de locomoção. O estudo identifica uma resolução de grade ideal de 7 cm dentro de uma grade de 0,98 m × 0,7 m, com o centro deslocado 0,2 m para frente para priorizar o caminho imediato do robô.
• Política de Controle: Uma política de Aprendizado por Reforço Profundo (DRL), treinada via Otimização de Política Próxima (PPO) no Isaac Lab, utiliza o mapa de altura gerado, sinais proprioceptivos e comandos de velocidade para controlar 23 graus de liberdade atuados. A função de recompensa é moldada para incentivar o comportamento antecipatório, como levantar os pés para mudanças de elevação iminentes.

Principais Contribuições

1. Arquitetura EDS Híbrida: Introdução de uma arquitetura de fusão multimodal combinando CNNs para extração de características espaciais e GRUs para modelagem temporal, especificamente adaptada para a percepção de terreno de humanoides.
2. Representação Otimizada de Mapa de Altura: Avaliação sistemática de espaçamento e resolução de grade, estabelecendo que uma resolução de 7 cm com um campo de visão deslocado para frente oferece o melhor equilíbrio entre precisão de apoio e estabilidade de treinamento.
3. Projeção Eficiente de LiDAR: Implementação de um método de projeção esférica para dados de LiDAR que converte nuvens de pontos 3D em imagens de amplitude 2D adequadas para CNNs, reduzindo a complexidade computacional em comparação com métodos baseados em voxels.
4. Treinamento em Duas Etapas: Uma metodologia que separa o pré-treinamento não supervisionado dos encoders da fusão temporal supervisionada para melhorar a convergência e a robustez.

Resultos

• Precisão da Percepção: A abordagem de fusão multimodal alcançou um Erro Médio Absoluto (MAE) de 2,19 cm. Isso representa uma melhoria de 7,2% sobre as configurações apenas de profundidade (2,36 cm) e uma melhoria de 9,9% sobre as configurações apenas de LiDAR (2,43 cm).
• Contexto Temporal: A utilização de um horizonte temporal de 3,2 segundos (32 passos de tempo) reduziu os erros de reconstrução em aproximadamente 30% em comparação com horizontes mais curtos, com retornos decrescentes observados em 6,4 segundos.
• Estabilidade de Locomoção: A integração do mapa de altura otimizado e do moldagem de recompensa resultou em uma redução de 70,1% nas terminações causadas por quedas em comparação com uma linha de base cega. Adicionalmente, o erro de velocidade linear diminuiu 25,0% e o erro de velocidade angular 17,2%.
• Robustez: A política manteve a locomoção estável mesmo quando as entradas do mapa de altura foram corrompidas com ruído Gaussiano até um desvio padrão de 2 cm.

Significância e Limitações
O artigo afirma estabelecer uma base validada para a locomoção de humanoides em tempo real e consciente do terreno, ao desacoplar a percepção do controle e otimizar a representação intermediária. O framework demonstra que a fusão de sensores híbridos e o espaçamento de grade personalizado permitem padrões de marcha antecipatórios, permitindo que os robôs naveguem em terrenos complexos de forma mais segura.

No entanto, os autores reconhecem limitações específicas:

• Suavização de Descontinuidades: A função de perda de Erro Quadrático Médio (MSE) pixel a pixel tende a suavizar descontinuidades verticais nítidas (ex: bordas de degraus) em inclinações graduais, o que pode reduzir a precisão do apoio em superfícies descontínuas.
• Sensibilidade ao Ruído: A confiabilidade do controle degrada significativamente quando o ruído do mapa de altura excede um desvio padrão de 2 cm.
• Limites de Representação: O mapa de altura 2.5-D não consegue capturar estruturas suspensas (sobrepostas).
• Lacuna Sim-to-Real: Embora o sistema funcione bem em simulação, permanece uma lacuna para implantação no mundo real, particularmente em relação ao pré-treinamento em conjuntos de dados reais obstruídos.

Os autores sugerem que trabalhos futuros devem focar em funções de perda que preservem bordas, arquiteturas híbridas CNN-Transformer e randomização de domínio abrangente para abordar essas limitações.