Resumo Técnico: Treinamento e Simulação de Robô Quadrúpede em Subida e Descida Adaptativa de Escadas para Combate a Incêndios em Ambientes Internos

Definição do Problema

As buscas primárias em incêndios internos exigem levantamentos ambientais rápidos e minuciosos para localizar vítimas e monitorar materiais inflamáveis sob condições perigosas. Embora robôs quadrúpedes (cães robóticos) ofereçam uma adaptabilidade superior a terrenos irregulares e espaços congestionados em comparação com robôs com rodas ou esteiras, eles enfrentam dois obstáculos técnicos críticos neste domínio:

1. Consciência Situacional: Navegar em ambientes internos complexos e dinâmicos com obstruções visuais (ex: fumaça) e interpretar dados de sensores para mapear o espaço 3D.
2. Locomoção Robusta: Desenvolver capacidades de alta velocidade e confiabilidade para subir e descer diversos tipos de escadas (retas, em L, espirais e degraus danificados) encontradas em edifícios residenciais e comerciais.

Abordagens existentes frequentemente dependem de planejamento hierárquico (separando percepção, planejamento e controle) ou ambientes de escada simplificados, o que pode aumentar a complexidade do sistema e limitar a generalização para variadas topologias de escada.

Metodologia

Os autores propõem uma estrutura de aprendizagem por reforço (RL) de ponta a ponta em dois estágios utilizando a plataforma NVIDIA Isaac Lab e o robô quadrúpede Unitree Go2. A abordagem unifica navegação e locomoção em uma única política de rede neural, evitando o planejamento hierárquico.

1. Estrutura de Treinamento

O treinamento utiliza o algoritmo Proximal Policy Optimization (PPO) on-policy e é dividido em dois estágios distintos:

• Estágio 1 (Aquisição de Habilidades): O robô é treinado em um terreno de "escada piramidal" pré-programado que afunila para uma plataforma plana. O objetivo é adquirir habilidades fundamentais de locomoção de subida e descida de escadas. O robô navega para posições e orientações de objetivo específicas.
• Estágio 2 (Generalização e Navegação): A política do Estágio 1 é transferida para um currículo de escadas internas realistas e customizadas (retas, em L e espirais). A tarefa muda para o rastreamento de uma linha central da escada (centerline), exigindo que o robô se adapte a topologias de escada específicas enquanto mantém a locomoção.

2. Arquitetura de Rede e Observações

• Entrada (Observações): A política recebe estados proprioceptivos (velocidade linear/angular, posição/velocidade das juntas, vetor de gravidade), comandos de usuário (posição e yaw) e estados ambientais. O estado ambiental inclui um mapa de altura local de 21x21 (resolução de 0,2m) representando o terreno ao redor dos pés e do centro do robô.
• Arquitetura: A rede da política consiste em um codificador de Rede Neural Convolucional (CNN) rasa (processando o mapa de altura) e um Perceptron Multicamadas (MLP) de 3 camadas. A CNN gera um vetor de características de 128 dimensões que representa a informação do terreno, que é combinado com outras observações e enviado ao MLP para gerar 12 comandos de posição de junta.
• Rede Crítica (Critic Network): Compartilha o codificador CNN com a rede da política para estimar retornos de longo prazo, reduzindo a carga de treinamento para a extração de características do terreno.

3. Função de Recompensa e Currículo

A função de recompensa é uma soma ponderada de recompensas de tarefa/navegação e penalidades de regularização:

• Recompensas de Tarefa:
  • Estágio 1: Recompensas de navegação grosseira e fina baseadas na distância euclidiana até o objetivo.
  • Estágio 2: Recompensa de centralização (penalizando o desvio da linha central da escada) e recompensa de trajetória (encorajando o progresso frontal ao longo da linha central).
• Regularização/Penalidades: Inclui penalidades para excesso de potência do motor, torque, velocidade/aceleração das juntas, mudanças de ação e colisões (corpo/cabeça/quadril vs. solo/obstáculos). Uma penalidade de "marcha voadora" (flying gait) e uma recompensa de passo encorajam um movimento estável e apoiado no solo.
• Aprendizagem por Currículo: O treinamento progride através de 10 níveis de dificuldade por tipo de terreno. A dificuldade aumenta via altura do degrau (0–12 cm), largura da escada (2,0–1,4 m) e comprimento da escada (incluindo comprimentos de curva para escadas em L e espirais). Os robôs sobem de nível apenas ao atingir o objetivo com sucesso com o yaw especificado.

Principais Contribuições

O artigo identifica quatro contribuições primárias:

1. Estrutura de RL de Ponta a Ponta em Dois Estágios: Um método que transfere com sucesso habilidades de subida/descida de um terreno piramidal abstrato para topologias de escadas internas realistas (retas, em L, espirais).
2. Formulação de Navegação Baseada em Linha Central: Uma abordagem de aprendizagem unificada para navegação e locomoção que elimina a necessidade de planejamento hierárquico, dependendo exclusivamente da percepção de mapa de altura local.
3. Generalização da Política: Demonstração de que a política aprendida pode se generalizar através de diversas formas de escada usando apenas informações ambientais locais, sem mapas globais.
4. Análise Empírica: Uma avaliação abrangente das taxas de sucesso, eficiência e modos de falha sob dificuldade crescente de escada.

Resultados e Avaliação

A política foi avaliada em 300 episódios em escadas retas, em L e espirais com variações de altura de degrau (4cm a 14cm).

• Taxas de Sucesso: As taxas de sucesso geralmente diminuíram conforme os níveis de dificuldade aumentaram. Escadas espirais provaram ser as mais desafiadoras, com uma queda significativa nas taxas de sucesso no Nível 6.
• Métricas de Locomoção:
  • Velocidade: A velocidade linear média geralmente diminuiu conforme a dificuldade aumentou.
  • Taxa de Subida/Descida: Mostrou uma tendência geral de aumento com os níveis de dificuldade, sugerindo que o robô manteve o progresso vertical apesar da redução da velocidade frontal.
  • Erros: Erros de posição e de direção (heading) aumentaram com a dificuldade. Escadas retas apresentaram os menores erros, enquanto escadas em L e espirais mostraram erros maiores, especialmente com um surto no Nível 6.
  • Consumo de Energia: O uso de energia aumentou com a complexidade da escada. No entanto, no Nível 6, o consumo de energia diminuiu, atribuído ao fato de a política adotar movimentos conservadores e mais lentos para evitar penalidades de falha.
• Comparação de Estágios: O treinamento do Estágio 2 melhorou significamente o desempenho em relação aos modelos do Estágio 1. Os modelos do Estágio 1 falharam em escadas em L, frequentemente tentando "cortar caminho" na curva e colidindo, enquanto os modelos do Estágio 2 reconheceram com sucesso os padrões das escadas e navegaram pelas curvas.
• Robustez: O robô demonstrou capacidade de navegar em escadas usando apenas mapas de altura locais, indicando robustez à observabilidade parcial, uma característica crítica para o combate a incêndios onde mapas globais de edifícios podem não estar disponíveis.

Significância e Alegações

O artigo afirma que a abordagem de RL de ponta a ponta proposta equilibra efetivamente navegação e locomoção, permitindo que robôs quadrúpedes se adaptem a várias formas de escadas enquanto mantêm alta agilidade. Os autores enfatizam que a formulação baseada em linha central permite a aprendizagem unificada sem a complexidade hierárquica.

O estudo destaca que, embora o sistema funcione bem em escadas padrão e de complexidade moderada, desafios permanecem nos níveis de dificuldade mais altos (Nível 6), onde a política tende a adotar estratégias conservadoras para evitar penalidades. Os autores sugerem que trabalhos futuros possam incorporar recompensas de exploração para mitigar esse risco de aversão. Adicionalmente, o trabalho atual assume escadas intactas; iterações futuras visam testar o sistema em ambientes mais severos com escadas danificadas ou obstruídas, eventualmente implantando as políticas aprendidas em hardware real via fluxos de trabalho Sim-to-Real.