Neuromorphic Reinforcement Learning for Quadruped Locomotion Control on Uneven Terrain

Resumo Técnico: Aprendizado por Reforço Neuromórfico para Controle de Locomoção de Quadrúpedes em Terrenos Irregulares

Definição do Problema
Embora o Aprendizado por Reforço (RL) tenha possibilitado a locomoção robusta de quadrúpedes em terrenos complexos, os controladores atuais enfrentam limitações significativas quanto à adaptação no próprio robô e à eficiência energética. A maioria das políticas de estado da arte é treinada offline usando retropropagação (BP) em simulações massivas paralelas e implantada como políticas fixas. Essa abordagem tem dificuldade em se adaptar a variações do mundo real, como mudanças no terreno, deslocamentos de carga e desgaste de atuadores. Além disso, o custo computacional de inferência de alta dimensão frequente e de propagação de gradiente em plataformas CPU/GPU cria um ônus energético substancial, particularmente para robôs de pequena escala operando sob fontes de energia limitadas. Existem métodos de RL on-robot que frequentemente exigem supervisão ou potência externa, limitando sua utilidade em ambientes remotos. Há uma necessidade crítica de algoritmos de aprendizado que sejam compatíveis com substratos de hardware neuromórficos de baixo consumo e que possam realizar adaptação local e consciente da energia sem retropropagação global.

Metodologia
Os autores propõem um framework que integra a Propagação de Equilíbrio (EP) com a Otimização de Política Próxima (PPO) para treinar um controlador de quadrúpede bioinspirado. O sistema substitui redes convencionais treinadas por retropropagação por aprendizado local via EP, onde o aprendizado é impulsionado por estados neurais locais e pela dinâmica de relaxação da rede, em vez do transporte global de gradiente.

A arquitetura de controle é um sistema de duas ramificações CPG–RES (Gerador de Padrão Central – Residual):

1. Ramificação CPG: Gera trajetórias de pés estruturadas e rítmicas (fase, amplitude, frequência) para lidar com a geração básica de marcha.
2. Ramificação RES: Fornece ajustes residuais de postura para corrigir alvos de articulação para a travessia de terrenos irregulares.

Para adaptar o PPO ao EP, os autores abordam vários desafios técnicos:

• Objetivo Compatível com EP: Eles derivam um sinal de indução de saída (output-nudging) que mapeia o objetivo da política PPO na dinâmica de equilíbrio do EP. Em vez de minimizar uma perda, a rede é impulsionada a maximizar o objetivo substituto do PPO aplicando o gradiente negativo do objetivo aos neurônios da camada de saída.
• Mecanismos de Estabilização: Para evitar o colapso da política e atualizações instáveis durante o processo de relaxação, os autores introduzem um mecanismo de clipping de razão de dois lados (modificando o intervalo de clipping padrão do PPO) e uma regra de escalonamento de gradiente ajustada usando $1/\sigma_i$ em vez de $1/\sigma_i^2$.
• Pré-processamento: Uma transformada de cosseno discreta inversa (iDCT) é aplicada aos vetores de observação para acelerar a convergência ao equilíbrio e reduzir a latência de inferência.
• Paradigma de Treinamento: O sistema emprega um processo de treinamento de dois estágios. O Estágio 1 treina a política CPG em solo plano. O Estágio 2 congela a política CPG e treina a política RES em terreno irregular randomizado. Ambos os estágios utilizam o framework EP-PPO.

Principais Contribuições

1. Framework PPO Baseado em EP: O artigo apresenta a primeira demonstração de um framework PPO baseado em EP para controle contínuo de locomoção sem retropropagação. Ele formula atualizações de EP tanto para o aprendizado de política quanto para a regressão de valor, estabelecendo um caminho para a implementação neuromórfica de controle robótico de alta dimensão.
2. Gradiente de Política Compatível com EP: Os autores derivam um sinal de indução de camada de saída específico e um objetivo de clipping de razão de dois lados que estabiliza as atualizações da política durante a relaxação do EP, permitindo o treinamento de políticas de controle contínuo estocásticas sem retropropagação direta através da rede.
3. Integração de Controlador Bioinspirado: O trabalho integra redes EP em um controlador CPG–RES, conectando a organização da locomoção biológica (dinâmica de oscilador) com o aprendizado neuromórfico local para a travessia de terrenos irregulares.

Resultos
O controlador proposto foi avaliado em um robô quadrúpede Unitree A1 de 12-DoF simulado no MuJoCo sobre terreno irregular randomizado e comparado contra uma linha de base PPO padrão treinada por retropropagação.

• Paridade de Desempenho: O controlador baseado em EP alcançou desempenho comparável à linha de base BP em termos de taxa de sucesso, rastreamento de velocidade de avanço, consumo de potência do atuador e estabilidade do corpo (velocidade angular de roll/pitch).
• Estabilidade de Treinamento: O método EP alcançou convergência estável de política em ambos os estágios de treinamento sem colapso de política, e a rede de valor minimizou a perda de forma constante.
• Eficiência: Uma descoberta significativa é a melhoria na eficiência de memória. O algoritmo EP consumiu aproximadamente 4,3× menos memória de GPU (3110 MB vs. 13486 MB) em comparação com a Retropropagação Através do Tempo (BPTT) para a mesma tarefa, atribuído à eliminação dos requisitos de armazenamento de gradiente global.

Significância e Alegações
O artigo afirma que o aprendizado local baseado em equilíbrio pode suportar locomoção incorporada de alta dimensão e rica em contatos, indo além de benchmarks simples de controle neuromórfico. A principal significância reside em fornecer uma fundação algorítmica para adaptação e ajuste fino no próprio robô com baixo consumo de energia. Ao alinhar as regras de aprendizado com as dinâmicas de hardware in-memory e neuromórfico, o framework oferece uma solução potencial para as restrições de energia de autonomia de longa duração.

Os autores mantêm-se modestos quanto ao estado atual do trabalho, observando que:

• O método herda as limitações de eficiência de amostra do PPO, que são desafiadoras para robôs do mundo real.
• A implementação atual ainda depende de computação digital para relaxação e infraestrutura; é um passo algorítmico em direção ao aprendizado consciente da energia, em vez de uma realização completa de hardware.
• Trabalhos futuros são necessários para abordar segurança, eficiência de amostras e o desenvolvimento de designs neuromórficos de nível de sistema que integrem a dinâmica EP com a infraestrutura de RL circundante.