Resumo Técnico: Controle Neuromórfico de um Robô Multipé de Simulação Movido por SMA Usando uma Rede Neural Pulsante

Declaração do Problema

As estratégias de controle convencionais para robôs moles, particularmente aqueles movidos por Ligas com Memória de Forma (SMAs), baseiam-se predominantemente em sinais periódicos de malha aberta e pré-projetados. Esta abordagem enfrenta desafios significativos devido à alta dimensionalidade dos sistemas de robótica mole e às fortes não linearidades inerentes aos atuadores de SMA, como a histerese térmica e as características de saturação. Projetar e ajustar manualmente movimentos coordenados para sistemas com muitos graus de liberdade é difícil, e controladores de malha aberta carecem de adaptabilidade para lidar com mudanças ambientais (ex: obstáculos, inclinações) ou degradação de materiais.

Embora o Aprendizado por Reforço Profundo (DRL) ofereça um caminho para o controle adaptativo, as abordagens padrão de DRL frequentemente utilizam Redes Neurais Artificiais (ANNs) que podem ser computacionalmente caras e energeticamente ineficientes durante a inferência. Além disso, as SMAs compartilham características de resposta mecânica com músculos biológicos (ex: comportamento de limiar, saturação e somação temporal de entradas de pulso), sugerindo que uma arquitetura de controle que mimetize o processamento neural biológico poderia ser particularmente adequada. O desafio específico abordado é o desenvolvimento de um método de controle autônomo e energeticamente eficiente que possa aprender a explorar a dinâmica não linear dos atuadores de SMA sem depender de design manual de sinais.

Metodologia

Modelo do Robô e Atuação

Os autores modelaram um robô mole inspirado em uma estrela-do-mar no simulador de física MuJoCo. O robô apresenta um torso central e cinco pernas dispostas radialmente. Cada perna consiste em seis juntas de dobradiça (30 graus de liberdade no total) e é atuada por um fio de SMA (flexor) e um elemento elástico passivo (extensor).

• Modelo de SMA: Um modelo constitutivo simplificado baseado no trabalho de Brinson foi adotado, priorizando a eficiência computacional. O modelo aproxima o progresso da transformação de fase ($\xi$) como uma função apenas da temperatura, negligenciando a dependência explícita de tensão. A força gerada é proporcional a $\xi$.
• Dinâmica Térmica: A evolução da temperatura do fio de SMA é governada por uma equação de conservação de energia que considera o aquecimento por efeito Joule e a dissipação de calor. O modelo inclui histerese térmica ao utilizar diferentes temperaturas de transição para os processos de aquecimento e resfriamento.
• Lógica de Atuação: O dado de entrada de controle é um valor de corrente normalizado ($u \in [0,1]$). O sistema simula os limites físicos do aumento de temperatura e das taxas de resfriamento para evitar instabilidade numérica.

Rede de Ator Pulsante (SAN)

A principal contribuição é um método de Aprendizado por Reforço Profundo baseado em Redes Neurais Pulsantes (SNN) utilizando o algoritmo Twin Delayed Deep Deterministic Policy Gradient (TD3).

• Arquitetura: A rede do ator é substituída por uma Rede de Ator Pulsante (SAN) composta por:
  1. Codificador (Encoder): Converte observações de estado contínuas em trens de pulsos usando codificação de população e um mecanismo de limiar.
  2. FC SNN: Uma rede totalmente conectada com duas camadas ocultas de neurônios Leaky Integrate-and-Fire (LIF) de 256 unidades.
  3. Decodificador (Decoder): Converte os trens de pulsos de saída de volta em valores de ação contínuos (sinais de controle para as SMAs) via codificação de taxa (rate coding).
• Tratamento de Estado Interno: Diferente do TD3 padrão, o replay buffer é estendido para armazenar informações de potencial de membrana ($m_t$ e $m_{t+1}$) juntamente com estado, ação e recompensa. Isso permite que a dinâmica interna da SNN seja reproduzida com precisão durante a fase de amostragem do treinamento.
• Algoritmo de Treinamento:
  • Gradiente de Substituição (Surrogate Gradient - SG): A etapa não diferenciável da função degrau do neurônio LIF é tratada usando a função sigmoide rápida como um gradiente de substituição durante a retropropagação.
  • Regularização: Um termo de regularização ($\alpha \|m_n\|_2^2$) é adicionado à função de perda do ator para minimizar os potenciais de membrana ao quadrado. Isso incentiva a geração de ações com menos disparos de pulsos, melhorando assim a eficiência energética durante a inferência.

Configuração Experimental

• Tarefa: Locomoção autônoma em direção a um objetivo alvo.
• Espaço de Estados: Um vetor de 9 dimensões compreendendo comprimentos de SMA, a posição relativa da ponta do primeiro raio e o vetor do centro do torso até o objetivo.
• Função de Recompensa: Uma recompensa composta que promove o progresso em direção ao objetivo, penaliza a distância ao objetivo e penaliza a norma L2 do vetor de ação para incentivar a eficiência energética.
• Ambiente: Simulador de física MuJoCo com um passo de tempo de 10ms (intervalo de observação/ação de 1000ms).

Principais Resultados

Avaliação de Movimento e Dinâmica de SMA

Experimentos iniciais estabeleceram a relação entre a taxa de disparo de pulsos e o ângulo de flexão de uma única perna. Os resultados confirmaram forte não linearidade, efeitos de limiar e saturação, espelhando o comportamento muscular biológico. Um achado crítico foi a existência de um período de acionamento ideal: períodos mais longos que o tempo de relaxação ($T_{ext} \approx 20-25$s) causam intervalos ociosos, enquanto períodos mais curtos que $T_{ext}$ levam a uma extensão incompleta e desperdício de energia.

Aprendizado de Locomoção Autônoma

A SAN aprendeu com sucesso a controlar o robô em dois cenários: locomoção em linha reta e locomoção de alcance de objetivo (oblíqua).

• Progressão do Aprendizado:
  • Estágio Inicial (30k passos): Sem periodicidade clara; movimento mínimo.
  • Estágio Intermediário (50k passos): Emergência de padrões de disparo periódicos e movimento frontal limitado.
  • Estágio Final (300k passos): Locomoção estável e contínua com um passo (gait) coordenado.
• Características do Passo (Gait):
  • Periodicidade: O período de disparo aprendido estabilizou-se em aproximadamente 24–26 segundos, correspondendo de perto ao tempo de relaxação físico dos atuadores de SMA medidos nos experimentos básicos.
  • Coordenação: O agente aprendeu a acionar as cinco pernas com deslocamentos de fase específicos em vez de sincronizá-las. Por exemplo, na tarefa de linha reta, o Raio 2 e o Raio 5 lideram, enquanto os Raios 3 e 4 estão quase em antifase com o Raio 1.
  • Adaptabilidade: Quando a posição do objetivo mudava, o agente ajustava o tempo de contração e as relações de fase dos raios dinamicamente, em vez de depender de um padrão fixo de entrada.

Eficiência Energética

A inclusão do termo de regularização do potencial de membrana suprimiu com sucesso disparos excessivos de pulsos durante a inferência, alinhando-se ao objetivo de controle neuromórfico energeticamente eficiente.

Significância e Alegações

O artigo alega que o método proposto demonstra o potencial de controle neuromórfico autônomo para a locomoção de robôs moles energeticamente eficiente. Especificamente:

1. Aquisição Autônoma de Restrições Físicas: O agente aprendeu implicitamente os atrasos de resposta termodinâmica e a saturação de saída das SMAs, adquirindo um período de acionamento que corresponde ao tempo de relaxação físico dos atuadores sem ajuste manual.
2. Coordenação Emergente: Através da interação com o ambiente, a SNN desenvolveu autonomamente um passo coordenado com dinâmicas de propagação de fase ordenadas. Isso mimetiza os passos projetados empiricamente de trabalhos anteriores, mas é alcançado sem pré-projeto de malha aberta.
3. Eficiência Energética: Ao aproveitar a natureza orientada a eventos das SNNs e um termo de regularização para minimizar os potenciais de membrana, o método oferece um caminho para inferências de menor consumo de energia em comparação com as DRLs baseadas em ANNs tradicionais.
4. Adaptabilidade: O controlador conseguiu se adaptar com sucesso a diferentes posições de objetivo ao ajustar dinamicamente os padrões de disparo, demonstrando robustez a variações de tarefas.

Os autores concluem que o controle neuromórfico baseado em aprendizado pode superar as limitações do controle convencional de malha aberta para sistemas de músculos artificiais de alta dimensão e não lineares. Eles observam que, embora os resultados sejam promissores em simulação, trabalhos futuros exigirão a validação da transferência dessas políticas para robôs físicos (sim-to-real), reconhecendo que parâmetros do mundo real (taxas de resfriamento, fricção, elasticidade do material) podem diferir da simulação.