Resumen Técnico: Control Neuromórfico de un Robot Multitápodo de Piernas Impulsado por SMA Mediante una Red Neuronal de Picos

Planteamiento del Problema

Las estrategias de control convencionales para robots blandos, particularmente aquellos impulsados por Aleaciones con Memoria de Forma (SMA), dependen predominantemente de señales periódicas de lazo abierto y prediseñadas. Este enfoque enfrenta desafíos significativos debido a la alta dimensionalidad de los sistemas de robots blandos y las fuertes no linealidades inherentes a los actuadores de SMA, tales como la histéresis térmica y las características de saturación. El diseño y ajuste manual de movimientos coordinados para sistemas con muchos grados de libertad es difícil, y los controladores de lazo abierto carecen de la adaptabilidad para manejar cambios ambientales (por ejemplo, obstáculos, pendientes) o la degradación del material.

Si bien el Aprendizaje por Refuerzo Profundo (DRL) ofrece una vía para el control adaptativo, los enfoques estándar de DRL suelen utilizar Redes Neuronales Artificiales (ANN) que pueden ser computacionalmente costosas e ineficientes energéticamente durante la inferencia. Además, las SMA comparten características de respuesta mecánica con los músculos biológicos (por ejemplo, comportamiento de umbral, saturación y sumación temporal de entradas de pulso), lo que sugiere que una arquitectura de control que imite el procesamiento neuronal biológico podría ser particularmente adecuada. El desafío específico abordado es el desarrollo de un método de control autónomo y eficiente energéticamente que pueda aprender a explotar la dinámica no lineal de los actuadores de SMA sin depender del diseño manual de señales.

Metodología

Modelo del Robot y Actuación

Los autores modelaron un robot blando de múltiples patas inspirado en una estrella de mar en el simulador de física MuJoCo. El robot presenta un torso central y cinco patas dispuestas radialmente. Cada pata consta de seis articulaciones de bisagra (30 grados de libertad en total) y es actuada por un alambre de SMA (flexor) y un elemento elástico pasivo (extensor).

• Modelo de SMA: Se adoptó un modelo constitutivo simplificado basado en el trabajo de Brinson, priorizando la eficiencia computacional. El modelo aproxima el progreso de la transformación de fase ($\xi$) únicamente como una función de la temperatura, omitiendo la dependencia explícida del esfuerzo. La fuerza generada es proporcional a $\xi$.
• Dinámica Térmica: La evolución de la temperatura del alambre de SMA se rige por una ecuación de conservación de la energía que considera el calentamiento por efecto Joule y la disipación de calor. El modelo incluye histéresis térmica mediante el uso de diferentes temperaturas de transición para los procesos de calentamiento y enfriamiento.
• Lógica de Actuación: La entrada de control es un valor de corriente normalizado ($u \in [0,1]$). El sistema simula los límites físicos del aumento de temperatura y las tasas de enfriamiento para evitar la inestabilidad numérica.

Red de Actor de Picos (SAN)

La contribución central es un método de Aprendizaje por Refuerzo Profundo basado en Redes Neuronales de Picos (SNN) utilizando el algoritmo Twin Delayed Deep Deterministic Policy Gradient (TD3).

• Arquitectura: La red de actor se reemplaza por una Red de Actor de Picos (SAN) que consiste en:
  1. Codificador (Encoder): Convierte observaciones de estado continuas en trenes de picos mediante codificación de población y un mecanismo de umbralización.
  2. FC SNN: Una red totalmente conectada con dos capas ocultas de neuronas Leaky Integrate-and-Fire (LIF).
  3. Decodificador (Decoder): Convierte los trenes de picos de salida nuevamente en valores de acción continuos (señales de control para las SMA) mediante codificación por tasa (rate coding).
• Manejo del Estado Interno: A diferencia del TD3 estándar, el búfer de repetición (replay buffer) se extiende para almacenar información del potencial de membrana ($m_t$ y $m_{t+1}$) junto con el estado, la acción y la recompensa. Esto permite que la dinámica interna de la SNN se reproduzca con precisión durante la fase de muestreo del entrenamiento.
• Algoritmo de Entrenamiento:
  • Gradiente Sustituto (SG): La función de paso no diferenciable de la neurona LIF se gestiona utilizando la función sigmoide rápida como un gradiente sustituto durante la retropropagación.
  • Regularización: Se añade un término de regularización ($\alpha \|m_n\|_2^2$) a la función de pérdida del actor para minimizar los potenciales de membrana al cuadrado. Esto fomenta la generación de acciones con menos disparos de picos, mejorando así la eficiencia energética durante la inferencia.

Configuración Experimental

• Tarea: Locomoción autónoma hacia un objetivo.
• Espacio de Estados: Un vector de 9 dimensiones que comprende las longitudes de las SMA, la posición relativa de la punta del primer rayo y el vector desde el centro del torso hacia el objetivo.
• Función de Recompensa: Una recompensa compuesta que promueve el progreso hacia el objetivo, penaliza la distancia al objetivo y penaliza la norma L2 del vector de acción para fomentar la eficiencia energética.
• Entorno: Simulador de física MuJoCo con un paso de tiempo de 10 ms (intervalo de observación/acción de 1000 ms).

Resultados Clave

Evaluación del Movimiento y Dinámica de SMA

Los experimentos iniciales establecieron la relación entre las tasas de disparo de picos y el ángulo de flexión de una sola pata. Los resultados confirmaron una fuerte no linealidad, efectos de umbral y saturación, imitando el comportamiento muscular biológico. Un hallazgo crítico fue la existencia de un periodo de conducción óptimo: los periodos más largos que el tiempo de relajación ($T_{ext} \approx 20-25$ s) causan intervalos de inactividad, mientras que los periodos más cortos que $T_{ext}$ provocan una extensión incompleta y un desperdicio de energía.

Aprendizaje de Locomoción Autónoma

La SAN aprendió con éxito a controlar el robot en dos escenarios: locomoción en línea recta y locomoción de alcance de objetivo (oblicua).

• Progresión del Aprendizaje:
  • Etapa Temprana (30k pasos): Sin periodicidad clara; movimiento mínimo.
  • Etapa Intermedia (50k pasos): Emergencia de patrones de disparo periódicos y movimiento frontal limitado.
  • Etapa Tardía (300k pasos): Locomoción continua y estable con una marcha coordinada.
• Características de la Marcha:
  • Periodicidad: El periodo de disparo aprendido se estabilizó en aproximadamente 24–26 segundos, coincidiendo estrechamente con el tiempo de relajación física de los actuadores de SMA medidos en los experimentos básicos.
  • Coordinación: El agente aprendió a accionar las cinco patas con desfases específicos en lugar de sincronizarlas. Por ejemplo, en la tarea de línea recta, el Rayo 2 y el Rayo 5 lideraban, mientras que los Rayos 3 y 4 estaban casi en antifase respecto al Rayo 1.
  • Adaptabilidad: Cuando la posición del objetivo cambiaba, el agente ajustaba dinámicamente el tiempo de contracción y las relaciones de fase de los rayos, en lugar de depender de un patrón de entrada fijo.

Eficiencia Energética

La inclusión del término de regularización del potencial de membrana logró suprimir el exceso de disparos de picos durante la inferencia, alineándose con el objetivo de un control neuromórfico de bajo consumo.

Significancia y Reivindicaciones

El artículo afirma que el método propuesto demuestra el potencial del control neuromórfico autónomo para la locomoción de robots blandos de manera eficiente energéticamente. Específicamente:

1. Adquisición Autónoma de Restricciones Físicas: El agente aprendió implícitamente los retrasos en la respuesta termodinámica y la saturación de salida de los actuadores de SMA, adquiriendo un periodo de conducción que coincide con el tiempo de relajación física de la SMA sin ajuste manual.
2. Coordinación Emergente: A través de la interacción con el entorno, la SNN desarrolló autónomamente una marcha coordinada con una dinámica de propagación de fase ordenada. Esto imita las marchas diseñadas empíricamente de trabajos previos, pero se logra sin un diseño previo de lazo abierto.
3. Eficiencia Energética: Al aprovechar la naturaleza dirigida por eventos de las SNN y un término de regularización para minimizar los potenciales de membrana, el método ofrece una vía para una inferencia de menor potencia en comparación con el DRL basado en ANN tradicional.
4. Adaptabilidad: El controlador se adaptó con éxito a diferentes posiciones de los objetivos ajustando dinámicamente los patrones de disparo, demostrando robustez ante variaciones de la tarea.

Los autores concluyen que el control neuromórfico basado en aprendizaje puede superar las limitaciones del control convencional de lazo abierto para sistemas de músculos artificiales de alta dimensión y no lineales. Señalan que, si bien los resultados son prometedores en simulación, el trabajo futuro requiere validar la transferencia de estas políticas a robots físicos (sim-to-real), reconociendo que los parámetros del mundo real (tasas de enfriamiento, fricción, elasticidad del material) pueden diferir de la simulación.