기술 요약: 스파이킹 신경망을 이용한 시뮬레이션된 SMA 구동 다각 로봇의 뉴로모픽 제어

문제 정의

소프트 로봇, 특히 형상기억합금(SMA)에 의해 구동되는 로봇에 대한 기존의 제어 전략은 주로 개루프(open-loop) 방식의 사전 설계된 주기적 신호에 의존한다. 이러한 접근 방식은 SMA 액추에이터의 열적 히스테리시스 및 포화 특성과 같은 강한 비선형성 및 소프트 로봇 시스템의 높은 차원성으로 인해 상당한 어려움에 직면한다. 많은 자유도를 가진 시스템을 위해 조정된 움직임을 수동으로 설계하고 튜닝하는 것은 어렵고, 개루프 컨트롤러는 환경 변화(예: 장애물, 경사로)나 재료의 열화에 대응할 수 있는 적응력이 부족하다.

심층 강화 학습(DRL)은 적응형 제어를 위한 경로를 제공하지만, 표준 DRL 접근 방식은 추론 과정에서 계산 비용이 많이 들고 에너지 효율이 낮은 인공 신경망(ANN)을 사용하는 경우가 많다. 또한, SMA는 생물학적 근육의 기계적 반응 특성(예: 임계값 동작, 포화, 펄스 입력의 시간적 합산)과 유사한 특성을 공유하므로, 생물학적 신경 처리 과정을 모방한 제어 아키텍처가 특히 적합할 수 있다. 본 연구에서 다루는 구체적인 과제는 수동 신호 설계에 의존하지 않고 SMA 액추에이터의 비선형 역학을 활용하도록 학습할 수 있는 에너지 효율적인 자율 제어 방법을 개발하는 것이다.

방법론

로봇 모델 및 구동

저자들은 MuJoCo 물리 시뮬레이터를 사용하여 불가사리에서 영감을 받은 다각 소프트 로봇을 모델링했다. 로봇은 중앙 몸통과 방사형으로 배치된 5개의 다리로 구성된다. 각 다리는 6개의 힌지 조인트(총 30 자유도)로 구성되며, SMA 와이어(굴근)와 수동 탄성 요소(신근)에 의해 구동된다.

• SMA 모델: 계산 효율성을 우선시하여 Brinson의 연구를 기반으로 한 단순화된 구성 모델을 채택했다. 이 모델은 응력 의존성을 명시적으로 고려하지 않고 온도만을 함수로 하여 상변화 진행 정도($\xi$)를 근사한다. 생성되는 힘은 $\xi$에 비례한다.
• 열 역학: SMA 와이어의 온도 진화는 줄 가열(Joule heating)과 열 소산을 고려한 에너지 보존 방정식에 의해 결정된다. 모델은 가열 및 냉각 과정에 대해 서로 다른 전이 온도를 사용하여 열적 히스테리시스를 포함한다.
• 구동 로직: 제어 입력은 정규화된 전류 값($u \in [0,1]$)이다. 시스템은 수치적 불안정성을 방지하기 위해 온도 상승 및 냉각 속도의 물리적 한계를 시뮬레이션한다.

스파이킹 액터 네트워크 (SAN)

핵심 기여는 Twin Delayed Deep Deterministic Policy Gradient (TD3) 알고리즘을 사용하는 SNN 기반의 심층 강화 학습 방법이다.

• 아키텍처: 액터 네트워크는 다음으로 구성된 스파이킹 액터 네트워크(SAN)로 대체된다:
  1. 인코더(Encoder): 연속적인 상태 관측값을 모집단 코딩(population coding)과 임계값 메커니즘을 사용하여 스파이크 열(spike trains)로 변환한다.
  2. FC SNN: 2개의 은닉층과 256개의 Leaky Integrate-and-Fire (LIF) 뉴런으로 구성된 완전 연결 네트워크이다.
  3. 디코더(Decoder): 레이트 코딩(rate coding)을 통해 출력 스파이크 열을 다시 연속적인 액션 값(SMA 제어 신호)으로 변환한다.
• 내부 상태 처리: 표준 TD3와 달리, 리플레이 버퍼는 상태, 액션, 보상과 함께 막 전위(membrane potential) 정보($m_t$ 및 $m_{t+1}$)를 저장하도록 확장되었다. 이를 통해 훈련의 샘플링 단계 동안 SNN의 내부 역학을 정확하게 재현할 수 있다.
• 훈련 알고리즘:
  • 서로게이트 그래디언트 (Surrogate Gradient, SG): LIF 뉴로의 비미분 가능한 계단 함수는 역전파 중에 빠른 시그모이드 함수를 사용하여 서로게이트 그래디언트로 처리된다.
  • 정규화: 액터의 손실 함수에 $\alpha \|m_n\|_2^2$ 항을 추가하여 막 전위의 제곱을 최소화한다. 이는 더 적은 스파이크 발화로 액션을 생성하도록 유도하여 추론 시 에너지 효율을 향상시킨다.

실험 설정

• 작업: 목표물을 향한 자율 이동.
• 상태 공간: SMA 길이, 첫 번째 방(ray) 끝단의 상대적 위치, 몸통 중심에서 목표물까지의 벡터를 포함하는 9차원 벡터.
• 보상 함수: 목표물을 향한 진행을 촉진하고, 목표물과의 거리를 penalize하며, 에너지 효율을 높이기 위해 액션 벡터의 L2 노름을 penalize하는 복합 보상이다.
• 환경: 10ms 타임 스텝(1000ms 관측/액션 간격)을 가진 MuJoCo 물리 시뮬레이터.

주요 결과

운동 평가 및 SMA 역학

초기 실험을 통해 단일 다리의 굽힘 각도와 스파이크 발화율 사이의 관계를 확립했다. 결과는 생물학적 근육 행동을 모방하는 강력한 비선형성, 임계값 효과 및 포화 현상을 확인해주었다. 중요한 발견은 최적의 구동 주기가 존재한다는 것이었다. 이완 시간($T_{ext} \approx 20-25$s)보다 긴 주기는 유휴 구간을 발생시키고, $T_{ext}$보다 짧은 주기는 불완전한 신전과 에너지 낭비를 초래한다.

자율 이동 학습

SAN은 두 가지 시나리오, 즉 직선 이동과 목표 도달(사선) 이동을 성공적으로 학습했다.

• 학습 진행:
  • 초기 단계 (30k steps): 명확한 주기성이 없으며, 움직임이 미미하다.
  • 중간 단계 (50k steps): 주기적인 발화 패턴과 제한적인 전진 움직임이 나타난다.
  • 후기 단계 (300k steps): 조정된 보행(gait)을 갖춘 지속적이고 안정적인 이동이 이루어진다.
• 보행 특성:
  • 주기성: 학습된 발화 주기는 약 24~26초로 안정화되었으며, 이는 기본 실험에서 측정된 SMA 액추에이터의 물리적 이완 시간과 밀접하게 일치한다.
  • 협응(Coordination): 에이전트는 모든 다리를 동기화하기보다는 특정 위상 차(phase offset)를 두고 5개의 다리를 구동하는 법을 학습했다. 예를 들어, 직선 이동 작업에서는 Ray 2와 Ray 5가 선행하고, Ray 3와 Ray 4는 Ray 1에 대해 거의 역위상(anti-phase)을 이루었다.
  • 적응성: 목표 위치가 변경되었을 때, 에이전트는 고정된 입력 패턴에 의존하는 대신 방(ray)들의 수축 타이밍과 위상 관계를 동적으로 조정하여 대응했다.

에너지 효율

막 전위 정규화 항의 포함은 추론 중 과도한 스파이크 발화를 성공적으로 억제하였으며, 이는 에너지 효율적인 뉴로모픽 제어라는 목표와 일치한다.

의의 및 주장

본 논문은 제안된 방법이 에너지 효율적인 소프트 로봇 이동을 위한 자율적 뉴로모픽 제어의 잠재력을 보여준다고 주장한다. 구체적으로:

1. 물리적 제약의 자율적 습득: 에이전트는 SMA 액추에이터의 열역학적 응답 지연과 출력 포화를 수동 튜닝 없이도 암묵적으로 학습하여, 물리적 이완 시간에 부합하는 구동 주기를 획득했다.
2. 창발적 협응: 환경과의 상호작 작용을 통해, SNN은 이전 연구의 경험적으로 설계된 보행을 모방하면서도 개루프 사전 설계 없이 조정된 위상 전파 역학을 가진 협응 보행을 자율적으로 개발했다.
3. 에너지 효율성: 이벤트 기반의 SNN 특성과 막 전위를 최소화하는 정규화 항을 활용함으로써, 이 방법은 전통적인 ANN 기반 DRL에 비해 더 낮은 전력의 추론 경로를 제공한다.
4. 적응성: 컨트롤러는 발화 패턴을 동적으로 조정함으로써 목표 위치의 변화에 성공적으로 적응하였으며, 이는 작업 변동에 대한 견고함을 보여준다.

저자들은 학습 기반 뉴로모픽 제어가 고차원, 비선형 인공 근육 시스템에 대한 기존의 개루프 제어 한계를 극복할 수 있다고 결론지었다. 그들은 시뮬레이션 결과가 유망하지만, 실제 세계의 파라미터(냉각 속도, 마찰, 재료 탄성 등)는 시뮬레이션과 다를 수 있음을 인정하며, 물리적 로봇으로의 정책 전이(sim-to-real)를 위한 향후 연구가 필요하다고 언급했다.