Neuromorphic Reinforcement Learning for Quadruped Locomotion Control on Uneven Terrain

기술 요약: 불균일한 지형에서의 사족 보행 제어를 위한 뉴로모픽 강화 학습

문제 정의
강화 학습(RL)은 복잡한 지형에서 견고한 사족 보행을 가능하게 했으나, 현재의 컨트롤러들은 로봇 자체의 적응력과 에너지 효율성 측면에서 상당한 한계에 직면해 있다. 최첨단 정책(policy) 대부분은 대규모 병렬 시뮬레이션에서 역전파(backpropagation, BP)를 사용하여 오프라인으로 학습된 후 고정된 정책으로 배포된다. 이러한 방식은 지형 변화, 페이로드 이동, 액추에이터 마모와 같은 실제 환경의 변동에 대응하는 데 어려움을 겪는다. 또한, CPU/GPU 플랫폼에서 빈번한 고차원 추론 및 그래디언트 전파를 수행하는 데 드는 계산 비용은 특히 제한된 전력을 사용하는 소형 로봇에게 상당한 에너지 부담을 준다. 기존의 온-로봇(on-robot) RL 방법들은 외부의 감독이나 전력을 필요로 하는 경우가 많아, 원격 환경에서의 활용도를 제한한다. 따라서 저전력 뉴로모픽 하드웨어 기판과 호환 가능하며, 전역적 역전파 없이도 국소적이고 에너지 효율적인 적응을 수행할 수 있는 학습 알고리즘에 대한 절실한 필요성이 존재한다.

방법론
저자들은 생체 모방형 사족 보행 컨트롤러를 학습시키기 위해 **평형 전파(Equilibrium Propagation, EP)**를 **근사 정책 최적화(Proximal Policy Optimization, PPO)**와 통합하는 프레임워크를 제안한다. 이 시스템은 전통적인 역전파 학습 네트워크를 EP 기반의 국소 학습으로 대체하며, 여기서 학습은 전역적 그래디언트 전달이 아닌 국소적인 신경 상태와 네트워크의 이완 역학(relaxation dynamics)에 의해 구동된다.

제어 구조는 두 개의 브랜치로 구성된 CPG–RES (Central Pattern Generator – Residual) 시스템이다:

1. CPG 브랜치: 기본 보행 생성을 처리하기 위해 구조화되고 리드미컬한 발 궤적(위상, 진폭, 주파수)을 생성한다.
2. RES 브랜치: 불균일한 지형 통과를 위해 관절 목표값을 수정하는 잔여 자세 조정을 제공한다.

EP를 PPO에 적응시키기 위해, 저자들은 몇 가지 기술적 과제를 해결하였다:

• EP 호환 목적 함수: 이들은 출력 넛징(output-nudging) 신호를 도출하여 PPO 정책 목적 함수를 EP의 평형 역학에 매핑한다. 네트워크는 손실을 최소화하는 대신, 출력층 뉴런에 목적 함수의 음의 그래디언트를 적용함으로써 PPO 대리 목적 함수를 최대화하도록 유도된다.
• 안정화 메커니즘: 이완 과정 중 정책 붕괴와 불안정한 업데이트를 방지하기 위해, 저자들은 (표준 PPO 클립 범위를 수정한) 양방향 비율 클리핑 메커니즘을 도입하고, $1/\sigma_i^2$ 대신 $1/\sigma_i$를 사용하는 조정된 그래디언트 스케일링 규칙을 도입하였다.
• 전처리: 관측 벡터에 역 이산 코사인 변환(iDCT)을 적용하여 평형으로의 수렴을 가속화하고 추론 지연 시간을 단축한다.
• 학습 패러다임: 시스템은 2단계 학습 과정을 채택한다. 1단계에서는 평탄한 지면에서 CPG 정책을 학습시킨다. 2단계에서는 CPG 정책을 고정하고 무작위화된 불균일 지형에서 RES 정책을 학습시킨다. 두 단계 모두 EP-PPO 프레임워크를 활용한다.

주요 기여

1. EP 기반 PPO 프레임워크: 본 논문은 역전파 없이 연속 제어 보행을 위한 EP 기반 PPO 프레임워크를 최초로 제시한다. 저자들은 EP 업데이트를 정책 학습과 가치 회귀(value regression) 모두에 대해 정식화함으로써, 고차원 로봇 제어의 뉴로모픽 구현을 위한 경로를 구축하였다.
2. EP 호환 정책 그래디언트: 저자들은 EP 이완 과정 중 정책 업데이트를 안정화하는 특정 출력층 넛징 신호와 양방향 비율 클리핑 목적 함수를 도출하였으며, 이를 통해 직접적인 역전파 없이도 확률적 연속 제어 정책을 학습할 수 있게 하였다.
3. 생체 모방형 컨트롤러 통합: 본 연구는 EP 네트워크를 CPG–RES 컨트롤러에 통합하여, 생물학적 보행 조직(진동자 역학)과 불균일 지형 통과를 위한 국소 뉴로모픽 학습을 연결하였다.

결과
제안된 컨트롤러는 MuJoCo 상의 무작위 불균일 지형에서 12-DoF Unitree A1 사족 보행 로봇을 대상으로 평가되었으며, 표준 역전파 학습 PPO 베이스라인과 비교되었다.

• 성능 동등성: EP 기반 컨트롤러는 성공률, 전진 속도 추적, 액추에이터 전력 소비, 신체 안정성(롤/피치 각속도) 측면에서 BP 베이스라인과 대등한 성능을 달est하였다.
• 학습 안정성: EP 방식은 정책 붕괴 없이 두 학습 단계 모두에서 안정적인 정책 수렴을 달성하였으며, 가치 네트워크의 손실을 꾸준히 최소화하였다.
• 효율성: 주목할 만한 발견은 메모리 효율성의 향상이다. EP 알고리즘은 동일한 작업에 대해 BPTT(Backpropagation Through Time)와 비교했을 때 약 4.3배 적은 GPU 메모리(3110 MB 대 13486 MB)를 소비하였는데, 이는 전역적 그래디언트 저장 요구 사항의 제거 덕분이다.

의의 및 주장
본 논문은 국소적 평형 기반 학습이 단순한 뉴로모픽 제어 벤치마크를 넘어, 고차원의 접촉이 빈번한 체화된 보행(embodied locomotion)을 지원할 수 있다고 주장한다. 주요 의의는 저전력, 온-로봇 적응 및 미세 조정을 위한 알고리즘적 토대를 제공한다는 점에 있다. 학습 규칙을 인메모리(in-memory) 및 뉴로모픽 하드웨어 역학과 일치시킴으로써, 이 프레임워크는 장기 자율 주행의 에너지 제약 문제에 대한 잠재적 해결책을 제시한다.

저자들은 현재 연구의 한계에 대해 다음과 같이 겸허하게 언급하였다:

• 해당 방법은 PPO의 샘플 효율성 한계를 그대로 물려받았으며, 이는 실제 로봇에게 도전적인 과제이다.
• 현재 구현은 여전히 이완(relaxation)과 인프라를 위해 디지털 계산에 의존하고 있으며, 이는 완전한 하드웨어 실현이라기보다 에너지 효율적 학습을 향한 알고리즘적 단계이다.
• 안전성, 샘플 효율성, 그리고 EP 역학을 주변 RL 인프라와 통합하는 시스템 레벨의 뉴로모픽 설계 개발을 위한 향후 연구가 필요하다.