기술 요약: 팔과 보행 제어를 조율하기 위한 스파이킹 신경 구조

문제 정의

스파이킹 신경망(SNN)과 뉴로모픽 하드웨어의 결합은 휴머노이드 로봇 제어를 위한 유망한 저전력 솔루션을 제공한다. 그러나 기존의 SNN 기반 모터 제어 시스템은 일반적으로 이족 보행과 팔 조작을 독립적으로 다룬다. 인간의 환경에서 의미 있는 다단계 물리적 상호작용을 위한 전제 조건인, 단일 스파이킹 아키텍처 내에서 두 행동을 동시에 관리하는 통합 제어 시스템은 부족한 실정이다. 현재의 연구들은 이러한 과제들을 하나의 통합된 능력이라기보다 별개의 병렬적 과제로 취급하는 경우가 많으며, 고수준의 행동 선택과 저수준의 힘 기반 제어를 완전한 스파이킹 프레임워크 내에서 결합한 시스템도 거의 없다.

방법론

저자들은 Neural Engineering Framework(NEF)와 Semantic Pointer Architecture(SPA)를 활용하여 Unitree H1 휴머노이드 로봇을 위한 통합 스파이킹 제어 아키텍처를 제시한다. 이 시스템은 Nengo로 구현되었으며 Isaac Sim과 공동 시뮬레이션되었다. 아키텍처는 세 가지 주요 상호작용 모듈로 구성된다:

1. 스파이킹 팔 제어 (REACH 모델)

팔 컨트롤러는 REACH(Recurrent Error-driven Adaptive Control Hierarchy) 모델을 4자유도(DOF) 휴머노이드 팔에 적응시킨 것이다. 이는 다음과 같은 세 가지 생물학적 근거를 가진 모듈로 분해된 운영 공간 제어(OSC) 프레임워크를 채택한다:

• 체성감각 피질 (S1): 고유 수용성 상태(관절 위치, 속도 및 말단 효과기 위치)를 인코딩한다.
• 일차 운동 피질 (M1): 팔의 자코비안(Jacobian)과 관성 행렬을 통해 작업 공간의 오차를 관절 토크로 매핑하며 운동학적 성분을 계산한다. 3D 공간에서의 4자도 팔의 높은 차원성(7D 입력 공간)을 처리하기 위해, 저자들은 제어 방정식을 단일 7D 앙상블 대신 세 개의 독립적인 공간 성분(X, Y, Z)으로 분해하고 각각 별도의 5D 신경 앙상블을 활용한다.
• 소뇌 (CB): 속도 의존적 댐핑 및 중력 보상을 포함한 동역학적 보상을 담당한다. M1과 마찬가지로, 동역학 방정식은 8D 공간에서 4개의 5D 앙상블으로 계산 부하를 줄이기 위해 각 관절 속도당 독립적인 항으로 분해된다.

2. 스파이킹 이족 보행

보행 컨트롤러는 사전 학습된 인공 신경망(ANN) 정책(ELU 활성화 함수를 사용하는 3계층 MLP)을 SNN으로 근사한다.

• ANN-to-SNN 변환: 생물학적 뉴런은 (ELU 활성화 함수와 달리) 음수 활동을 생성할 수 없으므로, 저자들은 새로운 변환 방법을 제안한다. 각 ELU 은닉 유닛은 하이브리드 앙상블로 근사된다: 음수 절반 공간을 위한 하나의 Leaky Integrate-and-Fire(LIF) 뉴런 앙상블과 양수 절반 공간을 위한 하나의 spiking rectified linear unit 앙상블이 사용된다.
• 시간적 역학: 계층 간의 스파이크 기반 통신을 안정화하기 위해, 피드포워드 연결은 시냅스 시간 상수($\tau_{fwd} = 2$ ms)로 필터링된다.
• 경로 추종: 스파이킹 경로 추종 컨트롤러는 참조 경로와 로봇의 상태 사이의 오차를 계산하여, 정책 네트워크에 대한 전진 속도 및 각 회전 명령을 생성한다.

3. 기저핵을 통한 통합 제어

보행과 팔 제어 사이의 행동 선택은 생물학적 근거를 가진 스파이킹 기저핵 모델에 의해 매개된다.

• 메커니즘: 모델은 행동 선택을 위해 직접 경로(strD1)와 간접 경로(strD2)를 사용한다. 내측 창백핵(GPi)은 최종 억제 출력으로서 높은 기저 발화율을 유지하며 모든 운동 명령을 억제한다.
• 탈억제(Disinhibition): 특정 행동(예: '걷기' 또는 '그리기')의 효용이 증가하면, 해당 GPi 클러스터가 억제(탈억제)되어 선택된 운동 행동을 해방시키는 동시에 다른 행동들은 계속 억제 상태로 둔다. 이를 통해 시스템은 걷기와 팔 조작 사이를 전환할 수 있다.

주요 기여

1. 통합 스파이킹 컨트롤러: 본 연구는 전체 규모의 휴머노이드 플랫폼(Unitree H1)에서 이족 보행과 팔 제어를 결합하고, 기저핵 탈억제를 통해 두 동작 사이를 전환할 수 있는 최초의 통합 스파이킹 컨트롤러이다.
2. 적응된 REACH 모델: 저자들은 REACH 모델이 3D 운영 공간 제어의 계산 부하를 관리하기 위한 차원 분해를 활용하여, 전체 규모의 휴머노이드 플랫폼에 적응될 수 있음을 입증한다.
3. 새로운 ANN-to-SNN 변환: 음수 활동(특히 ELU 비선형성)을 가진 사전 학습된 ANN 보행 정책을 스파이킹 등가물로 변환하는 방법을 제안한다. 이는 하이브리드 앙상블 접근 방식(음수를 위한 LIF, 양수를 위한 ReLU 유사 방식)과 폐쇄 루프 제어 체제에서의 시간적 역학을 처리하기 위한 시냅스 필터링을 포함한다.

결과

시스템은 Nengo(신경 제어)와 Isaac Sim(물리 엔진)의 공동 시뮬레이션을 통해 검증되었다:

• 팔 제어: 시스템은 목표 도달(말단 효과기를 목표물로부터 4cm 이내로 유지)과 연속적인 숫자 그리기(숫자 '5'와 '8' 추적)를 성공적으로 수행했다. 스파이킹 컨트롤러는 공간적 불일치를 효과적으로 최소화하고 참조 궤적을 추적했다.
• 보행: ANN 정책의 스파이킹 근사 모델은 평탄한 지형에서 안정적인 보행을 달 Achieved 했다. 스파이킹 정책은 참조 ANN에 비해 약간 더 큰 질량 중심 섭동과 미세한 진동을 보였으나, 정의된 경로를 성공적으로 따라갔다. 절제 연구(Ablation studies)를 통해 앙상블의 50%를 무력화했을 때 자연스러운 보행 진동이 급격히 중단됨을 확인하여, 스파이킹 네트워크의 인과적 역할을 검증했다.
• 행동 선택: 기저핵 모듈은 보행과 팔 제어 사이의 전환을 성공적으로 매개했다. 선조체(striatum, strD1)의 신경 활동은 효용 신호를 추적했으며, GPi는 예상된 탈억제 패턴을 보여주며 선택된 운동 시퀀스를 깨끗하게 해방시키는 동시에 다른 동작을 억제했다.

의의 및 주장

저자들은 본 연구가 전체 규모의 휴머노이드에서 보행과 팔 제어를 수행하고, 이 둘 사이를 매끄럽게 전환할 수 있는 최초의 통합 스파이킹 컨트롤러임을 주장한다.

• 과학적 영향: 이 연구는 걷기, 그리기, 그리고 상태 전환을 단일 스파이킹 아키텍처 내에서 통합한다. 고차원 운동학 및 동역학 계산을 독립적인 저차원 앙상블으로 분해하는 것은 신호 대 잡음비와 디코딩 정확도를 향상시킨다고 주장된다.
• 방법론적 발전: ELU 비선형성을 갖는 ANN-to-SNN 변환의 성공적인 비음수 근사는 (피드포워드 시각 모델에 집중했던) 기존의 ANN-to-SNN 변환 계보를 유의미하게 확장한 것으로 제시된다.
• 미래 배포: 전체 스파이킹 구현은 저전력 뉴로모픽 하드웨어로의 향후 배포 가능성을 강조한다.

저자들은 한계점도 인정하였는데, 팔 제어 중 자세 안정성이 현재는 창발적 신경 역학이 아닌 구조적 앵커(골반 고정)에 의해 유지되고 있다는 점과, 보행 정책이 현재 평탄한 지형으로 제한되어 있다는 점을 언급하였다.