기술 요약: 매우 빠른 로봇을 제어하기 위한 느린 실리콘 뉴런의 스파이킹 강화 학습 훈련

문제 정의

자율 로봇 공학은 심각한 에너지 효율성 병목 현상에 직면해 있습니다. 대규모 신경망은 전례 없는 성공을 거두었지만, 그 훈련 및 추론 비용(메가와트시 단위의 전력 소모 및 급격한 배터리 방전)은 밀리와트 예산 내에서 작동해야 하는 모바일 플랫폼과 호환되지 않습니다. 반면, 인간의 뇌는 약 20W의 전력과 적은 학습 사례만으로 복잡한 운동 학습을 수행합니다. 뉴로모픽 하드웨어는 비동기적, 이벤트 기반 처리를 통해 에너지 효율성을 제공하는 경로를 제시하지만, 기존의 스파이킹 신경망(SNN) 강화 학습(RL) 시연은 주로 단순화된 벤치마크(예: 이산적 행동과 저차원 관측을 가진 2D 게임)에 국한되어 왔습니다.

본 연구에서 다루는 핵심 과제는 뉴로모픽 RL을 다음과 같은 특성을 가진 실제 로봇 조작으로 확장하는 것입니다:

1. 고차원성: 6D 연속 상태 공간 (퍽의 위치/속도 및 엔드 이펙터 좌표).
2. 물리적 제약: 기계적 지연이 존재하는 정밀한 엔드 이펙터 제어.
3. 시간적 역학: 50Hz 제어와 1ms 물리 통합이 필요한 1.0–1.5 m/s 속도의 퍽 궤적 예측 계획.

저자들은 혼합 신호 뉴로모픽 프로세서에서 실행되는 "느린" 실리콘 뉴런의 컴팩트한 네트워크가 고속 에어하키 작업에서 "매우 빠른" 로봇을 제어할 수 있는지 조사합니다.

방법론

실험 설정

시스템은 에어하키 환경의 MuJoCo 시뮬레이션을 사용하는 Hardware-in-the-Loop (HIL) 구성으로 작동합니다.

• 로보틱스: 인형 형태의 매니퓰레이터가 1.038 × 1.948 m 테이블 위에서 말렛 모양의 엔드 이펙터를 제어합니다.
• 제어 루프: 50 Hz로 작동합니다. 에이전트는 사전 정의된 운동 프리미티브(Home target 또는 Forward target)에 해당하는 두 가지 이산 동작 중 하나를 선택합니다. 이 프리미티브는 임베디드 역기구학 솔버를 통해 개방 루프 탄도 궤적으로 실행됩니다.
• 물리: 마찰이 없는 퍽 역학 및 탄성 충돌을 모델링하기 위해 1000 Hz로 통합됩니다.

네트워크 아키텍처

시스템은 DYNAP-SE 아날로그-디지털 혼합 신호 뉴로모픽 칩을 활용합니다. 아키텍처는 가소성 있는 판독층(plastic readout)을 가진 리저버 컴퓨팅 설정입니다:

• 입력층: 60개의 FPGA 기반 스파이크 생성기. 6개의 상태 변수(퍽의 $x, y, v_x, v_y$ 및 엔드 이펙터 $x, y$)는 10개의 뉴런 각각에 대해 가우시안 활성 프로파일을 사용하는 모집단 코드로 인코딩됩니다.
• 은닉층 (리저버): 고정된 무작위 피드포워드 시냅스를 가진 1020개의 실리콘 AdEx-LIF 뉴런. 이 층은 가중치 업데이트 없이 작업의 시간적 구조를 포착합니다.
• 판독층 (Readout Layer): 동작 0 또는 동작 1을 선택할 확률을 나타내는 2개의 선형 유닛. 은닉층과 판독층을 연결하는 가중치는 가소성을 가집니다.
• 학습 규칙: 시스템은 BPTT(Backpropagation Through Time)를 근사하는 지역 학습 규칙인 e-prop(eligibility propagation)을 사용합니다. 가중치 업데이트는 전역 보상 신호와 결합된 국소적 전/후 시냅스 활동에만 의존하며, 이는 완전한 온라인 학습을 가능하게 합니다. 업데이트 규칙은 다음과 같습니다:
  $$\Delta w_{ik} = -\alpha \sum_{t} r_t \sum_{t' \le t} \gamma^{t-t'} (\pi_{t'}^k - \mathbb{1}_{a_{t'}=k}) \bar{s}_{t'}^i$$
  여기서 $\bar{s}$는 필터링된 활성, $r_t$는 보상, $\pi$는 행동 확률입니다.

보상 함수

단계별로 스칼라 보상 $r_t$가 계산되어 퍽의 전진 운동과 정밀한 차단 타이밍을 장려합니다:

• +20: 퍽이 타겟($x_p > 1.5$ m)을 통과하면서 전진 모멘텀($v_x > 0.1$ m/s)을 가질 때의 최종 보상.
• $0.2 v_x$: 엔드 이펙터가 퍽으로부터 0.08 m 이내에 있을 때 전진 속도에 비례하는 셰이핑 보상.
• -0.1: 에피소드 길이를 최소화하기 위한 단계별 페널티.

훈련 프로토콜

훈련은 실험 실행당 2000 에피소드 동안 실행되며, 칩의 확률성을 고려하여 10개의 독립적인 무작위 시드로 반복됩니다. 시스템은 "깨어 있는" 상태에서만 학습하며(이 특정 구현에서는 오프라인 "꿈꾸는" 단계가 없음), 실시간 상호작용에 의존합니다.

주요 기여

본 논문은 뉴로모픽 RL을 게임에서 물리적 로보틱스로 확장하는 데 있어 세 가지 주요 기여를 주장합니다:

1. 단순한 게임을 넘어: 단순한 그리드 기반 게임에서 적응형 정밀도 연속 상태 인코딩을 사용하는 실제 에어하키로 전환했습니다.
2. 이산에서 연속 제어로: 50 Hz에서 탄도 궤적을 실행하는 연속 운동 프리미티브를 위한 뉴로모픽 RL을 입증했습니다. 이는 프레임 단위의 결정이 아닌 예측적 결정이 필요함을 의미합니다.
3. 불확실성 하에서의 일반화: 퍽의 위치와 속도를 무작위화(1.0–1.5 m/s)했음에도 불구하고 견고한 학습(96–98% 성공률)을 달enc하여, 시스템이 다양한 초기 조건에 적응할 수 있음을 증명했습니다.

결과

• 학습 효율성: 시스템은 1500–2000 에피소드 이내에 견고한 게임 플레이를 달성했습니다.
• 성능:
  • 정지된 퍽: 200회 시도 내에 100% 성공.
  • 일정한 속도: 1000 에피소드 후 100% 성공.
  • 가변 속도 (1.0–1.5 m/s): 1500 에피소드 후 96% 이상의 성공률로 안정화.
  • 무작위 위치 및 속도: 1300 에피소드 후 98% 이상의 성공률로 안정화.
• 확장성 테스트:
  • 좁은 속도 범위 ([0.7, 0.9] m/s)는 약 150 에피소드 만에 >97% 성공에 도달했습니다.
  • 넓은 범위 ([0.7, 1.5] m/s)는 약 700 에피소드가 필요했으며 점진적인 성공률 저하(97%에서 93%로)를 보였는데, 이는 파멸적 실패가 아닌 완만한 성능 저하를 나타냅니다.
• 행동 공고화: 훈련 전 행동은 불규칙하고 확률적이었습니다. 훈련 후, 에이전트는 조기 차단 궤적에 대한 조기 확약과 정밀한 교정 기동을 특징으로 하는 결정론적이고 시간적으로 정밀한 전략을 보여주었습니다.

의의 및 주장

저자들은 이 연구를 고차원 상태, 연속 시간 제어 및 실제 로보틱스의 전형적인 엄격한 시간 제약을 달성할 수 있는지에 대한 첫 번째 긍정적인 답변으로 제시합니다.

• 격차 해소: 본 연구는 뇌 모방 접근 방식이 빠른 속도의 상호작용 작업(1.5 m/s 퍽 속도)을 처리할 수 있으면서도 지능형 기계를 위한 "항상 켜져 있는(always-on)" 학습을 지원할 수 있음을 보여줍니다.
• 효율성: 시스템은 단 1020개의 뉴런만을 사용하여 안정적인 성능을 달왔으며, 이는 에어하키를 위해 약 10,000개의 뉴런을 필요로 했던 이전의 생체 모방 RL 시뮬레이션과 비교했을 때 10배 감소한 수치입니다.
• 실용성: 하드웨어와 학습 알고리즘(DYNAP-SE 상의 e-prop 사용)을 공동 설계함으로써, 시스템은 컴퓨터와 뉴로모픽 칩이 루프 내에 있는 실시간 학습을 가능하게 하여, 비지역적이고 계산 비용이 많이 드는 학습 규칙에 의존하지 않고도 자율 로봇 시스템을 위한 스파이킹 신경망을 훈련하는 것의 타당성을 검증했습니다.

본 논문은 복잡한 센서모터 학습이 컴팩트한 혼합 신호 뉴로모픽 프로세서로 가능하다는 것을 결론지으며, 자율 로보틱스 분야에서 에너지 효율적인 적응형 제어의 잠재력을 강조합니다.