Dynamic neural manifolds for flexible closed-loop control on neuromorphic hardware

기술 요약: 뉴로모픽 하드웨어 상의 유연한 폐쇄 루프 제어를 위한 동적 신경 매니폴드

문제 정의
생물학적 신경 회로는 동적이고 저차원적인 매니폴드를 따라 순차적 활동을 진화시킴으로써 유연한 행동을 나타낸다. 스파이킹 네트워크 모델은 이러한 순차적 활동을 특정 회로 메커니즘과 연결하여 파라미터화가 가능하게 만들었으나, 이를 뉴로모픽 하드웨어에서 에너지 효율적이고 실시간적인 폐쇄 루프 제어로 변환하는 것은 여전히 과제로 남아 있다. 기존 방식들은 감각 피드백에 대응하여 신경 기하학(neural geometry)을 동적으로 재구성하는 능력이 부족한 경우가 많으며, 이는 설명 가능한 인공지능(XAI) 및 적응형 자율 시스템에 필수적이다. 저자들은 로봇 에이전트의 실시간 폐쇄 루프 제어를 가능하게 하기 위해 SpiNNaker 2 뉴로모픽 칩에 동적 신경 매니폴드 프레임워크를 구현함으로써 이 간극을 메우고자 한다.

방법론
저자들은 비대칭 순환 연결성을 가진 링 네트워크 기반의 회로 아키텍처를 구현하였으며, 이는 링을 따라 진행되는 활동의 '범프(bump)'를 생성하여 진동하는 시퀀스를 만들도록 설계되었다.

1. 하드웨어 구현 (SpiNNaker 2):

   • 스파이킹 변환: 원래의 레이트 기반(rate-based) 모델을 SpiNNaker 2의 스파이크 기반 통신에 맞게 조정하였다. 뉴런은 내부 변화율을 확률적으로 스파이크로 변환한다(변화율을 스파이크 확률로 간주). 성능 최적화를 위해, 값비싼 난수 생성 없이도 스파이크 빈도를 근사하는 결정론적 규칙을 도입하였다.
   • 희소성 및 메모리 최적화: 제한된 온칩 SRAM 문제를 해결하기 위해, 저자들은 연결 행렬에 희소성(연결 확률 50%)을 도입하였다. 또한 가중치 행렬의 순환 구조(circulant structure)를 활용하여, 전체 행렬 대신 단 하나의 가중치 행와 연결을 위한 비트마스크만을 저장하였다.
   • 폐쇄 루프 스트리밍: 장기적인 내부 기록을 방해하는 메모리 제약으로 인해, 시스템은 HostIF 인터페이스를 통해 호스트 컴퓨터로 스파이크를 스트리밍한다. 호스트는 감각 피드백을 처리하고 제어 파라미터를 칩으로 실시간으로 다시 스트리밍하여, 약 3 타임스텝의 낮은 지연 시간으로 폐쇄 루프를 형성한다.

2. 제어 메커니즘 ("제어 노브"):
   아키텍처는 신경 매니폴드를 조작하기 위해 세 가지 특정 회로 메커니즘을 활용한다:

   • 가산 전류 ($I$): 활동 범프의 크기(폭)를 조절하여 신경 궤적의 반경을 제어한다.
   • 승법 이득 ($S$): 범프 전파 속도를 조절하여 신경 궤적의 속도를 제어한다.
   • 이질적 억제 ($p_{inh}$): 억제 앙상블을 통해 무작위 뉴런 집합을 선택적으로 침묵시킨다. 이는 신경 부분 공간(subspace)을 회전시켜, 시스템이 서로 다른 행동 상태(예: 다른 움직임 유형) 사이를 전환할 수 있게 한다.

3. 응용 (가상 미로 탐색):
   두 바퀴 달린 로봇 에이전트가 가상 미로를 탐색한다. 외부 정책 프로그램은 고차원 계획(예: "서쪽으로 이동")과 감각 입력(벽과의 거리, 지면 유형 등)에 기반한 국소적 적응을 생성한다. 이러한 입력은 링 네트워크의 제어 파라미터($S, I, p$)로 매핑된다. 제어 파라미터 공간의 무작위 탐색을 통해 학습된 선형 판독층(linear readout layer)은 링 네트워크의 스파이크 활동을 디코딩하여 모터 명령(바퀴 속도 및 점프 트리거)으로 변환한다.

주요 결과

• 파라미터 충실도: SpiNNaker 2 구현은 원래의 CPU 기반 레이트 모델의 역학을 성공적으로 재현하였다.
  • 형태 제어: 가산 전류 $I$는 범프 크기와 궤적 반경을 선형적으로 제어하였다.
  • 속도 제어: 승법 이득 $S$는 활동 범프의 회전 속도를 안정적으로 제어하였다.
  • 부분 공간 회전: 선택적 억제는 신경 부분 공간을 성공적으로 회전시켰다. 부분 공간 간의 주각(principal angle)이 분석적 스케일링 동작($\arccos(1 - p_{inh})$)과 일치함을 확인하였으며, 이는 서로 다른 행동 상태가 기하학적으로 구별 가능하다는 것을 입증한다.
• 효율성: 구현체는 1ms 실시간 타임스텝 임계값 내에서 원활하게 작동하였다. 런타임은 처리된 스파이크 수에 따라 선형적으로 확장되었다. 더 큰 범프(I에 의해 제어됨)는 런타임을 증가시켰고, 더 높은 억제(더 많은 뉴런을 침묵시킴)는 런타임을 감소시켰다.
• 폐쇄 루프 성능: 로봇 에이전트는 미로를 성공적으로 탐색하며, 감각 피드백에 따라 행동(전진, 회전, 점프)을 동적으로 전환하고 속도/궤적을 조정하였다. 시스템은 감각 입력이 억제, 이득, 전류를 조절하여 매니폴드 기하학을 재구성할 수 있음을 보여주었다.

의의 및 주장
본 논문은 동적 신경 매니폴드가 설명 가능한 뉴로모픽 아키텍처를 위한 실행 가능한 접근 방식임을 확립한다고 주장한다. 저자들은 저수준 회로 메커니즘(이득, 억제, 전류)을 고수준의 기하학적 특징(궤적 속도, 형태, 부분 공간 방향)에 매핑함으로써, 시스템의 내부 상태가 수학적으로 해석 가능하다는 프레임워크를 제공한다.

본 연구는 다음을 입증하는 개념 증명 역할을 한다:

1. 복잡하고 동적인 신경 매니폴드가 뉴로모픽 하드웨어(SpiNNaker 2) 상에 효율적으로 구현될 수 있다.
2. 이러한 시스템은 감각 피드백이 직접적으로 신경 역학을 형성하여 행동을 유도하는 유연한 폐쇄 루프 제어를 지원할 수 있다.
3. 이 프레임워크는 생물학적 신경 역학을 조사하고, 예측 가능하며 설명 가능한 행동을 가진 자율 시스템을 설계하기 위한 기질을 제공하며, 향-복잡한 운동 제어 작업으로 확장될 잠재력을 가진다.

저자들은 현재 작업이 계획을 위한 사전 학습된 세계 모델(world model)을 가정하고 있으나, 이 프레임워크는 고차원 학습 아키텍처와 인터페이스하도록 설계되었으며, 향-세계 모델을 이 모터 제어 층 위에 직접 학습하는 연구를 탐구할 수 있다고 언급하였다.