Neurosim: A Fast Simulator for Neuromorphic Robot Perception

기술 요약: Neurosim 및 Cortex

문제 정의

뉴로모픽 인지(neuromorphic perception), 특히 이벤트 기반 카메라를 사용하는 알고리즘 개발은 이벤트 데이터의 독특한 특성으로 인해 상당한 난관에 봉착해 있습니다. 표준 RGB 이미지와 달리, 이벤트 카메라는 강도 변화의 비동기 스트림(타임스탬프, 좌표, 극성을 포함하는 4-튜플)을 생성하므로, 전통적인 컴퓨터 비전 접근 방식을 적용할 수 없으며 지도 학습을 위한 어노테이션 작업이 매우 어렵습니다. 기존 솔루션들은 교차 모달 감독(예: RGB 또는 LiDAR로부터 레이블 전이)에 크게 의존하고 있는데, 이는 정밀한 동기화와 캘리브레이션을 요구합니다. 더욱이, 기존의 가장 큰 다중 센서 이벤트 데이터셋(예: M3ED)은 데이터 규모가 4시간 미만으로 제한적입니다.

현재의 시뮬레이터들은 이러한 과제들을 적절히 해결하지 못하고 있습니다. 많은 시뮬레이터가 이벤트를 근사하기 위해 저프레임 레이트 RGB 렌더링(예: 30 FPS)에 의존하며, 이는 시간적 에일리어싱(temporal aliasing)과 심각한 아티팩트를 초래합니다. 다른 방식은 고프레임 레이트 RGB 데이터를 생성하여 디스크에 저장한 후 이벤트를 생성하기 위해 후처리 과정을 거치는데, 이 과정은 매우 느리고 저장 공간을 많이 소비합니다(몇 시간의 시뮬레이션에 테라바이트 단위의 용량 소모). 또한, 딥러닝 파이프라인에 고처리량의 다중 모달 센서 데이터(이벤트, RGB, 깊이, IMU)를 디스크 I/O 병목 현상 없이 직접 공급할 수 있는 시스템이 부족하며, 이는 파운데이션 모델 학습과 하드웨어 민첩성의 한계에서의 폐쇄 루프 제어를 테스트하는 데 필수적입니다.

방법론

저자들은 갭을 메우기 위해 설계된 고성로, 실시간, 고성능 시뮬레이터인 Neurosim과 ZeroMQ 기반의 통신 라이브러리인 Cortex를 제시합니다.

Neurosim 아키텍처

Neurosim은 모듈성, 저지연, 실시간 스트리밍, 그리고 Python 친화적 접근성이라는 네 가지 설계 원칙을 기반으로 구축되었습니다.

1. 렌더링 및 이벤트 생성: 시스템은 고충실도 장면 렌더링이 가능한 Habitat-Sim을 활용하며, 이는 실내 장면에서 약 3000 FPS를 달ow할 수 있습니다. 이벤트 시뮬레이션은 각 픽셀의 강도 상태를 추적함으로써 온더플라이(on-the-fly) 방식으로 수행됩니다. 강도 변화가 임계값을 초과하면 이벤트가 트리거됩니다.
2. GPU 최적화: CPU 기반 이벤트 생성의 지연 문제를 극복하기 위해, Neurosim은 커스텀 CUDA 커널을 구현합니다. 이 커널은 픽셀을 병렬로 처리하고 워프(warp) 수준에서 이벤트를 집계합니다. 중간 리덕션(reduction)을 위해 공유 메모리(SRAM)를 사용하고 글로벌 아토믹 연산을 최소화함으로써(이벤당 1회에서 워프당 1회로 감소), 시스템은 대규모 처리량 감소를 달성합니다. 이를 통해 VGA에서 >31 kHz, HD 프레임에서 >23 kHz의 이벤트 생성 속도를 달성할 수 있습니다.
3. 역학 및 센서: Neurosim은 단일 CPU 코어에서 20 kHz 이상의 속도로 공기 역학, 항력 및 관성 센서를 시뮬레이션하는 RotorPy를 통합합니다. 이는 센서 데이터와 제어 명령이 최소한의 지연 시간으로 교환되는 폐쇄 루프 제어를 지원합니다.

Cortex 통신 인터페이스

Cortex는 Neurosim을 다운스트림 소비자(컨트롤러, 트레이너, 시각화 도구)와 연결하기 위해 설계된 고성능, 저지연 통신 라이브러리입니다.

1. Zero-Copy 및 네이티브 지원: ZeroMQ를 기반으로 구축된 Cortex는 NumPy 배열과 PyTorch 텐서에 대한 네이티브 직렬화를 지원하여 프로세스 간 제로 카피(zero-copy) 데이터 전송을 가능하게 합니다. 이는 디스크 I/O나 과도한 버퍼링을 제거합니다.
2. 동적 발견(Dynamic Discovery): 경량화된 디스커버리 데몬을 특징으로 하여 동적 노드 등록 및 토픽 관리를 지원하며, 중앙 집중식 브로커 없이 유연한 피어 투 피어(P-to-P) 토폴로지를 허용합니다.
3. ROS 2 통합: 양방향 브릿지를 통해 사용자는 제어 및 상태 추정을 위해 ROS 2 생태계를 활용하면서, Neurosim 내에서 고대역폭 데이터 스트림을 위해 Cortex를 사용할 수 있습니다.

주요 기여

1. 고성능 이벤트 시뮬레이션: Neurosim은 단일 데스크톱 GPU(Nvidia 4090)에서 최대 2700 FPS의 이벤트 시뮬레이션 속도를 달성하며, 이는 기존 GPU 기반 방식보다 약 10배, CPU 기반 구현보다 55~121배 빠릅로습니다.
2. 실시간 스트리밍 파이럽라인: Neurosim과 Cortex의 통합은 "디스크리스(disk-less)" 학습 파이프라인을 가능하게 합니다. 다중 모달 데이터(이벤트, RGB, 깊이, IMU)는 Python 네이티브 형식으로 딥러닝 학습 파이프라인에 직접 스트리밍되어 파운데이션 모델의 온라인 학습을 지원합니다.
3. 폐쇄 루프 능력: 시스템은 하드웨어 성능의 극한(예: 민첩한 플립, 고속 장애물 회피)에서의 폐쇄 루프 실험을 지원하며, 지연 시간은 0.7 ms에 불과하여 물리적 하드웨어에서 수행하기에 너무 위험한 반응형 알고리즘 테스트를 가능하게 합니다.
4. 모듈형 및 확장 가능한 설계: 이 아키텍처는 렌더링 백엔드, 역학 모델, 컨트롤러를 교체할 수 있도록 하여 체화된 인지(embodied perception)에 대한 다양한 연구를 용이하게 합니다.

결과

본 논문은 Neurosim과 Cortex를 ESIM, VID2E, AirSim, PyTorch 구현 등 기존 도구들과 벤치마킹했습니다.

• 지연 시간(Latency): Neurosim의 이벤트 시뮬레이터 백엔드는 단일 강도 프레임 업데이트를 약 0.37 ms(VGA) 내에 처리하며, 이는 경쟁사들을 크게 앞서는 성능입니다.
• 처리량(Throughput): 전체 시뮬레이션 단계(렌더링 + 역학 + 이벤트 시뮬레이션)에서 Neurosim은 VGA 센서에 대해 ~2300 FPS를 달성합니다. 다른 백엔드들은 파이프라인의 병목이 되어 200–1200 FPS만을 달성합니다.
• 효율성: Neurosim의 이벤트 시뮬레이션은 전체 시뮬레이션 단계 시간의 약 **8%**만을 소비하는 반면, 다른 시뮬레이터들은 40–90%를 소비합니다.
• 통신: Cortex는 작은 페이로드에 대해 100+ kHz의 메시지 속도를 달성하고, 1080p 이미지와 같은 큰 데이터에 대해 250 Hz를 유지하며, 하드웨어 한계치인 7 GB/s에서 처리량이 포화됩니다.
• 시연된 응용 분야:
  • 온라인 학습: 이벤트 기반 단안 깊이 추정 네트워크(F3 표현 사용)를 디스크 저장 없이 초당 약 8.5M 개의 이벤트를 소비하며 완전히 온라인으로 성공적으로 학습시켰습니다.
  • 강화 학습: 이벤트 카메라 관측만을 사용하여 무작위 고속 초기 조건으로부터 쿼드로터를 안정화하는 PPO 기반 정책을 학습시켜, 복잡하고 역동적인 제어 작업을 처리할 수 있는 시스템의 능력을 입증했습니다.

의의

저자들은 Neurosim과 Cortex가 데이터 생성, 저장 및 지연 시간의 핵심적인 병목 현상을 해결함으로써 뉴로모픽 알고리즘을 구축하고 테스트하는 새로운 길을 열었다고 주장합니다. 이 시스템은 다음을 가능하게 합니다:

• 확장 가능한 학습: 정적인 데이터셋의 테라바이트급 관리 부담 없이 다양하고 시간적으로 동기화된 다중 모달 데이터를 사용하여 학습할 수 있습니다.
• 특권적 감독(Privileged Supervision): 자가 지도 학습 및 강화 학습을 위해 고속의 그라운드 트루스(미터법 깊이, 포즈, 교차 모달 뷰)를 제공합니다.
• 하드웨어 현실적인 테스트: 연구자들이 안전한 시뮬레이션 환경 내에서 하드웨어의 민첩성(예: 플립, 고속 항행)의 한계까지 알고리즘을 밀어붙일 수 있도록 합니다.
• 제어된 연구: 센서 타이밍, 클록 스큐(clock skew) 및 비동기 샘플링에 대한 정밀한 조사를 용이하게 합니다.

결론적으로, 이 도구들은 특히 전력 제한적이고 역동적인 환경에서 빠른, 견고한 인지가 필요한 애플리케이션을 위한 체화된 자율 주행(embodied autonomy)을 발전시키는 데 필수적입니다. 향후 연구에는 하드웨어 인 더 루프(hardware-in-the-loop) 실험과 Unreal Engine 5를 렌더링 백엔드로 지원하는 내용이 포함됩니다.