CLANE: Continual Learning of Actions on Neuromorphic Hardware from Event Cameras

기술 요약: CLANE – 이벤트 카메라를 통한 뉴로모픽 하드웨어에서의 행동 지속 학습

문제 제기
본 논문은 엄격한 전력 및 메모리 제약이 있는 엣지 장치에 행동 인식을 위한 지속 학습 (CL) 시스템을 배포하는 데 따른 과제를 다룹니다. 기존의 딥러닝 접근법은 전역 오차 전파, 대규모 활성화 버퍼, 과거 데이터 또는 재생 버퍼에 대한 접근에 의존하는데, 이는 항상 켜져 있는 (always-on) 엣지 장치의 자원 예산과 호환되지 않습니다. 또한, 표준 시각적 행동 인식은 가변적인 조명, 모션 블러, 그리고 중복된 정적 데이터에 직면하여 어려움을 겪습니다. 반면, 이벤트 카메라는 저지연 처리에 적합한 희소성, 비동기성, 고다이나믹 레인지 데이터를 제공하지만, 이벤트 기반 행동 인식을 위한 완전한 엔드투엔드 지속 학습 파이프라인을 뉴로모픽 하드웨어에 성공적으로 배포한 이전 시스템은 존재하지 않았습니다. 기존 뉴로모픽 CL 연구는 정적 공간 입력 (객체 인식) 에 국한되거나, 치명적 망각 분석이 결여된 소규모 벤치마크에 머무르는 한계가 있었습니다.

방법론
저자들은 CLANE(이벤트 카메라를 통한 뉴로모픽 하드웨어에서의 행동 지속 학습) 을 제시하며, 이는 인텔 Loihi 2 뉴로모픽 프로세서에 배포된 엔드투엔드 시스템입니다. 이 시스템은 세 가지 핵심 구성 요소를 통합합니다:

1. 이벤트 기반 데이터 파이프라인: 시스템은 CeleX-V 이벤트 카메라로 캡처된 THUE-ACT-50 데이터셋을 활용합니다. 이벤트 스트림은 고정된 시간 창 (예: 40ms) 으로 배인 (binned) 되어 희소한 2D 이벤트 카운트 히스토그램을 생성합니다. 이러한 희소 표현은 프레임 기반 카메라에서 필요한 조밀한 텐서 연산을 피하고, 직접 스파이크 트레인 (spike trains) 으로 처리됩니다.
2. 스파킹 2D CNN 특징 추출기: 5 층 스파킹 합성곱 신경망 (SNN) 이 시공간 특징을 추출합니다. 이 네트워크는 매개변수형 누수 적분 - 발화 (PLIF) 뉴런을 사용합니다. 이 특징 추출기는 GPU 에서 시간 역전파 (BPTT) 를 사용하여 38 개의 기본 클래스로 사전 훈련된 후, 지속 학습 단계에서 고정됩니다.
3. CLP-Loihi 모듈 (온칩 학습 헤드): Loihi 2 의 하드웨어 제약과 행동의 시간적 특성을 처리하기 위해, 저자들은 CLP-SNN 알고리즘을 두 가지 새로운 모듈로 확장합니다:
   • 시간적 집계 계층: 비누수 적분 - 발화 뉴런을 사용하여 행동 클립의 지속 시간 동안 이진 스파이크 스트림을 통합하며, 전체 행동을 나타내는 "등급 스파이크 (graded spikes)" (벡터) 를 출력합니다.
   • 정규화 계층: Loihi 2 칩에 네이티브 나눗셈 명령어가 부재하므로, Loihi 2 의 마이크로코드 엔진을 통해 고정 소수점 빠른 역제곱근 알고리즘을 사용하여 L2 정규화를 구현합니다.
   • 지속 학습 메커니즘: 시스템은 자기 정규화 3 인자 학습 규칙을 사용합니다. 전역 오차 전파나 재생 버퍼 없이 오류 발생 시 새로운 행동에 대한 프로토타입 벡터를 생성함으로써 온라인 및 클래스 증분 학습을 수행합니다.

주요 기여

• CLP-Loihi: 시공간 행동 인식을 위한 CLP-SNN 알고리즘의 확장. 이는 Loihi 2 에서 커스텀 뉴런 모델을 사용하여 시간적 집계 및 고정 소수점 정규화 계층을 직접 구현한 새로운 시도를 포함합니다.
• 완전한 뉴로모픽 배포: 단일 Loihi 2 칩에 딥 스파킹 CNN 특징 추출기와 지속 학습 헤드를 통합하여 배포한 최초의 엔드투엔드 사례입니다. 이 시스템은 추론 또는 학습 루프에서 GPU 개입 없이 이벤트 카메라 입력을 처리합니다.
• 엄격한 동형 알고리즘 벤치마킹: 논문은 Loihi 2 의 CLANE 과 Nvidia Jetson Orin Nano 를 비교하는 크로스 플랫폼 벤치마킹 방법론을 도입합니다. 학습 알고리즘 (CLP) 과 모델 용량을 플랫폼 간에 일정하게 유지함으로써, 알고리즘적 차이와 구별되는 하드웨어 효율성 향상을 분리해 냅니다.

결과
THUE-ACT-50 데이터셋 (50 개 클래스, 조명 변화 및 가림을 포함한 실제 환경 조건) 에서 평가된 CLANE 은 다음과 같은 결과를 보여줍니다:

• 정확도: 10 샷 클래스 증분 학습 작업에서 CLANE 은 70.4% 의 정확도를 달성합니다. 이는 GPU 에서 실행된 CLP 알고리즘 (73.0%) 과 경쟁력 있는 수준이며, 치명적 망각에 시달리는 단순한 파인튜닝 (naive fine-tuning) 보다 훨씬 뛰어납니다.
• 효율성: 동일한 CLP 알고리즘을 Jetson Orin Nano 에서 실행하는 순차적 CNN+GRU 기준선과 비교할 때, CLANE 은 다음과 같은 성과를 냅니다:
  • 100 배 이상의 에너지 소비 감소.
  • 16 배 낮은 지연 시간.
  • 0.018 mJ·s 의 에너지 - 지연 곱 (EDP) 으로, GPU 의 3D CNN 과 효율성이 일치하지만 스트리밍 시나리오에서는 훨씬 낮은 지연 시간을 보입니다.
• 특징 추출: GPU 의 2D CNN+GRU 기준선과 비교할 때 Loihi 2 의 스파킹 CNN 은 약 30 배의 지연 시간 감소와 230 배의 에너지 감소를 제공하며, 정확도 손실은 미미합니다 (2.6%).

의의 및 주장
본 논문은 CLANE 이 "항상 켜져 있고 지속적으로 적응하는 지각 시스템"을 위한 실용적인 기판으로서 뉴로모픽 하드웨어를 확립한다고 주장합니다. 저자들은 이벤트 카메라 (희소 감지), SNN(희소 계산), 그리고 뉴로모픽 프로세서 (로컬 학습) 간의 구조적 정렬이, 희소성, 온라인성, 전력 제약이 있는 영역에서 폰 노이만 아키텍처로는 달성할 수 없는 시너지 효율성 향상을 창출한다고 논증합니다.

이 연구는 GPU 가 조밀하고 배치화된 처리에 뛰어나지만, 뉴로모픽 시스템은 낮은 지연 시간, 낮은 에너지, 그리고 망각 없이의 지속적 적응이 필요한 시나리오에서 우위를 점함을 강조합니다. 논문은 이 풀스택 접근법이 해당 분야의 중요한 격차를 해소하며, 현재 뉴로모픽 지속 학습 커뮤니티가 결여하고 있는 벤치마킹 방법론을 제공하고, 대규모 시공간 지속 학습이 엣지 뉴로모픽 하드웨어에서 가능함을 입증한다고 결론짓습니다.