기술 요약: 에너지 효율적인 스파이킹 신경망을 활용한 뉴로모픽 LiDAR 기반 버드아이 뷰 객체 탐지

1. 문제 제기

자율주행 인식은 엄격한 전력 제약 하에서 3 차원 센서 데이터를 정확하게 처리해야 합니다. 합성곱 신경망 (CNN) 은 LiDAR 기반 3 차원 객체 탐지에서 지배적인 위치를 차지하고 있지만, 리소스가 제한된 뉴로모픽 플랫폼에서는 계산 집약적이며 에너지 비효율적입니다. CNN 은 모든 공간 위치에 동일한 가중치를 부여하여 처리하므로, 버드아이 뷰 (BEV) LiDAR 맵에서 전형적으로 나타나는 희소하고 빈 공간 셀에 대한 상당한 계산 낭비가 발생합니다. 또한, 프레임 기반의 작동 방식은 차세대 센서의 이벤트 주도적 특성을 활용하지 못하며 시간적 지속성을 활용하지 못합니다.

스파이킹 신경망 (SNN) 은 이벤트 주도적 희소 계산과 시간적 통합을 통해 잠재적인 해결책을 제공합니다. 그러나 3 차원 객체 탐지와 같은 복잡한 실제 세계 인식 작업에 대한 SNN 의 적용은 제한적이었습니다. 기존 SNN 접근 방식은 종종 사전 훈련된 CNN 을 변환하는 데 의존하여 (정확도와 시간적 학습을 제한함) 이진 스파이크 출력에서 직접 연속 회귀 (예: 바운딩 박스 치수) 를 수행하는 데 어려움을 겪습니다.

2. 방법론

저자들은 서로게이트 기울기 역전파를 사용하여 처음부터 훈련된 엔드 - 투 - 엔드 스파이킹 인코더 - 디코더 네트워크를 제안하며, 이는 특별히 BEV LiDAR 객체 탐지를 위해 설계되었습니다.

입력 표현

원시 LiDAR 포인트 클라우드는 2 차원 BEV 맵 ($320 \times 320$ 셀) 으로 투영됩니다. 입력은 11 개의 채널로 구성됩니다:

• 5 개의 기하학적/반사율 특징: 최대 높이, 이진 점유 여부, 평균 반사율, 최소 높이, 높이 표준 편차.
• 6 개의 Z 축 빈: 수직 구조를 보존하기 위해 수직 축 (0~2.4m) 을 이산화한 이진 점유 맵.

네트워크 아키텍처

이 모델은 스파이킹 계산에 맞게 조정된 U-Net 설계를 따릅니다:

• 인코더: 누출 적분 - 발화 (LIF) 뉴런을 사용하는 4 개의 다운샘플링 블록 (DB1–DB4). 각 블록에는 합성곱 레이어, 그룹 정규화 (GN), 그리고 스킵 연결이 포함됩니다.
• 디코더: 공간 해상도를 복원하기 위해 다중 스케일 특징을 집계하는 4 개의 업샘플링 블록 (UB).
• 출력 헤드: 전체 해상도 특징에서 작동하는 3 개의 병렬 헤드:
  • 키프oint 헤드: 가우시안 히트맵을 통해 객체 중심을 예측합니다.
  • 박스 헤드: 바운딩 박스 치수 (높이, 너비, 길이의 $\log_{10}$) 를 예측합니다.
  • 회전 헤드: 31 개의 빈 (각 $6^\circ$) 에 대한 분류로 헤딩 방향을 예측합니다.

훈련 및 손실 함수

네트워크는 스파이크 생성의 비미분 가능성을 처리하기 위해 서로게이트 기울기를 사용하는 snntorch 라이브러리를 통해 훈련됩니다. 주요 혁신 사항은 다음과 같습니다:

1. 자기 코딩 입력 전략: 수동으로 제작된 푸아송 또는 지연 인코딩 대신, 동일한 BEV 프레임을 $T=13$ 타임스텝에 걸쳐 동일하게 제시합니다. 이를 통해 LIF 뉴런이 시간 내에 증거를 통합하여 기존 인코딩 방식을 능가할 수 있습니다.
2. 키프oint 를 위한 2 점 시간 손실: 초기 시간 창과 전체 시간 창 모두에 적용되는 포커스 손실 (Focal Loss) 과 마스크된 딕스 손실 (Masked Dice Loss) 의 조합입니다. 이는 희소한 BEV 맵에서 공간적 일관성을 강제하고 클래스 불균형을 처리합니다.
3. 집단 코딩 회귀 손실: 이진 스파이크에서 연속적인 바운딩 박스 치수를 예측하기 위해, 국소 $k \times k$ 뉴런 클러스터를 사용합니다. 회귀 목표는 이 집단의 집단 평균 발화율에서 디코딩되어, 회귀 목표를 빈으로 이산화할 필요가 없습니다.

추론 변형

이 논문은 두 가지 추론 모드를 평가합니다:

• 막 전위 (vmem): 최대 정확도를 위해 출력 레이어에서 연속 막 전위를 읽습니다.
• 완전 이진 (spike): 내부 막 상태를 노출하지 않는 뉴로모픽 하드웨어에 직접 배포하기에 적합한 모든 레이어에서 이진 스파이크 열만 작동합니다.

3. 주요 결과

KITTI 벤치마크 (Car 클래스, IoU=0.5 및 0.7) 에서 평가됨:

• 정확도:

  • vmem 변형은 IoU=0.5 에서 92.05/87.04/86.51 AP(쉬움/중간/어려움) 를 달성하여, Easy 지표에서 모든 CNN 베이스라인 (예: PointPillars, PointRCNN) 을 능가하고 SNN 탐지기 중 새로운 최첨단 성능을 확립했습니다.
  • 완전 이진 스파이크 변형은 IoU=0.5 에서 88.51/85.72/83.14 AP를 달성하여, 이진 활성화만 사용하면서도 기존 모든 SNN 기반 BEV 탐지기 (예: SpikiLi, DeepSCNN) 를 능가했습니다.
  • 이진 스파이크 변형과 vmem 변형 간의 성능 차이는 약 3~4 AP 포인트로, 이진 판독의 비용을 정량화하지만 일반적인 SNN 에서 CNN 으로 전환되는 간격보다 훨씬 좁습니다.

• 에너지 효율성:

  • 45nm 기술 상수를 사용한 블록 단위 에너지 분석은 입력을 $T=13$ 번 반복하는 보수적인 루프 기반 시뮬레이션 하에서 동등한 CNN 대비 시냅스 작동 에너지를 3.33 배 감소시킨 것으로 추정합니다.
  • 이 효율성은 두 가지 메커니즘에 의해 주도됩니다: 곱셈 - 누적 (MAC) 연산을 누적 - 전용 (AC) 연산으로 대체 (이벤트당 5.1 배 절감) 및 88.19% 의 발화 희소성(평균 발화율 0.1181).
  • 저자들은 전용 뉴로모픽 하드웨어에서는 타임스텝이 루프 오버헤드 없이 자연스럽게 전개되므로, 실제 에너지 이점이 약 43 배까지 확장될 수 있다고 지적합니다.

4. 중요성 및 주장

이 논문은 SNN 의 이론적 에너지 효율성과 자율주행 인식에 필요한 실제 정확도 사이의 간극을 해소한다고 주장합니다. 주요 기여 사항은 다음과 같습니다:

1. 3 차원 탐지를 위한 엔드 - 투 - 엔드 SNN 의 실현 가능성: CNN 에서 SNN 으로 변환하는 데 의존하지 않고 복잡한 3 차원 탐지 작업에서 SNN 이 고정밀 CNN 정확도와 일치할 수 있음을 입증합니다.
2. 새로운 스파이크 도메인 손실: 이진 스파이크에서 직접 효과적인 기울기 흐름과 연속 값 추정을 가능하게 하는 집단 코딩 회귀 및 2 점 시간 손실을 도입하여, 이산화나 연속 중간 활성화가 필요 없게 합니다.
3. 정량화 가능한 에너지 이득: 저축을 특정 아키텍처 단계와 연산 유형 (MAC 대 AC) 으로 추적하는 엄격한 블록 단위 에너지 분석을 제공하여, 에너지 제약이 있는 자동차 배포를 위한 SNN 의 타당성을 검증합니다.

저자들은 현재 작업이 정적 프레임에서 작동하지만, 아키텍처는 들어오는 센서 프레임이 자연스럽게 스파이킹 역학을 진행시키는 순차적 배포를 위해 설계되었으며, SNN 이 차세대 자율주행 차량의 고율 이벤트 주도 센싱 파이프라인을 위한 유망한 아키텍처로 자리 잡고 있다고 결론지었습니다.