Sequence-SOD: Bio-inspired Sequence-aware Spiking ObjectDetection for Event Cameras

기술 요약: Sequence-SOD

문제 정의

이벤트 카메라는 국부적인 강도 변화를 비동기적으로 보고함으로써 높은 시간 해상도, 넓은 동적 범위, 낮은 전력 소비를 제공하여 자율 주행에 이상적입니다. 그러나 이러한 희소하고 비동기적인 특성은 전통적인 프레임 기반 객체 탐지 방법들을 효과적이지 못하게 만듭니다. 스파이킹 신경망(SNN)은 뇌에서 영감을 받은 상태 유지 역동성(stateful dynamics) 덕분에 이러한 데이터를 처리하기에 자연스러운 적합성을 갖추고 있지만, 현재의 SNN 기반 객체 탐지기들은 결정적인 한계점을 가집니다. 즉, 이들은 일반적으로 개별 이벤트 구간을 처리하고 각 예측 후에 네트워크의 내부 상태(막 전위)를 초기화한다는 점입니다. 이러한 방식은 이벤트 스트림에 내재된 연속적인 시간 정보를 활용하지 못하며, 인식을 연속적인 과정이 아닌 일련의 독립적인 스냅샷으로 취급합니다. 결과적으로, 이러한 모델들은 탐지 정확도와 견고성을 향상시킬 수 있는 시간적 단서들을 충분히 활용하지 못합니다.

방법론

저자들은 확장된 이벤트 시퀀스를 처리하면서 시간 구간 동안 네트워크의 내부 상태를 보존하도록 설계된 시퀀스 인식형 SNN 객체 탐지기인 Sequence-SOD를 소개합니다.

데이터 처리 및 시퀀스 구성:

• 이벤트 축적: 비동기 이벤트 스트림은 짧은 시간 구간(125 ms)으로 축적됩니다.
• 이산화: 각 구간은 GPU 기반 시뮬레이션을 용이하게 하기 위해 $T=5$개의 이산 시간 단계(각 25 ms)로 더 세분화됩니다.
• 시퀀스 형성: 학습 중에 모델은 길이 $s$($s$는 연속적인 125 ms 구간의 수를 나타냄)의 시퀀스를 처리합니다. 하나의 시퀀스는 서로 다른 시점에 존재하는 여러 개의 바운딩 박스 레이블과 레이블이 없는 구간들이 혼재되어 포함될 수 있습니다.
• 상태 관리: 결정적으로, 시퀀스 내의 구간들 사이에서 스파이킹 뉴런의 막 전위는 초기화되지 않습니다. 상태는 오직 독립적인 시퀀스 사이에서만 초기화됩니다. 이를 통해 네트워크는 누적 삭감(leaky integration)과 감쇄(decay)를 통해 최근의 이벤트에 대한 "기억"을 유지할 수 있으며, 이를 통해 중요한 시간적 단서를 우선시하고 오래된 정보를 폐기할 수 있습니다.

네트워크 아키텍처:

• 모델은 Spiking DenseNet 백본(깊이 121, 성장률 24)을 갖춘 SSD 스타일의 탐지 프레임워크를 활용합니다.
• 표준 ReLU 활성화 함수는 감쇄율이 학습 가능한 파라미터인 Parametric Leaky Integrate-and-Fire (PLIF) 뉴런으로 대체되어, 뉴런이 이벤트 스트림 통계에 맞춰 시간적 보유력을 적응시킬 수 있도록 합니다.
• 배치 정규화(Batch normalization)는 학습 중에 사용되지만 추론 시에는 컨볼루션 레이어에 수학적으로 흡수되어, 최종 모델이 순수한 SNN 상태를 유지하도록 합니다.
• 예측 전략: 주어진 구간에 대해 네트워크 출력은 $T$개의 내부 시간 단계에 걸쳐 축적되고 평균화되어 단일 바운딩 박스와 클래스 예측을 생성합니다. 이는 동일한 레이블이 다섯 개의 독립적인 학습 타겟으로 취급되는 것을 방지합니다.
• 학습: 모델은 비미분 가능한 스파이크 함수를 처리하기 위해 서로게이트 그래디언트(surrogate gradients)를 사용하여 학습됩니다. 탐지 손실(detection loss)은 레이블이 지정된 구간에만 적용되며, 네트워크 상태는 레이블이 없는 구간을 통해 전파됩니다.

주요 기여

1. 시퀀스 인식 학습 전략: 본 논문은 막 전위를 모델의 시간적 메모리로 취급하는 학습 및 평가 패러다임을 제안합니다. 이전 방식들과 달리, Sequence-SOD는 예측 후 매번 상태를 초기화하는 대신, 하나의 시퀀스 내에서 레이블이 있는 구간과 없는 구간 모두에 걸쳐 상태 연속성을 유지합니다.
2. 시간적 연속성을 통한 성능 향상: 저자들은 긴 시퀀스(예: 길이 $s=5$)로 학습하는 것이 테스트 시퀀스 길이가 짧더라도 Gen1 Automotive Detection Dataset에서 단일 구간 학습($s=1$)보다 mAP를 유의미하게 향고시킨다는 것을 입증했습니다.
3. 에너지 효율성 분석: 본 연구는 SNN 아키텍처를 동등한 인공 신경망(ANN)과 비교하여 이론적 에너지 소비량을 평가하며, 희소한 스파이킹 활동으로 인한 연산 감소를 강조합니다.

결과

실험은 Gen1 Automotive Detection Dataset(39시간의 자동차 이벤트 데이터)을 대상으로 수행되었습니다.

• 정확도 (mAP):
  • 단일 구간 학습(베이스라인)은 23.38의 mAP를 달성했습니다.
  • 증강 없이 시퀀스 인식 학습(시퀀스 길이 5)을 적용했을 때 mAP는 25.30으로 향상되었습니다.
  • 이벤트 데이터 증강(수평 뒤집기, 줌 인/아웃)을 적용하면 mAP는 26.88까지 더욱 상승했습니다.
  • 이러한 향상은 네트워크가 필수적인 시간적 정보를 우선시하는 더 의미 있는 내부 상태 표현을 학습할 수 있는 능력 덕분입니다.
• 시간 해상도: 모델은 25 ms 시간 단계를 처리하며, 이론적으로 40 Hz의 예측 빈도를 가능하게 합니다.
• 에너지 효율성: 곱셈-누산(MAC) 연산을 누산(AC) 연산으로 대체하고 희소 활성화를 활용함으로써, SNN은 특히 뉴로모픽 하드웨어에 배포될 때 동등한 ANN에 비해 추정 에너지 소비량을 크게 줄입니다.
• 절제 실험(Ablation): 더 긴 학습 시퀀스는 네트워크가 더 나은 상태 표현을 학습하도록 강제했습니다. 짧은 시퀀스로 학습된 모델을 전체 시퀀스에 대해 테스트했을 때 성능이 약간 감소했으나, 긴 시퀀스로 학습된 모델은 모든 테스트 조건에서 견고한 성능을 유지했습니다.

의의 및 주장

본 논문은 Sequence-SOD가 아키텍처 개선뿐만 아니라 시퀀스 인식 학습이 이벤트 기반 SNN 탐지를 위한 상호 보완적인 방향임을 강조한다고 주장합니다. 저자들은 현재 SNN 탐지기의 주요 병목 현상이 반드시 아키텍처 자체에 있는 것이 아니라, 내부 상태를 조기에 초기화함으로써 이벤트 스트림의 연속적인 특성을 활용하지 못하는 데 있다고 주장합니다.

막 전위를 보존함으로써, 이 모델은 생물학적 지각의 상태 유지 특성을 모방하여 시간을 따라 증거를 통합할 수 있게 합니다. 저자들은 자신들의 방법이 탐지 성능을 향상시키고 희소 스파이킹 계산의 에너지 효율성 이점을 유지하지만, 전통적인 ANN이나 하이브리드 아키텍처와의 정확도 격차를 완전히 좁히지는 못한다고 겸허히 밝히고 있습니다. 그들은 자신들의 기여가 복잡한 아키텍처의 전면적인 개편 없이도 시간적 상태 보존만으로 측정 가능한 이득을 얻을 수 있음을 입증함으로써, 표준 SSD 스타일의 Spiking DenseNet 내에서의 효과를 분리해냈다는 점을 강조합니다.

이 연구는 탐지기가 연속적인 스트림 상에서 작동해야 하는 실제 응м용 분야에서, 막 전위를 통해 시간적 메모리를 유지하는 것이 이벤트 기반 비전의 잠재력을 온전히 활용하기 위해 필수적임을 시사합니다.