LiteEvent-AE: Lightweight Autoencoder for Event-Based Vision on Low-Latency Energy-Constrained Edge Devices

기술 요약: LiteEvent-AE: 저지연 에너지 제약 에지 장치를 위한 이벤트 기반 비전용 경량 오토인코더

문제 정의
이벤트 기반 비전 센서는 프레임 기반 이미징에서 흔히 발생하는 중복 데이터 처리를 제거함으로써 에너지 효율적인 인공지능을 위한 유망한 패러다임을 제공합니다. 그러나 비동기적이고 노이즈가 많으며 희소한 특성을 가진 이벤트 스트림은 기존 딥러닝 모델에 상당한 과제를 안겨줍니다. 표준 합성곱 신경망(CNN)은 계산 집약적이며, 에지 컴퓨팅에 필요한 저전력 임베디드 플랫폼에 적합하지 않은 경우가 많습니다. 또한, SNN(Spiking Neural Networks)이나 트랜스포머 기반 아키텍처와 같은 기존 솔루션은 자원이 제한된 장치에서의 실시간 배포를 방해하는 상당한 계산 오버헤드나 복잡성을 초래합니다. 따라서 최소한의 에너지 소비로 높은 인식 충실도를 유지하면서 이벤트 데이터의 시공간적 구조를 효율적으로 인코딩할 수 있는 특화된 학습 아키텍처가 절실히 필요합니다.

방법론
저자들은 뉴로모픽 데이터를 압축하면서도 필수적인 시공간 구조를 보존하도록 설계된 컴팩트하고 구성 가능한 이벤트 구동형 오토인코더인 "LiteEvent-AE"를 제안합니다. 이 아키텍처는 두 가지 주요 단계로 구성됩니다:

1. 이벤트 표현 및 인코딩: 시스템은 밀집된 이벤트 표현을 활용하여, 이벤트 누적(event accumulation)을 통해 비동기 이벤트 스트림을 구조화된 프레임 형태의 텐서로 변환합니다. 핵심은 경량화된 합성곱 인코더-디코더 구조입니다. 인코더는 고차원 이벤트 프레임을 저차원 잠재 공간(latent space)으로 매핑하기 위해 ReLU 활성화 함수와 공간적 다운샘플링(Max pooling)을 사용하는 합성곱 블록 스택을 채택합니다. ReLU의 사용은 비선형성을 도입하고, 희소한 이벤트 데이터에 내재된 노이즈를 억제하며, 데이터의 본질과 일치하는 희소 활성화를 촉진하는 능력에 중점을 둡니다.
2. 분류 적응(Classification Adaptation): 오토인코더를 분류기로 변환하기 위해, 사전 학습된 인코더를 고정된 특징 추출기(fixed feature extractor)로 재사용합니다. 결정 경계 학습을 수행하기 위해 잠재 출력에 두 개의 완전 연결 계층(fully connected layers)을 추가합니다. 이러한 설계는 표현 학습과 작업별 판별을 분리하여 파라미터 수를 최소화합니다.
3. 적응형 임계값 설정(Adaptive Thresholding): 이 프레임워크는 적응형 이벤트 임계값 설정을 지원하여, 시스템이 환경 조건에 따라 이벤트 감지 민감도를 동적으로 조정할 수 있도록 합니다. 이를 통해 필수적인 시각 정보의 손실 없이 중복된 이벤트 생성을 줄입니다.

주요 기여

• 아키텍처: 표준 합성곱을 사용하여 정적 이벤트 프레임에서 작동할 수 있으며, 이벤트 기반 객체 분류에 특화된 구성 가능하고 경량화된 오토인코더를 도입했습니다.
• 확장성 및 견고성: 다양한 이벤트 활동 임계값에 대한 아키텍처의 견고함을 입증하여, 변화하는 노이즈 수준과 장면 역학에 대한 적응성을 검증했습니다.
• 하드웨어 효율성: 자원이 제한된 임베디드 플랫폼, 특히 Raspberry Pi 4B(CPU) 및 NVIDIA Jetson Nano(GPU)에서 종합적인 평가를 수행했습니다.
• 성능 벤치마킹: YOLO 제품군(v4, v7, v9), EfficientDet-b0, MobileNet-v1, YuNet을 포함한 최첨단(SOTA) CNN과의 엄격한 비교를 수행했습니다.

실험 결과
모델은 Smart Event Face Dataset (SEFD) 및 Event-Based Crossing Dataset (EBCD)에서 다양한 시간적 임계값에 대해 평가되었습니다.

• 정확도 대비 파라미터: SEFD 데이터셋에서 제안된 오토인코더 분류기는 YOLOv9과 경쟁력 있는 정확도(4~6% 차이 이내)를 달성하면서도 35.6배 더 적은 파라미터(100% 모델의 1.7M 파라미터 대 YOLOv9의 60.5M)를 사용했습니다. 50% 필터 구성을 사용하면 파라미터 수는 458K까지 더욱 낮아집니다. EBCD 데이터셋에서 모델은 테스트된 임계값 전반에 걸쳐 평균 93.33%의 정확도를 달와 성취하였으며, 이는 YOLOv4, YOLOv7, MobileNet-v1을 능가하는 수치입니다.
• 재구성 충실도: 오토인코더는 강력한 재구성 능력을 보여주었습니다. 풀 용량 모델은 SEFD에서 0.939의 구조적 유사도 지수(SSIM)를 달성했으며, 50% 필터 축소 구성에서도 0.915의 높은 SSIM을 유지하여 상당한 아키텍처 압축 하에서도 회복력을 입증했습니다.
• 지연 시간 및 처리량:
  • NVIDIA Jetson Nano에서 50% 분류기 모델은 44.8 FPS의 실시간 처리량을 제공했습니다.
  • Raspberry Pi 4B에서 제안된 모델은 YOLO 제품군 모델에 비해 최대 414배 더 높은 FPS를 기록하며, MobileNet-v1 및 YuNet과 같은 다른 경량 베이스라인들을 크게 앞질렀습니다. 구체적으로, 오토인코더 분류기는 Raspberry Pi 4B에서 YOLOv9보다 22.1배 높은 FPS를 달성했습니다. Jetson Nano에서 분류기는 YOLOv4보다 21.4배 높은 FPS를 나타냈습니다.
• 에너지 효율성: 가장 유의미한 발견은 에너지 소비와 관련됩니다. Raspberry Pi 4B에서 50% 오토인코더 분류기는 100개의 이미지를 처리하는 데 단 **16.19 줄(Joules)**만을 소비했습니다. 이는 동일한 평가 프로토콜 하에서 YOLOv9과 비교했을 때 약 726.3배 낮은 에너지 소비를 나타냅니다.

의의 및 주장
본 논문은 LiteEvent-AE가 계산 효율성과 인식 정확도 사이의 트레이드오프를 성공적으로 해결했음을 주장합니다. 컴팩트한 오토인코더 아키텍처를 활용함으로써, 저자들은 무거운 SOTA 모델에 따르는 과도한 에너지 비용 없이 저전력 에지 장치에서 고속 인식을 달성하는 것이 가능하다는 것을 입증했습니다. 결과는 이러한 컴팩트한 이벤트 구동형 모델이 전력 제약이 있는 시나리오에서 실시간 탐지를 위한 환경 친화적이고 저전력인 AI 시스템을 발전시키는 데 유효함을 시사합니다. 본 연구는 더 복적인 다중 객체 및 다중 클래스 이벤트 데이터셋으로의 향후 확장을 위한 토대를 마련하며, 전력 제한 상황에서의 실시간 탐지 가능성을 강조합니다.