LiteEvent-AE: Lightweight Autoencoder for Event-Based Vision on Low-Latency Energy-Constrained Edge Devices

技術要約：LiteEvent-AE：低遅延・エネルギー制約のあるエッジデバイス向け軽量イベントベース・オートエンコーダ

問題提起
イベントベース・ビジョンセンサは、フレームベースのイメージングに共通する冗長なデータ処理を排除し、疎で低遅延な視覚信号を提供することで、エネルギー効率の高い人工知能の有望なパラダイムを提示している。しかし、非同期でノイズが発生しやすく、疎な性質を持つイベントストリームは、従来のディープラーニングモデルにとって大きな課題となっている。標準的な畳み込みニューラルネットワーク（CNN）は計算負荷が高く、エッジコンピューティングに必要な低電力組み込みプラットフォームには適していない。さらに、スパイキングニューラルネットワーク（SNN）やトランスフォーマー・アーキテクチャなどの既存のソリューションは、リソース制約のあるデバイスへのリアルタイム展開を妨げるほどの多大な計算オーバーヘッドや複雑さをもたらす。したがって、最小限のエネルギー消費で高い認識忠実度を維持しながら、イベントデータの時空間構造を効率的にエンコードできる特化した学習アーキテクチャが切実に求められている。

手法
著者らは、イベントの時空間構造を保持しながら、ニューロモーフィック・データを圧縮するように設計された、コンパクトで構成可能なイベント駆動型オートエンコーダ「LiteEvent-AE」を提案する。このアーキテクチャは、主に2つのフェーズで構成される：

1. イベント表現とエンコーディング： 本システムは、密なイベント表現を利用し、非同期のイベントストリームをイベント蓄積を通じて構造化されたフレーム状のテンソルへと変換する。その中核は、軽量な畳み込みエンコーダ・デコーダ構造である。エンコーダは、高次元のイベントフレームを低次元の潜在空間へとマッピングするために、ReLU（Rectified Linear Unit）活性化関数と空間ダウンサンプリング（最大プーリング）を備えた畳み込みブロックのスタックを採用している。ReLUの使用は、非線形性を導入し、疎なイベントデータに固有のノイズを抑制し、データの性質に合致した疎な活性化を促進する能力があるとして強調されている。
2. 分類への適応： オートエンコーダを分類器へと変形させるため、学習済みのエンコーダを固定の特微抽出器として再利用する。決定境界の学習を行うために、潜在出力に2つの全結合層を付加する。この設計は、表現学習とタスク固有の識別を分離し、パラメータ数を最小限に抑える。
3. 適応型閾値設定： 本フレームワークは適応型イベント閾値設定をサポートしており、環境条件に基づいてイベント検出の感度を動的に調整できる。これにより、不可欠な視覚情報を損なうことなく、冗長なイベント生成を削減する。

主な貢献

• アーキテククター： 標準的な畳み込みを用いて静的なイベントフレーム上で動作可能な、イベントベースの物体分類に特化した、構成可能で軽量なオートエンコーダの導入。
• スケーラビリティと堅牢性： 複数のイベント活動閾値におけるアーキテクチャの堅牢性を実証し、変動するノイズレベルやシーンのダイナミクスに対する適応性を検証。
• ハードウェア効率： リソース制約のある組み込みプラットフォーム、具体的には Raspberry Pi 4B (CPU) および NVIDIA Jetson Nano (GPU) における包括的な評価。
• 性能ベンチマーク： YOLOファミリー（v4, v7, v9）、EfficientDet-b0、MobileNet-v1、および YuNet を含む、最先端（SOTA）の CNN との厳格な比較。

実験結果
モデルは、Smart Event Face Dataset (SEFD) および Event-Based Crossing Dataset (EBCD) において、様々な時間的閾値を用いて評価された。

• 精度 vs パラメータ数： SEFDデータセットにおいて、提案されたオートエンコーダ分類器は、YOLOv9（4〜6%の差以内）と比較して競争力のある精度を達成しつつ、35.6倍少ないパラメータ（100%モデルの1.7Mパラメータに対し、YOLOv9は60.5M）を利用した。さらに、50%フィルタ構成を採用することで、パラメータ数を458Kまで削減できる。EBCDデータセットでは、モデルはテストされた閾値全体で平均93.33%の精度を達成し、YOLOv4、YOLOv7、および MobileNet-v1 を上回った。
• 再構成忠実度： オートエンコーダは強力な再構成能力を示した。フル容量のモデルは SEFD において 0.939 の構造的類似性指標（SSIM）を達成し、50% フィルタ構成においても 0.915 という高い SSIM を維持しており、大幅なアーキテクチャ圧縮下での耐性を示した。
• レイテンシとスループット：
  • NVIDIA Jetson Nano において、50% 分類器モデルは 44.8 FPS のリアルタイム・スループットを実現した。
  • Raspberry Pi 4B において、提案モデルは YOLOファミリーのモデルと比較して最大 414倍高い FPS を示し、MobileNet-v1 や YuNet といった他の軽量なベースラインを大幅に凌駕した。具体的には、オートエンコーダ分類器は Raspberry Pi 4B 上で YOLOv9 の 22.1倍の FPS を記録した。Jetson Nano 上では、分類器は YOLOv4 より 21.4倍高い FPS を示した。
• エネルギー効率： 最も重要な発見はエネルギー消費に関するものである。Raspberry Pi 4B において、50% オートエンコーダ分類器は100枚の画像を処理するのにわずか 16.19 ジュールしか消費しなかった。これは、同一の評価プロトコル下での YOLOv9 と比較して、約 726.3倍低いエネルギー消費量である。

意義と主張
本論文は、LiteEvent-AE が、計算効率と認識精度のトレードオフをうまく解決したと主張している。コンパクトなオートエンコーダ・アーキテクチャを活用することで、重厚な SOTA モデルに伴う法外なエネルギーコストをかけることなく、低電力エッジデバイス上で高速な知覚を実現できることを著者らは実証している。これらの結果は、このようなコンパクトでイベント駆動型のモデルが、自律走行、モバイル、および組み込みコンピューティング環境における、環境に配慮した低電力 AI システムの発展に寄与できることを示唆している。本研究は、より複雑なマルチオブジェクトおよびマルチクラスのイベントデータセットへの将来的な拡張の基礎を築き、電力制約のあるシナリオにおけるリアルタイム検出の可能性を強調している。