技術概要：信頼性の高いラベル効率型イベントカメラ視覚のための脳型スパイクタイミング可塑性

問題定義

イベントカメラを用いた物体検出器の展開には、2 つの主要なボトルネックが存在する。すなわち、高密度な勾配ベースモデルの訓練に必要なフレームごとの注釈付けコストの高さ、および推論における GPU クラスのハードウェアへの依存である。高密度ネットワーク（例：RVT、HMNet、ReYOLOv8）は高い精度を達成するが、大規模なデータセットと計算リソースを消費する。一方、既存のエンドツーエンドのスパイキングニューラルネットワーク（SNN）検出器は、しばしば数百万のシナプス、マルチチップ展開（Loihi-2、SpiNNaker）、および GPU 上での代理勾配訓練を必要とし、置換を意図するラベルと計算のフットプリントから脱却できていない。最小限の監視で動作し、単一コアのニューモルフィック基盤（または標準 CPU）上で実行され、再訓練なしで分布シフトに適応する検出アーキテクチャが必要とされている。

手法

著者らは、6 つの古典的なイベント専用検出チャネルと、3 つの局所的な勾配フリーのスパイクタイミング依存可塑性（STDP）モジュールを組み合わせたハイブリッドパイプラインを提案する。このシステムは、逆伝播や代理勾配を使用せずに動作する。

1. 6 チャネル検出パイプライン

ベース層は、IoU 区別性の和集合に供給される 6 つの古典的なイベント処理チャネルで構成される。

• 密度分水嶺クラスタリング器: DBSCAN のイベントドメインにおける代替手段。
• 多仮説 K 平均トラッカー: フレームごとに上位 5 つの候補を保持する。
• 時間プーリングチャネル: プーリングされたイベント画像の差分を計算する。
• ローター周波数アナライザ: FFT によりドローンのローター高調波を検出する。
• 極性非対称性フィルタ: ON/OFF イベントの不均衡に基づいて候補を再重み付けする。
• 影認識再スコアリング: コンパクトな較正セットで 1 回訓練された線形再重み付け段階。

2. 3 つの局所 STDP モジュール

3 つの異なる可塑性モジュールがパイプラインの異なるレベルで動作する。

• シーケンスコホートゲート（シーケンスレベル）:

  • 機能: 17 次元のイベント統計指紋に基づき、シーケンスごとに 6 つの処理レシピの 1 つを選択する。
  • アーキテクチャ: 17→32→12 のリーキー積分発火（LIF）ネットワークで、ハードな勝者総取り（WTA）抑制を備える。
  • 可塑性: 対称的なペアベースの STDP により訓練される。広範なランダム投影重みを、スパースなアトラクタ重みへと変換する。
  • 展開: 訓練後、「Who（ルーティング）」重みは凍結される。ゲートは単一のニューモルフィックコア（384 の可塑性シナプス）内に収まり、単一の CPU スレッドで実行される。

• R-STDP 候補信頼性ゲート（候補レベル）:

  • 機能: アンカーの信頼性を調整し、時間的に一貫した「レスキュー」候補を承認する。
  • アーキテクチャ: 6 つの信頼性状態（例：物体範囲、重複、背景エッジ）に投影する 64 ユニット隠れ WTA 層。
  • 可塑性: 報酬モジュレート STDP を使用する。訓練ラベルは訓練中の報酬信号の生成にのみ使用され、推論はラベルフリーである。
  • 結果: 局所チャネルのサポートを持ち、フレーム間で持続する場合にのみ、非アンカー候補を承認する。

• STDP-チューブ（チューブレベル）:

  • 機能: フレームごとの検出を短いイベントチューブにリンクさせ、時間的連続性とチャネル間証拠から信頼性を学習する。
  • アーキテクチャ: 有界 WTA/STDP により、チューブ特徴（年齢、運動残差、孤立度など）を 6 つの状態にマッピングする。
  • 結果: 時間的一貫性を欠く偽陽性をフィルタリングすることで、誤警報を削減する。

主要な貢献と結果

1. ラベル効率型検出ティア（FRED ベンチマーク）

本論文は、FRED ドローンベンチマーク上で 3 つの異なる監視ティアを実証し、保存される展開ビット数と精度の間のトレードオフを示す。

• 厳密なラベルフリー（0 ビット）: 5 チャネル和集合検出器は 53.8% mAP@30 を達成する。
• コンパクトな較正（約 26 ビット）: サポート認識型信頼性項（IoU 区別性しきい値と影重み）を追加することで、性能は 76.9% mAP@30 に向上する。
• STDP 候補ゲート（≥3,072 ビット）: R-STDP 信頼性ゲートを追加することで、78.60 ± 0.42% mAP@30（10 個のシードの平均）を達成する。
• 注: これらの結果は、フレームごとのラベルと GPU 推論を必要とする YOLOv11 などの高密度ベースラインとは異なる、監視コスト/精度空間における動作点に位置する。

2. ドリフト適応と分散の Tightening

• ドリフト適応: 取得順序の分布シフト下において、STDP 訓練済みシーケンスコホートゲートは、ストリーミング k 平均よりも平均ストリーム mAP@30 で +2.03 ± 0.58 パーセントポイント（pp) 上回る。無ドリフト制御（ランダムな 50/50 分割）はこの優位性を排除し（−0.44 ± 1.97 pp）、このメカニズムが特定のドリフト追跡であることを確認する。
• 分散低減: STDP ゲートは、ランダムシード間の性能の標準偏差を 6.6 倍 低減する（σ = 0.607 pp から 0.092 pp へ）。
• 単一モデル同等性: この分散の Tightening により、単一の訓練済みゲートが 44 シードのランダム初期化アンサンブル の解析的サンプル平均分散境界と一致することを可能にする。

3. EV-UAV パフォーマンス

EV-UAV ベンチマーク（小規模ターゲット、DAVIS346 センサー）において:

• STDP-チューブモジュール（K=5 設定）は、検出確率（Pd）を ≥88.44% 維持しつつ、誤警報を 662.34 から 340.21 × 10⁻⁴ に削減する。
• これにより、mAP@30 は 50.97% から 57.03% に、イベント IoU は 31.18% から 44.48% に向上する。

4. ニューモルフィック展開の実現可能性

• ハードウェアポート: シーケンスゲートは、8 ビット固定小数点量子化を伴う Intel Lava シミュレータ（Loihi-2 参照）に移植された。fp32 シミュレーションと比較して 89.4% のトップ 2 コホート合意 を達成した。
• 効率性: ゲートは単一の CPU スレッドで動作し（I/O を除きフレームあたり約 20 ms の計算時間）、GPU は不要である。総シナプス数は約 656（384 の可塑性シナプス + 約 272 の固定シナプス）であり、現在の Loihi-2 のコアあたりの容量内に収まる。

意義と主張

本論文は、高密度な勾配訓練検出器が、高密度行列乗算と大域的勾配規則への依存により、構造的に低ラベル効率、単一コア展開、およびドリフト適応という特定の組み合わせを提供できないと主張する。

核心的な意義は、局所的 STDP 規則 が以下のことを実証している点にある。

1. 大規模なデータセットや GPU 訓練を必要とすることなく、ラベルフリーとラベル効率型の検出間のギャップを埋めること。
2. 大規模アンサンブルのレベルまで単一モデルの性能を安定化させ、ランダム初期化に伴う展開リスクを低減すること。
3. 標準的な静的深層学習モデルには欠如している能力である、局所的可塑性のみを用いてリアルタイムで分布シフト（ドリフト）に適応すること。
4. ドローン知覚のためのニューモルフィック視覚の約束を果たす、マイクロ秒の遅延可能性とワットスケールの電力予測を備えた市販のニューモルフィック基盤（または標準 CPU）上で動作すること。

著者らは、これらの結果が特定のベンチマーク（FRED、EV-UAV）から導出されたものであり、「ラベル効率型」の定義は運用上のもの、すなわちフレームごとのバウンディングボックス予算よりも著しく低い、オーダー $10^3$ ビットの展開フットプリントを指すものであると強調している。