技術概要：NeuroEdge

問題定義

高密度筋電図（HD-EMG）は、微細な神経筋活動を解読するための強力なモダリティを提供し、義肢制御、リハビリテーション、拡張インタラクションのためのリアルタイム神経機械インターフェース（NMI）を可能にします。深層学習モデル、特に畳み込みニューラルネットワーク（CNN）は、EMG ベースのジェスチャ認識において高い精度を示していますが、リソース制約のある組み込みハードウェアへの展開は依然として大きな課題です。既存のソリューションは、NVIDIA Jetson Nano や Coral TPU などの GPU、TPU、FPGA といった電力を多く消費するプラットフォームに依存することが多く、これはポータビリティと低コスト・低電力のリアルタイムアプリケーションへの適合性を制限しています。さらに、マイクロコントローラー向けにモデルを最適化する以前の試み（Sony Spresense での量子化の使用など）は、主にモデル圧縮に焦点を当てており、リアルタイム HD-EMG データ取得の統合やエンドツーエンドのシステム同期には取り組んでいませんでした。

手法

本論文は、リソース制約のあるマイクロコントローラー上で完全にジェスチャ認識を実行するように設計されたリアルタイム NMI システム「NeuroEdge」を提示します。システムアーキテクチャは、以下の 3 つの中核コンポーネントを統合しています：

1. HD-EMG StreamBridge: Quattrocento HD-EMG アンプと組み込みハードウェアの間のギャップを埋めるように設計されたカスタム無線通信インターフェース。

   • Quattrocento をサーバー、ESP32 マイクロコントローラーをクライアントとして動作させる Wi-Fi ベースの TCP 接続を利用します。
   • 40 バイトのコマンドシーケンスを送信してデータ取得を開始し、初期サンプルを破棄して同期を処理し、192 チャンネルのデータストリームを管理する C ベースのインターフェース（HD-EMG StreamBridge-C）を採用しています。
   • データは、スライディングウィンドウ（20 サンプル×192 チャンネル）の非ブロッキングかつ効率的な保存を確保するために、ESP32 のオンチップメモリにダイレクトメモリアクセス（DMA）を使用してバッファリングされます。

2. EdgeDL 推論エンジン: Sony Spresense マイクロコントローラー（ARM Cortex-M4F）上で動作する軽量な深層学習フレームワーク。

   • データパイプライン: ESP32 は、高速シリアルペリフェラルインターフェース（SPI）バースト通信を介してバッファリングされた HD-EMG フレームを Spresense に転送します。Spresense は SPI コントローラーとして機能します。
   • モデルアーキテクチャ: 本システムは、M5 音声認識モデルから適応されたコンパクトな 1 次元 CNN を採用しています。入力には、EMG サンプルの 20×192 行列から導出された 1×3840 の平坦化された特徴ベクトルが使用されます。
   • ネットワーク構造: この CNN は、それぞれ 16、16、32 のフィルターを持つ 3 つの畳み込み層、最大プーリング、およびグローバル平均プーリング層で構成され、7 クラス分類のための全結合層で終了します。メモリフットプリントを最小化するため、密結合層は省略されています。
   • 展開: モデルは PyTorch で訓練され、ONNX にエクスポートされ、TensorFlow Lite に変換され、マイクロコントローラー用の C ヘッダーファイルとしてコンパイルされました。専用のテンソルアリーナがメモリの再利用を管理します。

3. システム同期: アーキテクチャは、データ取得（ESP32）、SPI 転送、推論（Spresense）が並行して実行されるパイプラインアプローチを採用しています。これにより、通信タスクと計算タスクを重複させることで低遅延性能が確保されます。

主な貢献

• マイクロコントローラー上での初のフルスケール HD-EMG 推論: 著者らの知見では、NeuroEdge は、外部計算リソース（GPU など）を必要とせず、リアルタイム機能を持つマイクロコントローラーハードウェア上でフルスケールの HD-EMG 深層学習推論（192 チャンネル）を実証した最初のシステムです。
• カスタム無線インターフェース: 既存の EMG 取得ソフトウェアにマイクロコントローラーとのネイティブ互換性が欠如しているという課題を克服し、商用 Quattrocento システムから ESP32 への生 HD-EMG データの無線・高スループットストリーミングを可能にする HD-EMG StreamBridge の開発。
• エンドツーエンドの組み込み統合: DMA と SPI バースト通信を活用してデータフローを同期し、遅延を最小化する、生信号取得からエッジデバイス上の深層学習推論までの完全なパイプラインの実証。

実験結果

システムは、192 チャンネル、512 Hz サンプリングレートを使用して、健常な被験者 1 名が 7 つの手/手首ジェスチャ（無動作、手首回内、手首回外、手の握り、手の開き、手首屈曲、手首伸展）を実行したデータを用いて評価されました。

• オフライン性能: モデルは 25 回の訓練エポック後に、検証分類精度 95.33% を達成しました。最終的に展開されたモデルは、サイズが約 15.24 KB の 8 ビット整数 C ヘッダーファイルです。
• リアルタイム性能:
  • 精度: システムは 7 つのジェスチャクラス全体で 90.00% のリアルタイム分類精度を達成しました。
  • 遅延: 平均総遅延は 83 ms で、平均推論遅延 70 ms と SPI 通信遅延 13 ms で構成されています。
  • 誤差分析: ほとんどの誤分類はジェスチャ遷移中に発生しました。これは、訓練データが静的なジェスチャサンプルのみで構成されていることに起因する制限です。

意義と主張

本論文は、NeuroEdge が高分解能バイオシグナル取得と深層学習ベースの組み込み推論の間のギャップを成功裡に埋めたことを主張しています。複雑な HD-EMG ジェスチャ認識が、低電力のマイクロコントローラーベースのエッジデバイス上で実行可能であることを実証することで、この研究はウェアラブルおよび生体医学応用向けの次世代 NMI の実現可能性を確立しています。著者らは、このアプローチが電力を多く消費する外部ハードウェアへの依存を排除し、ポータブルでリアルタイムな神経インターフェースへの道を開くと述べています。この研究は現在の範囲において控えめであり、将来的な反復には、堅牢性を向上させるための複数被験者による検証と遷移データの組み込みが必要であると指摘しています。