Towards Neuromorphic Event-Based Sensing for High-Speed Multi-Spectral Classification and Tracking of Microparticles

技術要約：高速マルチスペクトル分類およびトラッキングのための、ニューロモーフィック・イベントベース・センシングに向けた研究

問題提起
従来の画像ベースのマイクロ流体システムは、スループット、撮像速度、およびデータ帯域幅の間にある根本的なトレードオフに直面している。高速なフレームベースの撮像（CMOS/CCD）は、モーションブラー（動きによるボケ）、信号品質の低下、および膨大なデータ量をもたらし、特に高流速のフローを監視する際のリアルタイム処理を阻害する。ストロボ照明やディープラーニングによる再構成といった既存のソリューションは、画質やスループットを向上させてはいるものの、依然としてグローバルなフレーム制約に縛られているか、あるいは多大な計算オーバーヘッドを導入するものである。さらに、従来のイベントベース・センシング（EVS）のマイクロ流体への応用は、主に単分散の球状粒子への追跡に限定されており、実世界の多分散な分析物の形態学的および光学的な複雑さに対処できていない。決定的な点として、イベントベースのマイクロ流体アーキテクチャ内において、不透明な分析物のスペクトル情報を統合することは、これまでほとんど未開拓であった。

手法
著者らは、多分散で不規則な形状を持つマイクロ粒子の同時トラッキング、サイズ計測、およびカラー分類を行うために設計された、ニューロモーフィック・マイクロ流体センシング・プラットフォームを開発した。本システムのアーキテクチャは、以下の3つのコアコンポーネントで構成されている。

1. マイクロ流体および光学セットアップ： マイクロ流体チャネル（ibidi µ-Slide）は、透過型で見られる「シャドウ効果」を回避するために、反射構成で白色LEDによって照明され、固有の色と表面反射率を検出する。10倍対物レンズが後方散乱光を収集し、ビームスプリッターを介して2つのセンサーに分割する：グラウンドトゥルース（正解）参照用の従来のCMOSカメラと、高解像度イベントベースカメラ（IDS uEye XCP-E）である。
2. 空間的にマルチプレックスされたスペクトル符号化： センサーの直前に配置された、3枚のLeeフォトグラフィックフィルター（Tokyo Blue、Primary Green、Marius Red）で構成されるカスタムフィルター・アセンブリ。これらのフィルターはセンサー上の非重複領域をカバーしており、画像再構成を必要とせずに、スペクトルの識別性と運動をセンシング段階で直接符号化する。
3. 信号処理パイライン： 非同期イベントストリームは、時間的に離散化され（500、1000、1500 Hz）、空間的に10×10のビンへと集約される。
   • デノイジング（ノイズ除去）： 近傍カウント・フィルタリング戦略（8連結カーネル）を用いて孤立したノイズイベントを除去し、空間的にクラスター化した信号のみを保持する。
   • カラー予測： 「ベスト・オブ・フレーム（Best-of-Frames）」最大尤度戦略が採用されている。各スペクトル帯域（R、G、B）について、アルゴリズムは粒子の正確な位置に依存せず、全通過時間におけるピーク・イベント活動スコアを特定する。最終的な分類は、最も高い積分ピークを示したスペクトル領域となる。
   • 運動学的プロファイリング： 粒子軌跡は、フィルタリングされたイベントクラスターの重心を連結することで再構成される。速度は重心間の変位から算出され、サイズは、運動による歪みに対する堅牢性を確保するために、重み付き空間共分散行列から導出された等価楕円モデルを用いて推定される。

主な貢献

• EVSとマルチスペクトル・センシングの初の統合： 本研究は、連続的に流れる不均一なサンプルを含む、イベントベースのスペクトルセンシングをマイクロ流体チャネル内で統合したことを初めて実証した。
• ラベルフリーかつ学習不要の分類： 本システムは、画像再構成や複雑な学習ベースのニューラルネットワーク推論を必要とせず、センシング段階からスペクトル特性と運動を抽出する。
• 実世界の不均一性への対応： 理想的な球状ビーズに焦点を当てた従来のEVS研究とは異なり、本プラットフォームは、非層流条件下での多分散で不規則な形状のマイクロ粒子（熱可塑性ポリマーの機械的摩耗により作成）の特性評価に成功した。
• データ効率： イベント駆動型アーキテクチャは、時間分解能をデータ量から切り離すことにより、データ帯域幅を劇的に削減する。

結果
システムは、流速最大〜80 mm/sで流れる赤、緑、青のマイクロプラスチック片（0.08–0.25 mm）を用いて検証された。

• 分類性能： 最適なフレーム構築周波数1000 Hzにおいて、システムは**74%のグローバルなカラー分類精度を達成した。より小さい粒子サイズ範囲（0.08–0.18 mm）では、精度は82%**に達した。性能は、時間的アンダーサンプリングおよびスペクトル領域の空間的混合により、より大きな粒子や低いフレームレート（500 Hz）では低下した。
• 運動学的プロファイリング： システムは粒子の軌跡と速度を正常に解明した。適合させた楕円の短軸を用いたサイズ推定は、非層流や焦点条件の変化下においても、CMOSのグラウンドトゥルースと密接に一致した。
• スループットと帯域幅： システムは460 mm²/sの面積スループットを維持した。従来の1000 FPS CMOSカメラと比較して、イベントベースのアプローチは、冗長な背景データを排除することにより、データ帯域幅を240倍以上（約3.84 GB/sから約16 MB/sへ）削減した。
• 堅牢性： 本プラットフォームは、気泡、粒子の回転、および変動する流速を含む非理想的な条件下でも性能を維持し、実世界のマイクロ流体フローの確率的な性質に対する耐性を示した。

意義と主張
著者らは、本研究を、不均一な分析物の高速かつラベルフリーなスクリーニングのための、スケーラブルで計算効率の高いソリューションの**概念実証（プルーフ・オブ・コンセプト）**として位置付けている。彼らは、これらの結果が市販のコンポーネント（市販のRGBフィルター、標準的な白色LED）を使用し、意図的に非理想的な条件下で得られたものであることを強調している。したがって、報告された性能は保守的なベースラインとして提示されている。本論文は、このニューロモーフィック・フレームワークが、従来のフレームベースのシステムにおけるモーションブラーとデータ・ボトルネックを克服することにより、将来の臨床診断（例：単一細胞解析）や環境モニタリング（例：マイクロプラスチック検出）への道を開くものであると主張している。著者らは、現在のセットアップでは広帯域フィルターを使用しているが、将来の反復においては、専用の光学設計と調整された照明を採用することで、分類精度をさらに向上させ、スペクトルのクロストークを低減できる可能性があると述べている。