Towards Neuromorphic Event-Based Sensing for High-Speed Multi-Spectral Classification and Tracking of Microparticles

기술 요약: 고속 다중 스펙트럼 미세입자 분류 및 추적을 위한 뉴로모픽 이벤트 기반 센싱을 향하여

문제 제기
기존의 이미지 기반 미세유체 시스템은 처리량(throughput), 이미징 속도, 데이터 대역폭 사이의 근본적인 트레이드오프 문제에 직면해 있다. 고속 프레임 기반 이미징(CMOS/CCD)은 종종 모션 블러(motion blur), 신호 품질 저하, 그리고 실시간 처리를 방해하는 과도한 데이터 볼륨을 초래하며, 이는 특히 고속 흐름을 모니터링할 때 두드러진다. 스토로보스코프 조명이나 딥러닝 기반 재구성 같은 기존 솔루션들이 이미지 품질이나 처리량을 개선해 왔으나, 여전히 전역 프레임 제약에 묶여 있거나 상당한 계산 오버헤드를 발생시킨다. 또한, 기존의 이벤트 기반 센싱(EVS) 애플리케이션은 주로 단분산 구형 입자 추적에 국한되어 있거나 학습 기반 추론에 의존하며, 실제 세계의 다분산 분석물이 가진 형태학적 및 광학적 복잡성을 해결하지 못하고 있다. 결정적으로, 이벤트 기반 미세유체 구조 내에서 불투명한 분석물을 위한 스펙트럼 정보를 통합하는 연구는 여로 미개척 분야로 남아 있다.

방법론
저자들은 다분산 및 불규칙한 미세입자의 동시 추적, 크기 측정 및 색상 분류를 위해 설계된 뉴로모픽 미세유체 센싱 플랫폼을 개발하였다. 시스템 아키텍처는 세 가지 핵심 구성 요소로 통합된다:

1. 미세유체 및 광학 설정: 미세유체 채널(ibidi µ-Slide)은 투과 방식에서 흔히 발생하는 "그림자 효과(shadow effect)"를 피하기 위해 반사 구성으로 백색 LED에 의해 조사되어 고유 색상과 표면 반사율을 감지한다. 10배 대물렌즈가 후방 산란광을 수집하며, 이 빛은 빔 스플리터를 통해 두 센서로 나뉜다: 그라운드 트루스(ground-truth) 참조용 일반 CMOS 카메라와 고해상도 이벤트 기반 카메라(IDS uEye XCP-E)이다.
2. 공간적으로 다중화된 스펙트럼 인코딩: 직접적인 이미지 재구성을 거치지 않고 스펙트럼 정체성(identity)과 운동을 센싱 단계에서 직접 인코딩하기 위해, 세 개의 Lee 사진 필터(Tokyo Blue, Primary Green, Marius Red)로 구성된 맞춤형 필터 어셈블리가 이벤트 기반 센서 바로 앞에 배치된다. 이 필터들은 센서의 중첩되지 않는 영역을 커버한다.
3. 신호 처리 파이프라인: 비동기 이벤트 스트림은 시간적으로 이산화(temporally discretized)되어 (500, 1000, 1500 Hz에서) 프레임으로 변환되며, 공간적으로는 10×10 빈(bin)으로 집계된다.
   • 노이즈 제거(Denoising): 이웃 개수 필터링 전략(8-연결성 커널)을 사용하여 고립된 노이즈 이벤트를 제거하고, 공간적으로 밀집된 신호만을 유지한다.
   • 색상 예측: "Best-of-Frames" 최대 가능도(maximum-likelihood) 전략이 채택된다. 각 스펙트럼 대역(R, G, B)에 대해, 알고리즘은 특정 순간의 입자 위치와 무관하게 전체 통과 기간 동안의 피크 이벤트 활성 점수를 식별한다. 최종 분류는 가장 높은 통합 피크를 생성하는 스펙트럼 영역으로 결정된다.
   • 운동학적 프로파일링(Kinematic Profiling): 입자 궤적은 필터링된 이벤트 클러스터의 중심점(centroid)을 연결함으로써 재구성된다. 속도는 중심점 간의 변위를 통해 계산되며, 크기는 모션 유도 왜곡에 대한 강건성을 위해 단축(minor axis)을 활용한 가중 공간 공분산 행렬으로부터 유도된 등가 타원 모델을 사용하여 추정된다.

주요 기여

• EVS와 다중 스펙트럼 센싱의 최초 통합: 본 연구는 연속적으로 흐르는 이질적인 샘플이 포함된 미세유체 채널 내에서 이벤트 기반 스펙트럼 센싱을 통합한 최초의 사례를 보여준다.
• 라벨 프리(Label-Free), 학습 불필요(Training-Free) 분류: 시스템은 이미지 재구성이나 복잡한 학습 기반 신경망 추론 없이 센싱 단계에서 직접 스펙트럼 시그니처와 운동을 추출한다.
• 실제 세계의 이질성 처리: 이상적인 구형 비드를 대상으로 한 기존 EVS 연구와 달리, 본 플랫폼은 (열가소성 폴리머의 기계적 마모를 통해 제작된) 다분산 및 불규칙한 형상의 미세입자를 비층류(non-laminar) 흐름 조건에서도 성공적으로 특성화한다.
• 데이터 효율성: 이벤트 구동 아키텍처는 시간적 해상도를 데이터 볼륨과 분리함으로써 데이터 대역폭을 획기적으로 줄인다.

결과
시스템은 최대 ~80 mm/s의 속도로 흐르는 적색, 녹색, 청색 미세 플라스틱 파편(0.08–0.25 mm)을 사용하여 검증되었다.

• 분류 성능: 최적의 프레임 구성 주파수인 1000 Hz에서, 시스템은 **74%**의 전역 색상 분류 정확도를 달erm성했다. 더 작은 입자 크기 범위(0.08–0.18 mm)에서는 정확도가 **82%**에 도달했다. 성능은 입자가 더 커지거나 프레임 레이트가 낮아질 때(500 Hz) 시간적 언더샘플링(undersampling) 및 스펙트럼 영역의 공간적 혼합으로 인해 감소했다.
• 운동학적 프로파일링: 시스템은 입자 궤적과 속도를 성공적으로 분해하였다. 피팅된 타원의 단축을 이용한 크기 추정은 비층류 및 다양한 초점 조건 하에서도 CMOS 그라운드 트루스와 밀접한 일치를 보였다.
• 처리량 및 대역폭: 시스템은 460 mm²/s의 면적 처리량을 유지했다. 기존 1000 FPS CMOS 카메라와 비교했을 때, 이벤트 기반 접근 방식은 (주로 중복된 배경 데이터를 제거함으로써) 데이터 대역폭을 >240배 (약 3.84 GB/s에서 ~16 MB/s로) 감소시켰다.
• 강건성: 플랫폼은 공기 방울, 입자 회전, 변화하는 유속을 포함한 비이상적인 조건에서도 성능을 유지하며, 실제 미세유체 흐름의 확률론적 특성에 대한 탄력성을 입증했다.

의의 및 주장
저자들은 본 연구를 이질적인 분석물의 고속, 라벨 프리 스크리닝을 위한 확장 가능하고 계산 효율적인 솔루션의 **개념 증명(proof-of-concept)**으로 규정한다. 이들은 이러한 결과가 기성 부품(상용 RGB 필터, 표준 백색 LED)과 의도적으로 비이상적인 조건(비층류, 불규칙한 입자)을 사용하여 달성되었음을 강조한다. 따라서 보고된 성능은 보수적인 기준치로 제시된다. 본 논문은 이 뉴로모픽 프레임워크가 전통적인 프레임 기반 시스템의 모션 블러와 데이터 병목 현상을 극려함으로써, 향후 임상 진단(예: 단일 세포 분석) 및 환경 모니터링(예: 미세 플라스틱 탐지) 분야를 위한 길을 열어줄 것이라고 주장한다. 저자들은 현재 설정이 광대역 필터를 사용하고 있으나, 향후 반복 연구에서는 전용 광학 설계와 맞춤형 조명을 사용하여 분류 정확도를 높이고 스펙트럼 교차 간섭(cross-talk)을 줄일 수 있다고 언급하였다.