Coupling a Recurrent Neural Network to SPAD TCSPC Systems for Real-time Fluorescence Lifetime Imaging

기술 요약: 실시간 형광 수명 이미징을 위한 순환 신경망(RNN)과 SPAD TCSPC 시스템의 결합

문제 정의
형광 수명 이미징(FLI)은 생물학 및 의학 연구에서 중요한 진단 도구로, 강도 이미징(intensity imaging)에 비해 들뜸 변동(excitation fluctuations)에 무디고 미세 환경 파라미터를 측정할 수 있다는 장점을 제공한다. 그러나 기존의 FLI 시스템, 특히 시간 상관 단일 광자 계수(TCSPC) 기반 시스템은 처리 속도, 정확도, 그리고 견고성 사이의 트레이드오프(trade-off) 문제에 직면해 있다. 전통적인 TCSPC 시스템은 수명 추정이 수행되기 전까지 광자 도착 타임스탬프를 히스토그램으로 축적하는 과정이 필요하다. 이 과정은 방대한 데이터 볼륨을 생성하여 강력한 PC(종종 GPU 포함)를 필요로 하며, 이는 데이터 전송 및 저장의 병목 현상을 일으키고, 비침습적 모니터링과 같은 임상 적용을 위한 소형화를 저해한다. 또한, 질량 중심법(Center-of-Mass Method, CMM)과 같은 일반적인 빠른 추정 방식은 배경 노이즈에 매우 민적이며, 최소 제곱(Least-Squares, LS) 피팅과 같은 정확한 반복법은 계산 비용이 많이 들고 느리다.

방법론
저자들은 SPAD TCSPC 시스템을 순환 신경할망(RNN)에 직접 결합함으로써 에지 인공지능(Edge AI)을 향한 패러다임의 전환을 제안한다. 핵심 혁신은 히스토그램 생성 단계를 제거하는 것이다. 대신, 가공되지 않은(raw) 광자 타임스탬프를 신경망에 직접 입력하여 즉각적인 처리를 수행한다.

• 시스템 아키텍처: 시스템은 50ps의 시간 해상도를 제공하는 온칩 시간-디지털 변환기(TDC)를 갖춘 커스텀 32×32 SPAD 센서(Piccolo)를 사용한다. 이 센서는 Xilinx Kintex-7 FPGA와 결합된다.
• 신경망 모델: 본 연구는 세 가지 RNN 변형인 Simple RNN, Gated Recurrent Unit(GRU), Long Short-Term Memory(LSTM)를 평가한다. 이 모델들은 형광 감쇄, 기기 응답 함수(IRF), 배경 노이즈 및 암계수(dark counts)를 시뮬레이션하도록 생성된 합성 데이터셋을 통해 학습된다. 학습 데이터는 0.2에서 5ns 사이의 수명과 20MHz의 레이저 반복 주파수를 포함한다.
• 학습 전략: 히스토그램을 입력값으로 사용하는 이전의 신경망 접근 방식과 달리, 이 방법은 타임스탬프를 순차적으로 처리한다. 가중 평균 제곱 백분율 오차(Weighted Mean Square Percentage Error, MSPE) 손실 함수가 채택되었으며, 이는 더 많은 광자가 도착함에 따라 정보가 축적되는 것을 반영하여 후반부 타임스텝에 더 높은 중요성을 부여한다.
• 하드웨어 구현: 실시간 작동을 가능하게 하기 위해, 학습된 모델들은 양자화(가중치는 16비트 고정 소수점, 활성화 함수는 16비트)되어 FPGA에 구현된다. 설계는 4개의 병렬 GRU 코어를 특징으로 하며, 각 코어는 센서 어레이의 4분의 1을 관리하여 이벤트 기반의 근접 센서(near-sensor) 처리를 가능하게 한다.

주요 기여

1. 직접 타임스탬프 처리: 본 논문은 RNN을 사용하여 가공되지 않은 타임스탬프로부터 형광 수명을 직접 추정하는 방법을 소개하며, 이를 통해 히스토그램 구축 과정을 우회한다. 이는 데이터 전송 볼륨(raw 모드의 약 80 Mb/s에서 RNN 모드의 240 kb/s로)과 하드웨어 자원 활용량을 획기적으로 줄인다.
2. 노이즈에 대한 견고성: 연구 결과, RNN(특히 GRU 및 LSTM 변형)은 배경 노이즈(최대 5%)가 존재하는 상황에서도 높은 정확도를 유지하며, 이는 전통적인 CMM이 크게 실패하는 시나리오이다.
3. 이론적 검증: 저자들은 측정에 대한 크라메르-라오 하한(Cramer-Rao Lower Bound, CRLB)을 유도하여, RNN 기반 추정기가 이론적 한계와 유사한 최적의 정밀도를 달 정도로 우수하며, 광자 효율 측면에서 LS 피팅보다 뛰어나다는 것을 보여준다.
4. 실시간 하드웨어 배포: 양자화된 GRU 코어를 FPGA에 성공적으로 배포함으로써, 소형화되고 통합된 시스템에서 비디오 속도 FLI(최대 초당 10 프레임)의 실현 가능성을 입증하였다.

결과

• 정확도: 배경 노이즈가 없는 합성 데이터셋에서 GRU-32와 LSTM-32는 CMM 및 LS 피팅과 대등한 제곱 평균 제곱근 오차(RMSE) 및 평균 절대 오차(MAE)를 달성했다.
• 노이즈 탄력성: 1% 및 5%의 배경 노이즈가 존재하는 환경에서, LSTM-32 모델은 CMM과 LS 피팅을 모두 유의미하게 능가했다. CMM의 오차는 노이즈와 함께 급격히 증가한 반면, RNN은 낮은 오차율을 유지하여 탁월한 견고성을 입증했다.
• 일반화: 합성 데이터로만 학습된 모델이 상용 공초점 FLIM 설정에서 획득한 실험 데이터(형광 비드)를 성공적으로 추정함으로써, 이 접근 방식의 실제 시나리오 전이 가능성을 검증했다.
• 성능 지표: FPGA 구현은 초당 최대 4백만 개의 광자를 처리한다. 시스템은 5~10 fps의 실시간 FLI 획득을 달성하였으며, 정확한 수명 매핑과 함께 형광 비드의 움직임을 포착하였다.

의의 및 주장
본 논문은 이 접근 방식이 생물학적 이미징, 진단 및 형광 보조 수술과 같이 빠르고 정확하며 견고한 FLI를 요구하는 생의학 응용 분야에 유망한 솔루션을 제공한다고 주장한다. 히스토그램 병목 현상을 제거함으로써, 이 시스템은 소형화를 가능하게 하고 계산 부담을 줄여 휴대용 장치에서의 실시간 FLI를 가능하게 한다. 저자들은 시스템의 유연성이 분류와 같은 다른 응용 분야를 위한 다양한 데이터셋으로 재학습이 가능함을 강조하며, 향후 버전에서는 진정한 인-센서(in-sensor) 처리를 위해 RNN 코어를 3D 적층 기술을 통해 SPAD 어레이에 직접 통합할 수 있음을 시사한다. 이 연구는 신경망이 실시간 임베디드 맥락에서 전통적인 방법들이 도달할 수 없는 속도와 노이즈 내성을 갖추면서도 최적에 가까운 추정 정밀도를 달 수 있음을 확립하였다.