Coupling a Recurrent Neural Network to SPAD TCSPC Systems for Real-time Fluorescence Lifetime Imaging

Resumen Técnico: Acoplamiento de una Red Neuronal Recurrente a Sistemas SPAD TCSPC para la Imagen de Fluorescencia por Tiempo Real

Planteamiento del Problema
La Imagen de Fluorescencia por Tiempo de Vida (FLI, por sus siglas en inglés) es una herramienta de diagnóstico crítica en la investigación biológica y médica, ofreciendo ventajas sobre la imagen de intensidad, tales como la insensibilidad a las fluctuaciones de excitación y la capacidad de medir parámetros microambientales. Sin embargo, los sistemas de FLI existentes, particularmente aquellos basados en el Conteo de Fotones Únicos Correlacionados en el Tiempo (TCSPC), enfrentan un compromiso entre velocidad de procesamiento, precisión y robustez. Los sistemas TCSPC tradicionales requieren la acumulación de marcas de tiempo de llegada de fotones en histogramas antes de que pueda ocurrir la estimación del tiempo de vida. Este proceso genera volúmenes masivos de datos, lo que requiere computadoras potentes (a menudo con GPUs), creando cuellos de botella en la transferencia y el almacenamiento de datos, lo que dificulta la miniaturización para aplicaciones clínicas como el monitoreo no invasivo. Además, los métodos de estimación rápida comunes, como el Método del Centro de Masa (CMM), son altamente sensibles al ruido de fondo, mientras que los métodos iterativos precisos, como el ajuste de Mínimos Cuadrados (LS), son computacionalmente costosos y lentos.

Metodología
Los autores proponen un cambio de paradigma hacia la Inteligencia Artificial en el Borde (Edge AI) mediante el acoplamiento directo de un sistema SPAD TCSPC con una Red Neuronal Recurrente (RNN). La innovación central es la eliminación del paso de histogramación; en su lugar, las marcas de tiempo de los fotones brutos se alimentan directamente a la red neuronal para un procesamiento inmediato.

• Arquitectura del Sistema: El sistema utiliza un sensor SPAD personalizado de 32×32 (Piccolo) con Convertidores Tiempo-Digital (TDC) integrados en el chip que proporcionan una resolución temporal de 50 ps. Este sensor está acoplado a una FPGA Xilinx Kintex-7.
• Modelos de Redes Neuronales: El estudio evalúa tres variantes de RNN: RNN Simple, Unidad Recurrente con Puerta (GRU) y Memoria de Largo Corto Plazo (LSTM). Estos modelos se entrenan con conjuntos de datos sintéticos generados para simular la caída de fluorescencia, las funciones de respuesta del instrumento (IRF), el ruido de fondo y los conteos oscuros. Los datos de entrenamiento cubren tiempos de vida de 0.2 a 5 ns con frecuencias de repetición de láser de 20 MHz.
• Estrategia de Entrenamiento: A diferencia de otros enfoques de redes neuronales que utilizan histogramas como entrada, este método procesa las marcas de tiempo de forma secuencial. Se emplea una función de pérdida de Error Porcentual Cuadrático Medio (MSPE) ponderada, que asigna mayor importancia a los pasos de tiempo posteriores para reflejar la acumulación de información a medida que llegan más fotones.
• Implementación de Hardware: Para permitir la operación en tiempo real, los modelos entrenados se cuantizan (pesos a punto fijo de 16 bits, activaciones a 16 bits) y se implementan en la FPGA. El diseño cuenta con cuatro núcleos GRU en paralelo, cada uno gestionando un cuarto del arreglo del sensor, lo que permite un procesamiento dirigido por eventos y cercano al sensor.

Contribuciones Clave

1. Procesamiento Directo de Marcas de Tiempo: El artículo introduce un método para estimar los tiempos de vida de fluorescencia directamente desde las marcas de tiempo brutas utilizando RNN, evitando la necesidad de construir histogramas. Esto reduce drásticamente los volúmenes de transferencia de datos (de ~80 Mb/s en modo bruto a 240 kb/s en modo RNN) y la utilización de recursos de hardware.
2. Robustez al Ruido: El estudio demuestra que las RNN, particularmente las variantes GRU y LSTM, mantienen una alta precisión incluso en presencia de ruido de fondo (hasta un 5%), un escenario donde el CMM tradicional falla significativamente.
3. Validación Teórica: Los autores derivan la Cota Inferior de Cramer-Rao (CRLB) para la medición, mostrando que los estimadores basados en RNN logran una precisión casi óptima, comparable al límite teórico y superior al ajuste LS en términos de eficiencia de fotones.
4. Implementación de Hardware en Tiempo Real: La implementación exitosa de núcleos GRU cuantizados en una FPGA demuestra la viabilidad de la FLI a velocidad de video (hasta 10 fotogramas por segundo) en un sistema integrado y miniaturizado.

Resultados

• Precisión: En conjuntos de datos sintéticos sin ruido de fondo, GRU-32 y LSTM-32 lograron un Error Cuadrático Medio (RMSE) y un Error Absoluto Medio (MAE) comparables con CMM y el ajuste LS.
• Resiliencia al Ruido: En presencia de ruido de fondo del 1% y 5%, el modelo LSTM-32 superó significativamente tanto al CMM como al ajuste LS. Mientras que los errores del CMM aumentaron drásticamente con el ruido, la RNN mantuvo tasas de error bajas, demostrando una robustez superior.
• Generalización: Un modelo entrenado exclusivamente con datos sintéticos estimó con éxito los tiempos de vida en datos experimentales (perlas fluorescentes) adquiridos de un equipo de FLIM confocal comercial, validando la transferibilidad del enfoque a escenarios del mundo real.
• Métricas de Desempeño: La implementación en FPGA procesa hasta 4 millones de fotones por segundo. El sistema logró la adquisición de FLI en tiempo real a 5–10 fotogramas por segundo, capturando el movimiento de perlas fluorescentes con un mapeo de tiempo de vida preciso.

Significancia y Reivindicaciones
El artículo afirma que este enfoque ofrece una solución prometedora para aplicaciones biomédicas que requieren FLI rápida, precisa y robusta, como la imagen biológica, el diagnóstico y la cirugía asistida por fluorescencia. Al eliminar el cuello de botella de la histogramación, el sistema permite la miniaturización y reduce la carga computacional, haciendo que la FLI en tiempo real sea factible en dispositivos portátiles. Los autores enfatizan que la flexibilidad del sistema permite el reentrenamiento con diferentes conjuntos de datos para otras aplicaciones, como la clasificación, y sugieren que las iteraciones futuras podrían integrar estos núcleos RNN directamente en los arreglos SPAD mediante apilamiento 3D para un procesamiento real dentro del sensor. El trabajo establece que las redes neuronales pueden lograr una precisión de estimación casi óptima operando a velocidades y con una tolerancia al ruido que los métodos tradicionales no pueden igualar en un contexto de tiempo real y embebido.