Coupling a Recurrent Neural Network to SPAD TCSPC Systems for Real-time Fluorescence Lifetime Imaging

Resumo Técnico: Acoplamento de uma Rede Neural Recorrente a Sistemas TCSPC de SPAD para Imagem de Tempo de Vida de Fluorescência em Tempo Real

Definição do Problema
A Imagem de Tempo de Vida de Fluorescência (FLI) é uma ferramenta de diagnóstico crítica em pesquisa biológica e médica, oferecendo vantagens sobre a imagem de intensidade, como a insensibilidade a flutuações de excitação e a capacidade de medir parâmetros microambientais. No entanto, os sistemas de FLI existentes, particularmente aqueles baseados em Contagem de Fótons Único Correlacionada no Tempo (TCSPC), enfrentam um compromisso entre velocidade de processamento, precisão e robustez. Os sistemas TCSPC tradicionais exigem o acúmulo de carimbos de tempo (timestamps) de chegada de fótons em histogramas antes que a estimativa do tempo de vida possa ocorrer. Esse processo gera volumes massivos de dados, necessitando de computadores potentes (frequentemente com GPUs), criando gargalos na transferência e armazenamento de dados, além de dificultar a miniaturização para aplicações clínicas, como o monitoramento não invasivo. Além disso, métodos de estimativa rápida comuns, como o Método do Centro de Massa (CMM), são altamente sensíveis ao ruído de fundo, enquanto métodos iterativos precisos, como o ajuste de Mínimos Quadrados (LS), são computacionalmente dispendiosos e lentos.

Metodologia
Os autores propõem uma mudança de paradigma em direção à Inteligência Artificial de Borda (Edge AI) ao acoplar diretamente um sistema TCSPC de Diodo de Avalanche de Fóton Único (SPAD) a uma Rede Neural Recorrente (RNN). A inovação central é a eliminação da etapa de histogramação; em vez disso, os timestamps brutos de fótons são alimentados diretamente na rede neural para processamento imediato.

• Arquitetura do Sistema: O sistema utiliza um sensor SPAD customizado de 32×32 (Piccolo) com Conversores Tempo-Digitais (TDCs) integrados, fornecendo uma resolução temporal de 50 ps. Este sensor é acoplado a um FPGA Xilinx Kintex-7.
• Modelos de Redes Neurais: O estudo avalia três variantes de RNN: RNN Simples, Unidade Recorrente de Porta (GRU) e Memória de Longo Prazo (LSTM). Esses modelos são treinados em conjuntos de dados sintéticos gerados para simular o decaimento de fluorescência, a função de resposta instrumental (IRF) e o ruído de fundo e contagens escuras. Os dados de treinamento abrangem tempos de vida de 0,2 a 5 ns com frequências de repetição de laser de 20 MHz.
• Estratégia de Treinamento: Ao contrário das abordagens anteriores de redes neurais que utilizam histogramas como entrada, este método processa os timestamps sequencialmente. É empregada uma função de perda de Erro Percentual Quadrático Médio (MSPE) ponderada, atribuindo maior importância aos estágios temporais posteriores para refletir o acúmulo de informação à medida que mais fótons chegam.
• Implementação de Hardware: Para permitir a operação em tempo real, os modelos treinados foram quantizados (pesos para ponto fixo de 16 bits, ativações para 16 bits) e implementados no FPGA. O design apresenta quatro núcleos GRU paralelos, cada um gerenciando um quarto do arranjo do sensor, permitindo o processamento orientado a eventos e próximo ao sensor.

Principais Contribuições

1. Processamento Direto de Timestamps: O artigo introduz um método para estimar tempos de vida de fluorescência diretamente de timestamps brutos usando RNNs, contornando a necessidade de construção de histogramas. Isso reduz drasticamente os volumes de transferência de dados (de ~80 Mb/s em modo bruto para 240 kb/s em modo RNN) e a utilização de recursos de hardware.
2. Robustez ao Ruído: O estudo demonstra que as RNNs, particularmente as variantes GRU e LSTM, mantêm alta precisão mesmo na presença de ruído de fundo (até 5%), um cenário onde o CMM tradicional falha significativamente.
3. Validação Teórica: Os autores derivam o Limite Inferior de Cramer-Rao (CRLB) para a medição, mostrando que os estimadores baseados em RNN alcançam uma precisão próxima da ótima, comparável ao limite teórico e superior ao ajuste LS em termos de eficiência de fótons.
4. Implementação de Hardware em Tempo Real: A implementação bem-sucedida de núcleos GRU quantizados em um FPGA demonstra a viabilidade de FLI em taxa de vídeo (até 10 quadros por segundo) em um sistema integrado e miniaturizado.

Resultados

• Precisão: Em conjuntos de dados sintéticos sem ruído de fundo, o GRU-32 e o LSTM-32 alcançaram Erro Quadrático Médio (RMSE) e Erro Absoluto Médio (MAE) comparáveis ao CMM e ao ajuste LS.
• Resiliência ao Ruído: Na presença de 1% e 5% de ruído de fundo, o modelo LSTM-32 superou significativamente tanto o CMM quanto o ajuste LS. Enquanto os erros do CMM aumentaram dramaticamente com o ruído, a RNN manteve baixas taxas de erro, demonstrando robustez superior.
• Generalização: Um modelo treinado exclusivamente em dados sintéticos estimou com sucesso tempos de vida em dados experimentais (esferas fluorescentes) adquiridos de um setup de FLIM confocal comercial, validando a transferibilidade da abordagem para cenários do mundo real.
• Métricas de Desempenho: A implementação em FPGA processa até 4 milhões de fótons por segundo. O sistema alcançou a aquisição de FLI em tempo real a 5–10 quadros por segundo, capturando o movimento de esferas fluorescentes com mapeamento de tempo de vida preciso.

Significância e Alegações
O artigo afirma que esta abordagem oferece uma solução promissora para aplicações biomédicas que exigem FLI rápida, precisa e robusta, como imagem biológica, diagnósticos e cirurgia assistida por fluorescência. Ao remover o gargalo da histogramação, o sistema permite a miniaturização e reduz a carga computacional, tornando a FLI em tempo real viável em dispositivos portáteis. Os autores enfatizam que a flexibilidade do sistema permite o retreinamento em diferentes conjuntos de dados para outras aplicações, como classificação, e sugerem que futuras iterações podem integrar esses núcleos RNN diretamente nos arranjos SPAD via empilhamento 3-D para um verdadeiro processamento dentro do sensor. O trabalho estabelece que as redes neurais podem alcançar uma precisão de estimativa próxima da ótima enquanto operam com velocidades e tolerância ao ruído que os métodos tradicionais não conseguem igualar em um contexto embarcado de tempo real.