Coupling a Recurrent Neural Network to SPAD TCSPC Systems for Real-time Fluorescence Lifetime Imaging
Dit artikel presenteert een real-time Fluorescence Lifetime Imaging (FLI)-systeem dat een SPAD TCSPC-sensor koppelt aan een recurrent neuraal netwerk (specifiek GRU- en LSTM-varianten) om direct levensduur te schatten uit ruwe tijdstempels zonder histogrammen, waarbij videofrequentie-acquisitie wordt bereikt met een hoge nauwkeurigheid, superieure ruisrobuustheid en bijna optimale precisie op een FPGA-geïmplementeerd platform.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Stel je voor dat je probeert naar een enkele, zwakke fluistering te luisteren in een drukke, lawaaierige kamer. Als je eerst elk woord probeert op te schrijven dat door alle anderen wordt gesproken, zul je de fluistering volledig missen en zal je notitieblok te zwaar zijn om te dragen. Dit is de uitdaging waar wetenschappers voor staan wanneer ze proberen "in" levende cellen te kijken met een techniek genaamd Fluorescence Lifetime Imaging (FLI). In deze wereld worden piepkleine lichtgevende moleculen (fluoroforen) geëxciteerd door een laser en "ontspannen" ze vervolgens door een foton van licht uit te zenden. De tijd die ze nodig hebben om te ontspannen — hun "levensduur" — vertelt ons geheimen over hun omgeving, zoals hoe zuur of stroperig hun omgeving is. Dit is cruciaal voor het vroegtijdig opsporen van ziekten zoals kanker of het helpen van chirurgen om precies te zien waar een tumor eindigt en gezond weefsel begint.
Traditioneel, om dit te meten, gebruiken wetenschappers een methode genaamd Time-Correlated Single-Photon Counting (TCSPC). Denk hierbij aan een zeer snelle camera die elke keer een foto maakt als er een foton arriveert. Om de levensduur te bepalen, moet de computer meestal wachten tot hij duizenden van deze "momentopnames" (tijdstempels) heeft verzameld en ze vervolgens in een gigantische histogram heeft gesorteerd — een staafdiagram dat laat zien wanneer de fotonen arriveerden. Het is alsof je wacht tot een heel koor klaar is met zingen voordat je het tempo van het liedje kunt bepalen. Dit proces is traag, creëert enorme hoeveelheden data die moeilijk te verplaatsen zijn, en vereist krachtige, logge computers. Het is geweldig voor een laboratorium, maar het is te lomp voor een dokterspraktijk of een handheld apparaat dat in realtime moet werken.
Dit artikel introduceert een slimme nieuwe manier om naar die fluistering te luisteren zonder eerst het hele liedje van het koor op te schrijven. De onderzoekers, werkzaam bij het Advanced Quantum Architecture Laboratory aan de EPFL in Zwitserland, stellen voor om een gespecialiseerde lichtsensor (een SPAD-array) direct te koppelen aan een type kunstmatige intelligentie genaamd een Recurrent Neural Network (RNN). In plaats van te wachten om een histogram op te bouwen, voert het systeem de aankomsttijd van elk afzonderlijk foton direct in de AI in terwijl dit gebeurt. De AI fungeert als een super-snelle, intuïtieve luisteraar die direct het tempo van het liedje (de fluorescentie-levensduur) raadt uit de ruwe stroom van geluiden.
Het team testte dit idee door hun AI te trainen op miljoenen gesimuleerde "fluisteringen" (synthetische data) waarbij zij het exacte antwoord kenden. Ze vergeleken hun AI, die in twee hoofdsmaken kwam genaamd GRU (Gated Recurrent Unit) en LSTM (Long Short-Term Memory), met de traditionele methoden van Least Squares fitting en de Center-of-Mass methode. De resultaten waren indrukwekkend: de AI was net zo nauwkeurig als de traditionele methoden wanneer de kamer stil was, maar toen ze achtergrondruis toevoegden (om een lawaaierige kamer te simuleren), bleef de AI kalm en accuraat terwijl de oude methoden in de war raakten en grote fouten maakten. Sterker nog, de AI was zo goed dat de precisie ervan bijna even perfect was als de theoretische limiet die de natuurkunde toestaat (de Cramer-Rao lower bound).
Om te bewijzen dat dit niet alleen een computertrucje was, bouwden de onderzoekers een echte microscoop met behulp van een kleine 32x32 sensorchip die ze in hun eigen lab hebben ontwikkeld, genaamd Piccolo. Ze laadden de AI op een gespecialiseerde computerchip (een FPGA) direct naast de sensor. Deze opstelling stelde hen in staat om tot wel 4 miljoen fotonen per seconde te verwerken. Wanneer ze fluorescerende bolletjes filmden die rondbewogen, maakte het systeem niet alleen een foto; het berekende de levensduur van het licht in realtime, waardoor een video met 10 frames per seconde werd geproduceerd. Het artikel suggereert dat deze aanpak de medische beeldvorming kan revolutioneren, door het snel, draagbaar en robuust genoeg te maken voor zaken als het opsporen van tumorgrenzen tijdens een operatie, allemaal zonder dat er een enorme supercomputer nodig is om het zware werk te verrichten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.