Coupling a Recurrent Neural Network to SPAD TCSPC Systems for Real-time Fluorescence Lifetime Imaging
Diese Arbeit präsentiert ein Echtzeit-Fluoreszenz-Lebensdauer-Imaging-System (FLI), das einen SPAD-TCSPC-Sensor mit einem rekurrenten neuronalen Netz (speziell GRU- und LSTM-Varianten) koppelt, um Lebensdauern direkt aus Roh-Zeitstempeln ohne Histogramme zu schätzen, wodurch eine Video-Rate-Akquisition mit hoher Genauigkeit, überlegener Rauschrobustheit und nahezu optimaler Präzision auf einer FPGA-implementierten Plattform erreicht wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein einzelnes, leises Flüstern in einem überfüllten, lauten Raum zu hören. Wenn Sie versuchen zuerst jedes einzelne Wort aufzuschreiben, das alle anderen sprechen, werden Sie das Flüstern völlig verpassen, und Ihr Notizbuch wird zu schwer zum Tragen sein. Dies ist die Herausforderung, der Wissenschaftler gegenüberstehen, wenn sie versuchen, mit einer Technik namens Fluoreszenz-Lebensdauer-Bildgebung (FLI) in lebende Zellen hinein zu „sehen“. In dieser Welt regen winzige leuchtende Moleküle (Fluorophore) durch einen Laser die Umgebung an und „entspannen“ sich dann, indem sie ein Photon aus Licht emittieren. Die Zeit, die sie benötigen, um sich zu entspannen – ihre „Lebensdauer“ –, verrät uns Geheimnisse über ihre Umgebung, wie etwa wie sauer oder viskos ihre Umgebung ist. Dies ist entscheidend, um Krankheiten wie Krebs frühzeitig zu erkennen oder Chirurgen dabei zu helfen, genau zu sehen, wo ein Tumor endet und gesundes Gewebe beginnt.
Traditionell messen Wissenschaftler dies mit einer Methode namens Time-Correlated Single-Photon Counting (TCSPC). Man kann sich das wie eine sehr schnelle Kamera vorstellen, die jedes Mal ein Foto macht, wenn ein Photon eintrifft. Um die Lebensdauer zu bestimmen, muss der Computer normalerweise warten, bis er tausende dieser „Schnappschüsse“ (Zeitstempel) gesammelt hat, und diese dann in ein riesiges Histogramm sortieren – ein Balkendiagramm, das zeigt, wann die Photonen eintrafen. Es ist, als würde man warten, bis ein ganzer Chor zu Ende gesungen hat, bevor man das Tempo des Liedes bestimmen kann. Dieser Prozess ist langsam, erzeugt gewaltige Datenmengen, die schwer zu bewegen sind, und erfordert leistungsstarke, sperrige Computer. Er ist großartig für ein Labor, aber zu klobig für eine Arztpraxis oder ein Handgerät, das in Echtzeit funktionieren muss.
Dieses Paper stellt eine kluge neue Art und Weise vor, das Flüstern zu hören, ohne zuerst das ganze Lied des Chores aufschreiben zu müssen. Die Forscher, die am Advanced Quantum Architecture Laboratory der EPFL in der Schweiz arbeiten, schlagen vor, einen spezialisierten Lichtsensor (ein SPAD-Array) direkt mit einer Art künstlicher Intelligenz namens Rekurrentem Neuronalem Netz (RNN) zu koppeln. Anstatt darauf zu warten, ein Histogramm zu erstellen, speist das System die Ankunftszeit jedes einzelnen Photons direkt als es geschieht in die KI ein. Die KI fungt wie ein superschneller, intuitiver Zuhörer, der das Tempo des Liedes (die Fluoreszenz-Lebensdauer) sofort aus dem rohen Strom der Klänge errät.
Das Team testete diese Idee, indem sie ihre KI auf Millionen von simulierten „Flüstern“ (synthetische Daten) trainierte, bei denen sie die exakte Antwort kannten. Sie verglichen ihre KI, die in zwei Hauptvarianten namens GRU (Gated Recurrent Unit) und LSTM (Long Short-Term Memory) vorliegt, mit den traditionellen Methoden der Least-Squares-Anpassung und der Center-of-Mass-Methode. Die Ergebnisse waren beeindruckend: Die KI war genauso genau wie die traditionellen Methoden, wenn der Raum ruhig war, aber als sie Hintergrundrauschen hinzufügten (um einen lauten Raum zu simulieren), blieb die KI ruhig und präzise, während die alten Methoden verwirrt wurden und große Fehler machten. Tatsächlich war die KI so gut, dass ihre Präzision nahezu so perfekt war, wie es die theoretische Grenze der Physik (die Cramer-Rao-Schranke) erlaubt.
Um zu beweisen, dass dies nicht nur ein Computertrick war, entwickelten die Forscher ein echtes Mikroskop unter Verwendung eines winzigen 32x32-Sensorchips, den sie in ihrem Labor entwickelt haben, genannt Piccolo. Sie luden die KI auf einen spezialisierten Computerchip (einen FPGA) direkt neben dem Sensor. Dieses Setup ermöglichte es ihnen, bis zu 4 Millionen Photonen pro Sekunde zu verarbeiten. Als sie fluoreszierende Perlen filmten, die sich bewegten, berechnete das System nicht nur ein Bild, sondern berechnete die Lebensdauer des Lichts in Echtzeit und erzeugte ein Video mit 10 Bildern pro Sekunde. Das Paper legt nahe, dass dieser Ansatz die medizinische Bildgebung revolutionieren könnte, indem er sie schnell, tragbar und robust genug macht, um beispielsweise Tumorgrenzen während einer Operation zu erkennen, und zwar, ohne dass ein massiver Supercomputer die schwere Arbeit leisten muss.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.