Coupling a Recurrent Neural Network to SPAD TCSPC Systems for Real-time Fluorescence Lifetime Imaging
تقدم هذه الورقة نظاماً لتصوير عمر الفلورة (FLI) في الوقت الفعلي يربط بين مستشعر (SPAD TCSPC) وشبكة عصبية متكررة (تحديداً متغيرات GRU وLSTM) لتقدير أعمار الفلورة مباشرة من الطوابع الزمنية الخام دون استخدام المدرجات التكرارية، محققةً بذلك معدل استحواذ بمعدل الفيديو مع دقة عالية، ومتانة فائقة تجاه الضجيج، ودقة تقارب المثالية على منصة مُنشرة عبر مصفوفة بوابات منطقية قابلة للبرمجة (FPGA).
المؤلفون الأصليون:Yang Lin, Paul Mos, Andrei Ardelean, Claudio Bruschini, Edoardo Charbon
تخيل أنك تحاول الاستماع إلى همسة واحدة خافتة في غرفة مزدحمة وصاخبة. إذا حاولت تدوين كل كلمة ينطق بها الآخرون أولاً، فستفقد الهمسة تماماً، وسيكون دفتر ملاحظاتك ثقيلاً جداً لدرجة لا يمكنك حملها. هذا هو التحدي الذي يواجهه العلماء عندما يحاولون "رؤية" ما بداخل الخلايا الحية باستخدام تقنية تسمى "تصوير عمر الفلورة" (FLI). في هذا العالم، تقوم جزيئات متوهجة صغيرة (الفلوروفورات) بالاستثارة بواسطة الليزر، ثم "تسترخي" عن طريق إرسال فوتون من الضوء. والوقت الذي تستغرقه للاسترخاء — "عمرها" — يكشف لنا أسراراً عن بيئتها، مثل مدى حموضة أو لزوجة محيطها. وهذا أمر بالغ الأهمية لرصد أمراض مثل السرطان في مراحل مبكرة أو مساعدة الجراحين على معرفة أين ينتهي الورم بالضبط وأين تبدأ الأنسجة السليمة.
تقليدياً، لقياس ذلك، يستخدم العلماء طريقة تسمى "عد الفوتونات المرتبط زمنياً" (TCSPC). فكر في هذا الأمر كأنه كاميرا سريعة جداً تلتقط صورة في كل مرة يصل فيها فوتون. ولتحديد العمر، يتعين على الكمبيوتر عادةً الانتظار حتى يجمع آلاف هذه "اللقطات" (الطوابع الزمنية) ثم يصنفها في مدرج تكراري ضخم — وهو عبارة عن مخطط أعمدة يوضح متى وصلت الفوتونات. الأمر يشبه انتظار جوقة كاملة من المغنين حتى تنهي غناءها قبل أن تتمكن من معرفة إيقاع الأغنية. هذه العملية بطيئة، وتنتج كميات هائلة من البيانات التي يصعب نقلها، وتتطلب أجهزة كمبيوتر قوية وضخمة. إنها رائعة للمختبر، لكنها "ثقيلة" جداً لتكون صالحة لعيادة طبيب أو لجهاز محمول يحتاج للعمل في الوقت الفعلي.
تقدم هذه الورقة البحثية طريقة جديدة ذكية للاستماع إلى تلك الهمسة دون الحاجة لتدوين أغنية الجوقة بأكملها أولاً. يقترح الباحثون، الذين يعملون في مختبر بنية الكم المتقدمة في EPFL بسويسرا، ربط مستشعر ضوئي متخصص (مصفوفة SPAD) مباشرة بنوع من الذكاء الاصطناعي يسمى "الشبكة العصبية المتكررة" (RNN). فبدلاً من الانتظار لبناء مدرج تكراري، يقوم النظام بتغذية كل وقت وصول فوتون مباشرة في الذكاء الاصطناعي أثناء حدوثه. يعمل الذكاء الاصطناعي هنا كمستمع سريع وبديهي، يخمن فوراً إيقاع الأغنية (عمر الفلورة) من التدفق الخام للأصوات.
اختبر الفريق هذه الفكرة عبر تدريب ذكائهم الاصطناعي على ملايين "الهمسات" المحاكات (بيانات اصطناعية) حيث كانوا يعرفون الإجابة الدقيقة. وقارنوا ذكاءهم الاصطناعي، الذي جاء في شكلين رئيسيين هما "الوحدة المتكررة ذات البوابة" (GRU) و"الذاكرة طويلة المدى قصيرة المدى" (LSTM)، مقابل الطرق التقليدية مثل "ملاءمة المربعات الصغرى" وطريقة "مركز الكتلة". كانت النتائج مبهرة: كان الذكاء الاصطناعي دقيقاً تماماً مثل الطرق التقليدية عندما كانت الغرفة هادئة، ولكن عندما أضافوا ضوضاء الخلفية (محاكاة لغرفة صاخبة)، ظل الذكاء الاصطناعي هادئاً ودقيقاً بينما ارتبكت الطرق التقليدية وارتكبت أخطاءً جسيمة. في الواقع، كان الذكاء الاصطناعي بارعاً لدرجة أن دقته كانت قريبة جداً من الحد النظري المثالي الذي تسمح به الفيزياء (حد كرامر-راو).
ولإثبات أن هذا ليس مجرد خدعة حاسوبية، قام الباحثون ببناء مجهر حقيقي باستخدام شريحة مستشعر صغيرة بحجم 32×32 طوروها في مختبرهم، تسمى "بيكولو" (Piccolo). لقد قاموا بتحميل الذكاء الاصطناعي على شريحة كمبيوتر متخصصة (FPGA) بجوار المستشعر مباشرة. سمح هذا الإعداد بمعالجة ما يصل إلى 4 ملايين فوتون في الثانية. وعندما صوروا حبيبات فلورية تتحرك حولها، لم يكتفِ النظام بالتقاط صورة فحسب؛ بل قام بحساب عمر الضوء في الوقت الفعلي، منتجاً فيديو بمعدل 10 إطارات في الثانية. تشير الورقة البحثية إلى أن هذا النهج يمكن أن يحدث ثورة في التصوير الطبي، مما يجعله سريعاً، ومحمولاً، وقوياً بما يكفي لرصد حواف الأورام أثناء الجراحة، وكل ذلك دون الحاجة إلى حاسوب فائق ضخم للقيام بالعمل الشاق.
ملخص تقني: ربط شبكة عصبية متكررة (RNN) بأنظمة عد الفوتونات المنفردة (SPAD TCSPC) لتصوير عمر الفلورة في الوقت الفعلي
بيان المشكلة يعد تصوير عمر الفلورة (FLI) أداة تشخيصية بالغة الأهمية في الأبحاث البيولوجية والطبية، حيث يوفر مزايا تفوق تصوير الكثافة، مثل عدم الحساسية لتقلبات الإثارة والقدرة على قياس المعلمات البيئية الدقيقة. ومع ذلك، تواجه أنظمة تصوير عمر الفلورة الحالية، وخاصة تلك القائمة على تقنية عد الارتباط الزمني للفوتونات المنفردة (TCSPC)، مقايضة بين سرعة المعالجة، والدقة، والمتانة. تتطلب أنظمة TCSPC التقليدية تجميع الطوابع الزمنية لوصول الفوتونات في مدرجات تكرارية (histograms) قبل أن يمكن تقدير العمر الزمني. وتولد هذه العملية أحجامًا هائلة من البيانات، مما يستلزم أجهزة كمبيوتر قوية (غالبًا مزودة بوحدات معالجة رسومية GPU)، مما يخلق اختناقات في نقل البيانات وتخزينها، ويعيق عمليات التصغير للتطبيقات السريرية مثل المراقبة غير الجراحية. علاوة على ذلك، فإن طرق التقدير السريعة الشائعة مثل طريقة "مركز الكتلة" (CMM) حساسة للغاية للضوضاء الخلفية، بينما تعتبر الطرق التكرارية الدقيقة مثل "المربعات الصغرى" (LS) مكلفة حاسوبيًا وبطيئة.
المنهجية يقترح المؤلفون تحولًا جذريًا نحو الذكاء الاصطناعي الطرفي (Edge AI) من خلال ربط نظام SPAD TCSPC مباشرة بشبكة عصبية متكررة (RNN). الابتكار الجوهري يكمل في إلغاء خطوة إنشاء المدرجات التكرارية؛ فبدلاً من ذلك، يتم تغذية الطوابع الزمنية للفوتونات الخام مباشرة إلى الشبكة العصبية للمعالجة الفورية.
بنية النظام: يستخدم النظام مستشعر SPAD مخصص بـ 32×32 خلية (Piccolo) مع محولات زمن-إلى-رقم (TDCs) مدمجة توفر دقة زمنية قدرها 50 بيكوثانية. هذا المستشعر مرتبط بـ FPGA من نوع Xilinx Kinfest-7.
نماذج الشبكة العصبية: تقيم الدراسة ثلاثة أنواع من الشبكات العصبية المتكررة (RNN): الشبكة العصبية المتكررة البسيطة (Simple RNN)، ووحدة البوابة المتكررة (GRU)، والذاكرة الطويلة قصيرة المدى (LSTM). تم تدريب هذه النماذج على مجموعات بيانات اصطناعية تم إنشاؤها لمحاكاة الاضمحلال الفلوري، ودوال الاستجابة للأدوات (IRF)، والضوضاء الخلفية، والعد المظلم. تغطي بيانات التدريب أعمارًا تتراوح من 0.2 إلى 5 نانو ثانية مع ترددات تكرار ليزر تبلغ 20 ميجاهرتز.
استراتيجية التدريب: على عكس مناهج الشبكات العصبية السابقة التي تستخدم المدرجات التكرارية كمدخلات، تعالج هذه الطريقة الطوابع الزمنية بشكل متسلسل. تم استخدام دالة فقد "متوسط مربع نسبة الخطأ" (MSPE) الموزونة، والتي تعطي أهمية أكبر للخطوات الزمنية اللاحقة لتعكس تراكم المعلومات مع وصول المزيد من الفوتونات.
التنفيذ العتادي: لتمكين التشغيل في الوقت الفعلي، تم تكميم (quantized) النماذج المدربة (تحويل الأوزان إلى 16 بت ثابتة، والتنشيطات إلى 16 بت) وتنفيذها على FPGA. يتميز التصميم بأربعة نوى GRU متوازية، يدير كل منها ربع مصفوفة المستشعر، مما يسمح بمعالجة مدفوعة بالأحداث وقريبة من المستشعر.
المساهمات الرئيسية
المعالجة المباشرة للطوابع الزمنية: قدمت الورقة طريقة لتقدير أعمار الفلورة مباشرة من الطوابع الزمنية الخام باستخدام الشبكات العصبية المتكررة، متجاوزة الحاجة لبناء المدرجات التكرارية. هذا يقلل بشكل كبير من أحجام نقل البيانات (من حوالي 80 ميجابت/ثانية في الوضع الخام إلى 240 كيلوبيت/ثانية في وضع RNN) ويقلل من استهلاك موارد الأجهزة.
المتانة تجاه الضوضاء: أظهرت الدراسة أن الشبكات العصبية المتكررة، وخاصة متغيرات GRU و LSTM، تحافظ على دقة عالية حتى في وجود ضوضاء خلفية (تصل إلى 5%)، وهو سيناريو تفشل فيه طريقة CMM بشكل كبير.
التحقق النظري: اشتق المؤلفون حد "كرامر-راو" الأدنى (CRLB) للقياس، موضحين أن المقدرات القائمة على RNN تحقق دقة شبه مثالية، وهي مقاربة للحد النظري ومتفوقة على ملاءمة المربعات الصغرى (LS) من حيث كفاءة الفوتونات.
النشر العتادي في الوقت الفعلي: أثبت التنفيذ الناجح لنوى GRU المكممة على FPGA إمكانية تحقيق تصوير FLI بمعدل فيديو (يصل إلى 10 إطارات في الثانية) باستخدام نظام متكامل ومصغر.
النتائج
الدقة: في مجموعات البيانات الاصطناعية بدون ضوضاء خلفية، حققت نماذج GRU-32 و LSTM-32 جذر متوسط مربع الخطأ (RMSE) ومتوسط الخطأ المطلق (MAE) مماثلًا لطرق CMM و LS.
المقاومة للضوضاء: في وجود ضوضاء خلفية بنسبة 1% و 5%، تفوق نموذج LSTM-32 بشكل ملحوظ على كل من CMM وملاءمة LS. وبينما زادت أخطاء CMM بشكل دراماتيكي مع الضوضاء، حافظت نماذج RNN على معدلات خطأ منخفضة، مما أظهر متانة فائقة.
التعميم: نجح نموذج تم تدريبه حصريًا على بيانات اصطناعية في تقدير الأعمار من بيانات تجريبية (خرز فلوري) تم الحصول عليها من جهاز مجهر بؤري تجاري، مما يؤكد قابلية نقل النهج إلى السيناريوهات الواقعية.
مقاييس الأداء: يعالج تنفيذ FPGA ما يصل إلى 4 ملايين فوتون في الثانية. حقق النظام الحصول على صور FL في الوقت الفعلي بمعدل 5-10 إطارات في الثانية، مما سمح بالتقاط حركة الخرز الفلوري مع رسم خرائط دقيقة للعمر الزمني.
الأهمية والادعاءات تدعي الورقة أن هذا النهج يقدم حلاً واعدًا للتطبيقات الطبية الحيوية التي تتطلب تصوير FL سريع ودقيق ومتين، مثل التصوير البيولوجي، والتشخيص، والجراحة المساعدة بالفلورة. ومن خلال إزالة اختناق المدرجات التكرارية، يتيح النظام التصغير ويقلل العبء الحسابي، مما يجعل تصوير FL في الوقت الفعلي أمرًا ممكنًا على الأجهزة المحمولة. ويؤكد المؤلفون أن مرونة النظام تسمح بإعادة التدريب على مجموعات بيانات مختلفة لتطبيقات أخرى، مثل التصنيف، ويقترحون أن الإصدارات المستقبلية يمكن أن تدمج نوى RNN هذه مباشرة في مصفوفات SPAD عبر التكديس ثلاثي الأبعاد (3-D stacking) لمعالجة حقيقية داخل المستشعر. يرسخ هذا العمل حقيقة أن الشبكات العصبية يمكن أن تحقق دقة تقدير شبه مثالية مع العمل بسرعات وقدرة على تحمل الضوضاء لا تستطيع الطرق التقليدية مضاهاتها في سياق مدمج يعمل في الوقت الفعلي.