Brain-inspired Spiking Neural Network Frameworks for Multimodal Spatiotemporal Brain Data Integration: A Case Study on EEG-fMRI Data
تقترح هذه الدراسة إطار عمل للشبكات العصبية النبضية مستوحى بيولوجياً، يستخدم استراتيجية دمج متعددة المستويات (مبكرة، ومتوسطة، واستراتيجية X-Meta المتأخرة الجديدة القابلة للتفسير) لدمج بيانات تخطيط كهربية الدماغ (EEG) والتصوير بالرنين المغناطيسي الوظيفي (fMRI) غير المتجانسة بفعالية، مما يظهر دقة فائقة وقدرة على التفسير البيولوجي في فك تشفير حالات الدماغ في وضع العين المفتوحة مقابل وضع العين المغلقة مقارنة بنهج التعلم الآلي التقليدية.
يعتبر الدماغ البشري شبكة واسعة ومعقدة تعالج المعلومات بطريقتين متميزتين في آن واحد: فهو يتتبع النبضات الكهربائية السريعة التي تحدث في أجزاء من الألف من الثانية، ويرسم خرائط للتغيرات الأبطأ والأوسع نطاقاً في تدفق الدم التي تشير إلى المناطق النشطة. لطالما سعى العلماء لدمج هذين المنظورين للحصول على صورة كاملة لكيفية عمل العقل. إحدى الأدوات، وهي تخطيط كهربائية الدماغ (EEG)، تلتقط النبضات الكهربائية السريعة من فروة الرأس، مما يوفر جدولاً زمنياً مفصلاً للنشاط الدماغي ولكن مع رؤية ضبابية لمكان نشأة تلك الإشارات بدقة. أما الأداة الأخرى، وهي التصوير بالرنين المغناطيسي الوظيفي (fMRI)، فتوفر خريطة عالية الدقة لمناطق الدماغ النشطة، لكنها تتحرك ببطء شديد، حيث تلتقط تغيرات تستغرق ثوانٍ بدلاً من أجزاء من الثانية. إن دمج هذين النوعين المختلفين تماماً من البيانات أمر صعب للغاية لأن لغاتهما تختلف من حيث الزمان والمكان، ومع ذلك فإن القيام بذلك يمكن أن يكشف عن كيفية تنسيق الدماغ للوظائف المعقدة بوضوح غير مسبوق.
قام فريق من الباحثين في جامعة أوكلاند للتكنولوجيا بتطوير طريقة جديدة لسد هذه الفجوة باستخدام نموذج حاسوبي مستوحى من البنية البيولوجية للدماغ نفسه. فبدلاً من إجبار هذين التدفقين من البيانات على اتخاذ تنسيق واحد جامد، بنوا نظاماً يحاكي كيفية تواصل الخلايا العصبية من خلال نبضات كهربائية قصيرة. هذا النهج، المعروف باسم الشبكة العصبية النبضية (spiking neural network)، يسمح للحاسوب بالتعلم من توقيت الأحداث تماماً كما يفعل الدماغ الحقيقي. اختبر الباحثون هذا النظام على مجموعة بيانات من متطوعين أصحاء كانوا يتناوبون بين إبقاء أعينهم مفتوحة أو مغلقة، وهي مهمة بسيطة تحفز تغيرات معروفة في نشاط الدماغ. قاموا بتغذية الحاسوب بكل من التسجيلات الكهربائية السريعة من (EEG) وخرائط تدفق الدم البطيئة من (fMRI)، لكنهم جربوا ثلاث استراتيجيات مختلفة لكيفية دمجها. في إحدى الاستراتيجيات، قاموا بخلط البيانات الخام معاً في البداية. وفي استراتيجية أخرى، تركوا كل نوع من البيانات يطور فهمه الخاص قبل دمج النتائج. وفي الاستراتيجية الثالثة، جعلوا كل نوع من البيانات يتخذ قراره الخاص أولاً، ثم استخدموا نظام تصويت ذكياً لوزن تلك القرارات بناءً على مدى موثوقية كل مصدر.
وجدت الدراسة أن استراتيجية ترك البيانات تعبر عن نفسها قبل دمج استنتاجاتها كانت هي الأفضل. فعندما استخدم الباحثون هذا النهج النهائي القائم على مستوى القرار، حدد النموذج الحاسوبي بشكل صحيح ما إذا كانت أعين الشخص مفتوحة أو مغلقة بنسبة تقارب 80 بالمائة عند استخدام الميزات القائمة على التردد من (EEG)، وحوالي 77 بالمائة عند استخدام الإشارات الكهربائية الخام. وكان هذا تحسناً كبيراً مقارنة بمحاولة دمج البيانات في وقت مبكر جداً، مما أدى غالباً إلى إرباك النموذج، كما تفوق هذا النهج على طرق التعلم الآلي القياسية التي لا تحاكي بنية الدماغ. والأهم من ذلك، أن النظام لم يكتفِ بإنتاج إجابة صحيحة فحسب، بل شرح السبب أيضاً. فمن خلال تتبع القرار عبر النموذج، استطاع الباحثون رؤية الأجزاء الأكثر تأثيراً في الدماغ. ووجدوا أن النموذج اعتمد بشكل كبير على الجزء الخلفي من الدماغ، أي المنطقة القذالية، المعروفة بمعالجة المعلومات البصرية وتغيير إيقاعها الكهربائي عند فتح العينين أو إغلاقهما. كما استمد معلومات من شبكات الدماغ العميقة المرتبطة بحالات الراحة والمناطق المشاركة في الحركة والمزاج، مما يشير إلى أن مهمة بسيطة مثل رمش العين تتضمن شبكة واسعة ومنسقة من وظائف الدماغ.
اكتشف الباحثون أيضاً أن طريقة تمثيل الإشارات الكهربائية كانت مهمة اعتماداً على كيفية دمجها. فعندما تم دمج البيانات مبكراً، كانت الإشارات الكهربائية الخام تعمل بشكل أفضل، ولكن عندما تم دمج البيانات في النهاية، حققت التمثيل القائم على التردد للإشارات دقة أعلى. وهذا يشير إلى أنه لا توجد طريقة مثالية واحدة لمعالجة بيانات الدماغ؛ إذ تعتمد الطريقة الأفضل على الأدوات المستخدمة تحديداً. النموذج الأكثر نجاحاً، والذي أطلق عليه المؤلفون اسم "المصنف X-Meta"، عمل مثل لجنة حيث يقوم كل خبير — يمثل إما الإشارات الكهربائية السنية أو تدفق الدم البطيء — بالإدلاء بصوته، ثم يتعلم صانع قرار نهائي مدى الثقة في كل خبير. لم تؤدِ هذه العملية إلى تحسين الدقة فحسب، بل ضمنت أيضاً أن يكون القرار النهائي مستنداً إلى الواقع البيولوجي، مشيرة إلى مناطق دماغية محددة يعرفها العلماء بأهميتها للرؤية والانتباه.
يظهر هذا العمل أنه من خلال احترام التوقيت الفريد والبنية المختلفة لقياسات الدماغ، يمكن بناء نماذج حاسوبية تفهم الدماغ بشكل أعمق من أي وقت مضى. وتشير النتائج إلى أن نشاط الدماغ أثناء مهمة بسيطة ليس مجرد ومضة ضوء في القشرة البصرية، بل هو تفاعل معقد بين الإيقاعات الكهربائية وتغيرات تدفق الدم عبر مناطق متعددة. وبينما أجريت الدراسة على متطوعين أصحاء يؤدون مهمة أساسية، فإن هذا الإطار يقدم طريقة جديدة قوية لدمج أنواع مختلفة من البيانات الطبية. ويشير الباحثون إلى أن هذا النهج يمكن أن يساعد الأطباء في نهاية المطاف على فهم حالات أكثر تعقيداً حيث قد تروي الإشارات الكهربائية وإشارات تدفق الدم قصصاً مختلفة، مثل حالات الصرع أو الاضطرابات النفسية. وفي الوقت الحالي، تعد هذه الدراسة دليلاً على أن الحوسبة المستوحاة من الدماغ يمكن أن تنجح في دمج الرؤى السريعة والبطيئة للعقل، محولةً مزيجاً فوضوياً من الإشارات إلى صورة واضحة وقابلة للتفسير لوظائف الدماغ البشري.
ملخص تقني: أطر عمل الشبكات العصبية النبضية المستوحاة من الدماغ لدمج البيانات الدماغية متعددة الأنماط والزمانية-المكانية
بيان المشكلة يمثل دمج البيانات الدماغية متعددة الأنماط، وتحديداً تخطيط كهربية الدماغ (EEG) والتصوير بالرنين المغناطيسي الوظيفي (fMRI)، تحديات كبيرة بسبب التباين الجوهري بين هذين النمطين. يوفر تخطيط كهربية الدماغ (EEG) دقة زمنية عالية (مقياس الميلي ثانية) ولكن دقة مكانية منخفضة، بينما يوفر التصوير بالرنين المغناطيسي الوظيفي (fMRI) دقة مكانية عالية (مقياس المليمتر) ولكن دقة زمنية منخفضة (مقياس الثواني). غالباً ما تعاني الشبكات العصبية الاصطناعية التقليدية (ANNs) في التعامل مع مثل هذه البيانات السلاسل الزمنية المعقدة، غير المستقرة، والموجهة بالأحداث. علاوة على ذلك، ركزت تطبيقات الشبكات العصبية النبضية (SNN) الحالية في المعلوماتية الدماغية بشكل أساسي على الدمج المبكر (على مستوى الميزات) أو التعلم القائم على الحالات الخاصة بكل فرد. وهناك نقص في أطر العمل التي تدمج بفعالية البيانات الزمانية-المكانية المتباينة عبر مستويات دمج مختلفة (المبكرة، والمتوسطة، والمتأخرة)، مع تقييم كيفية تأثير تمثيلات ميزات EEG المختلفة (السعة الخام مقابل كثافة الطيف القدرتي) على أداء الدمج في آن واحد. بالإضافة إلى ذلك، يظل تحقيق دقة التصنيف دون التضحية بالتفسير البيولوجي سؤالاً مفتوحاً وحرجاً في تطبيقات علوم الأعصاب.
المنهجية تقترح الدراسة مجموعة من أطر عمل الشبكات العصبية النبضية (SNN) المستوحاة من الدماغ والمبنية على بنية NeuCube، والمصممة لنمذجة وفهم البيانات الزمانية-المكانية المعقدة. تتضمن المنهجية ثلاث استراتيجيات دمج متميزة طُبقت على مجموعة بيانات متزامنة لحالة الاسترخاء (EEG-fMRI) (حالة العين المفتوحة مقابل حالة العين المغلقة):
المعالجة المسبقة للبيانات والترميز:
تخطيط كهربية الدماغ (EEG): تم استخدام تمثيلين: (أ) إشارات السعة الخام (32 قناة)، و(ب) ميزات كثافة الطيف القدرتي (PSD) المستمدة من خمس نطاقات ترددية أساسية (دلتا، ثيتا، ألفا، سيجما، بيتا)، مما نتج عنه 160 ميزة لكل نافذة زمنية.
التصوير بالرنين المغناطيسي الوظيفي (fMRI): تم تسجيل البيانات إلى نموذج MNI، واختيار 40 فوكسل (voxel) من 48 منطقة اهتمام (ROIs) بناءً على نسبة الإشارة إلى الضوضاء (SNR).
الترميز: تم تحويل كلا النمطين إلى سلاسل نبضية باستخدام ترميز دلتا (Delta encoding)، حيث يتم توليد النبضات عندما تتجاوز تغيرات الإشارة عتبات محددة لكل نمط. يضمن هذا التزامن الزمني بين النمطين.
بنية الشبكة العصبية النبضية (SNN) والتعلم:
الرسم الخرائطي (Mapping): يتم رسم الخلايا العصبية المدخلة على خزان (reservoir) ثلاثي الأبعاد يشبه شكل الدماغ باستخدام نموذج MNI. بالنسبة للدمج المتوسط والمتأخر، يتم تهيئة خزانات منفصلة لكل من EEG (REEG) وfMRI (RfMRI). أما بالنسبة للدمج المبكر، فيتم دمج الميزات وتوزيعها على خزان واحد.
التهيئة: يتم ربط الخلايا العصبية عبر قاعدة الاتصال عالمي الصغر (small-world connectivity).
التعلم غير الخاضع للإشراف: يتم تحديث أوزان الاتصال باستخدام اللدونة المعتمدة على توقيت النبضة (STDP)، وهي قاعدة تعلم تحاكي البيولوجيا تعمل على تقوية أو إضعاف المشابك العصبية بناءً على توقيت النبضات قبل وبعد المشبكية.
القراءة (Readout): بعد التعلم غير الخاضع للإشراف، يتم تجميد أوزان الخزان. يتم تحويل نشاط النبضات إلى متجهات ميزات مشفرة بالمعدل (state vectors)، والتي تُمرر بعد ذلك إلى المصنفات.
استراتيجيات الدمج:
الدمج المبكر (Early Fusion): يتم دمج سلاسل نبضات EEG وfMRI على مستوى الميزات قبل رسمها في خزان SNN واحد.
الدمج المتوسط (Intermediate Fusion): تتعلم خزانات SNN منفصلة من كل نمط بالتوازي. يتم دمج متجهات الحالة الناتجة على مستوى الميزات قبل التصنيف.
الدمج المتأخر (Late Fusion): يتم تدريب مصنفات منفصلة على متجهات الحالة لكل نمط. تم اختبار نهجين:
الوزن الموحد (Uniform Weighting): متوسط مرجح بسيط لاحتمالات الفئات من كل نمط.
المصنف الميتا المفسر (X-Meta Classifier): نهج قائم على المجموعات (ensemble) حيث يتم تدريب مصنف ميتا (Linear SVC مع تقليص بلات - Platt scaling) على مخرجات الاحتمالات المكدسة من المصنفات الأساسية. يسمح هذا للموديل بتعلم أوزان المساهمة لكل نمط بشكل تكيفي.
المساهمات الرئيسية
أطر عمل دمج مبتكرة: طور المؤلفون وثبّتوا ثلاثة أطر عمل للدمج القائم على SNN (مبكر، متوسط، ومتأخر) ضمن بنية NeuCube للبيانات الدماغية المتباينة زمانياً-مكانياً (EEG-fMRI).
تحليل تمثيل الميزات: تقارن الدراسة صراحةً بين تأثير تمثيلين لميزات EEG (السعة الخام مقابل PSD) عبر جميع استراتيجيات الدمج، مما يثبت أن استراتيجية الدمج المثلى تعتمد على التمثيل المختار للميزات.
الذكاء الاصطنا حادث المفسر (X-Meta Classifier): لا يؤدي إدخال المصنف X-Meta إلى تحسين أداء التصنيف فحسب، بل يوفر أيضاً قابلية التفسير. فهو يحدد الميزات الأكثر تمييزاً (أقطاب EEG/نطاقات ترددية محددة، وفوكسلات fMRI) التي تقود القرار، ويربطها بالآليات الفسيولوجية العصبية المعروفة.
المقارنة المرجعية: تمت مقارنة أطر العمل هذه مع الشبكات العصبية النبضية أحادية النمط، والتعلم الآلي التقليدي (SVM, MLP, XGBoost)، والنماذج العميقة (LSTM).
النتائج
أداء التصنيف: حقق المصنف X-Meta (الدمج المتأخر) أعلى دقة.
مع ميزات PSD، وصل إلى دقة 79.87% (MCC: 0.64)، متفوقاً على النهج أحادي النمط بنحو 6-7%.
مع ميزات EEG الخام، وصل إلى دقة 77.11%.
في المقابل، كان أداء الدمج المبكر ضعيفاً، خاصة مع ميزات PSD (69.74%)، مما يشير إلى أن الدمج المسبق للميزات عالية الأبعاد والمتباينة يؤدي إلى فقدان المعلومات.
حقق الدمج المتوسط نتائج مستقرة (~76.7%) ولكنه لم يتفوق على الدمج المتأخر التكيفي.
المقارنة المرجعية التقليدية: تفوق إطار عمل SNN المقترح على LSTM (55.26%) وتفوق عموماً على SVM وMLP أو عادلهم، خاصة في التعامل مع الأنماط الزمانية-المكانية المعقدة للبيانات متعددة الأنماط.
مساهمة النمط: كشف المصنف X-Meta أن ميزات EEG ساهمت بشكل أكثر أهمية في القرار (حوالي 52-60%) من fMRI، وهو ما يتوافق مع الطبيعة الزمنية السريعة لانتقال حالة العين المفتوحة/المغلقة (تثبيط موجة ألفا). ومع ذلك، وفر fMRI معلومات مكانية مكملة.
التفسير البيولوجي: تطابقت الميزات العليا التي حددها المصنف X-Meta مع المناطق الوظيفية الدماغية المعروفة:
EEG: المناطق القذالية (O1, O2) وطاقة نطاق ألفا، وهو ما يتوافق مع نشاط القشرة البصرية.
fMRI: المناطق المرتبطة بـ شبكة الوضع الافتراضي (DMN) (مثل القشرة الجبهية الإنسية، والملتقى الخلفي) ومناطق التحكم الحركي (التلفيف أمام المركزي)، مما يتماشى مع فسيولوجيا حالة الاسترخاء.
الأهمية والادعاءات يزعم البحث أن الإطار المقترح يطور النمذجة الحسابية المستوحاة من الدماغ من خلال إثبات إمكانية دمج البيانات الدماغية المتباينة زمانياً-مكانياً بفعالية عبر مستويات دمج متعددة. وتؤكد الدراسة أن:
الدمج المتأخر التكيفي هو الأفضل: بالنسبة للبيانات المتباينة ذات الدقة الزمنية والمكانية غير المتطابقة، يعد الدمج المتأخر مع الأوزان التكيفية (X-Meta) أكثر قوة من الدمج المبكر أو المتوسط، لأنه يحافظ على التمثيلات الكامنة الخاصة بكل نمط قبل التكامل.
قابلية التفسير ممكنة: ينتقل الإطار من مجرد "الصندوق الأسود" للتصنيف إلى تقديم تفسيرات قائمة على أسس بيولوجية. فالخصائص المميزة المحددة تتوافق مع المعرفة الفسيولوجية العصبية (مثل إيقاعات ألفا القذالية، وDMN)، مما يؤكد صلة النموذج بعلوم الأعصاب.
التفاعل بين الميزة والدمج: يتفاعل اختيار تمثيل EEG (خام مقابل PSD) بشكل كبير مع استراتيجية الدمج؛ حيث تستفيد ميزات PSD من الدمج المتأخر، بينما تكون الميزات الخام أكثر متانة في الدمج المبكر.
يخلص المؤلفون إلى أن هذا العمل يعد بمثابة إثبات لمفهوم دمج البيانات الدماغية متعددة الأنماط باستخدام الشبكات العصبية النبضية، مما يفتح مساراً نحو نماذج أكثر دقة وقابلية للتفسير لواجهات الدماغ والحاسوب (BCI) والتشخيص السريري، مع الإقرار بضرية الحاجة إلى مزيد من التحقق في المجموعات السريرية.