Subject Identity Is a Major Source of Variance in EEG Spectral Features and Can Inflate Machine Learning Evaluation
تُظهر هذه الدراسة أن هوية الخاضع للتجربة هي مصدر مهيمن للتباين في سمات الطيف الكهربائي لـ EEG، مما قد يؤدي إلى تضخيم أداء تعلم الآلة بشكل مصطنع عندما تستخدم التقييمات تقسيمات البيانات القياسية، وهو ما يستلزم ضرورة استخدام بروتوكولات تقييم قائمة على الخاضعين للتجربة لضمان صحة اكتشاف المؤشرات الحيوية.
يُعد الدماغ البشري محركاً معقداً من النشاط الكهربائي، وقد استخدم العلماء منذ زمن طويل تقنية تُسمى تخطيط كهربائية الدماغ، أو (EEG)، للاستماع إلى همهمته. ومن خلال وضع مستشعرات على فروة الرأس، يمكن للباحثين التقاط إشارات الدماغ الإيقاعية أثناء التفكير، أو الراحة، أو الحركة. وفي السنوات الأخيرة، انضم التعلم الآلي إلى هذا الجهد، موفراً أدوات قوية لإيجاد أنماط في هذه الإشارات قد تكشف عن الحالة الذهنية للشخص، أو تكتشف مرضاً مثل الاكتئاض، أو تتنبأ بكيفية سلوكه. والأمل يكمن في أن تتمكن هذه النماذج الحاسوبية من تعلم البصمات البيولوجية المحددة لحالة ما، وفصل إشارة المرض عن ضجيج الدماغ السليم. ومع ذلك، لكي تكون هذه النماذج موثوقة، يجب اختبارها بنزاهة؛ فإذا تعلم برنامج حاسوبي التعرف على شخص بعينه بدلاً من المرض الذي يعاني منه، فسيظهر وكأنه يعمل بشكل مثالي في الاختبار ولكنه سيفشل تماماً في العالم الحقيقي. وهذا الخطر المتمثل في الخلط بين هوية الشخص وحالته الطبية هو اللغز المركزي الذي يعالجه هذا البحث الجديد.
لقد شرع فريق من الباحثين في قياس مقدار المعلومات التي تنتمي إلى الشخص نفسه في تسجيلات موجات الدماغ القياسية، بدلاً من الانتماء للمهمة التي يؤديها أو الوقت الذي سُجلت فيه. قاموا بتحليل بيانات من أربع مجموعات مختلفة من الناس، تتراوح من المرضى الذين يعانون من اضطراب الاكتئاب الجسيم إلى متطوعين يؤدون مهام حركية بسيطة. جاءت البيانات من مصادر متنوعة، بما في ذلك معدات بحثية عالية الجودة تحتوي على عشرات المستشعرات، وسماعات أبسط من الفئة الاستهلاكية تحتوي على عدد قليل فقط من المستشعرات. قام العلماء بتفكيك بيانات موجات الدماغ إلى نطاقات ترددية محددة، باحثين عن قوة الإيقاعات المختلفة، ثم طرحوا سؤالاً جوهرياً: إذا نظرت إلى هذه الأنماط، فما مقدار ما تراه فريداً لهذا الشخص تحديداً، وما مقدار ما هو مجرد تغيير في جلسة التسجيل أو في المهمة؟
كانت الإجابة التي وجدوها مذهلة. ففي الطريقة القياسية التي تُحلل بها إشارات الدماغ هذه عادةً، كانت هوية الشخص الذي يسجل البيانات هي المصدر الأكبر للتباين. وعبر الدراسات المختلفة، حسب الباحثون أن "بصمة" الشخص الفريدة في نشاط دماغه شكلت نحو سبعين إلى ثمانين بالمائة من إجمالي الاختلافات الملحوظة في البيانات. وفي المقابل، فإن التغييرات التي حدثت لمجرد أن التسجيل تم في يوم مختلف، أو لأن الشخص كان يقوم بمهمة مختلفة قليلاً، لم تشكل سوى جزء ضئيل من التباين. ولتوضيح ذلك، كان الفرق بين شخصين مختلفين يجلسان في نفس الغرفة أكبر بنحو ثلاثين ضعفاً من الفرق بين نفس الشخص وهو يجلس في الغرفة في يومين مختلفين. وهذا يعني أن موجات الدماغ لأي فرد بمفرده متميزة للغاية لدرجة أنها تشكل توقيعاً مستقراً وقابلاً للقياس يستمر بمرونة عبر الزمن، ويستمر لأشهر حتى مع تغير حياة الشخص اليومية.
ولأن هذا التوقيع الشخصي قوي جداً، اختبر الباحثون ما إذا كان بإمكان الحاسوب استخدام هذه الميزة للتعرف على الأشخاص، تماماً مثل ماسح بصمات الأصابع. قاموا بتدريب نماذج للتعرف على الأفراد باستخدام بيانات من مجموعة واحدة من تسجيلات الدماغ، ثم اختبروها على تسجيلات جديدة لنفس الأشخاص أُخذت في وقت لاحق. كانت النتائج شبه مثالية؛ حيث استطاعت النماذج التمييز بين شخص وآخر بدقة متناهية، حتى عندما أُخذت التسجيلات بفارق أشهر. وفي بعض الاختبارات، حدد الحاسوب الشخص الصحيح بدقة في كل مرة تقريباً، مما أثبت أن أنماط موجات الدماغ تحتوي على كود قوي وطويل الأمد للهوية الفردية. ولم تقتكن القدرة على التعرف على الشخص هذه إلى المعدات البحثية عالية الجودة فحسب، بل كانت موجودة أيضاً في البيانات المستمدة من السماعات البسيطة من الفئة الاستهلاكية، وإن كان التأثير أضعف عندما تتغير المهمة بشكل جذري.
ومع ذلك، كان الجزء الأكثر أهمية في الدراسة هو معرفة ما يحدث عندما تتدخل هذه القدرة القوية على التعرف على الأشخاص في التشخيص الطبي. فقد قام الباحثون بمحاكاة خطأ شائع في كيفية إجراء هذه الدراسات غالباً: وهو تقسيم البيانات حسب مقاطع موجات الدماغ بدلاً من تقسيمها حسب الشخص. في هذا الإعداد المعيب، قد ينتهي الأمر ببعض مقاطع الموجات الدماغية لمريض ما في مجموعة التدريب، بينما تنتهي مقاطع أخرى من نفس المريض في مجموعة الاختبار. وعندما قاموا بتشغيل نموذج تعلم آلي للكشف عن اضطراب الاكتئاب الجسيم باستخدام هذه الطريقة، حقق الحاسوب درجات شبه مثالية. بدا وكأنه تعلم المرض بشكل مثالي. ولكن عندما أجبر الباحثون النموذج على أن يُختبر بشكل صحيح —أي من خلال إبقاء جميع البيانات الخاصة بشخص واحد منفصلة تماماً عن بيانات التدريب— انخفض الأداء بشكل كبير.
لقد كشف التحقيق عن سبب كون الاختبار الأول مضللاً للغاية. لم يكن الحاسوب قد تعلم في الواقع التعرف على علامات الاكتئاب، بل تعلم التعرف على المرضى أنفسهم. ولأن التشخيص كان ثابتاً لكل شخص في الدراسة، فقد قام النموذج ببساطة بحفظ من هو مريض ومن هو سليم من خلال تحديد بصمة موجات الدماغ الفريدة الخاصة بهم. وعندما درب الباحثون نموذجاً للتعرف على الأشخاص فقط، دون إظهار الملصقات الطبية له أبداً، كان لا يزال بإمكانه التنبؤ بالتشخيص بدقة مثالية. وهذا أثبت أن الدرجات العالية من الاختبار المعيب كانت وهماً خلقه النموذج باستخدام الهوية كطريق مختصر. وتخلص الدراسة إلى أنه لكي يكون التعلم الآلي في علوم الدماغ جديراً بالثقة، يجب على الباحثين معاملة هوية الشخص كعامل رئيسي يجب التحكم فيه. يجب عليهم ضمان عدم رؤية الحاسوب لنفس الشخص في كل من مرحلتي التدريب والاختبار، وإلا فقد يبدو وكأنه اكتشف طفرة طبية بينما هو في الحقيقة لم يفعل شيئاً سوى تعلم اسم الشخص.
ملخص تقني: هوية الشخص كمصدر للتباين في الميزات الطيفية لتخطيط كهربائية الدماغ (EEG)
بيان المشكلة يُستخدم تخطيط كهربائية الدماغ (EEG) على نطاق واسع لدراسة الحالات المعرفية والمؤشرات الحيوية السريرية. ومع ذلك، توجد فجوة منهجية حرجة فيما يتعلق بالقياس الكمي للاختلافات المستقرة بين الأشخاص في تمثيلات ميزات الـ EEG الشائعة. وبينما أثبتت أدبيات القياسات الحيوية لـ EEG أن الميزات الطيفية يمكنها تحديد الأفراد بدقة عالية، فإن الآثار المترتبة على هذا "البنية المرتبطة بالشخص" في دراسات التعلم الآلي الروتينية (حيث لا تكون الهوية هي الهدف) لا تزال غير مطورة بشكل كافٍ. وتحديداً، من غير الواضح مدى ضخامة مكون التباين المرتبط بالشخص مقارنة بالمصادر الأخرى (مثل انزياح الجلسة)، ومدى استمراره بمرور الوقت، وما إذا كان وجوده يمكن أن يؤدي إلى تضخم اصطناعي في الأداء في مهام فك التشفير أو التصنيف السريري اللاحقة عندما تفشل بروتوكولات التقييم في فصل الأشخاص في مجموعات التدريب والاختبار (تسرب التقييم).
المنهجية استخدمت الدراسة نهجاً متعدد البيانات لتقدير التباين المرتبط بالشخص وتأثيره على صلاحية التقييم. تم تحليل أربعة مجموعات بيانات عامة، تشمل ما بين 39 إلى 395 مشاركاً، ونماذج متنوعة (الحالة المستقرة، التخيل الحركي، تخيل التوقيع، ومهام RSVP للوجه والهدف)، وأنظمة تسجيل تتراوح من أجهزة استهلاكية بـ 5 قنوات إلى أنظمة بحثية متطورة بـ 64 قناة.
استخراج الميزات: تمت معالجة جميع مجموعات البيانات عبر مسار موحد. تم تقسيم الإشارات الخام إلى قطع زمنية (epochs) بطول ثانيتين غير متداخلة. تم تقدير الكثافة الطيفية باستخدام طريقة ويلش (Welch's method). وتم اشتقاق ثلاث عائلات من الميزات:
قدرة النطاق المطلقة اللوغاريتمية (دلتا، ثيتا، ألفا، بيتا، غاما).
قدرة النطاق النسبية (نسبة القدرة الكلية).
عدم التماثل نصف الكروي (لوغاريتم طرح قدرة الجانب الأيمن من الأيسر). لم يتم تطبيق أي تطبيع (normalization) عبر الأشخاص في مرحلة بناء الميزات.
تفكيك التباين: باستخدام مجموعة بيانات طولية (15 شخصاً، 4 جلسات على مدار 199 يوماً) ومجموعة بيانات مستقلة (103 أشخاص، 14 جولة)، تم إجراء تحليل مكون التباين ثنائي الاتجاه. قام نموذج خطي مختلط (xijk=μ+αi+γj+ϵijk) بتقسيم التباين إلى تأثيرات خاصة بالشخص (αi)، وتأثيرات الجلسة/الجولة (γj)، وضوضاء المتبقي (ϵijk). تم حساب معامل الارتباط داخل الفئة (ICC) لتحديد نسبة التباين التي تعزى إلى هوية الشخص.
التقييم البيومتري: تم تنفيذ بروتوكولات صارمة لاستبعاد الأشخاص لاختبار قابلية الفصل البيومتري دون حدوث تسرب.
تحديد الهوية مغلق المجموعة: تم تقسيم القطع بنسبة 70/30 داخل الأشخاص؛ حيث ظهر جميع الأشخاص في كل من مجموعتي التدريب والاختبار.
التحقق: تم تقسيم الأشخاص إلى مجموعات تدريب واختبار منفصلة. تم تشكيل نماذج أولية (Prototypes) داخل المجموعات، وتم تدريب وفحص مُتحقق (Verifier) (مصنف Extra Trees على فروق الميزات المطلقة) بشكل صارم على مجموعات أشخاص منفصلة.
محاكاة التسرب: في مهمة تصنيف اضطراب الاكتئاب الجسيم (MDD)، قارنت الدراسة بين التقسيم على مستوى القطعة (حيث يمكن أن تظهر قطع من نفس الشخص في كل من التدريب والاختبار) وبين التقسات الصحيحة القائمة على الشخص. كما أجريت تجربة ضبط لتدريب مصنف يعتمد فقط على هوية الشخص (بدون الملصقات السريرية) لتحديد ما إذا كان تسرب الهوية وحده يمكن أن يفسر الأداء المتضخم في التشخيص.
النتائج الرئيسية
هيمنة هوية الشخص: في تمثيل قدرة النطاق الطيفي، كانت هوية الشخص هي المصدر الأكبر للتباين المهيكل.
في مجموعة البيانات الطولية، استحوذت هوية الشخص على 70.2% من إجمالي التباين، مقارنة بـ 2.4% فقط لانزياح الجلسة. بلغ متوسط ICC قيمة 0.702 (بفاصل ثقة 95%: 0.609–0.737).
في مجموعة بيانات PhysioNet المستقلة، استحوذت هوية الشخص على 80.7% من التباين، بمتوسط ICC قدره 0.807.
كان مكون ما بين الأشخاص أكبر بنحو 24 إلى 29 مرة من المكون المرتبط بالجلسة.
الاستقرار الهندسي: أكد تحليل المسافة أن المسافات داخل الشخص عبر الجلسات/الحالات كانت أصغر بكثير من المسافات بين الأشخاص (نسب تتراوح بين 0.426 إلى 0.688 في معظم مجموعات البيانات)، مما يشير إلى تكتل وثيق للبصمات الطيفية الفردية.
القابلية للتمييز البيومتري:
التحديد: تم تحقيق دقة متوازنة عالية حتى في المشكلات واسعة النطاق (تصنيف 395 طريقة في Longitudinal ERP بدقة 0.405، وهو ما يعادل 162 ضعف الصدفة).
التحقق: تحت بروتوكولات الاستبعاد الصارمة القائمة على الشخص، حققت المُتحققات المتعلمة (Learned verifiers) مساحة تحت المنحنى (AUC) تقترب من المثالية (1.000 في Mumtaz MDD، وSignEEG، وPhysioNet؛ و0.999 في Longitudinal ERP).
الاستمرار الزمني: ظلت دقة التصنيف عبر الجلسات عالية على مدار 199 يوماً، محتفظة بـ 76.0% من سقف الأداء داخل الجلسة الواحدة.
حدود ثبات النموذج (Paradigm Invariance): انتقلت البنية المرتبطة بالشخص بشكل جيد عبر الظروف المختلفة في نظام EEG البحثي عالي القنوات (PhysioNet: من الراحة إلى التخيل الحركي، 51.9 ضعف الصدفة). ومع ذلك، في نظام EEG الاستهلاكي منخفض القنوات (SignEEG)، فشل الانتقال تحت تحولات المهام الكبيرة (من التخيل الأصلي إلى تخيل التوقيع المزيف)، مما أدى إلى أداء أقل من مستوى الصدفة.
تسرب التقييم والتضخم: في مهمة تصنيف MDD، أدى التقسيم على مستوى القطعة إلى تضخم المساحة تحت المنحنى (AUC) من 0.939 (على مستوى الشخص) إلى 0.9996. والأهم من ذلك، أن مصنفاً تم تدريبه فقط على هوية الشخص (دون الوصول إلى الملصقات السريرية) حقق AUC على مستوى الشخص قدره 1.000 عند ربط تنبؤاته بملصقات التشخيص. وهذا يثبت أن الأداء المتضخم كان مدفوعاً بتسرب الهوية وليس بتعلم العلامة الحيوية الحقيقية.
الأهمية والادعاءات تجادل الورقة بأن هوية الشخص ليست مجرد مصدر إزعاج خلفي، بل هي مصدر قابل للقياس ومهيمن للتباين المهيكل في ميزات الـ EEG الطيفية الشائعة. وتتمثل المساهمة المنهجية الأساسية في إثبات أن هذه البنية يمكن أن تضخم أداء التعلم الآلي اللاحق مادياً عندما لا تكون بروتوكولات التقييم قائمة على استبعاد الأشخاص.
يدعي المؤلفون ما يلي:
صلاحية التقييم: يمكن أن يعكس الأداء التشخيصي الظاهري في دراسات EEG جزئياً تسرب الهوية بدلاً من تعلم العلامات الحيوية السريرية.
المتطلب المنهجي: لفك تشفير ما بين الأشخاص والتصنيف السريري، يجب أن يكون الفصل في التدريب والاختبار على مستوى الشخص هو الوضع الافتراضي.
معايير الإبلاغ: يجب على الدراسات التي تستخدم ميزات الـ EEG الطيفية الإبلاغ عن تشخيصات التباين المرتبط بالشخص (مثل ICC) ووصف بروتوكولات التقييم صراحةً للسماح بتقييم خطر التسرب.
تخلص الدراسة إلى أنه بينما يحتوي الـ EEG على "بصمات" فردية مستقرة، فإن هذه البصمات تعمل كعوامل مربكة في المهام غير البيومترية. وتدعم النتائج الاستخدام الروتيني للتقييم القائم على استبعاد الأشخاص واستخدام تشخيصات الإرباك الصريحة لضمان قابلية التكرار والتفسير في أبحاث التعلم الآلي لـ M/EEG.