ملخص تقني: تقييم معايير استراتيجيات الترميز الموضعي لنماذج المحولات (Transformer) القائمة على تخطيط كهربية الدماغ (EEG)

بيان المشكلة

يُعد تخطيط كهربية الدماغ (EEG) تقنية بالغة الأهمية لتطبيقات واجهة الدماغ والحاسوب (BCI)، ومع ذلك، تعاني نماذج فك التشفير الخاضعة للإشراف من صعوبة في التعميم عبر المهام والمشاركين ومجموعات البيانات المختلفة بسبب انخفاض نسبة الإشارة إلى الضوضاء والتباين العالي بين الأفراد. ولمعالجة ذلك، ظهرت نماذج المحولات (Transformers) القائمة على التعلم الذاتي الموجه (Self-supervised learning). ومع ذلك، فإن هذه النماذج بطبيعتها محايدة تجاه الترتيب (Permutation-invariant) وتتطلب ترميزاً موضعياً (Positional Encoding) صريحاً لنمذجة التبعيات الهيكلية.

على عكس الرموز النصية، تمتلك أقطاب EEG توزيعاً مكانياً محدداً عبر فروة الرأس. وتستخدم نماذج المحولات الحالية لتخطيط كهربية الدماغ آليات متنوعة، وغالباً ما تكون غير قابلة للمقارنة، لترميز هذا الهيكل الزماني-المكاني، بما في ذلك التضمينات الخاصة بالقنوات، والترميز الزمني النسبي، والتضمينات القابلة للتعلم. وهناك نقص في التقييم المنهجي فيما يتعلق باستراتيجية الترميز الموضعي المثلى لفك تشفير EEG، لا سيما بالنظر إلى المعنى التشريحي لتوزيع الأقطاب والتباين في تركيبات القنوات (Montages) عبر مجموعات البيانات.

المنهجية

أجرى المؤلفون تقييماً مضبوطاً ضمن هيكل CBraMod، وهو نموذج تأسيسي لـ EEG يعتمد على التعلم الذاتي ويستخدم آلية الانتباه المتقاطع (Criss-cross attention) لالتقاط التبعيات الزمانية-المكانية. ولعزل تأثير تصميم الموضع، حافظت الدراسة على بنية المحول الأصلية، وبروتوكولات التدريب، والمعلمات الفائقة (Hyperparameters)، مع استبدال وحدة الترميز الموضعي فقط.

استراتيجيات الترميز الموضعي التي تم تقييمها

تمت مقارنة خمس استراتيجيات:

1. بدون ترميز موضعي (NoPE): خط أساس بدون معلومات موضعية صريحة.
2. الترميز الموضعي الشرطي غير المتماثل (ACPE): طريقة يتم فيها توليد التمثيلات الموضعية ديناميكياً من الجوارات الزمانية-المكانية لرقع (Patches) الـ EEG باستخدام عمليات تلافيف ثنائية الأبعاد (2D Convolutions) غير متماثلة ($k_s > k_t$). تلتقط هذه الطريقة التبعيات البينية طويلة المدى بين القنوات والسياق الزمني قصير المدى دون الاعتماد على إحداثيات مطلقة.
3. الترميز الموضعي الكروي (SPE): استراتيجية مبتكرة مقترحة في هذا العمل تستفيد من الهندسة الكروية لتوزيع الأقطاب. تقوم بحساب زوايا السمت ($\theta$) والميل ($\phi$) لكل قطب، ثم تقوم بخرائطتها إلى تمثيلات ثابتة الطول باستخدام دوال جيبية متعددة الترددات. يقوم هذا بترميز العلاقات الزاوية بشكل ثابت بغض النظر عن حجم الرأس أو القياس، دون بارامترات قابلة للتعلم.
4. الترميز الموضعي الكروي مع الإسقاط (SPE+Proj): امتداد لـ SPE حيث يتم تمرير تضمينات القنوات والرقع عبر إسقاطات خطية قابلة للتعلم منفصلة قبل الجمع.
5. الترميز الموضعي القابل للتعلم (Learnable PE): تضمينات كاملة قابلة للتعلم لكل من القنوات والرقع تُجمع لتشكيل الترميز النهائي. يتم إعادة تهيئتها وتعلمها من الصفر أثناء الضبط الدقيق (Fine-tuning) إذا اختلف تركيب الأقطب (Montage) عن مرحلة ما قبل التدريب.

الإعداد التجريبي

• ما قبل التدريب (Pretraining): أُجري على مجموعة بيانات Healthy Brain Network EEG (HBN-EEG) (أكثر من 3,000 مشارك، 128 قناة) باستخدام هدف إعادة بناء الرقعة المقنعة (Masked patch reconstruction).
• المهام اللاحقة (Downstream Tasks):
  • التخيل الحركي (MI): التصنيف على مجموعة بيانات PhysioNet MI (64 قناة، 4 فئات).
  • التعرف على العواطف (Emotion Recognition): التصنيف على مجموعة بيانات FACED (32 قناة، 9 فئات).
• بروتوكولات التقييم: تم تقييم النماذج تحت بروتوكول الاختبار الخطي (Linear Probing) (تجميد الهيكل الأساسي، وتدريب المصنف فقط) وبروتوكول الضبط الدقيق (Fine-tuning) (تحديث جميع الأوزان).
• المقاييس: الدقة المتوازنة (Balanced Accuracy)، معامل كوهنز كابا (Cohen's Kappa)، ودرجة F1 الموزونة (Weighted F1 score).

النتائج الرئيسية

وجدت الدراسة أنه لا توجد استراتيجية ترميز موضعي واحدة تتفوق باستمرار على غيرها عبر جميع المهام والبروتوكولات. كان الأداء معتمداً بشكل كبير على المهمة:

• التخيل الحركي (PhysioNet-MI):
  • حققت SPE أفضل أداء في بروتوكول الاختبار الخطي، مما يشير إلى أن الأولويات الهندسية الصريحة مفيدة عندما تكون أنماط التنشيط المكانية متميزة.
  • حققت ACPE أفضل أداء في بروتوكول الضبط الدقيق.
  • كانت NoPE هي الأضعف باستمرار في الاختبار الخطي ولكنها ظلت تنافسية بعد الضبط الدقيق، مما يشير إلى أن الهيكل الأساسي يمكنه استعادة البنية الموضعية جزئياً من خلال التحسين الشامل (End-to-end optimization).
• التعرف على العواطف (FACED):
  • حققت كل من ACPE و Learnable PE أفضل النتائج.
  • أظهرت SPE أداءً ضعيفاً بشكل ملحوظ مقارنة بالاستراتيجيات الأخرى في كلا البروتوكولين، مما يشير إلى أن الأولويات الهندسية الصارمة قد لا تفيد التمثيلات المتعلقة بالعواطف بقدر ما تفيد التخيل الحركي.
• خسارة ما قبل التدريب (Pretraining Loss): أدى غياب الترميز الموضعي إلى أعلى خسارة في إعادة بناء الرقعة المقنعة، مما يؤكد أن المعلومات الموضعية حاسمة لجودة تمثيل ما قبل التدريب. حققت Learnable PE و SPE+Proj أدنى خسائر في التحقق (Validation losses).

الأهمية والاستنتاجات

خلصت الورقة إلى أن استراتيجية الترميز الموضعي المثلى لنماذج أساسات الـ EEG هي مهمة محددة (Task-dependent)، ولا يوجد حل عالمي واحد.

• خصوصية المهمة: الاستراتيجيات التي ترمز الهندسة التشريحية الصريحة (SPE) مفيدة للمهام ذات التمييز المكاني القوي (مثل التخيل الحركي)، ولكنها قد تكون دون المستوى الأمثل للمهام التي تكون فيها الأنماط المكانية أقل صلابة (مثل التعرف على العواطف).
• القدرة على التعميم مقابل القدرة على التكيف: تُظهر ACPE أداءً ثابتاً من خلال تعلم أنماط الجوار المحلية من محتوى الرقعة، مما يجعلها قوية عبر المهام المتنوعة دون الحاجة إلى معرفة إحداثيات صريحة. وفي المقابل، يمكن لـ Learnable PE، رغم حاجتها لإعادة التهيئة لتركيبات الأقطاب المختلفة، أن تتفوق على الاستراتيجيات الثابتة عندما يُسمح للنموذج بتعلم الهياكل المكانية الخاصة بالمهمة من الصفر في مجموعة البيانات المستهدفة.
• الآثار العملية: توفر SPE بديلاً خفيف الوزن، خالياً من البارامترات، وغير مرتبط بتركيبة الأقطب (Montage-agnostic)، حيث يتم حسابها مسبقاً من زوايا الأقطب، مما يجعلها خياراً قابلاً للتطبيق عندما يكون الهيكل المكاني ذا صلة وتكون إعادة التدريب غير مرغوب فيها.

يؤكد المؤلفون أنه على الرغم من أن الاختلافات في الأداء كانت ضئيلة نسبياً، إلا أنها قابلة للقياس وذات دلالة نظراً لتغيير وحدة الترميز الموضعي فقط. ويُقترح في العمل المستقبلي استكشاف هذه الاستراتيجيات عبر مهام EEG أكثر تنوعاً، وتركيبات أقطاب مختلفة، ومجموعات بيانات أكبر لما قبل التدريب لتقييم قدرة الترميز الواعي بالطوبولوجيا على التعميم.