Pretraining on Sleep Data Improves non-Sleep Biosignal Tasks

ملخص تقني: التدريب المسبق على بيانات النوم يحسن مهام الإشارات الحيوية غير المتعلقة بالنوم

بيان المشكلة
أظهرت النماذج التأسيسية للنوم مؤخراً أداءً قوياً في مهام تخطيط النوم (PSG) ضمن نطاقها، مثل مراحل النوم وكشف انقطاع النفس. ومع ذلك، لا يزال من الأسئلة المفتوحة ما إذا كانت إشارات النوم الحيوية يمكن أن تعمل كـ "توزيع تدريب مسبق" فعال لتعلم التمثيلات التي تنتقل إلى مجالات أخرى مجاورة وغير متعلقة بالنوم يتم تسجيلها أثناء اليقظة. ونظراً لأن تخطيط النوم السريري (PSG) يستخدم عادةً تركيبات تخطيط كهربائية الدماغ (EEG) منخفضة الكثافة وقناة واحدة لتخطيط القلب (ECG) بسبب قيود الاستحواذ، فإن التسجيلات السريرية القائمة على اليقظة غالباً ما تستخدم قنوات ذات كثافة أعلى للتحليل الدقيق. ويتمثل التحدي الجوهري في تحديد ما إذا كانت الخصائص الفريدة لبيانات النوم — وتحديداً السياقات المستمرة الطويلة، والموجات المرضية المتنوعة، والمحاذاة الوثيقة بين الأنماط المختلفة — يمكن أن تتغلب على قيود تكوينات المستشعرات المتفرقة لتحسين الأداء في مهام الـ EEG والـ ECG القائمة على اليقظة.

المنهجية
بنى المؤلفون عملهم على بنية SleepFM (Thapa et al., 2026) لتدريب نموذج مسبق حصرياً على بيانات متعددة الأنماط خاصة بالنوم فقط.

• استراتيجية التدريب المسبق: يخضع النموذج لتدريب مسبق تبايني متعدد الأنماط يعتمد على النوم فقط باستخدام هدف "الاستبعاد من طرف واحد" (leave-one-out). تتكون مجموعة البيانات من 48,093 تسجيلاً كاملاً لليلة نوم (432,000 ساعة) من أربع مجموعات (Stanford Sleep، وBioserenity، وMESA، وMrOS).
• التعديلات الهيكلية: لإدراج مهام الإشارات الحيوية غير المتعلقة بالنوم، أجرى المؤلفون تغييرات هيكلية طفيفة لعزل تأثير توزيع التدريب المسبق:
  • حجم الرقعة (Patch Size): تم تقليله من 5 ثوانٍ إلى رقع بمقدار ثانية واحدة للحفاظ على الديناميكيات العابرة (مثل الموجات الحادة وقمم R) الضرورية للمهام غير المتعلقة بالنوم.
  • حجم النافذة (Window Size): تم تقليله من 5 دقائق إلى دقيقتين في التدريب المسبق لتقليل متطلبات الذاكرة مع الحفاظ على سياق فسيولوجي متعدد الدورات.
  • الترميز الموضعي (Positional Encoding): تم إدخال ترميز موضعي للقنوات (PE) أثناء الضبط الدقيق لمهام الـ EEG. يقوم هذا بضخ هندسة الأقطاب الكهربائية ثلاثية الأبعاد (إحداثيات x، y، z بناءً على نظام 10-20) في التضمينات، مما يسمح باستنتاج مرن مع عدد متغير من القنوات.
• التقييم في المهام اللاحقة: تم ضبط النموذج المشفر المدرب مسبقاً بدقة على ثماني مهام لاحقة عبر خمس مجموعات بيانات لـ EEG (تشمل TUAB، وTUEV، وTUSL، وCHB-MIT، وBrainCapture) وثلاث مجموعات بيانات لـ ECG (تشمل PTB-XL، وG12EC، وCPSC). شملت المهام كشف الشذوذ، وكشف النوبات، وتصنيف الأحداث، وكشف عدم انتظام ضربات القلب.
• النماذج المرجعية (Baselines): تمت مقارنة الأداء مع نماذج تم تدريبها من الصفر (تهيئة عشوائية) ومع نماذج تأسيسية رائدة (SOTA) تم تدريبها مسبقاً على بيانات EEG ضمن نطاق اليقظة (مثل LaBraM، وBIOT، وCBraMod، وREVE) أو مجموعات بيانات ECG ضخمة. ومن الجدير بالذكر أن النموذج المدرب مسبقاً على النوم لم يكن لديه أي تداخل في النطاق مع مجموعات اختبار الـ EEG الخاصة باليقظة، بينما كانت العديد من نماذج SOTA المرجعية قد تم تدريبها مسبقاً على مجموعات بيانات تحتوي على بيانات الاختبار.

المساهمات الرئيسية

1. التحقق من انتقال النطاق عبر المجالات: تثبت الورقة أن إشارات النوم الحيوية يمكن أن تعمل بفعالية كتوزيع للتدريب المسبق لمهام الـ EEG والـ ECG القائمة على اليقظة، متفوقة باستمرار على التدريب من الصفر.
2. الأداء التنافسي: رغم أنه تم تدريبه مسبقاً فقط على بيانات النوم ذات التركيبات منخفضة الكثافة، إلا أن النموذج حقق أداءً تنافسياً أو متفوقاً على النماذج التأسيسية المتخصصة (SOTA) المدربة مباشرة على بيانات الـ EEG الخاصة باليقظة.
3. كفاءة القنوات: قدمت الدراسة نهجاً مستقلاً عن القنوات حيث يحافظ النموذج على 95% من أداء القنوات الكاملة باستخدام 16-50% فقط من قنوات الـ EEG و41-75% من قنوات الـ ECG.
4. الدقة المنهجية: يتضمن العمل تجارب منهجية لاستبعاد القنوات وتقييم الانتقال عبر مجموعات بيانات وبروتوكولات متباينة، مع التمييز بين معايير القياس داخل النطاق والانتقال إلى التحقق الخارجي.

النتائج

• مهام الـ EEG: أدى التدريب المسبق على النوم إلى تحسين الأداء باستمرار عبر جميع مجموعات بيانات الـ EEG الخمس.
  • في مهمة TUAB (كشف الشذوذ)، حقق نموذج SleepFM1 (بمعلمات 3.8 مليون مع PT+PE) دقة متوازنة بلغت 0.825، متفوقاً على LUNA-Huge (311 مليون معلمة، 0.816) وLaBraM-Large (46 مليون، 0.823)، رغم افتقاره للتداخل المباشر في النطاق كما في حال الأخير.
  • في مهام TUSL (التباطؤ) وCHB-MIT (النوبات)، حقق النموذج نتائج رائدة (SOTA)، متفوقاً على FEMBA وEEGFormer وBIOT.
  • في BrainCapture، تفوق النموذج بشكل كبير على BENDR وLaBraM.
  • أشارت نتائج الاختبار الخطي (Linear probe) إلى أن المشفر المدرب مسبقاً أنتج بالفعل تمثيلات غنية بالمعلومات دون الحاجة للضبط الدقيق، بينما وفر الضبط الدقيق الكامل مكاسب إضافية.
• مهام الـ ECG: في تجربة انتقال التحقق الخارجي (الضبط الدقيق على Code-15 والتقييم على PTB-XL، وG12EC، وCPSC)، أدى التدريب المسبق على النوم باستمرار إلى تحسين الأداء مقارنة بالتهيئة العشوائية. وبينما كانت المكاسب أصغر في مهام الـ EEG، إلا أن النموذج تفوق على النماذج المرجعية الخاضعة للإشراف مثل Inception Time و1DResNet في اختبار PTB-XL.
• كفاءة القنوات: كان تدهور الأداء ضئيلاً عند تقليل عدد القنوات. بالنسبة للـ EEG، كانت نسبة 16-50% من القنوات كافية للوصول إلى 95% من أداء القنوات الكاملة. وبالنسبة للـ ECG، كانت نسبة 41-75% من القنوات كافية.

الأهمية والادعاءات
تزعم الورقة أن الثراء الفسيولوجي لبيانات النوم — الذي يتميز بسياقات مستمرة طويلة تلتقط حالات فسيولوجية متنوعة، وتمثيلات واسعة للموجات غير الطبيعية (مثل الأنماط الصرعية واضطرابات نظم القلب)، والمحاذاة الوثيقة بين الأنماط (الدماغ، والقلب، والتنفس) — يوفر بنية غنية للتعلم الذاتي لإنتاج تمثيلات قابلة للانتقال.

ويجادل المؤلفون بأن هذه الخصائص تسمه للنموذج المدرب حصرياً على بيانات النوم (PSG) لإنتاج تمثيلات تنافس النماذج المدربة مباشرة على الـ EEG الخاص باليقظة، حتى بدون تداخل في النطاق. وهذا يشير إلى أن بيانات النوم يمكن أن تعمل كمصدر تدريب مسبق قابل للتوسع وكثيف المعلومات لنماذج الإشارات الحيوية التأسيسية، مما قد يقلل من الحاجة إلى مجموعات بيانات واسعة وموسومة لليقظة، خاصة في البيئات محدودة الموارد. وتدعم النتائج جدوى استخدام النوم كتوزيع تدريب مسبق لنمذجة الإشارات الحيوية العامة، مع وجود أدلة قوية بشكل خاص في الـ EEG وأدلة مشجعة، وإن كانت محدودة، في إعدادات الانتقال الخارجي للـ ECG.