Unsupervised Feature Based Algorithms for Time Series Extrinsic Regression

ملخص تقني: خوارزميات تعتمد على الميزات غير الخاضعة للإشراف لنمذجة الانحدار الخارجي للسلاسل الزمنية

تعريف المشكلة
يتضمن الانحدار الخارجي للسلاسل الزمنية (TSER) بناء نموذج تنبؤي لتقدير متغير استجابة مستمر بناءً على مجموعة من السلاسل الزمنية التدريبية، حيث لا يشتق الاستجابة مباشرة من السلسلة نفسها (خلافاً للتنبؤ المستقبلي). وبينما تُعد تصنيفات السلاسل الزمنية (TSC) والتنبؤ المستقبلي مجالات مدروسة جيداً، إلا أن TSER لم يحظَ باهتمام مماثل. وقد وضعت دراسة مرجعية سابقة [5] أرشيفاً يضم 19 مشكلة وقامت بتقييم 13 خوارزمية، ووجدت أن التعلم العميق (InceptionTime) والأساليب القائمة على النواة (ROCKET) قد حققت أداءً جيداً، رغم عدم تفوق أي خوارزمية واحدة بشكل ملحوظ على الآخرين. ويرى المؤلفون أن المجال يتطلب مزيدًا من البحث لتحسين دقة النماذج ومعالجة نقص التقدم منذ الدراسة المرجعية الأولية.

المنهجية
توسع الدراسة نطاق TSER من خلال ثلاث خطوات منهجية رئيسية:

1. توسيع الأرشيف: قام المؤلفون بزيادة أرشيف TSER المرجعي من 19 إلى 63 مجموعة بيانات. وتتضمن هذه المجموعة الجديدة 24 مجموعة بيانات أحادية المتغير و20 مجموعة بيانات متعددة المتغيرات (بالإضافة إلى الـ 19 الأصلية)، تم الحصول عليها من مسابقات Kaggle ومستودعات الأبحاث التطبيقية. غطت مجموعات البيانات مجالات متنوعة مثل التحليل الاقتصادي، ومراقبة الطاقة، والعلوم البيئية، وصحة المعدات، وتحليل المشاعر. تضمنت معالجة البيانات مسبقاً الاستكمال الخطي للقيم المفقودة والتقليم للسلاسل غير متساوية الطول.
2. تكييف وتنفيذ الخوارزميات: تعمل الدراسة على تكييف خوارزميات تصنيف السلاسل الزمنية (TSC) الحديثة لمهام الانحدار. ينصب التركيز الأساسي على الأساليب القائمة على الميزات غير الخاضعة للإشراف، والتي تحول السلاسل الزمنية إلى ناقلات ميزات دون استخدام المتغير المستهدف خلال مرحلة التحويل.
   • FreshPRINCE: خط معالجة يجمع بين مكتبة استخراج ميزات TSFresh (التي تولد حوالي 800 ميزة غير خاضعة للإشراف) مع مُنحدِر الغابة الدورانية (Rotation Forest - RotF). تم تكييف RotF لمهام الانحدار باستبدال مصنف C4.5 بمُنحدِر CART ومتوسط التنبؤات.
   • DrCIF (غابة الفترات الكانونية ذات التمثيل المتنوع): نموذج تجميعي قائم على الفترات. يقوم بتقسيم السلاسل الزمنية إلى ثلاثة تمثيلات: السلسلة الأصلية، والفروق من الدرجة الأولى، والمخططات الدورية (periodograms). ثم يختار فترات عشوائية ضمن هذه التمثيلات ويستخرج ميزات ملخصة (باستخدام مجموعة Catch22 بالإضافة إلى سبعة إحصائيات قياسية مثل المتوسط والميل). يتم تدريب مجموعة من مُنحدرات CART على هذه الميزات المدمجة.
   • النماذج المرجعية الأخرى: تقيم الدراسة 21 مُنحدراً في المجمل، بما في ذلك نماذج تعلم آلي قياسية (Ridge, SVR, Random Forest, XGBoost)، والنماذج الخطية الوظيفية (FPCR)، والأساليب القائمة على المسافة (kNN مع المسافة الإقليدية وDTW)، والأساليب التلافيفية/النواة (ROCKET, MultiROCKET)، وبنيات التعلم العميق (FCN, ResNet, InceptionTime المنفردة والمجمعة، CNN).
3. التصميم التجريبي: أُجريت التجارب باستخدام 30 عينة إعادة (تقسيمات تدريب/اختبار) لكل مجموعة بيانات لضمان المتانة الإحصائية. تم قياس الأداء باستخدام جذر متوسط مربع الخطأ (RMSE). وتم تقييم الأهمية الإحصائية باستخدام اختبار ويلكوكسون لعلامات الرتب الزوجية مع تصحيح هولم، وتم عرض النتائج عبر مخططات الفرق الحرج (CD).

المساهمات الرئيسية

1. توسيع مجموعة البيانات: إصدار 44 مجموعة بيانات جديدة، مما رفع إجمالي أرشيف TSER إلى 63 مشكلة.
2. الابتكار الخوارزمي: تقديم خوارزمتين جديدتين لـ TSER، وهما FreshPRINCE و DrCIF، المقتبستين من منهجيات TSC الناجحة.
3. التقييم المرجعي الشامل: إجراء تقييم صارم لـ 21 مُنحدراً مختلفاً، بما في ذلك النماذج القياسية الجاهزة، والتحليل الوظيفي، والتعلم العميق، مما يوفر خط أساس جديد للمجال.
4. المصدر المفتوح: توفير تنفيذات متوافقة مع scikit-learn وإرشادات تفصيلية لإعادة الإنتاج.

النتائج

• إعادة إنتاج الخط المرجعي: في المجموعات الـ 19 الأصلية، أعادت الدراسة إنتاج نتائج الدراسة [5]، مؤكدة أنه لا توجد خوارزمية واحدة تهيمن بشكل ملحوظ على الأخريات، رغم تغير ترتيب الخوارزميات قليلاً مع استخدام تصحيحات أقل تحفظاً.
• أداء الأرشيف الموسع: في أرشيف الـ 63 مجموعة بيانات الكامل، تفوقت المُنحدرات القياسية مثل Random Forest و Rotation Forest (RotF) على العديد من طرق التعلم العميق والأساليب القائمة على النواة الخاصة بالسلاسل الزمنية. ومن الجدير بالذكر أن RotF برز كأفضل خوارزمية قياسية أداءً.
• تفوق المقترحات الجديدة: تثبت الدراسة أن FreshPRINce و DrCIF يتفوقان بشكل كبير على جميع الـ 18 مُنحدراً الآخرين الذين تم اختبارهم، بما في ذلك أفضل مُنحدِر قياسي (RotF) والمجمع العميق (InceptionTimeE).
  • حقق كل من DrCIF و FreshPRINCE أدنى متوسط رتب لـ RMSE.
  • أظهر InceptionTimeE، رغم كونه في الصدارة غالباً في مشكلات محددة، تبايناً عالياً وعدم استقرار، وفشل في كثير من الأحيان في إيجاد علاقات تنبؤية في مجموعات البيانات التي نجحت فيها النماذج الأخرى.
  • دراسة الاستئصال (Ablation Study): بالنسبة لـ FreshPRINCE، أكدت الدراسة أن مكاسب الأداء تأتي من الجمع المحدد بين تحويل TSFresh ومُنحدِر RotF؛ حيث إن استخدام TSFresh مع مُنحدرات أخرى (مثل Random Forest أو XGBoost) لم يحقق نفس النتائج التي حققها الاقتران مع RotF.
• خصائص البيانات: تباين الأداء حسب خصائص البيانات. أدى DrCIF أداءً أفضل نسبياً في السلاسل القصيرة والبيانات متعددة المتغيرات ذات القنوات القليلة، بينما تفوق FreshPRINCE في مجموعات التدريب الكبيرة والبيانات التي تحتوي على أكثر من 5 قنوات.

الأهمية والادعاءات
يزعم البحث أن مجال TSER كان راكداً وأن الأساليب القائمة على الميزات غير الخاضة للإشراف المقترحة تمثل قفزة نوعية للأمام. ويؤكد المؤلفون ما يلي:

• لا يمكن لأي مُنحدِر تم تقييمه سابقاً أن يتفوق على التكييف الانحداري لمصنف قياسي (تحديداً Rotation Forest).
• FreshPRINCE و DrCIF هما النموذجان الوحيدان اللذان يتفوقان بشكل كبير على مُنحدِر Rotation Forest القياسي، مما يضع معياراً جديداً للحالة الراهنة (state-of-the-art) لـ TSER.
• يشير التنوع في الأداء بين أفضل الخوارزميات إلى أن المجموعات غير المتجانسة (heterogeneous ensembles) قد تكون مجالاً مثمراً للبحث المستقبلي.
• توفر الدراسة معياراً أكثر متانة وأكبر حجماً (63 مجموعة بيانات) يكشف عن محدودية الاستنتاجات السابقة المستخلصة من مجموعات بيانات أصغر.

يظل المؤلفون متواضعين بشأن القيود، مشيرين إلى أن البيانات لم تُسحب عشوائياً (مما قد يؤدي لتمثيل مفرط لبعض المجالات)، ولم يتم إجراء ضبط للمعلمات الفائقة (hyperparameter tuning) بسبب القيود الحسابية، ولم تُجرَ تحليلات تشخيصية معقدة (مثل تحليل البواقي). ومع ذلك، يخلصون إلى أن عملهم يقدم مساهمة كبيرة في تطوير مجال TSER من خلال إثبات أن استخراج الميزات غير الخاضعة للإشراف مقترناً بمُنحدرات تجميعية قوية هو النهج الأكثر فعالية حالياً.