Horizon Activation Mapping for Neural Networks in Time Series Forecasting

العنوان: رسم خرائط تنشيط الأفق للشبكات العصبية في التنبؤ بالسلاسل الزمنية

بيان المشكلة
حققت نماذج الشبكات العصبية في مجال التنبؤ بالسلاسل الزمنية تحسينات كبيرة في الأداء، لا سيما في المهام ذات الأفق الطويل. ومع ذلك، يفتقر المجال إلى إطار عمل موحد لاختيار النماذج والتفسير يكون مستقلاً عن أنواع الطبقات أو عائلات النماذج المحددة. تعتمد طرق التفسير الحالية، مثل Grad-CAM، على الرؤية الحاسوبية وتعتمد على خرائط الانتباه المكاني، والتي لا تترجم ببساطة إلى الطبيعة المكانية-الزمانية للتنبؤ متعدد المتغيرات. علاوة على ذلك، بينما توجد عائلات نماذج متنوعة (مثل النماذج القائمة على MLP، والانتباه الذاتي، ونماذج فضاء الحالة SSM، والانتشار Diffusion)، لا يوجد مجموعة بيانات خاضعة للإشراف واسعة النطاق أو إطار تحليلي قادر على مقارنة ديناميكيات التعلم الداخلية وأنشطة التدرج عبر البنى المختلفة. غالبًا ما يعتمد اختيار النماذج الحالي على مقاييس الخطأ (MSE, MAE) التي قد تكون متشابهة عبر العائلات المختلفة، مما يحجب مناظر التحسين (optimization landscapes) واستراتيجيات التعلم الكامنة.

المنهجية: رسم خرائط تنشيط الأفق (HAM)
يقدم المؤلفون تقنية رسم خرائط تنشيط الأفق (HAM)، وهي تقنية تفسير بصري مستوحاة من Grad-CAM ولكن تم تكييفها للتنبؤ بالسلاسل الزمنية. يحلل HAM متوسطات مقدار تحديث التدرج عبر السلاسل الفرعية ضمن أفق التنبؤ لتحديد خصائص النموذج.

• الأنماط السببية (Causal) واللا-سببية (Anti-Causal): لأفق حجمه $H$، يحسب HAM متوسطات معيار التدرج باستخدام نمطي قناع (masking modes) يتم تطبيقهما على دالة الخسارة قبل الانتشار العكسي (backpropagation):
  • النمط السببي ($c$): يتضمن السلاسل الفرعية من الخطوة الزمنية 0 إلى $h$.
  • النمط اللا-سببي ($a$): يتضمن السلاسل الفرعية من الخطوة الزمنية $h$ إلى $H$.
• متوسطات معيار التدرج: يحسب الإطار متوسط معيار التدرج بالنسبة لمعلمات النموذج $\theta$ عبر هذه السلاسل الفرعية المقنعة.
• التصورات:
  • مخططات HAM: تعرض متوسطات معيار التدرج مقابل الخطوات الزمنية، مقارنة بـ "خط التناسب" الذي يمثل توزيعًا منتظمًا لمعايير التدرج.
  • مخططات الفرق: تُظهر الفرق بين المتوسطات السببية واللا-سببية، والمدرجة في النطاق $[-1, 1]$، لتسليط الضوء على التفاوتات في التعلم عبر الأفق.
  • مخططات المساحة المستقاة (Interpolated Area Plots): تقوم بتطبيع المساحة القصوى لكل نموذج إلى النطاق $[0, 1]$ لمقارنة النماذج ذات أحجام الأفق المختلفة.
• المقاييس الرئيسية: يحدد الإطار نقطة التكافؤ التدرجي (Gradient Equivariant Point)، حيث يتساوى متوسط معيار التدرج لأول $h$ من الخطوات الزمنية مع معيار الخطوات الزمنية المتبقية $H-h$. كما يحسب المساحة الموقعة بين المنحنيات وخط التناسب لتضخيم الاختلافات.

الإعداد التجريبي
تقيم الدراسة HAM عبر عائلات نماذج متنوعة تم تدريبها على مجموعة بيانات ETTm2 (تقسيم 60-20-20 للتدريب-التحقق-الاختبار) باستخدام وحدة معالجة رسوميات NVIDIA A40. تشمل النماذج:

• النماذج القائمة على MLP: CycleNet، N-Linear، N-HITS.
• الانتباه الذاتي (Self-Attention): FEDformer، Pyraformer.
• نماذج فضاء الحالة (SSM): SpaceTime.
• الانتشار (Diffusion): Multi-Resolution DDPM.

تغطي التجارب أحجام أفق مختلفة ($H = \{96, 192, 336, 720\}$) وتستقصي آثار:

• معدلات Dropout.
• أحجام الدفعات (Batch sizes).
• التوقف المبكر (عدد الحقبات بعد التوقف).
• تقسيمات مجموعة البيانات (تدريب مقابل تحقق مقابل اختبار).
• التنبؤ أحادي المتغير مقابل متعدد المتغيرات.
• المعلمات الفائقة للبنية (مثل طول طابور الدورة، استراتيجيات التطبيع).

النتائج والملاحظات الرئيسية

1. آثار Dropout: في النماذج متعددة المتغيرات (تحديدًا N-HITS)، أدى إضافة Dropout (0.2) إلى زيادة أحجام التدرج الإجمالية بأكثر من 3 مرات، لا سيما في المناطق الطويلة من الأفق.
2. ديناميكيات حجم الدفعة:
   • أظهرت أحجام الدفع ومقاييس الخطأ علاقات معقدة مع حجم الدفعة.
   • في النماذج المتقاربة (N-HITS، N-Linear، CycleNet)، أظهرت متوسطات معيار التدرج المستقاة عبر أحجام الدفع اتجاهًا تشبعيًا متعدد الحدود، مما يشير إلى إمكانية التقريب الأسي عبر أحجام الدفع لكل حقبة.
   • أظهر CycleNet اختلافات طفيفة في الأداء بناءً على حجم الدفعة، حيث زاد النشاط اللا-سببي عند أحجام الدفع الصغيرة (50) وانخفض النشاط السببي عند الأحجام الكبيرة (100).
3. التوقف المبكر: أظهرت النماذج التي توقفت مبكرًا انخفاضًا في أحجام التدرج، خاصة في النمط السببي. اقتربت نقطة التكافؤ التدرجي للنماذج المتوقفة مبكرًا من $H/2$، مما يشير إلى أن الأنشطة في مناطق الأفق الأطول لم تتحسن بمجرد وصول النموذج إلى الحد الأدنى المحلي.
4. تقسيمات مجموعة البيانات: دفعت بيانات التدريب المنحنيات لتقترب من خط التناسب. أظهرت مجموعات التحقق في N-HITS جوانب "خارج التوزيع" بشكل أكثر وضوحًا من CycleNet.
5. أحادي المتغير مقابل متعدد المتغيرات: قدم التنبؤ متعدد المتغيرات صعوبات تعلم مكانية أكبر. أدت إزالة الخطوات الزمنية الأولية في السلاسل الفرعية متعددة المتغيرات إلى دفع المنحنيات اللا-سببية تحت خط التناسب، وهو سلوك لم يُلاحظ في الحالات أحادية المتغير.
6. تفاصيل البنية:
   • N-Linear: أدى التطبيع (طرح آخر خطوة زمنية) إلى تقليل الأخطاء بنسبة 16% وتغيير أحجام التدرج، حيث قللها سببيًا في أول 23% من الأفق وزادها بعد ذلك.
   • CycleNet: أثر طول طابور الدورة على ترتيب القيم. كان أصغر طول دورة (64) هو المقابل لأفضل أداء وأظهر أحجامًا أكبر تتفاعل بين أطوال السلاسل الفرعية.
   • SpaceTime: أظهر أنشطة ذاتية الانحدار الأسية (exponential autoregressive activities). انتقل نمطه السببي من الاتجاه الخطي (عند $H=96$) إلى الاتجاهات الأسية (عند $H=\{192, 336, 720\}$)، مما يسلط الضوء على المناطق الطويلة من الأفق.
   • N-HITS: توافق سلوكه مع نظرية التقريب العصبي، حيث دعمت الزيادات اللا-سببية افتراضات الأفق اللانهائي.
   • الانتشار (Multi-Resolution DDPM): أظهر معايير تدرج أكبر بشكل مميز للسلاسل الفرعية الأصغر مقارنة بالتوقعات النسبية، مما يشير إلى خاصية في التنبؤ القائم على الانتشار.

الأهمية والادعاءات
يدعي البحث أن HAM يوفر إطار عمل دقيق ومستقل عن النموذج لـ:

• اختيار النماذج: مقارنة استراتيجيات التعلم ومناظر التحسين عبر عائلات الشبكات العصبية المختلفة (MLP، Attention، SSM، Diffusion) بما يتجاوز مجرد مقاييس الخطأ البسيطة.
• اختيار مجموعة التحقق: استخدام التباينات النسبية في مخططات HAM لاختيار مجموعات التحقق المناسبة.
• الرؤية البنيوية: إرجاع اتجاهات محددة في مخططات HAM إلى الخصائص النظرية، مثل نظرية التقريب العصبي لـ N-HITS والطبيعة الأسية ذاتية الانحدار لـ SpaceTime.
• التعميم: الإطار قابل للتطبيق بغض النظر عن أنواع الطبقات المستخدمة في النموذج، مما يعالج قصور الطرق السابقة المرتبطة ببنى محددة.

يشير المؤلفون إلى أنه بينما يستخدم HAM متوسطات المعيار الإجمالية، فإن المخططات على مستوى الطبقة يمكن أن توضح ديناميكيات التعلم للسلاسل الفرية الأقصر والأطول بشكل أكبر. ويخلص البحث إلى أن HAM يعمل كأداة لفهم "منظر التحسين" في التنبؤ بالسلاسل الزمنية، مما يتيح تغييرات بنيوية قابلة للتفسير ومقارنات عبر العائلات المختلفة.