Recency Biased Causal Attention for Time-series Forecasting

إليك ملخص تقني مفصل لورقة البحث بعنوان "الاهتمام السببي المنحاز للحداثة للتنبؤ بالسلاسل الزمنية" (Recency Biased Causal Attention for Time-series Forecasting) للباحثين هيجازي، ماهوني، وإريكسون.

1. بيان المشكلة

تعتمد نماذج الـ Transformer القياسية على آليات اهتمام (Attention) شاملة (all-to-all) تفتقر إلى المحلية الزمنية والسببية المتأصلة. وبينما تعد هذه البنية فعالة في معالجة اللغات الطبيعية (NLP)، حيث تسود الارتباطات طويلة المدى ويكون الترتيب أقل صرامة، إلا أنها تعاني في التنبؤ بالسلاسل الزمنية.

• عدم التوافق: البيانات الزمنية هي بطبيعتها سببية (المستقبل لا يمكن أن يؤثر في الماضي) وغالبًا ما تُظهر ارتباطات محلية حيث تضعف قوة الارتباط مع زيادة الفاصل الزمني.
• القصور: تعامل نماذج الـ Transformer القياسية جميع الخطوات الزمنية بالتساوي (أو تعتمد على ترميز موضعي متعلم)، مما يؤدي إلى فشلها في إعطاء الأولوية للملاحظات الحديثة. يؤدي هذا إلى "هفوات في الاهتمام" (attention glitches) حيث تعجز النماذج عن تنفيذ العمليات التسلسلية بفعالية مثل "القراءة"، "الكتابة"، و"التجاهل" (وهي قدرات حاسمة لتصفية الضجيج واستدعاء الحالة، وهي قدرات طبيعية في الشبكات العصبية المتكررة RNN).
• الفجوة: رغم استكشاف الانحياز للحداثة (recency biases) في معالجة اللغات الطبيعية (مثل ALiBi)، إلا أن تطبيقها في التنبؤ بالسلاسل الزمنية لا يزال غير مستكشف بشكل كافٍ، لا سيالما فيما يتعلق بكيفية تأثير دوال الاضمحلال المختلفة (الأسية مقابل قانون القوة) على الأداء في البيانات ذات البنية المحلية والسببية.

2. المنهجية: الاهتمام السببي المنحاز للحداثة (RBCA)

يقترح المؤلفون إطار عمل RBCA، وهو إطار يعدل آلية الاهتمام متعدد الرؤوس (MHA) لفرض كل من السببية والانحياز للحداثة.

الآلية الجوهرية

يقدم RBCA قناعًا $M^{(L)}$ يعتمد على فرق الوقت النسبي $\Delta t$ بين التضمينات (embeddings). يتم إضافة هذا القناع إلى درجات الاهتمام قبل عملية الـ Softmax:
$$S^{(C,L)}_h = S_h + M^{(C)} + M^{(L)}$$
حيث أن:

• $M^{(C)}$ هو القناع السببي القياسي (الذي يحجب الرموز المستقبلية).
• $M^{(L)}$ هو قناع الانحياز للحداثة، ويُعرف بدالة غير موجبة $f(\Delta t) \leq 0$.
• تتلاشى أوزان الاهتمام الناتجة بسلاسة مع زيادة المسافة الزمنية.

دوال الانحياز التي تم تقييمها

تبحث الورقة في عدة دوال اضمحلال لتحديد أي منها يتوافق بشكل أفضل مع الأنظمة الفيزيائية للسلاسل الزمنية:

1. الاضمحلال الأسي (على طراز ALiBi): $f(t) = -\alpha t$. شائع في معالجة اللغات الطبيعية ولكنه غالبًا ما يكون حادًا للغاية بالنسبة للسلاسل الزمنية.
2. مرشح بتروورث (Butterworth Filter): يحاكي دالة خطوة سلسة، مما يوفر نافذة مسطحة مع قطع حاد.
3. اضمحلال قانون القوة (المقترح):
   • قانون قوة الأوزان ($f^{(PL)}$): $f(t) = -\alpha \log(t)$. هذا يستحث غلافًا من قانون القوة على أوزان الاهتمام.
   • قانون قوة التشابه ($f^{(SPL)}$): $f(t) = -t^{-\alpha}$. هذا يطبق قانون القوة على درجة التشابه، مما ينتج عنه أس لقانون قوة بعد عملية الـ Softmax.

التبرير النظري: يجادل المؤلفون بأن العديد من الأنظمة الفيزيائية تُظهر ارتباطات ذاتية ثقيلة الذيل (تضمحل وفقًا لقانون القوة). تحقق انحيازات قانون القوة توازنًا: فهي تعطي وزنًا كبيرًا للبيانات الحديثة (مثل الاضمحلال الأسي) ولكنها تحافظ على "ذيل ثقيل" يسمح للنموذج بالتقاط الإشارات طويلة المدى ومنخفضة التردد دون أن تضيع بسبب المتوسط، على عكس الاضمحلال الأسي الذي يقطع الارتباطات طويلة المدى بسرعة كبيرة.

Powerformer

للتحقق من صحة RBCA في سياق حديث، يقدم المؤلفون Powerformer، وهو نسخة معدلة من نموذج PatchTST المتطور.

• البنية: محول (Transformer) مكون من مشفر فقط (Encoder-only) مع رأس قراءة خطي.
• التعديل: يستبدل آلية MHA القياسية بـ RBCA.
• خيار التصميم: من خلال الحفاظ على بساطة البنية (بدون تفكيك ترددي معقد أو عكس)، يعزل المؤلفون مكاسب الأداء لتكون ناتجة تحديدًا عن آلية الانحياز للحداثة.

3. المساهمات الرئيسية

1. إطار عمل RBCA: طريقة عامة لحقن الانحيازات السببية وانحياز الحداثة في نماذج الـ Transformer، مما يثبت أن دوال انحياز محددة يمكن أن تمنح نماذج الـ Transformer قدرات تشبه الـ RNN (القراءة/الكتابة/التجاهل).
2. تفوق قانون القوة: تحديد أن انحيازات الحداثة القائمة على قانون القوة تتفوق على الانحيازات الأسية المستمدة من معالجة اللغات الطبيعية في مهام السلاسل الزمنية. تسمح انحيازات قانون القوة للنموذج بتعلم ارتباطات فريدة تعتمد على البيانات مع الحفاظ على بنية طبيعية ثقيلة الذيل.
3. نموذج Powerformer: نموذج بسيط وفعال للسلاسل الزمنية يتفوق على النماذج المعقدة والأكبر حجمًا (مثل One-Fits-All و FEDformer) وعلى النموذج الحالي (PatchTST) في الاختبارات القياسية.
4. رؤى التحليل الاستئصالي (Ablation Insights): اكتشاف أن Powerformer يعزز انحياز الحداثة المفروض عليه أثناء التدريب بدلاً من تعلم تجاهله. يشير هذا إلى أن الانحياز يعمل كـ "مقدمة استقرائية" (inductive prior) حاسمة يعتمد عليها النموذج، وليس كقيد يجب التغلب عليه.

4. النتائج التجريبية

أ. مهمة "التبديل" (Flip-Flop Task) (القدرات التسلسلية)

• الهدف: اختبار ما إذا كان النموذج يمكنه تعلم كتابة وتجاهل واستدعاء المعلومات من الذاكرة.
• النتائج: فشلت نماذج الـ Transformer القياسية وتلك ذات الانحيازات المستمدة من معالجة اللغات الطبيعية (ALiBi/Exponential) أو أدت أداءً ضعيفًا. حقق انحياز قانون القوة في RBCA دقة تقارب 100%، مما يثبت أن انحياز الحداثة الصحيح كافٍ لمنح نماذج الـ Transformer قدرات استدلال تسلسلي تشبه الـ RNN.

ب. اختبارات التنبؤ بالسلاسل الزمنية

تم التقييم على 7 مجموعات بيانات قياسية (ETT, Weather, Electricity, Traffic) مع أطوال تنبؤ (96, 192, 336, 720).

• الـ Transformer التقليدي: تفوق RBCA مع انحيازات قانون القوة باستمرار على MHA القياسي، خاصة في مجموعات البيانات ذات الارتباطات طويلة المدى التي تضمحل ببطء.
• Powerformer مقابل النماذج المتطورة (SOTA):
  • حقق Powerformer أفضل أداء في 46 من أصل 56 مهمة تنبؤ مقارنة بـ PatchTST.
  • تفوق على One-Fits-All (نموذج GPT-2 مدرب مسبقًا بحجم ضعف حجمه) و FEDformer.
  • المكاسب الكمية: انخفاضات كبيرة في MSE و MAE (على سبيل المثال، تحسن بنسبة 16% في ETTh2).
• حالات الفشل: أداء Powerformer كان أقل قليلاً في مجموعات البيانات ذات الدورية العالية (Traffic, Electricity) حيث تعمل طرق فوريه البسيطة أو النوافذ الثابتة بشكل جيد، مما يؤكد أن RBCA مُحسن للديناميكيات غير المستقرة والمعقدة وليس للدورية البحتة.

ج. تحليل الاهتمام (Attention Analysis)

• التوزيع ثنائي المنوال (Bimodal Distribution): يُظهر Powerformer توزيع اهتمام ثنائي المنوال: أوزان عالية للرموز الحديثة جدًا (لالتقاط التغيرات عالية التردد) وذيل ثقيل للرموز البعيدة (لالتقاط الاتجاهات منخفضة التردد).
• التعزيز الذاتي: حتى بدون تطبيق القناع في الطبقات الأخيرة، فرضت التضمينات المتعلمة بشكل طبيعي السببية واضمحلال قانون القوة، مما يشير إلى أن النموذج استوعب الانحياز كمتطلب بنيوي أساسي.

5. الأهمية والخاتمة

تتحدى هذه الورقة الاعتقاد بأن نماذج الـ Transformer يجب أن تكون "شاملة الرؤية" (all-seeing) لتكون فعالة في السلاسل الزمنية. وتثبت أن الانحيازات الاستقرائية التي تعكس الواقع الفيزيائي للبيانات الزمنية (السببية واضمحلال الذيل الثقيل) هي أمور ضرورية.

• تحول في النموذج المعرفي: تشير الورقة إلى أنه بالنسبة للسلاسل الزمنية، يمكن للبنيات الأبسط ذات الانحياز الاستقرائي الصحيح (Powerformer) أن تتفوق على النماذج الضخمة والمعقدة المدربة مسبقًا.
• الآلية: يجسّر تقديم انحياز الحداثة بقانون القوة الفجوة بين مرونة الـ Transformers وكفاءة الـ RNN التسلسلية.
• الأثر العملي: يوفر نموذج Powerformer خط أساس عالي الأداء وفعال حاسوبيًا للتنبؤ بالسلاسل الزمنية، والذي يسهل تنفيذه ببساطة عن طريق استبدال آلية الاهتمام في بنيات الـ Transformer الموجودة.

باختصار، يثبت المؤلفون أن الانحياز للحداثة ليس مجرد منظم (regularizer) بل هو مكون أساسي للنمذجة الناجحة للسلاسل الزمنية، وأن اضمحلال قانون القوة هو الشكل الوظيفي الأمثل لالتقاط الديناميكيات متعددة المقاييس لبيانات العالم الحقيقي.