🤖 AI

Filter then Attend: Improving attention-based Time Series Forecasting with Spectral Filtering

تقترح هذه الورقة تعزيز النماذج القائمة على "ترانسفورمر" (Transformer) للتنبؤ بالسلاسل الزمنية الطويلة من خلال دمج مرشحات طيفية قابلة للتعلم في مرحلة الإدخال، مما يحسن الأداء، ويقلل حجم النموذج، ويسمح باستغلال أفضل للطيف الترددي الكامل مع إضافة حد أدنى من المعلمات.

المؤلفون الأصليون: Elisha Dayag, Nhat Thanh Van Tran, Jack Xin

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Elisha Dayag, Nhat Thanh Van Tran, Jack Xin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول التنبؤ بمستقبل نظام معقد، مثل الطقس، أو تدفق حركة المرور، أو استهلاك الكهرباء، من خلال النظر في تاريخ طويل من البيانات. يُسمى هذا التنبؤ بالسلاسل الزمنية (Time Series Forecasting).

لفترة طويلة، استخدمت أذكى الحواسيب (نماذج الذكاء الاصطناي) أداة محددة تسمى المحول (Transformer) للقيام بذلك. فكر في "المحول" كأنه أمين مكتبة شديد الانتباه يقرأ كومة ضخمة من الكتب (البيانات) للعثور على الأنماط. ومع ذلك، لدى هذا الأمين سمة غريبة: فهو بارع في فهم القصص البطيئة والمستمرة (الأنماط منخفضة التردد)، لكنه غالبًا ما يغفل عن التفاصيل السريعة والحادة أو الطفرات المفاجئة (الأنماط عالية التردد) لأنه يميل إلى "تنعيم الأشياء" أكثر من اللازم.

تقترح ورقة بحثية بعنوان "الفلترة ثم الانتباه" (Filter Then Attend) حلاً بسيطًا ولكنه قوي: أعطِ أمين المكتبة نظارات متخصصة قبل أن يبدأ في القراءة.

إليك تفصيل فكرة الورقة البحثية، باستخدام تشبيهات من الحياة اليومية:

1. المشكلة: أمين المكتبة "المغبش"

لاحظ المؤلفون أن نماذج "المحول" القياسية لديها "انحياز". فهي تشبه كاميرا ذات سرعة غالق بطيئة؛ تلتقط الحركة العامة للسيارة بشكل جيد، لكن تفاصيل دوران العجلات تصبح مغبشة. ومن حيث البيانات، تركز هذه النماذج كثيرًا على الاتجاهات البطيئة وتتجاهل التغيرات السريعة وعالية التردد التي غالبًا ما تكون حاسمة للتنبؤات الدقيقة.

2. الحل: نظارات "المرشح الطيفي"

أضاف المؤلفون خطوة جديدة في بداية العملية تمامًا. فقبل أن تدخل البيانات إلى "المحول" (أمين المكتبة)، تمر عبر مرشح طيفي قابل للتعلم (Learnable Spectral Filter).

التشبيه: تخيل أنك تستمع إلى أغنية تحتوي على الكثير من الضجيج في الخلفية وبعض النغمات العالية المهمة. إذا وضعت سماعات عازلة للضوضاء مضبوطة لتعزيز تلك النغمات العالية وتقليل الترددات المنخفضة المزعجة، فستصبح الأغنية أكثر وضوحًا.
كيف يعمل: ينظر هذا المرشح إلى البيانات في "نطاق التردد" (مثل النظر إلى طيف موجة صوتية). إنه يتعلم أي أجزاء الإشارة هي المهمة ويقوم بتضخيمها، بينما يخمد الضجيج. والأهم من ذلك، أن هذه "النظارات" قابلة للتعلم، مما يعني أن الكمبيوتر يستطيع اكتشاف نوع "الضبط" المطلوب لكل مجموعة بيانات محددة.

3. النتيجة: "فلترة ثم انتباه"

تطلق الورقة البحثية على هذا النهج الجديد اسم FilterFormer (وإصدارات مثل iFilterFormer). سير العمل بسيط:

الفلترة (Filter): تمر البيانات عبر النظارات الخاصة أولاً.
الانتباه (Attend): يتم تسليم البيانات المنقحة والواضحة إلى "المحول".

ولأن البيانات قد تم "تجهيزها" مسبقًا وتم الحفاظ على التفاصيل عالية التردد، يمكن للمحول القيام بعمله بشكل أفضل بكثير.

4. النتائج الرئيسية (سحر الطريقة)

اختبر المؤلفون هذه الطريقة على تسعة مجموعات بيانات مختلفة من العالم الحقيقي (مثل استهلاك الكهرباء، وحركة المرور، والطقس) ووجدوا بعض الفوائد المذهلة:

دقة أفضل: في كثير من الحالات، أدى إضافة هذه المرشحات إلى تحسين دقة التنبؤ بنسبة 5% إلى 10%. في عالم الذكاء الاصطناعي، يعد التحسن بنسبة رقم واحد غالبًا أمرًا ضخمًا، وعادة ما يتطلب عمليات إصلاح معقدة وهائلة. هنا، كان مجرد إضافة بسيطة.
نماذج أصغر: نظرًا لأن المرشح يقوم بالكثير من العمل الشاق، فإن نموذج "المحول" الرئيسي لا يحتاج لأن يكون "عضليًا" للغاية. وجد المؤلفون أنه يمكنهم تقليص حجم النموذج (أبعاد التضمين) ومع ذلك الحصول على نتائج أفضل. الأمر يشبه إعطاء عداء أحذية أفضل لكي لا يحتاج إلى قوة طبيعية أكبر للفوز في السباق.
رخيص وسريع: لا يضيف المرشح أي وزن إضافي تقريبًا إلى ذاكرة الكمبيوتر أو قدرة المعالجة (حوالي 1,000 معلمة إضافية فقط). إنه "غداء مجاني" في عالم الذكاء الاصطناعي: تحصل على أداء أفضل دون دفع تكلفة باهظة في السرعة أو الذاكرة.
إصلاح "التنعيم الزائد": أثبت المؤلفون أن المرشح يساعد تحديدًا النموذج على رؤية الأجزاء "السريعة" من البيانات التي يفتقدها "المحول" عادةً. بدون المرشح، يقوم "المحول" بتنعيم الحواف الحادة؛ ومع المرشح، تظل تلك الحواف حادة.

5. تنبيه: "المدخلات السيئة تؤدي لنتائج سيئة"

تشير الورقة أيضًا إلى أن المرشح ليس عصا سحرية للبيانات "السيئة". في حالة واحدة محددة (مجموعة بيانات حركة مرور بها مستشعر معطل)، جعل المرشح الأمور أسوأ في البداية لأن البيانات نفسها كانت غير متسقة بين التدريب والاختبار. ومع ذلك، بمجرد إزالة تلك البيانات السيئة، عمل المرشح بشكل مثالي. وهذا يثبت أن المرشح يعزز قدرة النموذج على التعلم، لكنه لا يستطيع إصلاح المدخلات المعطلة.

الملخص

تجادل الورقة البحثية بأن نماذج "المحول" رائعة، لكنها تميل إلى "الترددات المنخفضة" (تحب الأشياء البطيئة). ومن خلال إضافة مرشح ترددي بسيط وقابل للتعلم في البداية، يمكننا شحذ البيانات، مما يسمح لـ "المحول" برؤية الصورة الكاملة بوضوح. ينتج عن ذلك نماذج أكثر دقة، وأصغر حجمًا، وأسرع، مما يجعلها أفضل في التنبؤ بمستقبل الأنظمة المعقدة مثل شبكات الطاقة أو تدفقات حركة المرور.

ملخص تقني: التصفية ثم الانتباه (Filter Then Attend)

بيان المشكلة

شهد التنبؤ بالسلاسل الزمنية طويلة المدى (LTSF) تطورات كبيرة من خلال النماذج القائمة على المحولات (Transformers)، والتي غالبًا ما تحقق نتائج رائدة. ومع ذلك، تعاني هذه النماذج من قصورين أساسيين: الانحياز نحو المكونات منخفضة التردد في البيانات، والمتطلبات العالية للحوسبة والذاكرة. وبينما حاولت أعمال حديثة دمج تعلم التردد في نماذج التنبؤ العميقة، إلا أن العديد منها يعتمد على الشبكات العصبية متعددة الطبقات (MLPs) لمعالجة الإشارات المصفاة، مما يفشل في حل أوجه القصور المتأصلة في بنيات المحولات (Transformers). علاوة على ذلك، تشير الأدبيات الحالية إلى أن المحولات قد تعمل كمرشحات تمرير منخفض (low-pass filters)، مما قد يؤدي إلى "تنعيم مفرط" (oversmoothing) للإشارات والفشل في التقاط الأنماط عالية التردد الضرورية للتنبؤ الدقيق طويل المدى.

المنهجية

تقترح الورقة تعديلاً بنيوياً بسيطاً وفعالاً: وضع مرشح طيفي قابل للتعلم في بداية النماذج القائمة على المحولات. هذا النهج، المسمى "التصفية ثم الانتباه" (Filter Then Attend)، يدمج معالجة المجال الترددي مباشرة في مسار عمل المحول.

البنية الأساسية: FilterFormer

قدم المؤلفون نموذج FilterFormer، وهو نموذج يمرر بيانات السلاسل الزمنية عبر مرشح قابل للتعلم قبل تطبيق آليات الانتباه القياسية للمحول. تتكون البنية من المكونات التالية:

تضمين المدخلات والترقيع (Input Embedding and Patching): اتباعاً لإطار عمل PatchTST، يتم التعامل مع السلسلة الزمنية المدخلة كمتواليات أحادية المتغير مستقلة. يتم تطبيع هذه المتواليات وتقسيمها إلى "رقع" (patches) متداخلة أو غير متداخلة. يتم تضمين كل رقعة في فضاء كامن وتعزيزها بتمثيلات موضعية (positional embeddings).
الكتلة الطيفية (Spectral Block): قبل آلية الانتباه، تخضع الرقع المضمنة لمعالجة طيفية.
- يتم تحويل الإشارة إلى المجال الترددي باستخدام تحويل فوريه السريع (FFT).
- يتم تطبيق مرشح قابل للتعلم عبر الضرب النقطي في المجال الترددي. يتم تهيئة هذا المرشح كمجموعة عشوائية من المعاملات الحقيقية وتحويلها عبر rFFT.
- يتم تحويل الإشارة المصفاة مرة أخرى إلى المجال الزمني باستخدام تحويل فوريه المنفصل العكسي (IDFT).
- على عكس الأعمال السابقة (مثل FilterNet) التي تعالج الإشارة المصفاة حصرياً عبر MLP، فإن هذه الطريقة تمرر الإشارة المصفاة مباشرة إلى كتلة الانتباه الخاصة بالمحول.
- ملاحظة: في التنفيذ المحدد لـ FilterFormer، يتم تضمين MLP صغير داخل الكتلة الطيفية، لكن المؤلفين يشيرون إلى أنه في النسخ الأخرى (iFilterFormer، FilterLeddam)، يمكن الاستغناء عن الـ MLP لتقليل المعاملات.
كتلة الانتباه (Attention Block): تتم معالجة الرقع المصفاة بواسطة آليات الانتباه الذاتي متعددة الرؤوس القياسية. يتناوب النموذج بين الكتل الطيفية وكتل الانتباه، ويتم التحكم في النسبة عبر معامل فائق $\alpha$ .
المخرجات: يتم تسطيح التمثيل النهائي وربطه بأفق التنبؤ عبر رأس خطي (linear head).

كما أنشأ المؤلفون نسخاً مختلفة من هذا النهج مطبقة على نماذج أساسية أخرى: iFilterFormer (بناءً على iTransformer) و FilterLeddam (بناءً على Leddam).

المساهمات الرئيسية

دمج المرشحات القابلة للتعلم: تثبت الورقة أن إضافة مرشح تردد قابل للتعلم إلى مدخلات النماذج القائمة على المحولات يعزز بشكل كبير أداءها في مهام LTSF.
الكفاءة وتقليل المعاملات: تضيف عملية التصفية حوالي 1,000 معامل تقريباً. والأهم من ذلك، تسمح هذه الإضافة بتقليل بُعد التضمين (embedding dimension) للمحول الأساسي. وبناءً على ذلك، تكون النماذج الناتجة غالباً أصغر وأسرع من نظيراتها غير المصفاة مع تحقيق دقة متفوقة أو مماثلة.
تحليل الاستفادة الطيفية: من خلال تجارب اصطناعية، يقدم المؤلفون دليلاً على أن المرشحات تمكن المحولات من التقاط الأنماط عالية التردد بشكل أفضل. ويفترضون أن المحولات القياسية تعمل كمرشحات تمرير منخفض (تسبب التنعيم المفرط)، وأن المرشحات القابلة للتعلم تعادل ذلك عبر تضخيم مكونات التردد المتوسط والعالي.
التحقق التجريبي: تم التحقق من المنهجية عبر تسعة مجموعات بيانات متنوعة (تشمل ETT، Electricity، Weather، Traffic، و Solar-Energy) وعدة آفاق تنبؤية.

النتائج التجريبية

قيم المؤلفون نماذجهم مقابل خطوط أساس قوية، بما في ذلك iTransformer، و PatchTST، و Leddam، و FilterNet، و Fredformer، و DLinear.

مكاسب الأداء: عبر مجموعات بيانات متعددة، حققت متغيرات FilterFormer تحسينات نسبية تترا-وحول 5-10% في أداء التنبؤ (مقاسة بـ MSE و MAE). على سبيل المثال، في مجموعة بيانات الكهرباء (ECL)، أظهر FilterFormer تحسناً بنسبة 11.7% مقارنة بـ PatchTST.
المتانة: كانت التحسينات متسقة عبر مجالات مختلفة، وإن لاحظ المؤلفون أنه في مجموعة بيانات حركة المرور (Traffic)، أخفق النموذج في البداية بسبب قناة شاذة (outlier channel) تسببت في تباينات طيفية بين التدريب والاختبار. أدى إزالة هذه القناة الشاذة إلى استعادة الأداء المتفوق للنموذج.
الكفاءة: يوضح الجدول 6 في الورقة أن نماذج FilterFormer تتطلب عدداً أقل بكثير من المعاملات (على سبيل المثال، 0.6 مليون مقابل 3.7 مليون لـ PatchTST) وعدد عمليات حسابية (FLOPs) أقل مع الحفاظ على دقة تنافسية. ويعزى ذلك إلى القدرة على استخدام أبعاد تضمين أصغر عند وجود المرشحات.
التجارب الاصطناعية: في إشارة اصطناعية تحتوي على ترددات منخفضة ومتوسطة وعالية، عانى iTransformer القياسي (MSE = 1.0e-1) بسبب الانحياز الترددي، بينما حقق iFilterFormer (مع المرشح) MSE أقل بكثير (2.6e-4)، مما يعني نمذجة مكونات التردد العالي بفعالية.

الأهمية والادعاءات

تضع الورقة "التصفية ثم الانتباه" كنوع من الـ "وجبة مجانية" (free lunch) في سياق التنبؤ العميق بالسلاções الزمنية. يدعي المؤلفون أن:

إضافة مرشح قابل للتعلم هو تغيير بنيوي طفيف نادراً ما يؤدي إلى تدهور الأداء، ولكنه يمتلك القدرة على تحسينه بشكل جذري.
تعمل المرشحات كبنة أساسية لتمكين المحولات من استخدام الطيف الكامل للبيانات، وتحديداً لمواجهة طبيعة "المرور المنخفض" للآلية الذاتية للانتباه.
المنهج ليس حلاً شاملاً لكل شيء؛ ففعاليته محكومة في النهاية بسعة المحول الأساسي (backbone). ومع ذلك، فهو يسمح لهذه المحولات بالعمل بكفاءة أكبر.
يدعو المؤلفون إلى اعتبار المرشح المتعلم تكويناً أساسياً لنماذج التنبؤ المستقبلية القائمة على المحولات، مقترحين أن العمل المستقبلي يمكن أن يركز على تطوير مرشحات أكثر تقدماً وقابلية للتوجيه والتفسير.

تخلص الورقة إلى أن الجمع بين التصفية الترددية وآليات الانتباه ينتج نموذجاً "أقوى من مجموع أجزائه"، مما يوفر حلاً خفيف الوزن وفعالاً للتنبؤ بالسلاسل الزمنية طويلة المدى.