Factorize to Generalize: Retrieval-Guided Invariant-Dynamic Decomposition for Time Series Forecasting

ملخص تقني: التفكيك من أجل التعميم (RIDDE)

بيان المشكلة
أظهرت نماذج التأسيس للسلاسل الزمنية (TSFMs) قدرات قوية في التنبؤ بـ "الصفر" (zero-shot) من خلال التدريب المسبق واسع النطاق والتنبؤ المعزز بالاسترجاع. ومع ذلك، يحدد المؤلفون قصوراً غير بديهي في النهج الحالية القائمة على الاسترجاع: حيث يميل الاسترجاع إلى إحداث تنبؤات أكثر تذبذباً. وبينما يحسن هذا الأداء في السلاسل شديدة التقلب، فإنه يقلل من الدقة في السلاسل الأكثر سلاسة والتي تهيمن عليها الاتجاهات (trends). ويكشف التحليل التجريبي أن الاسترجاع يقلل الأخطاء في المكونات عالية التردد (الموسمية) ولكنه يزيد الأخطاح في المكونات منخفضة التردد (الاتجاهات). يشير هذا إلى أن المعلومات المسترجعة يتم دمجها في التنبؤ دون التمييز صراحة بين الهياكل الزمنية المستقرة (الثابتة عبر البيئات) والتباينات الخاصة بكل حالة (الديناميكية). وبناءً على ذلك، تتعلم النماذج القياسية تمثيلات متشابكة تقلل من المتانة تحت ظروف تغير التوزيع.

المنهجية: إطار عمل RIDDE
يقترح المؤلفون إطار عمل RIDDE (التفكيك الموجه بالاسترجاع للثبات والديناميكية)، وهو إطار يغير دور الاسترجاع من كونه سياقاً تنبؤياً مباشراً إلى إشارة هيكلية لتفكيك التمثيل. الجوهر المنطقي هو أن المتواليات المسترجعة تعمل كعينات ضمنية من بيئات ذات صلة؛ فبينما تشترك في الآليات الأساسية مع الاستعلام (query)، إلا أن تبايناتها الديناميكية تختلف.

يعمل إطار العمل من خلال المراحل التالية:

1. تعلم التمثيل الموجه بالاسترجاع:

   • يتم تقسيم تسلسل الاستعلام المدخل إلى قطع (patches) وتشفيره.
   • يتم استرجاع أعلى $K$ من المتواليات المتشابهة من قاعدة معرفية بناءً على تشابه جيب التمام (cosine similarity) في الفضاء الكامن.
   • بدلاً من إعادة استخدام السياقات المسترجعة مباشرة، يتم إسقاط الآفاق المستقبلية لهذه العينات المسترجعة في فضاء كامن مشترك وتجميعها عبر آلية انتباه (attention mechanism). ينتج عن ذلك تمثيل توافقي ($h_{ret}$) يركز على الأنماط المتوافقة باستمرار مع الاستعلام، مما يقلل فعلياً من تباين التقلبات الخاصة بكل عينة.
   • تقوم آلية بوابات (gating mechanism) قابلة للتعلم بدمج تمثيل الاستعلام الجوهري ($q$) مع التوافق المسترجع ($h_{ret}$) لتشكيل تمثيل مدمج ($h$).

2. تفكيك الثبات والديناميكية:

   • تقوم آلية توجيه موجهة بالاسترجاع بتفكيك التمثيل المدمج $h$ إلى مكونين:
     • المكون الثابت ($z_{inv}$): يُشجع على الحفاظ على الهياكل المستقرة المدعومة عبر العينات المسترجعة.
     • المكون الديناميكي ($z_{dyn}$): يُشجع على التقاط الانحرافات والتباينات المتبقية الخاصة بالاستعلام.
   • يتم توجيه هذا التفكيك عبر بوابة توجيه مشروطة بكل من التمثيل المدمج والتوافق المسترجع، مما يوجه التقسيم نحو المعلومات الهيكلية المقدمة من الاسترجاع.

3. التنبؤ المدرك للآلية:

   • يتم معالجة المكونين الثابت والديناميكي بواسطة متنبئات منفصلة ($f_{inv}$ و $f_{dyn}$).
   • يتم الحصول على التنبؤ النهائي من خلال دمج مخرجات هذه المسارات المنفصلة، مما يسمح للنموذج بالموازنة بين الأنماط القابلة للنقل والقدرة على التكيف مع الديناميكيات المتطورة.

4. أهداف التدريب:

   • يتم تدريب النموذج باستخدام خسارة التنبؤ ($L_{pred}$) لتقليل خطأ التنبؤ.
   • تم إدخال منظم تفكيك قائم على التعامد ($L_{dis}$) لتقليل التداخل بين العوامل الثابتة والديناميكية، والذي يعمل كقيد هندسي ضعيف لتشجيع التفكيك الهيكلي.

الرؤية النظرية
يقدم البحث منظوراً نظرياً يعتمد على تقليل التباين. من خلال تجميع عدة عينات مسترجعة، يقرب التمثيل التوافقي الهيكل الكامن المشترك ($\mu$) مع تقليل تباين الضوضاء الخاصة بكل عينة ($\epsilon_k$). يعمل هذا التجميع كمرساة منخفضة التباين، مما يحفز استخدامه كدليل هيكلي لفصل العوامل الثابتة والديناميكية دون الحاجة إلى إشراف صريح على البيئة.

المساهمات الرئيسية

• تحديد القصور: حدد المؤلفون أن التنبؤ المعزز بالاسترجاع يفرض انحيازاً هيكلياً نحو التقلبات عالية التردد، مما يضعف نمذجة الاتجاهات المستقرة.
• إطار عمل RIDDE: يقترح إطار عمل جديد يستخدم الاسترجاع كإشارة هيكلية لتفكيك التمثيل بدلاً من مجرد سياق تنبؤي مساعد.
• آلية التوجيه: طور آلية توجيه تعمل على تفكيك التمثيلات المدركة للاسترجاع إلى مكونات ثابتة وديناميكية، مدعومة بمنظم لتشجيع الفصل بين الفروع.
• التحقق التجريبي: أظهر تحسينات متسقة في المتانة وأداء التنبؤ بـ "الصفر" تحت ظروف تغير التوزيع عبر مختلف الاختبارات المرجعية.

النتائج التجريبية
أُجريت تجارب مكثفة على سبعة مجموعات بيانات مرجعية (ETTh1, ETTh2, ETTm1, ETTm2, Weather, Electricity, Exchange) في إعداد التنبؤ بـ "الصفر".

• الأداء: حقق RIDDE أفضل متوسط لـ MSE و MAE عبر جميع مجموعات البيانات، متفوقاً على سبعة نماذج TSFM قائمة (بما في ذلك Chronos, MOMENT, TimesFM) وثلاثة نماذج أساسية تعتمد على RAG (مثل RAF, TS-RAG, Cross-RAG).
• دراسات الاستئصال (Ablation Studies): أدى إزالة تفكيك الثبات والديناميكية (IDD) أو خسارة التفكيك ($L_{dis}$) إلى تدهور كبير في الأداء، مما يؤكد ضرورة كلا المكونين.
• الكفاءة: أظهر RIDDE أوقات خطوة متوسطة وأوقات تدريب لكل حقبة أقل مقارنة بالنماذج القائمة على RAG، مع استهلاك مماثل لذروة ذاكرة وحدة معالجة الرسومات، ويعزى ذلك إلى تصميم البوابة والتفكيك خفيف الوزن.
• الحساسية: أظهر النموذج أداءً قوياً عبر مجموعة من المعلمات الفائقة (hyperparameters)، لا سيما فيما يتعلق بعدد المتواليات المسترجعة ($K$) ومعلمة القياس ($\rho$).

الأهمية
يجادل البحث بأن فعالية الاسترجاع في التنبؤ بالسلاسل الزمنية ليست موحدة؛ إذ يمكن أن تؤدي دون قصد إلى انحياز النماذج نحو الأنماط المتذبذبة. ومن خلال إعادة صياغة الاسترجاع كأداة لـ تفكيك التمثيل، يُمكّن RIDDE النماذج من الحفاظ على الهياكل الزمنية القابلة للنقل مع البقاء متكيفة مع الديناميكيات المحددة. يوفر هذا النهج بديلاً هيكلياً لطرق الدمج القياسية، مما يحسن المتانة تحت ظروف تغير التوزيع دون الحاجة إلى ضبط دقيق خاص بالمهمة. ويشير العمل إلى أن تفكيك العوامل الثابتة والديناميكية أمر بالغ الأهمية للتعميم في البيئات غير المستقرة.