Retrieval Mechanisms Surpass Long-Context Scaling in Time Series Forecasting

ملخص تقني: آليات الاسترجاع تتفوق على توسيع السياق الطويل في التنبؤ بالسلاسل الزمنية

بيان المشكلة
تتحدى الورقة البحثية "فرضية التوسع" السائدة في نماذج التأسيس للسلاسل الزمنية (TSFMs)، والتي تفترض أن تغذية نماذج السياق التاريخي الأطول (المستعارة من معالجة اللغات الطبيعية) تؤدي بشكل رتيب إلى تحسين جودة التنبؤ. يجادل المؤلفون بأن هذا الافتراض يفشل في المجالات العشوائية (stochastic domains). فخلافاً لرموز اللغة (tokens) التي تحتفظ بقيمتها الدلالية بغض النظر عن موقعها، فإن القيم البعيدة في السلاسل الزمنية العشوائية غالباً ما تشكل ضجيجاً عالي التردد بدلاً من كونها إشارات مفيدة. وتفترض الورقة أن التوسع العشوائي لنافذة السياق يؤدي إلى نمط فشل يُسمى "تراكم الضجيج العشوائي" (Stochastic Noise Accumulation)، حيث يغمر الضجيج المتذبذب غير ذي الصلة آليات الانتباه، مما يضعف قدرة النموذج على وزن الأنماط الحديثة والمعلوماتية.

المنهجية وإطار التجربة
للتحقق تجريبياً من هذه الفرضية، تستخدم الدراسة معيار ETTh1 (درجة حرارة محول الكهرباء) كمرجع، والذي تم اختياره نظراً لتقلباته العشوائية عالية التردد التي تجعل فصل الإشارة أمراً صعباً. يقارن التصميم التجريبي بين ثلاثة بنيات نماذج عبر أطوال نوافذ نظر للخلف متغيرة ($L \in \{720, 1440, 3000\}$) مع أفق تنبؤ ثابت ($H=96$):

1. المحول التقليدي (Vanilla Transformer): بنية مشفر-فك تشفير قياسية ($d_{model}=512$, $n_{heads}=8$) لمراقبة سلوك الانتباه الأساسي.
2. PatchTST: النموذج الحالي الأفضل حالياً (SOTA) الذي يستخدم نظام الترقيع المستقل للقنوات ($P=16, S=8$) للتعامل مع التسلسلات الطويلة بكفاءة.
3. التنبؤ المعزز بالاسترجاع (RAFT): نموذج أساسي يحافظ على نافذة ثابتة قصيرة ($L=720$) ولكنه يحقن مقاطع تاريخية ذات صلة عبر استرجاع التشابه الجيبي (cosine similarity) لأعلى $k$ من العناصر، مع معاملتها كمتغيرات خارجية ديناميكية.

كما تقيم الدراسة نماذج التأسيس ذات التنبؤ الصفري (zero-shot) وهي (Chronos و Moirai) على نفس مجموعة البيانات لتقييم ما إذا كان التدريب المسبق على مجموعات بيانات ضخمة يمكن أن يتغلب على قيود توسيع السياق الطويل. تشمل مقاييس التقييم متوسط الخطأ التربيعي (MSE) ومتوسط الخطأ المطلق (MAE).

النتائج الرئيسية: قانون التوسع العكسي
تكشف التجارب عن قانون توسع عكسي للسلاسل الزمنية العشوائية، وهو ما يتعارض مباشرة مع قوانين التوسع في معالجة اللغات الطبيعية:

• فشل السياق الطويل: مع توسع نافذة السياق، تزداد أخطاء التنبؤ. بالنسبة لنموذج PatchTST، أدى زيادة النافذة من 720 إلى 3,000 خطوة إلى انخفاض في الأداء بنسبة 68% (ارتفاع MSE من 0.385 إلى 0.647). أما المحول التقليدي فقد عانى بشكل أكثر حدة، حيث ارتفع MSE بنسبة تقارب 200%.
• تضخم إنتروبيا الانتباه: يظهر تحليل الآلية أنه مع نمو طول السياق، ترتفع إنتروبيا الانتباه الموحدة من 0.952 ($L=336$) إلى 0.989 ($L=3000$)، مقتربة من التوزيع الموحد. يشير هذا إلى أن آلية الانتباه تتحلل إلى عملية متوسط حسابي عبر مئات المواقع غير ذات الصلة، مما يفقدها القدرة فعلياً على التمييز بين الإشارة والضجيج.
• التحقق عبر النطاقات: هذا التدهور ليس مقتصرًا على ETTh1؛ ففي مجموعة بيانات سعر الصرف (Exchange Rate)، تدهور أداء PatchTST ذو السياق الطويل بنسبة 276.8%، مما يؤكد أن تراكم الضجيج هو مشكلة هيكلية للعمليات العشوائية ذات التقلبات العالية.

النتائج: تفوق الاسترجاع الانتقائي
يتفوق نموذج RAFT على جميع تكوينات السياق الطويل ونماذج التأسيس ذات التنبؤ الصفري:

• الأداء: يحقق نموذج RAFT خطأ MSE قدره 0.379 مع نافذة ثابتة قدرها 720 خطوة واسترجاع انتقائي. وهذا يتفوق على PatchTST عند 720 خطوة (MSE 0.385) ويتفوق بشكل كبير على PatchTST عند 3,000 خطوة (MSE 0.647).
• المقارنة مع التنبؤ الصفري: حتى النماذج الضخمة المدربة مسبقاً تفشل في مضاهاة RAFT. حيث سجل Chronos-T5-Small (MSE 0.483) و Moirai-1.1-R-Small (MSE 0.553) أداءً أسوأ بكثير من RAFT، مما يثبت أن حجم التدريب المسبق لا يعوض عن غياب الاسترجاع السياقي المستهدف في البيئات العشوائية.
• الكفاءة: يتميز RAFT بكفاءة حوسبية أعلى بكثير، حيث استغرق التدريب 2.13 دقيقة مقارنة بـ 83.47 دقيقة للمحول التقليدي ذي الـ 3,000 خطوة، مع تقديم دقة فائقة.

الأهمية والادعاءات
تزعم الورقة أن منطق "السياق الطويل" الخاص بالنماذج اللغوية الكبيرة لا يمكن نقله مباشرة إلى العالم العشوائي للسلاسل الزمنية. المساهمة الرئيسية هي تحديد "تراكم الضجيج العشوائي" كنمط فشل حرج حيث تؤدي زيادة حجم السياق إلى انخفاض الدقة.

يجادل المؤلفون بأن جودة السياق، وليس حجم السياق، هي المحدد لدقة التنبؤ. ومن خلال استخدام الاسترجاع الانتقائي، يقوم RAFT بحقن "انحياز استقرائي مستنير سياقياً" يعمل على تصفية الضجيج قبل عمل آلية الانتباه. وتخلص الورقة إلى أن نماذج التأسيس المستقبلية يجب أن تتحول معمارياً نحو آليات الاسترجاء الانتقائي بدلاً من التوسع الأعمى للنوافذ لتحقيق تنبؤ قوي، فعال، ودقيق في المجالات العشوائية. ويشير العمل إلى أن دمج الاسترجاع مباشرة في التدريب المسبق (مثل رؤوس الاسترجاع الديناميكية) يمثل الحدود الجديدة لنماذج التأسيس للسلاسل الزمنية (TSFMs).