Kalimati Vegetable Price Index Forecasting with a Momentum Corrected Online Stacking Ensemble

ملخص تقني: التنبؤ بمؤشر أسعار الخضروات في كاليماتي باستخدام تجميع عبري متراكم مصحح بالزخم

بيان المشكلة
يواجه التنبؤ بأسعار السلع الزراعية في الاقتصادات الناشئة مثل نيبال عوائق تتمثل في التقلب العالي، وهشاشة سلاسل التوريد، والاعتماد على الرياح الموسمية، وارتفاع الطلب المدفوع بالعوامل الثقافية (مثل المهرجانات). تركز الأدبيات الحالية غالباً على سلع فردية، وهو نهج "ذري" يكون عرضة للصدمات الخاصة بكل سلعة، وندرة البيانات، والضجيج النوعي، مما يحد من قدرة النماذج على التعميم. علاوة على ذلك، تواجه نماذج النمذجة القياسية تحديات متميزة في هذا السياق؛ فالنماذج الإحصائية الكلاسيكية (مثل ARIMA) تعاني مع التفاعلات غير الخطية والعوامل الخارجية عالية الأبعاد، بينما تعاني نماذج التعلم العميق الحديثة (مثل Transformers) من الإفراط في التخصيص (overfitting) وضعف القدرة على التعميم في السلاسل الزمنية متوسطة الحجم والمشوبة بالضجيج كما هو الحال في الأسواق النامية. لم يثبت أي نموذج منفرد حتى الآن كفاءته الكافية للتنبؤ القوي متعدد الآفاق في هذه البيئات المتقلبة.

المنهجية
تقترح الدراسة إطار عمل شاملاً يرتكز على مؤشر جديد على المستوى الكلي واستراتيجية تعلم تجميعي تكيفية.

1. بناء البيانات (KVPI):

• المصدر: سجلات أسعار الجملة اليومية من سوق كاليماتي للفواكه والخضروات (كاتماندو) تغطي الفترة من يونيو 2013 إلى سبتمبر 2023 (280,939 سجلاً، 136 سلعة).
• إنشاء المؤشر: لتخفيف حدة الضجيج، قام المؤلفون بإنشاء مؤشر أسعار الخضروات في كاليماتي (KVPI). وهو مؤشر مركب مجمع بوزن عكسي للتقلب، يجمع 135 سلعة (تلك التي تمتلك أكثر من 365 يوماً من البيانات).
• التوزين: تم وزن السلع عكسياً بالنسبة لمعامل التباين ($CV_c$) لتقليل تأثير العناصر المتقلبة. يمتد المؤشر عبر 3,757 يوماً بنطاق يتراوح بين [90.1، 219.9].
• المعالجة المسبقة: شملت عملية التنظيف الصارمة تحديد القيم المتطرفة (Winsorization) بناءً على حدود المدى الربيعي (IQR) لمجموعة التدريب، ومعالجة القيم المفقودة (عبر الملء الأمامي والتدخل ثنائي الاتجاه)، والفصل الصارم بين مجموعات التدريب (2013-2022) والاختبار (2022-2023) لمنع تسرب البيانات.

2. هندسة الميزات:

• تم تصميم مصفوفة عالية الأبعاد مكونة من 64 متنبئاً صالحاً سببياً.
• المكونات: فترات الإبطاء الذاتي (1-30 يوماً)، الإحصاءات المتحركة (المتوسط، الانحراف المعياري، الحد الأدنى، الحد الأقصى، الوسيط)، المتوسطات المتحركة الموزونة أسياً، التفريق (differencing)، الميزات التقويمية (بما في ذلك مؤشرات عطلات نهاية الأسبوع في نيبال)، ومتغيرات وهمية للمهرجانات مع نوافذ زمنية سابقة ولاحقة للأحداث الكبرى (داشاين، تيهار، إلخ).
• القيد: تم إزاحة جميع الميزات إلى الوراء بمقدار يوم واحد للقضاء تماماً على انحياز النظر المستقبلي (look-ahead bias). كما تم استبعاد الممهدات العالمية غير السببية.

3. النمذجة والتقييم:

• المقارنات المرجعية: تم تقييم 14 بنية معمارية عبر أربعة آفاق زمنية ($h \in \{7, 14, 30, 90\}$ يوماً): النماذج الأساسية الساذجة، النماذج الإحصائية (Auto-ARIMA, SARIMA)، نماذج التجميع القائمة على الأشجار (Random Forest, ExtraTrees, HistGB, XGBoost)، التعلم العميق (LSTM, GRU)، النماذج الهجينة (ARIMA-LSTM, ARIMA-HistGB)، ونماذج المحولات (Transformers) الحديثة (PatchTST, NBEATSx).
• الحل المقترح: تجميع عبري متراكم مصحح بالزخم (Momentum-Corrected Online Stacking Ensemble).
  • الآلية: يستخدم هذا المتعلم الفوقي آلية عبرية سببية. عند كل خطوة $t$، يقوم بحساب مشتق البواقي المتحرك (ميل أخطاء التنبؤ الأخيرة) عبر نافذة $w$.
  • التصحيح: إذا تم اكتشاف انحياز منهجي ($\beta > 0$)، يتم تطبيق عقوبة زخم على تنبؤ المزيج الأساسي.
  • التحسين: حددت عملية بحث تركيبية المزيج الأمثل من نماذج ExtraTrees (لالتقاط التقلبات عالية التردد) و GRU (للتعرف على الاتجاه)، مع وزن ديناميكي نجح في استبعاد النماذج غير الضرورية.

النتائج الرئيسية
أظهر التجميع عبري المتراكم المصحح بالزخم أداءً فائقاً عبر جميع الآفاق، لا سيما في المدى الطويل.

• الأفق طويل المدى (90 يوماً):
  • جذر متوسط مربع الخطأ (RMSE): 1.771 (الأقل بين جميع النماذج).
  • متوسط نسبة الخطأ المطلق (MAPE): 0.684%.
  • معامل التحديد ($R^2$): 0.845 (يفسر 84.5% من التباين).
  • المقارنة: تفوق هذا النموذج بشكل كبير على أفضل نموذج فردي، وهو XGBoost ($R^2 = 0.824$)، وتجاوز النماذج الإحصاسية ونماذج المحولات (Transformers) بفارق شاسع، حيث سجلت الأخيرة غالباً قيم $R^2$ سالبة عند هذا الأفق (على سبيل المثال، NBEATSx سجل $R^2 = -21.371$).
• المدى القصير والمتوسط: حافظ التجميع على أدنى مستويات RMSE عند $h=7$ (2.330)، و $h=14$ (2.237)، و $h=30$ (1.828).
• تسلسل النماذج:
  • أثبتت نماذج التجميع القائمة على الأشجار أنها الأكثر قوة بين المنافسين الفرديين.
  • التعلم العميق (LSTM/GRU): مع ضبط دقيق للمعلمات (100 تجربة) والوصول الكامل للميزات، حققت هذه النماذج نتائج تنافسية ($R^2 \approx 0.77$)، مما يتحدى الفرضية القائلة بأنها تتطلب حصراً مجموعات بيانات ضخمة.
  • المحولات (PatchTST, NBEATSx): عانت من صعوبات مع البيانات المشوبة بالضوضاج والمدفوعة ثقافياً، وأظهرت تدهوراً حاداً في الأداء.
  • النماذج الإحصائية: أظهرت تدهوراً شديداً عبر الآفاق الأطول بسبب افتراضات الخطية.

الأهمية والادعاءات
يزعم البحث أن التجميع عبري المتراكم المصحح بالزخم يقدم أداة عملية وموثوقة للتنبؤ بتحركات الأسعار في الأسواق الناشئة المتقلبة. تكمن أهميته الأساسية في:

1. الاستقرار: من خلال تجميع 135 سلعة في مؤشر KVPI، تخلق الدراسة إشارة ماكرو مستقرة تقلل من الضجيج المتأصل في نمذجة المحاصيل الفردية.
2. القدرة على التكيف: تعمل آلية تصحيح الزخم على ضبط الانحياز المنهجي ديناميكياً أثناء الانكسارات الهيكلية وصدمات الطلب الثقافية (مثل طفرات المهرجانات)، مما يعالج سلوك "التأخر" الشائع في التجميعات الثابتة.
3. الرؤية المنهجية: توضح الدراسة أن السلاسل الزمنية الاقتصادية متوسطة الحجم والمشوبة بالضجيج يمكن التنبؤ بها عبر تجميع مضبوط بعناية من النماذج القائمة على الأشجار والنماذج المتكررة بشكل يتفوق على بنى المحولات المعقدة والمنهجيات الإحصائية الكلاسيكية.
4. الفائدة السياساتية: يوفر خط العمل مفتوح المصدر لصناع السياسات والجهات الفاعلة في سلاسل التوريد في نيبال والأسواق المماثلة أساساً قابلاً لإعادة الإنتاج لتعزيز شفافية السوق، ودعم القرارات القائمة على الأدلة، وتعزيز الأمن الغذائي.

يشير المؤلفون إلى وجود قيود، بما في ذلك الاعتماد على هياكل الأسعار التاريخية دون وجود محركات خارجية صريحة مثل الطقس أو تكاليف الوقود، والحاجة إلى نوافذ تحقق أطول عبر الأنظمة الاقتصادية المتنوعة. ومع ذلك، يتم تقديم الإطار كقاعدة قوية للتوسعات المستقبلية.