Cost-Aware Evaluation of Time-Series Foundation Models for Urban Air-Quality and Temperature Forecasting
تُظهر هذه الدراسة أنه بالنسبة للتنبؤ بجودة الهواء ودرجة الحرارة في المناطق الحضرية في المدن ذات الموارد المحدودة، فإن النماذج التأسيسية ذات التعلم الصفري غالباً ما تضاهي أو تتفوق على النهج المتخصصة ونماذج تعلم النقل عند تقييمها في ظل قيود واقعية على البيانات والحوسبة، مما يتحدى الافتراض القائل بأن النماذج التأسيسية الضخمة غير مناسبة لمثل هذه عمليات النشر.
تتنفس المدن نوعاً جديداً من الخطر، خطراً يتطلب مراقبة مستمرة وفائقة الدقة على المستوى المحلي للحفاظ على سلامة الناس. فالجزيئات الدقيقة في الهواء، غير المرئية للعين ولكنها قاتلة للرئتين، تعد سبباً رئيسياً للوفاة المبكرة في جميع أنحاء العالم، وتضرب بقوة أكبر في الأماكن التي يكون فيها الهواء أكثر تلوثاً والبيانات أكثر ندرة. ولمواجهة هذا، يحتاج مخططو المدن والمسؤولون الصحيون إلى معرفة ما سيفعله الهواء في الساعات القليلة القادمة، وتحديداً عند مستوى زاوية شارع واحد. كما يحتاجون أيضاً إلى التنبؤ بدرجات الحرارة المحلية لإدارة موجات الحر واستهلاك الطاقة. تكمن المشكلة في أن المدن التي تحتاج إلى هذه التوقعات بشدة غالباً ما تفتقر إلى السجلات الطويلة والنظيفة من البيانات وقوة الحوسبة الباهظة المطلوبة لبناء أدوات تنبؤ مخصصة. ولسنوات، كان النصيحة القياسية لهؤلاء المشغلين المحدودي الموارد هي بناء نماذج صغيرة وفعالة من الصفر، أو استعارة المعرفة من المدن الغنية بالبيانات، تحت افتراض أن محركات التنبؤ الأحدث والأكثر قوة هي ببساطة أثقل وأكثر تعقيداً من أن تعمل على حافة الشبكة.
قرر فريق من الباحثين من جامعة راجشاهي في بنغلاديش اختبار هذا الافتراض الذي ساد لفترة طويلة. لقد سعوا لمعرفة ما إذا كان الجيل الأحدث من "النماذج التأسيسية" — وهي أنظمة ذكاء اصطناعي ضخمة تم تدريبها مسبقاً على كميات هائلة من البيانات من جميع أنحاء العالم — يمكنها بالفعل التنبؤ بجودة الهواء ودرجة الحرارة لمدينة معينة دون أن يتم تدريبها مطلقاً على بيانات تلك المدينة. وقارنوا بين ثلاثة نهج مختلفة: تدريب نموذج صغير ومخصص محلياً؛ واستعارة نموذج من مدينة غنية بالبيانات وتعديله ليتناسب مع الظروف المحلية؛ ومجرد تحميل نموذج تأسيسي مدرب مسبقاً وتركه يعمل فوراً، وهي طريقة تُعرف باسم "التعلم من الصفر" (zero-shot learning). وقد اختبروا هذه الاستراتيجيات عبر تسع وعشرينين مدينة، تراوحت بين المراكز الغنية بالبيانات مثل سيول ونيويورك، والمواقع الشحيحة بالبيانات مثل نيروبي وكامبالا، مع التركيز على مستويات تلوث الهواء في كل ساعة ودرجات الحرارة المحلية.
لقد قلبت النتائج المفهوم السائد بأن النماذج التأسيسية ثقيلة جداً للاستخدام المحلي. فعند التنبؤ بتلوث الهواء، كان النموذج التأسيسي المدرب مسبقاً يؤدي بشكل جيد تماماً مثل المتخصص المحلي المعدل بعناية، رغم أن النموذج التأسيدي لم يرَ قط نقطة بيانات واحدة من المدينة المحلية. وفي الواقع، عندما أخذ الباحثون في الاعتبار تكلفة الطاقة والوقت المطلوب لتدريب النماذج، غالباً ما كان الخيار المدرب مسبقاً هو الأفضل. فقد استهلك النموذج التأسيسي طاقة أقل بنحو عشر مرات من النماذج المحلية عندما يحتاج النظام إلى إعادة التدريب بشكل متكرر، وهو مطلب شائع للحفاظ على دقة التوقعات. الحالة الوحيدة التي أصبح فيها النموذج المحلي المدرب مخصصاً أكثر كفاءة في استخدام الطاقة هي إذا تم تدريبه مرة واحدة ثم تُرِك دون تغيير لمدة عام تقريباً، وهو سيناريو نادراً ما يحدث في عالم مراقبة جودة الهواء سريع التغير.
كما كشفت الدراسة عن خلل خفي في كيفية إجراء العديد من المقارنات العلمية. فعند التنبؤ بدرجة الحرارة، بدا النموذج المتخصص المحلي متفوقاً بشكل كبير، لكن هذه الميزة تلاشت بمجرد أن صحح الباحثون خطأً طفيفاً في التوقيت. فقد أعطت الاختبارات الأصلية للنموذج المحلي "توقعات جوية مثالية" للظروف المستقبلية التي يحتاجها لإجراء تنبؤه، وهي ميزة غير عادلة لا توجد في العالم الحقيقي. وبمجرد أن قيد الباحثون النموذج باستخدام بيانات الطقس المتاحة فعلياً في لحظة إجراء التنبؤ، تقلص تفوق النموذج المحلي إلى فرق ضئيل، وظل النموذج التأسيسي المدرب مسبقاً منافساً قوياً وموثوقاً. تشير هذه النتيجة إلى أن العديد من الدراسات السابقة التي تدعي تفوق طريقة على أخرى قد تكون قد أُسيء فهمها بسبب خطأ التوقيت نفسه.
في نهاية المطاف، وجد الباحثون أنه بالنسبة للمدن ذات البيانات المحدودة والميزانيات الضيقة، فإن أفضل استراتيجية هي غالباً التوقف عن محاولة بناء محرك مخصص والبدء في تحميل محرك جاهز. فقد أثبت النموذج التأسيسي المدرب مسبقاً أنه لا يمكن تمييزه إحصائياً عن أفضل النماذج المحلية من حيث الدقة، بينما يوفر ميزة هائلة في السرعة وكفاءة الطاقة. إنه يعمل دون الحاجة إلى فريق مهندسين محلي أو تاريخ طويل من البيانات المحلية. وتخلص الدراسة إلى أن النهج الافتراضي العملي للتنبؤ في المدن الشحيحة بالبيانات قد تغير: فبدلاً من تدريب نموذج صغير، فإن المسار الأكثر فعالية وكفاءة هو تحميل نموذج كبير مدرب مسبقاً وتركه يقوم بالعمل. ومن شأن هذا التغيير أن يجعل التنبؤ عالي الجودة لجودة الهواء ودرجة الحرارة متاحاً للمدن التي طالما تم تهميشها، محولاً تحدياً هندسياً معقداً إلى مجرد مسألة بسيطة تتعلق بتحميل ملف.
ملخص تقني: تقييم مراعٍ للتكلفة لنماذج التأسيس للسلاسل الزمنية في التنبؤ بجودة الهواء ودرجة الحرارة في المناطق الحضرية
بيان المشكلة غالباً ما تمتلك المدن الأكثر احتياجاً لتوقعات محلية فائقة الدقة لجودة الهواء والطقوا ت سجلات بيانات أقصر وميزانيات حوسبة أضيق. يواجه المشغلون في هذه البيئات محدودة الموارد عادةً ثلاث استراتيجيات للنشر: تدريب متخصص محلي كفء (عبر البحث عن البنية العصبية أو النماذج القياسية)، أو نقل نموذج من مدن غنية بالبيانات، أو استخدام نماذج تأسيسية للسلاسل الزمنية (TSFMs) بطريقة "الصفر استباقي" (zero-shot). هناك افتراض سائد في هذا المجال مفاده أن النماذج التأسيسية ثقيلة حوسبياً للغاية بحيث لا يمكن نشرها عند الحافة (edge deployment)، مما يجعل البحث والنقل المسارين الوحيدين المتاحين للكفاءة. علاوة على ذلك، تعتمد معايير التقييم القياسية غالباً على متغيرات مصاحبة ذات "تنبؤ مثالي" (استخدام بيانات الطقس المستقبلية المتاحة عند وقت التنبؤ المستهدف)، مما قد يضخم أداء النماذج المعتمدة على المتغيرات المصاحبة بشكل مصطنع، لا سيال في المقارنات عبر المجالات. تختبر هذه الدراسة مدى صحة فرضية "النماذج التأسيسية ثقيلة جداً"، وتتقصى ما إذا كانت العيوب المنهجية في توقيت المتغيرات المصاحبة تشوه الاستنتاجات عبر المجالات.
المنهجية تقيم الدراسة خمس طبقات من النماذج عبر لوحة تضم 29 مدينة (14 غنية بالبيانات، 15 شحيحة البيانات) في مجالين: PM2.5 الحضري لكل ساعة، ودرجة حرارة الهواء على ارتفاع مترين. يتضمن إطار التقييم ما يلي:
طبقات النماذج:
النموذج الموسمي الساذج (Seasonal-naïve): يعتمد على استمرارية لمدة 168 ساعة.
متخصص LightGBM: نموذج أشجار تعزيز التدرج يستخدم المتغيرات المتأخرة، والميزات التقويمية، والمتغيرات الأرصادية المصاحبة.
NAS-GRU: نموذج متكرر بـ 153 ألف معلمة، تم اكتشافه عبر البحث عن البنية العصبية متعدد الأهداف (Green-NAS-A).
Chronos-Bolt (Zero-shot): نموذج تأسيسي بـ 48 مليون معلمة يعمل دون تدريب، باستخدام نافذة سياقية مدتها أربعة أسابيع.
Chronos-Bolt + المتغيرات المصاحبة: نسخة حيث يتنبأ النموذج بـ "البواقي" (residual) لنموذج انحدار ريدج (ridge regression) على المتغيرات المصاحبة.
تجربة استئصال توقيت المتغيرات المصاحبة (Covariate Timing Ablation): يتم تقييم النماذج تحت نظامين:
السببية (القابل للنشر): تُقيد المتغيرات المصاحبة بالقيم المعروفة عند أصل التنبؤ (آخر القيم المعروفة).
التنبؤ المثالي (الحد الأعلى): تُضبط المتغيرات المصاحبة على قيمها عند زمن التنبؤ المستهدف (الاصطلاح المعياري للمقارنة المرجعية).
مقاييس التقييم: يُقاس الدقة عبر خطأ متوسط النسبة المطلقة (MASE) مع مقياس ثابت لكل سلسلة. ويتم تقييم الأهمية الإحصائية باستخدام اختبارات Diebold–Mariano، وsign، وWilcoxon تحت ضبط معدل الاكتشاف الخاطئ (FDR)، جنباً إلى جنب مع اختبارات التكافؤ المزدوجة (TOST).
التكلفة والطاقة: تُقاس استهلاك الطاقة مباشرة على أجهزة من فئة الحافة/المعالج (وحدة معالجة رسومات للمستهلك ومعالج فقط) باستخدام codecarbon. وتولد قاعدة قرار مراعية للتكلفة الحد الأدنى من MASE+λ⋅USD/1000 forecasts لإنشاء خرائط الفائزين بالنشر.
تجربة التعلم بنقل المعرفة (E4): يتم تدريب مسبق لنموذج NAS-GRU على مدن غنية بالبيانات، ثم ضبطه بدقة (fine-tuning) على مدن شحيحة البيانات عند ميزانيات بيانات متفاوتة ({0, 1, 10, 100}% من التاريخ المحلي) لمقارنته بالأداء "الصفر استباقي".
النتائج الرئيسية
أداء PM2.5: تحت المتغيرات المصاحبة السببية القابلة للنشر، لا يوجد فرق جوهري إحصائياً بين نموذج Chronos-Bolt (الصفر استباقي) ونموذج LightGBM المتخصص المضبوط (MASE 0.662 مقابل 0.692). ولا يسجل أي منهما فوزاً ذا دلالة إحصائية (FDR-significant) على الآخر عبر المدن الـ 29. وتحت المتغيرات ذات التنبؤ المثالي، يتساويان رسمياً عند هامش 0.05-MASE. كما لا يظهر أداء النموذج الصفر استباقي أي ارتباط قابل للكشف مع حجم البيانات المحلية.
أداء درجة الحرارة: التفوق الظاهري للمتخصص (MASE 0.533 مقابل 0.792) تحت متغيرات التنبؤ المثالي هو نتاج اصطناعي لعرف التقييم. فعند تقييده بالمتغيرات السببية، يتقلص تفوق المتخصص إلى فرق ضئيل غير معتد به إحصائياً (MASE 0.745 مقابل 0.792). وقد أدى افتراض "التنبؤ المثالي" وحده إلى تحسين قدره +0.212 في MASE لصالح المتخصص في هذا المجال.
التعلم بنقل المعرفة: في نظام البيانات الشحيحة، لم يتفوق وصفة التعلم بنقل المعرفة (NAS-GRU المدرب مسبقاً) بشكل ملحوظ على النموذج الصفر استباقي عند أي ميزانية للضبط الدقيق. بل إن النموذج الصفر استباقي يتصدر عند كل مستوى ميزانية.
الطاقة والتكلفة: تحت بروتوكول إعادة التدريب المتكرر، يستهلك النموذج الصفر استباقي طاقة أقل بحوالي عشرة أضعاف (1.0–1.2 كيلوجول/1,000 تنبؤات) مقارنة بالمتخصص (9.5–15.1 كيلوجول/1,000 تنبؤات) لأنه يتجنب خطوة التدريب. ومع ذلك، تشير الدراسة إلى أن المتخصص الذي تم تدريبه مرة واحدة يصبح في النهاية أكثر كفاءة في استهلاك الطاقة بعد حوالي 2,800–4,400 تنبؤ (120–180 يوماً من الخدمة الساعية).
خرائط النشر: عند دمج التكلفة في الهدف، تهيمن عائلة النماذج التأسيسية الصفر استباقية على خرائط الفائزين بالنشر لـ PM2.5 ومعظم سيناريوهات درجة الحرارة تحت توافر المتغيرات السببية الواقعية. لا يكتسب المتخصص أرضية كبيرة في التنبؤ بدرجة الحرارة إلا إذا كان لدى المشغل إمكانية الوصول إلى توقعات موثوقة من الدرجة المتقدمة (NWP-grade) للمتغيرات المصاحبة (التنبؤ المثالي).
الأهمية والادعاءات يدعي البحث ثلاث مساهمات رئيسية:
اختبار فرضية الكفاءة: هذه هي أول مقارنة مباشرة بين استراتيجيات البحث، والنقل، والصفر استباقي حيث تدخل الدقة، والطاقة المقاسة، والتكلفة في قاعدة قرار واحدة. وتجد الدراسة أن الفرضية القائلة بأن "النماذج التأسيسية ثقيلة جداً للحافة" لا تصمد أمام الاختبار التجريبي؛ إذ تطابق النماذج التأسيسية المدمجة (مثل Chronos-Bolt-small) المتخصصات المضبوطة في الدقة، بينما تستخدم طاقة أقل بكثير تحت بروتوكول إعادة التدريب المتكرر.
التصحيح المنهجي: توضح الورقة أن توقيت المتغيرات المصاحبة وحده يمكن أن يصنع استنتاجات زائفة عبر المجالات. إن الاستخدام القياسي للمتغيرات المستقبلية يخلق ميزة اصطناعية للمتخصصات في المجالات التي يكون فيها الطقس محركاً شبه حتمي (درجة الحرارة)، وهو تشويه لا يظهر داخل المجال الواحد ولكنه حاسم في المقارنات عبر المجالات. ويوصي المؤلفون بإجراء استئصال المتغيرات السببية لجميع الاختبارات المرجعية التي تستخدم متغيرات مستقبلية.
الإرشاد التشغيلي: بالنسبة للمشغلين في المدن شحيحة البيانات، فقد تحول الخيار الافتراضي العملي من "تدريب نموذج صغير" إلى "تحميل نموذج جاهز". توفر الدراسة قاعدة قرار مراعية للتكلفة تسمح للمشغلين بإعادة اشتقاق الفائزين بالنشر بناءً على أسعار الكهرباء، والأجهزة، وتكرار إعادة التدريب الخاصة بهم. كما أظهر مسار التعلم بنقل المعرفة أنه لا يقدم أي ميزة في الدقة مقارنة بالصفر استباقي في الأنظمة شحيحة البيانات، مما يلغي الحاجة إلى مسارات نقل معقدة في هذه السياقات.
يحافظ المؤلفون على التواضع بشأن ادعاءاتهم، مشيرين إلى أن النموذج الصفر استباقي يطابق المتخصص بدلاً من التفوق عليه، وأن ميزة الطاقة مشروطة بتكرار إعادة التدريب. كما يقرون بالقيود المتعلقة بخصوصية الأجهزة (وحدة معالجة رسومات للمستهلك مقابل الأجهزة المدمجة)، واحتمالية تلوث البيانات في مجموعات البيانات المستخدمة في التدريب المسبق، ونطاق التقييم (توقعات ساعية، لآفاق زمنية تتراوح بين 24-48 ساعة).