Foundation Models and Fine-Tuning: Toward a New Generation of Models for Time Series Forecasting
تستعرض هذه الورقة بنيات واستراتيجيات ما قبل التدريب وطرق التحسين للنماذج التأسيسية للتنبؤ بالسلاسل الزمنية بنمط "التعلم الصفري" (zero-shot)، وتثبت أن الضبط الدقيق لهذه النماذج على مجموعات بيانات محددة يحسن دقة التنبؤ باستمرار مقارنة بالنماذج المرجعية ذات التعلم الصفري.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول التنبؤ بالمستقبل. ليس بمصير الكون، بل بشيء أكثر عملية: كم ستكون حاجة مدينة ما من الكهربة غداً، أو كم عدد المظلات التي يجب على متجر توفيرها، أو كيف ستتدفق حركة المرور عبر تقاطع مزدحم بعد ساعة من الآن. هذا هو عالم التنبؤ بالسلاسل الزمنية. لعقود من الزمن، استخدم الخبراء وصفات رياضية لتخمين هذه الأرقام، لكن العالم فوضوي، وغالباً ما تفشل الوصفات القديمة عندما تصبح البيانات غريبة أو معقدة.
مؤخراً، وصل نوع جديد من "المتعلمين الفائقين"، مستوحى من نفس التكنولوجيا التي تتيح للحواسيب كتابة الشعر والدردشة مثل البشر. تُسمى هذه النماذج نماذج التأسيس (Foundation Models). فكر فيها كأنها "رئيس طهاة" تذوق كل طبق في العالم. بدلاً من تعلم طبخ وجبة واحدة محددة فقط (مثل حساء مطعم واحد)، يتعلم هذا الطاهي القواعد العامة للنكهة، والحرارة، والمكونات من ملايين الوصفات المختلفة. وبمجرد تدريبه، يمكن لهذا الطاهي أن يدخل إلى مطبخ لم يره من قبل ويطبخ وجبة جيدة دون الحاجة إلى وصفة محددة لذلك الطبق بالضبط. وهذا ما يسمى التعلم الصفري (Zero-shot learning): وهو تقديم تنبؤ ببيانات لم يرها النموذج من قبل، بمجرد استخدام ما تعلمه في "معسكر تدريبه".
ولكن هنا يبرز السؤال الكبير: هل من الأفضل إرسال هذا الطاهي الماهر إلى مطبخ جديد وتركه يعمل بمفرده، أم ينبغي علينا إعطاؤه درساً سريعاً ومحدداً حول خفايا هذا المطبخ قبل أن يبدأ الطبخ؟ هذا هو جوهر الورقة البحثية الجديدة لـ "مراد لاغليل" وفريقه. إنهم يريدون معرفة ما إذا كان أخذ هذه النماذج الضخمة سابقة التدريب والمتخصصة في السلاسل الزمنية وإعطاؤها تدريباً إضافياً بسيطاً على بيانات محددة (ما يسمى الضبط الدقيق أو Fine-tuning) سيجعلها بالفعل متنبئات أفضل، أم أنه سيؤدي فقط إلى إرباكها.
تجربة "الضبط الدقيق" الكبرى
قرر مؤلفو هذه الورقة وضع هذه الفكرة قيد الاختبار. أخذوا اثنين من أقوى نماذج "رئيس الطهاة" المتاحة — Chronos 2 و TTM-R3-PT — وأخضعوهما لمعسكر تدريبي صارم. لم يكتفوا بجعلهم يخمنون فحسب؛ بل جربوا طرقاً مختلفة لتعليمهم مهام محددة.
لقختوا ثلاث مقاربات رئيسية:
- التعلم الصفري (Zero-Shot): يحاول النموذج التنبؤ بالمستقبل باستخدام تدريبه العام فقط، دون مساعدة إضافية.
- الضبط الدقيق الكامل (Full Fine-Tuning): أخذوا النموذج بأكمِله وأعادوا تدريبه من الصفر على البيانات الجديدة، مع تحديث كل رقم داخل "الدماغ".
- الضبط الدقيق الفعال للمعلمات (LoRA): بدلاً من إعادة كتابة الدماغ بالكامل، أضافوا طبقة "مهايئ" (Adapter) صغيرة وخفيفة الوزن. الأمر يشبه إعطاء الطاهي ورقة غش محددة للمطبخ الجديد دون تغيير مهاراته الأساسية في الطبخ.
اختبروا هذه الأساليب على مجموعة ضخمة مكونة من 15 مجموعة بيانات مختلفة، تتراوح بين أنماط الطقس واستهلاك الكهرباء إلى حالات دخول المستشفيات وأرقام المبيعات. كان الهدف بسيطاً: معرفة أي طريقة قللت فعلياً من معدل الخطأ وجعلت التنبؤات أفضل.
ماذا وجدوا: الحجم والسياق هما الأهم
كانت النتائج مفاجئة وعلمت الباحثين درساً قيماً حول حجم النموذج والبيانات التي يواجهها.
بالنسبة للنموذج الضخم (Chronos 2):
هذا النموذج ضخم، حيث يبلغ عدد معاملاته 120 مليون معلمة. عندما حاول الباحثون إجراء "الضبط الدقيق الكامل" (إعادة كتابة الدماغ بالكامل) عليه في مجموعات البيانات الصغيرة، جاءت النتيجة عكسية. ارتبك النموذج وبدأ يعاني من "الفرط في التخصيص" (Overfitting)، وهو ما يشبه طالباً يحفظ إجابات الاختبار التجريبي بدقة شديدة لدرجة أنه يفشل في الاختبار الحقيقي لأنه لا يستطيع التعامل مع سؤال مختلف قليلاً.
- الفائز: طريقة LoRA (المهايئ الصغير) كانت البطل الواضح لنموذج Chronos 2 في مجموعات البيانات المتوسطة والكبيرة. فمن خلال إضافة طبقة صغيرة ومرنة، استطاع النموذج التكيف مع البيانات الجديدة دون نسيان معرفته العامة. لقد حسنت هذه الطريقة الدقة، وإن كانت المكاسب متواضعة (حوالي 2-3%) في مجموعات البيانات الكبيرة، وكان من الضروري لتجنب انخفاض الأداء الذي سببه الضبط الدقيق الكامل.
- الدرس المستفاد: بالنسبة للنماذج الضخمة، لست بحاجة لإعادة كتابة الكتاب بأكمله؛ أنت فقط بحاجة لإضافة بعض الملاحظات اللاصقة. ومع ذلك، في مجموعات البيانات الصغيرة جداً، غالباً ما يؤدي النموذج الضخم أفضل أداء دون أي ضبط دقيق على الإطلاق.
بالنسبة للنموذج الأصغر (TTM-R3-PT):
هذا النموذج أكثر إحكاماً، حيث يحتوي على مليون إلى 36 مليون معلمة فقط. كان صغيراً بما يكفي بحيث لم يكن بحاجة إلى مهايئ معقد.
- الفائز: الضبط الدقيق الكامل كان الأفضل هنا. ولأن النموذج كان أصغر حجماً، فقد تمكن من تحديث جميع أوزانه دون أن يصاب بالارتباك. أما طريقة "المهايئ" (LoRA) فلم تساعد كثيراً، بل جعلت الأمور أسوأ في بعض الأحيان.
- الدرس المستفاد: بالنسبة للنماذج الأصغر، غالباً ما يكون التمرين الكامل أفضل من مجرد تمارين الإطالة السريعة.
قاعدة "النموذج الواحد لا يناسب الجميع"
اكتشفت الورقة أيضاً أن الاستراتيجية المثلى تعتمد بشكل كبير على نوع البيانات، وكمية البيانات المتوفرة، والمجال المحدد.
- مجموعات البيانات الصغيرة: إذا كان لديك كمية ضئيلة جداً من البيانات (مثل سجلات الطقس لبضعة أيام)، فإن التعلم الصفري (ترك النموذج يخمن من تلقاء نفسه) غالباً ما يكون الرهان الأكثر أماناً. محاولة إجراء ضبط دقيق لنموذج ضخم على بيانات قليلة جداً تشبه محاولة تعليم طالب دكتوراه موضوعاً جديداً عبر إظهار ثلاث بطاقات تعليمية له فقط؛ فمن المرجح أن يخطئ. في الواقع، بالنسبة لنموذج Chronos 2 في مجموعات البيانات الصغيرة، أدى الضبط الدقيق في الواقع إلى تدهور الأداء.
- مجموعات البيانات الكبيرة: عندما تتوفر الكثير من البيانات، غالباً ما يتفوق الضبط الدقيق على التخمين، لكنه ليس فوزاً مضموناً. أظهرت الورقة أنه بالنسبة لنموذج TTM الأصغر، ظل الاستدلال الصفري يتفوق على الضبط الدقيق في عدة إعدادات محددة، حتى في مجموعات البيانات الكبيرة.
- المجالات المختلفة: تصرفت النماذج بشكل مختلف بناءً على الموضوع. على سبيل المثال، في مجال "الطبيعة" (مثل مستويات الأنهار أو الطقس)، كان النموذج الضخم بارعاً جداً في التخمين لدرجة أن الضبط الدقيق جعله أسوأ. ولكن في مجال "النقل" (مثل حركة المرور)، ساعد الضبط الدقيق كلا النموذجين بشكل كبير.
الخلاصة
تخلص الورقة إلى أنه بينما تعد نماذج التأسيس أدوات قوية يمكنها التنبؤ بالمستقبل دون تدريب محدد، فإن الضبط الدقيق هو أداة قوية لجعلها أفضل — ولكن فقط إذا اخترت الوصفة المناسبة للموقف المناسب.
إذا كان لديك نموذج ضخم، فاستخدم طريقة "المهايئ" (LoRA) لتعديله بلطف، خاصة في مجموعات البيانات الكبيرة. وإذا كان لديك نموذج أصغر، فلا تتردد في إعطائه جلسة تدريب كاملة. وأما إذا لم تكن تملك الكثير من البيانات، أو إذا كانت البيانات محددة للغاية (مثل أنماط الطبيعة)، فقد يكون من الأمان ترك النموذج يقوم بأفضل تخمين له دون تدخل.
يشير هذا البحث إلى أننا نتحرك نحو جيل جديد من التنبؤ حيث لا نحتاج إلى بناء نموذج جديد لكل مشكلة على حدة. بدلاً من ذلك، يمكننا استخدام نموذج واحد ضخم وذكي ومنحه درساً سريعاً ومخصصاً لحل أي لغز زمني تقريباً، من التنبؤ بسعر السهم القادم إلى التخطيط لرحلة الحافلة التالية في المدينة. مستقبل التنبؤ لا يتعلق فقط بامتلاك دماغ أكبر؛ بل يتعلق بمعرفة كيفية تلقينه الدروس الصحيحة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.