Using dynamic loss weighting to boost improvements in forecast stability

تخيل أنك خبير أرصاد جوية تحاول التنبؤ بدرجة الحرارة للأسبوع القادم. كل صباح، تحصل على معلومة جديدة — قراءة درجة حرارة من اليوم السابق. وبطبيعة الحال، تقوم بتحديث توقعك ليوم الثلاثاء القادم. لكن هنا تكمن المشكلة: في كل مرة تقوم فيها بالتحديث، قد يقفز توقعك ليوم الثلاثاء القادم صعودًا أو هبوطًا بشكل جنوني. في يوم ما تقول إنها ستكون 70 درجة فهرنهايت، وفي اليوم التالي تقول 65، ثم 72. هذا التذبذب المستمر يسمى "عدم استقرار التوقعات". إنه أمر مزعج لأي شخص يحاول التخطيط لنزهة أو لسلسلة توريد لأنهم لا يستطيعون الوثوق في بقاء الأرقام ثابتة.

لقد حاول العلماء بناء نماذج حاسوبية ليست دقيقة فحسب (أي تصيب درجة الحرارة الصحيحة)، بل مستقرة أيضًا (أي تلتزم بروايتها). مؤخرًا، اكتشف الباحثون طريقة لتعليم هذه النماذج أن تكون أكثر ثباتًا من خلال إضافة "جزاء الاستقرار" (stability penalty) إلى تدريبها. فكر في الأمر كمعلم يقول لطالبه: "لا تكتفِ بإعطاء الإجابة الصحيحة فحسب؛ بل لا تغير إجابتك في كل مرة ترى فيها تلميحًا جديدًا". ومع ذلك، كانت الطريقة القديمة لتعليم هذا الأمر جامدة نوعًا ما. فقد استخدمت قاعدة كتاب ثابتة تقول: "أعطِ 10% من الاهتمام للاستقرار و90% للدقة"، ولم تتغير هذه النسبة أبدًا طوال عملية التدريب.

هذا البحث يسأل سؤالًا بسيطًا وفضوليًا: ماذا لو جعلنا "قاعدة الكتاب" ديناميكية؟ ماذا لو استطاع الحاسوب أن يتعلم التركيز على الدقة أولاً، ويبدأ في القلق بشأن الاستقرار فقط بمجرد أن يصبح جيدًا في الأساسيات؟ اختبر فريق من جامعة KU Leuven هذه الفكرة باستخدام نموذج تنبؤ قوي يسمى N-BEATS. لقد جربوا عدة تقنيات "لوزن الخسارة الديناميكي" (dynamic loss weighting) — وهي طرق تسمة للحاسوب بخلط أهمية الدقة مقابل الاستقرار. ووجدوا أنه من خلال السماح للنموذج بتعديل أولوياته تلقائيًا، يمكنهم الحصول على توقعات دقيقة تمامًا ولكنها أقل تذبذبًا بكثير من ذي قبل. إنه يشبه تعليم الطالب التوقف عن التشكيك في نفسه بمجرد إتقانه للدرس، مما ينتج توقعات يمكن للناس الوثوق بها حقًا.

قصة التوقعات المتذبذبة

في عالم التنبؤ بالسلاسل الزمنية، تشبه الحواسيب الكرات البلورية التي تنظر إلى الماضي لتخمين المستقبل. لكن هذه الكرات البلورية لديها عادة سيئة: فهي متقلبة. فعندما تصل بيانات جديدة، قد يغير النموذج توقعه تمامًا لما تنبأ به للأسبوع القادم. يُعرف هذا بـ "عدم استقرار التنبؤ بالأصل المتدحرج" (rolling origin forecast instability). تخيل أنك تخطط لحفلة. إذا قال لك صديقك: "أعتقد أن 10 أشخاص سيأتون"، ثم قال بعد خمس دقائق: "في الواقع، ربما 20"، ثم قال بعد ساعة: "انتظر، ربما 5"، ستشعر بالإحباط الشديد. أنت بحاجة إلى توقع يمكن الاعتماد عليه لطلب الكمية الصحيحة من البيتزا.

لفترة طويلة، كان الهدف هو جعل التنبؤ دقيقًا قدر الإمكان فحسب. لكن في العالم الحقيقي، الدقة ليست هي الشيء الوحيد الذي يهم. إذا كان التوقع يتذبذب كثيرًا، يتوقف الناس عن الوثوق به. قد يبدأون في إجراء تعديلاتهم الخاصة بناءً على "حدسهم"، وهو ما يجعل التوقع في كثير من الأحيان أقل دقة. لذا، أراد الباحثون تعليم النماذج أن تكون "مستقرة" دون أن تفقد "دقتها".

الطريقة القديمة: قاعدة كتاب ثابتة

سابقًا، تم تقديم طريقة تسمى N-BEATS-S لحل هذه المشكلة. كانت تعمل من خلال إعطاء الحاسوب مهمة منزلية مكونة من جزأين:

1. الجزء أ: الحصول على الأرقام الصحيحة (الدقة).
2. الجزء ب: عدم تغيير إجابتك كثيرًا عند الحصول على بيانات جديدة (الاستقرار).

كان على الحاسوب موازنة هاتين المهمتين. الطريقة القديمة للقيام بذلك كانت استخدام معلم فائق ثابت (static hyperparameter) (لنسمه $\lambda$). هذا يشبه قرص التحكم الذي يضبطه المدرب البشري قبل أن يبدأ الحاسوب في التعلم. إذا ضبطت القرص على 0.025، فأنت تقول للحاسوب: "مهلاً، ركز بنسبة 97.5% على أن تكون دقيقًا و2.5% فقط على أن تكون مستقرًا". وإذا ضبطته على 0.275، فأنت تقول له: "حسنًا، انتبه أكثر للاستقرار".

مشكلة قرص التحكم الثابت هذا هي أنه يظل ثابتًا طوال عملية التدريب بأكملها. لا يتاح للحاسوب اتخاذ القرار بشأن متى يركز على ماذا. إنه مثل قولك لطالب: "اقضِ 20% من وقتك في الرياضيات و80% في التاريخ"، طوال الفصل الدراسي، حتى لو كان عبقريًا في الرياضيات ويحتاج فقط لممارسة التاريخ قليلاً. اشتبه الباحثون في أن قاعدة الكتاب الجامدة قد تعيق تقدم الحاسوب.

الفكرة الجديدة: الرقصة الديناميكية

تساءل مؤلفو هذا البحث: ماذا لو استطاع الحاسوب تغيير قرص التحكم أثناء تعلمه؟ يسمى هذا "وزن الخسارة الديناميكي" (Dynamic Loss Weighting - DLW). بدلاً من القاعدة الثابتة، يقرر الحاسوب: "حسنًا، أنا الآن سيء جدًا في الدقة، لذا سأتجاهل الاستقرار للحظة. ولكن بمجرد أن أصبح جيدًا في الدقة، سأبدأ في القلق بشأن الاستقرار".

لقد اختبروا عدة طرق موجودة تقوم بهذا النوع من التوازن الديناميكي، كما ابتكروا طريقة جديدة تسمى "الوزن العشوائي المدرك للمهمة" (Task-Aware Random Weighting - TARW).

• GradNorm: تحاول هذه الطريقة التأكد من أن الحاسوب يتعلم المهمتين بنفس السرعة. إذا كان يتعلم الدقة بسرعة كبيرة جدًا، فإنه يبطئ ذلك للتركيز على الاستقرار.
• Uncertainty Weighting (وزن عدم اليقين): تسأل هذه الطريقة: "ما مدى عدم تأكدي من هذه المهمة؟" إذا كان الحاسوب غير متأكد جدًا من الاستقرار، فإنه يقلل من الاهتمام به.
• Random Weighting (الوزن العشوائي - RW): هذه الطريقة فوضوية بعض الشيء. فهي تختار ببساطة رقمًا عشوائيًا بين 0 و1 لقرص التحكم في الاستقرار في كل مرة يتعلم فيها الحاسوب مجموعة بيانات جديدة. ومن المثير للدهشة أن هذه العشوائية غالبًا ما تعمل بشكل جيد.
• TARW (الوافد الجديد): أخذ المؤلفون فكرة "الوزن العشوائي" وقاموا بتعديلها. فبدلاً من اختيار رقم بين 0 و1، اختاروا رقمًا بين 0 وحد معين (لنسمه $\kappa$). هذا يضمن أن الحاسوب لن يصبح مهووسًا بالاستقرار لدرجة نسيان الدقة. إنه يشبه قولك: "يمكنك أن تكون عشوائيًا، لكن لا تذهب بعيدًا".

ما وجدوه: النقطة المثالية

أجرى الفريق تجاربهم على مجموعتي بيانات ضخمتين للسلاسل الزمنية الشهرية (مجموعتي M3 وM4)، والتي تحتوي على آلاف السلاسل الزمنية المختلفة مثل أرقام المبيعات أو بيانات الطقس. وقارنوا الطريقة الديناميكية الجديدة بالطريقة الثابتة القديمة (N-BEATS-S ذات القرص الثابت).

إليك ما أخبرتهم به الأرقام:

1. تعزيز الاستقرار: جعلت جميع الطرق الديناميكية تقريبًا التوقعات أكثر استقرارًا بكثير. فقد انخفضت "التذبذبات" في التوقعات بشكل ملحوظ. على سبيل المثال، في مجموعة بيانات M4، قللت بعض الطرق مقياس عدم الاستقرار (RMSSC) من حوالي 0.537 (الطريقة الثابتة القديمة) إلى 0.146 أو 0.224. هذا انخفاض هائل في التذبذب.
2. الدقة ظلت ثابتة: كان الخوف الكبير هو أن التركيز على الاستقرار سيجعل الحاسوب أسوأ في الدقة. أظهرت النتائج أنه بالنسبة لأفضل الطرق، ظلت الدقة كما هي تقريبًا. في الواقع، في مجموعة بيانات M3، أنتجت طريقة TARW high الجديدة توقعات كانت أكثر دقة من نموذج N-BEATS القديم، حيث سجلت درجة (RMSSE) بلغت 1.082 مقارنة بـ 1.088.
3. الفائز: برزت طريقة TARW (وتحديدًا نسخة "high") كأفضل طريقة. فقد نجحت في تحسين الاستقرار بشكل كبير دون المساس بالدقة. كان الأمر يشبه العثور على طريقة لجعل التوقع قويًا للغاية ودقيقًا للغاية في آن واحد.
4. "لماذا": عندما نظروا تحت الغطاء، رأوا أن الطرق الديناميكية كانت تفعل بالضبط ما أملا المؤلفون. في بداية التدريب، ركز الحاسوب بشدة على الدقة. وفقط بعد أن أصبح جيدًا في ذلك، بدأ في الاهتمام بالاستقرار. في المق المقابل، كانت الطريقة الثابتة تحاول القيام بكليهما منذ اليوم الأول، مما أدى أحيانًا إلى إرباك النموذج أو دفعه إلى "الاستقرار المحلي" (نقطة عالقة يكون فيها النموذج مستقرًا ولكنه ليس دقيقًا جدًا).

الخلاصة

يشير البحث إلى أننا لسنا بحاجة لإجبار الحاسوب على الموازنة بين الدقة والاستقرار باستخدام قاعدة ثابتة ومحددة مسبقًا. بدلاً من ذلك، فإن السماح للنموذج بتعديل أولوياته ديناميكيًا — وتحديدًا عبر منح الأولوية للدقة أولاً ثم إدخال الاستقرار — يؤدي إلى نتائج أفضل.

يقترح المؤلفون TARW كأداة بسيطة وفعالة لهذا الغرض. إنها في الأساس "موزع عشوائي ذكي" يمنع الحاسوب من الهوس بالاستقرار في وقت مبكر جدًا. وبينما تزيد التكلفة الحسابية أثناء التدريب قليلًا (حيث يتعين على الحاسوب القيام بقدر ضئيل من الرياضيات الإضافية لضبط الأوزان)، فإن التكلفة أثناء الاستخدام الفعلي (الاستدلال) هي نفسها تمامًا للطرق القديمة.

في النهاية، يشير هذا البحث إلى أنه إذا كنت تريد نظام توقعات يمكن للناس الوثوق به، فلا ينبغي أن تطلب منه أن يكون دقيقًا فحسب. يجب أن تعلمه أن يكون متسقًا، ولكن عليك أن تتركه يتعلم هذا الدرس في الوقت المناسب. باستخدام هذه الطرق الديناميكية، يمكننا الحصول على توقعات ليست صحيحة فحسب، بل موثوقة أيضًا، مما يوفر للشركات والمخططين صداع الأرقام المتغيرة باستمرار.