Demand Forecasting for Internet Bandwidth using Machine Learning to Enhance Resource Management in Nepal
يقترح هذا البحث تطوير ونشر نماذج تعلم آلي متقدمة للتنبؤ بدقة بالطلب على عرض نطاق الإنترنت في وادي كاتماندو بنيبال، مما يمكن مزودي خدمات الإنترنت من تحسين تخصيص الموارد، وتخفيف حدة ازدحام الشبكة، وتحسين جودة الخدمة الإجمالية من خلال اتخاذ القرارات القائمة على البيانات.
إن الإنترنت هو البنية التحتية غير المرئية التي تدعم الحياة الحديثة، حيث تربط الناس بالمعلومات، والأعمال، وبعضهم البعض. ومن خلف الكواليس، يعمل مزودو خدمة الإنترنت كحراس لهذا التدفق، حيث يديرون التدفقات الهائلة من البيانات التي تنتقل عبر شبكاتهم. ومع ذلك، فإن هذه الشبكات لها حد مادي لكمية المعلومات التي يمكنها حملها في أي لحظة واحدة. فعندما يحاول الكثير من الناس استخدام الإنترنت في وقت واحد، تنسد الأنابيب، مما يؤدي إلى بطء السرعات، وانقطاع الاتصالات، وتجربة محبطة للجميع. ويتمثل التحدي الذي يواجه المزودين في التنبؤ بدقة متى وكم ستكون كمية البيانات المطلوبة حتى يتمكنوا من تجهيز شبكاتهم مسبقًا. فإذا خمنوا رقمًا أقل من المطلوب، تنهار الشبكة؛ وإذا خمنوا رقمًا أعلى من اللازم، فإنهم يهدرون الأموال على معدات باهظة الثمن تظل خاملة. ولحل هذه المعضلة، يتجه الباحثون إلى تعلم الآلة، وهو فرع من علوم الحاسوب حيث يتعلم البرنامج من الأنماط السابقة لتقديم تخمينات أفضل للمستقبل، بدلًا من الاعتماد على المتوسطات البسيطة أو القواعد الجامدة.
في وادي كاتماندو في نيبال، حيث ينمو الطلب على الإنترنت بسرعة، شرع فريق من الباحثين في البحث عن الطريقة الأكثر موثوقية للتنبؤ باستخدام عرض النطاق الترددي (bandwidth) هذا. وقد ركزوا على سؤال محدد: ما هي الطريقة التي يمكنها أن تتنبأ بأفضل شكل لكيفية استهلاك المستخدمين للبيانات في أي يوم معطى؟ وللإجابة على ذلك، عملوا مع بيانات واقعية لمدة ثمانية عشر شهرًا من شركة "ديش ميديا نيتورك" (Dish Media Network)، وهي مزود رئيسي في المنطقة. كانت هذه البيانات عبارة عن سجل مفصل لكل اتصال، يسجل بالضبط متى سجل المستخدمون دخولهم، ومدة بقائهم متصلين، وكمية المعلومات التي قاموا بتنزيلها. قام الباحثون بتنقية مجموعة البيانات الضخمة هذه، وملء الفجوات حيث كانت السجلات مفقودة، وتنظيم المعلومات حسب اليوم والشهر والساعة لرؤية الصورة الكبيرة لكيفية استخدام الشبكة.
اختبر الفريق ثلاثة نهج مختلفة لمعرفة أيهما يمكنه تقديم تنبؤات أكثر دقة. كان النهجان الأولان عبارة عن أدوات إحصائية تقليدية تُستخدم غالبًا في التنبؤ؛ صُمم أحدها لرصد الاتجاهات البسيطة، بينما أضاف الآخر طبقة تأخذ في الاعتبار الأنماط الموسمية المتكررة، مثل الاستخدام المرتفع خلال أوقات معينة من السنة. أما الطريقة الثالثة، فكانت نوعًا أكثر تقدمًا من الذكاء الاصطناعي يُعرف بنموذج "الذاكرة الطويلة قصيرة المدى" (Long Short-Term Memory). وبخلاف الأدوات التقليدية، التي تبحث عن الخطوط المستقيمة والدورات المنتظمة، فقد بُني هذا النموذج لفهم السلوكيات المعقدة والمتغيرة في البيانات، تمامًا كما قد يتعلم الإنسان توقع عادات صديق له من خلال مراقبته على مدى فترة طويلة.
وعندما قارن الباحثون النتائج، كانت الاختلافات واضحة. قدمت الطرق التقليدية خط أساس، لكنها واجهت صعوبة في استيعاب التعقيد الكامل لكيفية استخدام الناس للإنترنت فعليًا. وأدى النموذج الذي يأخذ المواسم في الاعتبار إلى أداء أسوأ قليلاً من نموذج الاتجاه البسيط، مما يشير إلى أن الأنماط الموسمية في هذه الشبكة المحددة لم تكن قوية بما يكفي لتحسين التنبؤ. ومع ذلك، تفوق نموذج الذكاء الاصطناعي المتقدم على كليهما؛ حيث حقق أصغر فجوة بين ما تنبأ به وما حدث بالفعل، مع معدل خطأ أقل بكثير من الطريقتين الأخريين. وقد أشار هذا إلى أن الشبكة العصبية كانت أفضل في التعرف على الطرق غير الخطية الدقيقة التي يتغير بها سلوك المستخدم بمرونة عبر الزمن.
كما كشفت الدراسة عما يدفع هذه التغييرات في الاستخدام في الواقع. فقد كان عدد المستخدمين النشطين هو العامل الأهم بمفرده، حيث أظهر ارتباطًا قويًا بكيفية استهلاك البيانات. كما لعب وقت اليوم دورًا حاسمًا، حيث ارتفع الاستخدام بين أواخر الصباح ومنتصف الظهيرة، بينما كانت أهمية اليوم المحدد في الأسبوع أقل بكثير. وتشير هذه النتائج إلى أنه بالنسبة للمزودين في هذه المنطقة، فإن التركيز على إجمالي عدد المستخدمين ووقت اليوم أكثر قيمة من محاولة التنبؤ بناءً على التاريخ التقويمي وحده.
وبعيدًا عن النتائج التقنية، أكد الباحثون على أهمية استخدام هذه الأدوات بمسؤولية. وأشاروا إلى أنه لكي تكون هذه الأنظمة عادلة وجديرة بالثقة، يجب أن تمثل البيانات المستخدمة لتدريبها مجموعة متنوعة واسعة من الناس والمناطق. فإذا كانت البيانات منحازة، فقد تؤدي التنبؤات إلى قرارات خدمة غير عادلة. ويرى المؤلفون أنه مع وجود إشراف دقيق، وتوثيق واضح، وفحوصات منتظمة للتحيز، يمكن لهذه الأدوات القوية أن تساعد المزودين في إدارة شبكاتهم بكفاءة دون المساس بجودة الخدمة لعملائهم. وتخلص الدراسة إلى أنه بينما لا تزال للطرق القديمة مكانتها، فإن نهج تعلم الآلة الأكثر تطورًا يمثل خطوة كبيرة للأمام في الحفاظ على تشغيل الإنترنت بسلاسة للجميع.
ملخص تقني: التنبؤ بالطلب على عرض النطاق الترددي للإنترنت باستخدام تعلم الآلة لتعزيز إدارة الموارد في نيبال
بيان المشكلة
تواجه شركات تزويد خدمة الإنترنت (ISPs) في نيبال، ولا سيما في وادي كاتماندو، تحديات كبيرة في التنبؤ بدقة بمتطلبات عرض النطط الترددي للإنترنت. إن تقنيات التنبؤ بالطلب الحالية غالباً ما تكون غير دقيقة، مما يؤدي إلى إدارة غير فعالة للموارد، وازدحام الشبكة خلال ساعات الذروة، وتدهور جودة الخدمة. تُجبر شركات تزويد خدمة الإنترنت غالباً على الاختيار بين تخصيص الموارد بشكل هدر أو تدهور جودة الخدمة. وتتمثل المشكلة الجوهرية في عدم قدرة الطرق التقليدية على استيعاب أنماط الاستخدام المعقدة وغير الخطية والتقلبات الموسمية المتأصلة في حركة مرور الإنترنت، مما يستدعي حلولاً متقدمة لتعلم الآلة (ML) لتمكين اتخاذ القرارات القائمة على البيانات وتحسين الشبكة بشكل أمثل.
المنهجية
تعتمد الدراسة على منهجية البحث المكتبي للتحقيق في استراتيجية بيانات مرنة، بينما يستخدم العمل التجريبي للتنبؤ بعرض النطط الترددي مجموعة بيانات لمدة 18 شهراً من شركة "ديش ميديا نيتورك" (DMN)، وهي شركة رائدة في مجال تزويد خدمة الإنترنت في نيبال. يتضمن سير العمل التقني المراحل التالية:
تحصيل البيانات: تستخدم الدراسة 18 شهراً من بيانات المصادقة والتفويض والمحاسبة (AAA) المقدمة من شركة "ديش ميديا نيتورك" (DMN). تتضمن مجموعة البيانات سجلات RADIUS التي تحتوي على معرفات الجلسات، وعناوين IP، وأوقات الاتصال، ومقاييس استهلاك البيانات (acctinputoctets و acctoutputoctets).
المعالجة المسبقة للبيانات:
التنظيف: تم اختيار الأعمدة الحرجة، واستُخدمت طريقة التعويض (imputation) للبيانات المفقودة باستخدام متوسط مدخلات GB_in (عرض النطط الترددي الوارد) لضمان الاستمرارية.
هندسة الميزات: تم تجميع البيانات الخام (ثانية بثانية) إلى إجماليات يومية. كما تم إنشاء إطار بيانات جديد مؤرخ زمنياً عن طريق دمج أعمدة السنة والشهر واليوم في كائن تاريخ ووقت واحد.
تحليل البيانات الاستكشافي (EDA): حللت الدراسة الاتجاهات، والموسمية، وأنماط الاستهلاك بالساعة واليوم. وشملت النتائج الرئيسية زيادة حادة في الاستخدام بدءاً من نوفمبر 2022، وذروة موسمية في ديسمبر، وذروات يومية بين الساعة 10 صباحاً و4 مساءً.
تطوير النماذج: تم تنفيذ ومقارنة ثلاثة نماذج للتنبؤ بالسلاسل الزمنية باستخدام لغة بايثون (المكتبات: pandas و NumPy و scikit-learn و TensorFlow و statsmodels):
نموذج ARIMA (المتوسط المتحرك التكاملي ذاتي الانحدار): تم ضبط المعلمات (p,d,q)=(1,0,1) بناءً على اختبارات ديكي-فولر ومخططات الارتباط الذاتي.
نموذج SARIMA (ARIMA الموسمي): تم توسيعه للتعامل مع الموسمية باستخدام المعلمات (P,D,Q,S)=(1,0,1,12)، بافتراض دورة موسمية مدتها 12 شهراً.
نموذج LSTM (الذاكرة طويلة قصيرة المدى): نهج للتعلم العميق باستخدام شبكة عصبية متسلسلة مكونة من 50 وحدة LSTM، ودالة تنشيط ReLU، ومحسن Adam. استخدم النموذج طول تسلسل قدره 5 (باستخدام الأيام الخمسة الماضية للتنبؤ باليوم التالي) وتم تدريبه لمدة 200 حقبة (epoch).
التقييم: تم تقييم أداء النماذج باستخدام جذر متوسط مربع الخطأ (RMSE) على مجموعة بيانات اختبار مستقلة.
المساهمات الرئيسية
التحليل المقارن: تقدم الورقة مقارنة تجريبية مباشرة بين النماذج الإحصائية التقليدية (ARIMA و SARIMA) ونهج التعلم العميق (LSTM) خصيصاً للتنبؤ بعرض النطط الترددي للإنترنت في سياق شركة تزويد خدمة إنترنت في دولة نامية.
تحديد النموذج الأمثل: حددت الدراسة أن نموذج LSTM هو الطريقة الفائقة لهذه المجموعة من البيانات تحديداً، مما يثبت قدرته على التعامل مع التبعيات الزمنية غير الخطية والمعقدة لحركة مرور الإنترنت بشكل أفضل من النماذج الإحصائية الخطية.
الإطار الأخلاقي: بعيداً عن المقاييس التقنية، تتناول الورقة الآثار الأخلاقية للنمذجة التنبؤية لشركات تزويد خدمة الإنترنت، مع التأكيد على الحاجة إلى تمثيل متنوع للبيانات، والتدقيق الدوري للتحيز، والشفافية، والعدالة للحفاظ على ثقة المستخدمين.
الرؤى التشغيلية: يسلط التحليل الضوء على محركات محددة للطلب على عرض النطط الترددي في وادي كاتماندو، حيث تم تحديد عدد المستخدمين النشطين (ارتباط قدره 0.71) والوقت من اليوم كأهم العوامل، مع ملاحظة أن أيام وسنوات معينة لها تأثير أقل على المدى القصير.
النتائج
تم تقييم أداء النماذج الثلاثة بناءً على جذر متوسط مربع الخطأ (RMSE):
ARIMA: حقق RMSE قدره 48,171.0554. وبينما نجح في رصد الاتجاهات الخطية، إلا أنه عانى في التعامل مع التقلبات الموسمية.
SARIMA: حقق RMSE قدره 50,298.0669. وعلى الرغم من تصميمه للتعامل مع الموسمية، إلا أنه كان أداؤه أسوأ قليلاً من نموذج ARIMA القياسي في هذا السياق، مما يشير إلى أن الأنماط الموسمية في مجموعة البيانات لم تكن قوية بما يكفي للاستفادة من النموذج أو أن تكوين النموذج لم يكن مثالياً لهذه البيانات المحددة.
LSTM: حقق أدنى قيمة RMSE بلغت 40,977.3259. تفوق نموذج LSTM بشكل كبير على كلا النموذجين الإحصائيين، مما أظهر قدرته الفائقة على استيعاب الأنماط المعقدة وغير الخطية والتبعيات طويلة المدى في بيانات استهلاك عرض النطط الترددي.
الأهمية والادعاءات
تدعي الورقة أنه بينما تعد النماذج التقليدية مثل ARIMA و SARIMA مفيدة لمهام التنبؤ الأساسية والمستقرة، إلا أنها غير كافية للطبيعة الديناميكية والمعقدة للغاية لبيانات عرض النطط الترددي الحديثة للإنترنت. وتخلص الدراسة إلى أن نماذج LSTM توفر تحسناً كبيراً في دقة التنبؤ، مما يجعلها الأداة الأكثر فعالية لشركات تزويد خدمة الإنترنت التي تسعى لتحسين تخصيص الموارد وتخفيف الازدحام.
تكمن أهمية هذا العمل في برهانه على أن اعتماد تقنيات تعلم الآلة المتطورة يمكن أن يحول إدارة الشبكة من رد الفعل إلى الاستباقية. ومن خلال التنبؤ الدقيق بالطلب، يمكن لشركات تزويد خدمة الإنترنت ترقية شبكاتها بشكل أفضل، وإدارة الازدحام، وإنشاء باقات مخصصة. علاوة على ذلك، تؤكد الورقة أن نشر هذه النماذج يجب أن يكون مصحوباً باعتبارات أخلاقية صارمة فيما يتعلق بخصوصية البيانات، والعدالة، والشفافية لضمان تقديم خدمة عادلة والحفاظ على ثقة أصحاب المصلحة. وتعد هذه الدراسة أساساً للأعمال المستقبلية التي تشمل النماذج الهجينة، ودمج العوامل الخارجية (مثل الطقس، والعطلات)، وتكييفات التنبؤ في الوقت الفعلي.