Click prediction boosting via Bayesian hyperparameter optimization based ensemble learning pipelines
تقترح هذه الورقة مسار تعلم تجميعي يعتمد على تحسين المعلمات الفائقة بطريقة بايزية، يجمع بين حذف الميزات والنماذج المكدسة لتحسين دقة التنبؤ بالنقر على الفنادق لوكالات السفر عبر الإنترنت بنسبة 10% تقريبًا.
المؤلفون الأصليون:Çağatay Demirel, A. Aylin Tokuç, Ahmet Tezcan Tekin
تخيل الإنترنت كأنه سوق رقمي ضخم وصاخب، يتجول فيه الملايين من الناس بحثاً عن المكان المثالي للنوم. وقبل أن يحجزوا غرفة، غالباً ما يقفزون إلى مواقع "البحث الشامل" (meta-search) — فكر في هذه المواقع كأنها متاجر مقارنة ضخمة مثل Kayak أو TripAdvisor — حيث يمكنهم رؤية الأسعار والتقييمات من عشرات الوكالات السياحية المختلفة في آن واحد. ولكي تلفت هذه الوكالات الأنظار في هذا السوق المزدحم، فإنها تدفع مقابل الإعلانات. لكن الجزء الصعب هنا هو أنها عادةً ما تدفع فقط عندما ينقر شخص ما بالفعل على إعلانها. فإذا أخطأت في تقدير السعر، قد تنفق ثروة على نقرات لا تحدث أبداً، أو والأسوأ من ذلك، قد تزايد بسعر منخفض جداً وتفقد آلاف العملاء المحتملين. لذا، فإن السؤال الكبير لهذه الوكالات هو: "إذا حددنا سعرنا عند هذا الرقم المحدد، فكم عدد الأشخاص الذين سينقرون بالفعل؟"
للإجابة على هذا، يستخدم العلماء فرعاً من علوم الحاسوب يسمى "تعلم الآلة"، وهو ببساطة تعليم الحواسيب كيفية إيجاد الأنماط في البيانات بدلاً من مجرد اتباع قواعد جامدة. إحدى الطرق الشائعة هي "التعلم الجماعي" (ensemble learning)، وهو يشبه تشكيل فريق خارق من المحققين. فبدلاً من الاعتماد على محقق واحد قد يغفل عن دليل ما، أنت تجمع فرقة كاملة، وتترك لكل منهم التحقيق في القضية، ثم تدمج نظرياتهم للوصول إلى إجابة أكثر دقة بكثير. تغوص هذه الورقة البحثية في ذلك العالم، محاولةً بناء الفريق الخارق من الخوارزميات للتنبؤ بنقرات الفنادق لوكالات السفر عبر الإنترنت.
سعى مؤلفو هذه الدراسة لحل لغز التنبؤ بالنقرات باستخدام مجموعة بيانات ضخمة من وكالة سفر رئيسية عبر الإنترنت في تركيا. لم يكتفوا بإلقاء خوارزمية واحدة على المشكلة؛ بل بنوا مساراً متطوراً لإنشاء "فريق الأحلام" من المتنبئات. أولاً، قاموا بتنظيف البيانات الفوضوية، وملء الفجوات المفقودة وإضافة سياق مفيد مثل تقارير الطقس ومدى قرب اليوم من عطلة رسمية. ثم استخدموا عملية تصفية ذكية (بناءً على أداة تسمى XGBoost) لاستبعاد المعلومات غير المفيدة والمزعجة، تاركين فقط الأدلة الأكثر أهمية.
بعد ذلك، قاموا بتدريب عشرة أنواع مختلفة من النماذج الرياضية، تتراوح بين الأنظمة القائمة على الأشجار المعقدة إلى المعادلات الخطية الأبسط. لكن السحر الحقيقي حدث عندما دمجوا هذه النماذج. لقد اختبروا أربع طرق مختلفة لخلط هذه النماذج: مجرد متوسط إجاباتها، أو إعطاء وزن أكبر للنماذج الأكثر ذكاءً، وتقنيتين متقدمتين تُعرفان بـ "التكديس" (stacking) و"المزج" (blending). التكديس يشبه وجود فريق أول من المحققين يكتب تقريراً، ثم يقوم فريق ثانٍ من كبار المحققين بقراءة تلك التقارير لاتخاذ الحكم النهائي. أما المزج فهو مشابه، لكن الفريق المتقدم يتاح له أيضاً النظر في الأدلة الأصلية مرة أخرى أثناء قراءة التقارير.
كانت النتائج واضحة تماماً. فبينما كانت النماذج الفردية جيدة، كان جهد الفريق أفضل بشكل ملحوظ. تشير الورقة إلى أن النهج الأفضل كان نموذج "التكديس المجمع" (stack ensemble)، وتحديداً عندما استخدم الفريق المتقدم أدوات بسيطة مثل الانحدار الخطي لتفسير تقارير الفريق الأول. حقق هذا النموذج الأعلى أداءً درجة (تسمى R² قدرها 0.63-0.639) وهي أفضل بنحو 10% من أفضل نموذج فردي بمفرده. وجد المؤلفون أن النماذج الأبسط عملت بشكل أفضل كـ "قضاة نهائيين" لأن العمل الشاق قد تم بالفعل بواسطة طبقة النماذج الأولى. كما لاحظوا أن النماذج الأكثر تعقيداً لم تجعل القرار النهائي أفضل بالضرورة؛ بل في الواقع، جعلت الأمور أسوأ في بعض الأحيان.
في النهاية، تشير الدراسة إلى أنه من خلال اختيار الميزات بعناية، وضبط إعدادات الخوارزميات، ودمج نماذج متعددة بطريقة ذكية، يمكن لوكالات السفر عبر الإنترنت الحصول على صورة أوضح لكيفية توليد نقرات إعلاناتها. يقترح المؤلفون أن هذه الطريقة تعد اتجاهاً واعداً في الصناعة، رغم اعترافهم بأن هناك مجالاً للنمو. كما لمحوا إلى أنه في المستقبل، قد يحاولون إضافة أنواع أكثر من النماذج، مثل الشبكات العصبية الاصطناعية أو الأدوات المتخصصة للتعامل مع الفئات، لمعرفة ما إذا كان بإمكانهم استخراج دقة أكبر. ومع ذلك، بالنسبة الآن، تشير الأدلة إلى حقيقة بسيطة: في عالم التنبؤ بالنقرات، فإن الفريق المنسق جيداً من المفكرين المتنوعين يهزم العبقري الوحيد في كل مرة.
ملخص تقني: تعزيز التنبؤ بالنقرات عبر خطوط معالجة تعلم التجميع القائم على تحسين المعلمات الفائقة البايزي
بيان المشكلة تتناول الورقة البحثية تحدي التنبؤ بعدد النقرات التي ستحصل عليها الفنادق مقابل مبلغ عطاء (bid) محدد في محركات البحث عن التكاليف (meta-search) الخاصة بالمزايدة. يعد هذا التنبؤ أمراً بالغ الأهمية لوكالات السفر عبر الإنترنت (OTAs) التي تدير حملات الإعلان بنظام التكلفة لكل نقرة (CPC)، حيث أن حاصل ضرب مبلغ العطاء في عدد النقرات المتوقع يحدد التكلفة الإجمالية للحملة. تتميز هذه المشكلة بتباين عالٍ في البيانات اليومية، ووجود عوامل خارجية (الموسمية، الأحداث، الموقع)، والحاجة إلى نمذجة العلاقات غير الخطية بين الميزات وحجم النقرات.
المنهجية يتبع النظام المقترح خط معالجة يتكون من خمسة مكونات تشمل استرجاع البيانات، والمعالجة المسبقة، واختيار الميزات، وتحسين المعلمات الفائقة، ونمذجة التجميع.
المعالجة المسبقة للبيانات وهندسة الميزات:
مصادر البيانات: تدمج مجموعة البيانات التقارير اليومية من منصة بحث عن التكالوات مع بيانات من وكالة سفر كبرى في تركيا. كما يتم دمج الميزات الخارجية، مثل الطقس اليومي، وأسعار الصرف، والقرب من العطلات الرسمية، لالتقاط السياقات الاقتصادية والموسمية.
التنظيف: يتم تعويض القيم المفقودة في الأعمدة الفئوية والعددية باستخدام المنوال (mode) والمتوسط (mean) على التوالي.
الترميز والتحجيم: يتم ترميز الميزات النصية باستخدام الترميز الأحادي (one-hot encoding) أو الترميز الثنائي، ويتم تحجيم جميع الميزات باستخدام تحجيم الحد الأدنى والأقصى (min-max scaling).
اختيار الميزات:
يستخدم المؤلفون خوارزمية حذف الميزات التكراري القائمة على XGBoost. تقوم هذه العملية بترتيب الميزات حسب الأهمية وإزالة الميزات الأقل أهمية بشكل تكراري. تتوقف عملية الحذف عندما لا تتجاوز درجة R2 لمساحة الميزات المختزلة درجة التكرار السابق، مما يؤدي فعلياً إلى تقليل الأبعاد مع الاحتفاظ بالقدرة التنبؤية.
تحسين المعلمات الفائقة (Hyperparameter Optimization):
يتم تطبيق تحسين المعلمات الفائقة البايزي لضبط نماذج XGBoost وLightGBM وStochastic Gradient Descent (SGD). تم اختيار هذا النهج الاحتمالي بدلاً من البحث الشبكي (Grid Search) أو البحث العشوائي (Random Search) لتحديد القيم المثلى العالمية للدوال غير المحدبة بكفاءة وفي عدد أقل من الدورات. مقياس التحسين هو درجة R2.
المتوسط البسيط: تم اختبار طريقتين: المتوسط البسيط للتنبؤات، والمتوسط الموزون حيث تُشتق الأوزان من درجات R2 الفردية للنماذج الأساسية.
التكديس (Stacking): تشكل تنبؤات النماذج العشرة مجموعة بيانات وسيطة. يتم تغذية هذه المجموعة في أربعة نماذج انحدار عليا (meta-regressors) وهي (XGBoost، وLasso، وBayesian Ridge، وLinear Regression) لتوليد التنبؤات النهائية.
المزج (Blending): يشبه التكديس، ولكن يتم دمج التنبؤات الوسيطة مع مجموعة الميزات الأصلية المختزلة بُعدياً قبل تغذيتها إلى نفس نماذج الانحدار الأربعة. يخلق هذا النهج فعلياً ميزات اصطناعية لتوسيع أبعاد الميزات.
المساهمات الرئيسية
تكامل خط المعالجة: تقدم الورقة خط معالجة شاملاً يدمج هندسة الميزات ذات التأخير الزمني، وتقليل الأبعاد القائم على XGBoost، والتحسين البايزي المخصص للتنبؤ بنقرات الفنادق.
التحليل المقارن للتجميع: تقارن الدراسة بشكل منهجي بين أربع استراتيجيات تجميع متميزة (المتوسط البسيط، المتوسط الموزون، التكديس، والمزج) عبر 46 مزيجاً من النماذج.
اختيار النموذج العلوي (Meta-Learner): تبحث الدراسة في فعالية نماذج الانحدار العليا، وتجد أن النماذج الخطية البسيطة غالباً ما تتفوق على النماذج الشجرية المعقدة عند استخدامها كطبقة نهائية في بنية التكديس.
النتائج
النماذج الفردية: تم اختبار عشرة نماذج انحدار أساسية بشكل فردي. كان أفضل نموذج فردي هو نموذج Ridge Regression بدرجة R2 بلغت 0.579. وكان أسوأ نموذج هو Elastic Net بدرجة R2 سالبة بلغت -0.012.
أداء التجميع: تفوقت جميع طرق التجميع على النماذج الفردية.
كانت أفضل النماذج أداءً هي ثلاثة أنواع من نماذج التكديس (Stack Ensemble) (باستخدام Linear Regression وLasso وBayesian Ridge كنماذج عليا)، حيث حقلت جميعها درجة R2 بلغت 0.639.
تبعتها نماذج المزج (Blend Ensemble) التي تستخدم Lasso وBayesian Ridge بفارق ضئيل حيث حققت R2 بلغت 0.638.
جاء نهج المتوسط الموزون (Weighted Average) في المرتبة الثالثة بدرجة R2 بلغت 0.597.
أما التوليفات الأخرى، مثل التكديس مع XGBoost أو المزج مع LightGBM، فقد أدت بمستوى النماذج المنفردة.
زيادة الأداء: خلص المؤلفون إلى أن أفضل نموذج تجميع يحسن أداء التنبؤ بنسبة تقارب 10% مقارنة بأفضل نموذج تعلم آلي منفرد.
الأهمية والادعاءات تدعي الورقة أن خطوط معالجة تعلم التجميع، وتحديداً تلك التي تستخدم التكديس مع نماذج انحدار خطية بسيطة، تعزز بشكل كبير دقة التنبؤ بنقرات الفنادق مقارنة بالنماذج المنفردة. ويعزو المؤلفون هذا النجاح إلى القدرة على تقليل التباين والاستفادة من نقاط القوة المتكاملة للخوارزميات المتنوعة. كما يشيرون إلى أن نموذج المستوى الأول (النموذج العلوي) يعمل كوسطٍ بشكل أساسي، مما يوحي بأن الخوارزميات البسيطة غالباً ما تكون كافية لهذا الدور عندما تكون نماذج المستوى صفر قد استخلصت بالفعل الأنماط المعقدة. وتؤكد الدراسة أنه بينما تعد المعرفة بالمجال وهندسة الميزات أمراً ضرورياً، فإن الجمع الهيكلي للنماذج عبر التكديس يوفر اتجاهاً قوياً لتحسين التنبؤ بنسبة النقر إلى الظهور (CTR) وحجم النقرات في بيئات البحث عن التكاليف.