AttnBoost: Retail Supply Chain Sales Insights via Gradient Boosting Perspective

إليك ملخص تقني مفصل لورقة البحث بعنوان "AttnBoost: رؤى مبيعات سلاسل التوريد بالتجزئة من منظور تعزيز التدرج".

1. بيان المشكلة

تعتمد إدارة سلاسل التوريد في قطاع التجزئة بشكل كبير على دقة التنبؤ بالطلب وكشف الشذوذ (مثل التنبؤ بمرتجعات المنتجات أو التأخيرات). ومع ذلك، تواجه هذه المهمة تحديات كبيرة:

• تعقيد البيانات: بيانات التجزئة صاخبة، عالية الأبعاد، وغير متجانسة، حيث تحتوي على مزيج من الميزات الرقمية، الفئوية، والزمنية.
• الطبيعة الديناميكية: سلوك المستهلك ومحركات الطلب (العروض الترويجية، التسعير، الموسمية) تتغير بسرعة، مما يجعل النماذج الثابتة أقل فعالية.
• قصور النماذج الحالية:
  • نماذج GBDT التقليدية (مثل XGBoost وLightGBM): رغم فعاليتها العالية في البيانات الجدولية، إلا أنها تتعامل مع أهمية الميزات بشكل ثابت؛ فبمجرد اختيار ميزة ما لعملية التقسيم، يظل تأثيرها النسبي ثابتاً، مما يفتقر إلى القدرة على إعادة وزن الميزات ديناميكياً بناءً على السياقات المتطورة.
  • نماذج التعلم العميق (مثل Transformers وTabNet): رغم توفيرها لآليات انتباه ديناميكية، إلا أنها غالباً ما تتطلب موارد حوسبة هائلة، وتفتقر إلى الشفافية، ويصعب نشرها في بيئات الإنتاج مقارنة بنماذج GBDT.
  • التفسير البعدي (Post-hoc Interpretability): طرق مثل SHAP وLIME مكلفة حوسبياً وتعمل بشكل منفصل عن عملية اتخاذ القرار الأساسية للنموذج.

تتمثل المشكلة الجوهرية في الحاجة إلى نموذج يوازن بين دقة التنبؤ العالية، والقدرة على التكيف الديناميكي مع تغير أهمية الميزات، والتفسير الذاتي دون تكبد التكاليف الحوسبية الباهظة للتعلم العميق.

2. المنهجية: AttnBoost

يقترح المؤلفون AttnBoost، وهو إطار عمل هجين يدمج آلية انتباه خفيفة الوزن وقابلة للتعلم مباشرة في مسار تعزيز قرار التدرج (GBDT).

أ. البنية الهيكلية

يتكون النموذج من مرحلتين رئيسيتين:

1. وحدة الانتباه خفيفة الوزن (AttentionNet):
   • قبل تغذية البيانات في مصنف التعزيز، يمر متجه الميزات المدخل $x$ عبر شبكة عصبية ضحلة.
   • الطبقة المخفية: شبكة تغذية أمامية مكونة من طبقتين مع تفعيل ReLU تقوم بإسقاط $x$ إلى تمثيل مخفي $h$.
   • آلية الانتباه: يتم حساب متجه أوزان الانتباه $\alpha$ عبر تحويل خطي مفعل بدالة sigmoid لـ $h$. يقوم هذا المتجه بتغيير حجم التمثيل المخفي ديناميكياً ($\tilde{h} = \alpha \odot h$).
   • المخرج: يُستخدم التمثيل المعزز بالانتباه للتنبؤ بتسمية ثنائية (مثل احتمالية المرتجعات/التأخير) عبر طبقة sigmoid نهائية.
2. التكامل مع GBDT:
   • يتم دمج أوزان الانتباه المدربة (أو التمثيل المعزز $\tilde{h}$) مع متجه الميزات الأصلي.
   • يتم تغذية هذا المدخل المعزز إلى مصنف XGBoost قياسي.
   • الابتكار الرئيسي: على عكس GBDT القياسي حيث تكون أهمية الميزات ثابتة، يسمح AttnBoost للنموذج بتعديل أهمية الميزات ديناميكياً خلال جولات التعزيز بناءً على أوزان الانتباه المتعلمة.

ب. التدريب والتحسين

• دالة الخسارة: استخدام الخسارة التقاطعية الثنائية (Binary cross-entropy) لمهام التصنيف.
• التنظيم (Regularization): يستخدم النموذج تنظيم L1/L2، وأخذ العينات الفرعية، وأخذ عينات الميزات لمنع الإفراط في التخصيص (Overfitting).
• المعلمات الفائقة (Hyperparameters): يستخدم التنفيذ طريقة الشجرة من نوع hist، بعمق أقصى قدره 10، و3000 جولة تعزيز لضمان التعلم التدريجي والمتانة.

3. المساهمات الرئيسية

1. التكامل المبتكر: تصميم آلية لدمج الانتباه على مستوى الميزات مباشرة في سير عمل GBDT، مما يحافظ على كفاءة XGBoost مع إضافة قدرات إعادة وزن الميزات الديناميكية.
2. إطار عمل موحد: إنشاء نظام يعمل في آن واحد على تحسين دقة التنبؤ وقابلية تفسير النموذج، معالجةً بذلك طبيعة "الصندوق الأسود" للتعلم العميق وجمود GBDT التقليدي.
3. التحقق التجريبي: إجراء تجارب واسعة النطاق على بيانات تجزئة ضخمة، مما أثبت تفوق AttnBoost على كل من نماذج التعلم الآلي الكلاسيكية وبنيات البيانات الجدولية الحديثة للتعلم العميق.
4. رؤى قابلة للتنفيذ: توفر آلية الانتباه تفسيراً ذاتياً، حيث تسلط الضوء على المتغيرات عالية التأثير (مثل الخصومات، وحجم المبيعات) دون الحاجة إلى أدوات خارجية مثل SHAP.

4. النتائج التجريبية

تم تقييم النموذج على مجموعة بيانات تجزئة تحتوي على حوالي 10,000 سجل مع 23 ميزة (المبيعات، الربح، الخصومات، أنماط الشحن، إلخ). تم تأطير المهمة كتصنيف ثنائي (التنبؤ بمرتجعات المنتجات/التأخيرات).

أ. الأداء المقارن

حقق AttnBoost نتائج رائدة مقارنة بمجموعة واسعة من النماذج المرجعية:

• النماذج التقليدية: تفوق على الانحدار الخطي/اللوجستي (F1 ~0.62–0.70) والنماذج القائمة على الأشجار مثل الغابة العشوائية (Random Forest) (F1 ~0.73).
• التعلم العميق: تفوق على البنيات المعقدة بما في ذلك RNNs وLSTMs وTransformers (مثل RoBERTa وBERT).
  • RoBERTa (أفضل نموذج مرجعي): درجة F1 = 0.9143
  • AttnBoost: درجة F1 = 0.9298 (الدقة: 0.9415، الاستدعاء: 0.9184)

ب. دراسات الاستئصال (Ablation Studies)

• آلية الانتباه: أدى إزالة وحدة الانتباه (XGBoost القياسي) إلى انخفاض درجة F1 من 0.93 إلى 0.80.
• الأوزان اليدوية مقابل المتعلمة: أدى تعيين الأوزان يدوياً بناءً على المعرفة بالمجال إلى تحسين الأداء قليلاً (F1 0.83) ولكنه كان أدنى من الانتباه المتعلم المعتمد على السياق (F1 0.93).
• أهمية الميزات: أكدت الدراسة أن إزالة الميزات الرئيسية التي حددتها آلية الانتباه (تحديداً الخصم، المبيعات، والربح) تسببت في تدهور كبير في الأداء، مما يؤكد قدرة النموذج على تحديد المحركات الحرجة.

ج. التفسير

حدد النموذج الخصم (Discount) كأكثر الميزات تأثيراً، يليه المبيعات (Sales) والربح (Profit). وهذا يتوافق مع المنطق في قطاع التجزئة، حيث تعتبر استراتيجيات التسعير محركات أساسية لمعدلات المرتجعات وتقلبات الطلب.

5. الأهمية والأثر

• النشر العملي: يقدم AttnBoost حلاً كفؤاً حوسبياً بما يكفي لأنظمة سلاسل التوريد في العالم الحقيقي، مع توفير القدرة على التكيف التي يحفظها التعلم العميق عادةً.
• دعم القرار: من خلال توفير درجات انتباه ذاتية، يقدم النموذج لمديري سلاسل التوريد رؤى قابلة للتنفيذ حول سبب اتخاذ التنبؤ (على سبيل المثال: "يُتوقع هذا المرتجع لأن الخصم كان مرتفعاً جداً")، مما يسهل تخطيط المخزون والعروض الترويجية بشكل أفضل.
• القابلية للتوسع: يوضح إطار العمل أن دمج الانتباه في التعزيز هو اتجاه واعد للذكاء الاصطناذ القابل للتفسير في البيئات غير المستقرة، مع إمكانات تطبيق تمتد إلى التمويل والرعاية الصحية.

في الختام، نجح AttnBoost في سد الفجوة بين متانة تعزيز التدرج وديناميكية آليات الانتباه، واضعاً معياراً جديداً للتنبؤ القابل للتفسير في سلاسل توريد التجزئة.