📈 economics

Budget-Constrained Causal Bandits: Bridging Uplift Modeling and Sequential Decision-Making

يقدم هذا المقال "المندوبات السببية المقيدة بالميزانية" (BCCB)، وهو إطار عمل عبر الإنترنت يوحد بين تعلم فعالية الإعلانات، والاستكشاف، وتنظيم وتيرة الميزانية، ليتفوق على الطرق التقلية غير المتصلة بالإنترنت في سيناريوهات الإعلانات ذات البداية الباردة من خلال العمل بفعالية منذ المستخدم الأول مع إظهار تباين أقل بكثير في الأداء.

المؤلفون الأصليون: Abhirami Pillai

نُشر 2026-04-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Abhirami Pillai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مدير حملة إعلانية ضخمة على لوحات إعلانية رقمية. لديك مبلغ محدود من المال (ميزانية) لعرض الإعلانات على ملايين الأشخاص. هدفك بسيط: دفع أكبر عدد ممكن من الناس للنقر على الإعلان والشراء.

ولكن، هناك عقبة: ليس الجميع متشابهين.

البعض سيشتري المنتج حتى لو لم يروا الإعلان أبداً.
البعض لن يشتريه أبداً، مهما عرضت عليهم الإعلان.
البعض هم "النقطة المثالية": يشترون فقط لأنهم رأوا إعلانك.

التحدي هو معرفة من يقع ضمن هذه "النقطة المثالية" دون إضاعة أموالك على الآخرين بينما عداد صندوقك النقدي يتناقص.

الطريقة القديمة: نهج "الكرة البلورية"

حاولت الشركات تقليدياً حل هذه المشكلة في خطوتين، مثل طاهٍ يجهز طبقاً قبل وصول الضيوف:

كتاب الوصفات: كنت ستبحث في كومة ضخمة من البيانات الماضية (مثل كتاب وصفات) لتتعلم من الذي يشتري ماذا عادةً.
قائمة التسوق: ستستخدم هذا الكتاب لإنشاء قائمة صارمة بالأشخاص الذين يجب عرض الإعلان عليهم بالضبط.

المشكلة: هذا يعمل ببراعة إذا كان لديك كتاب وصفات ضخم ومثالي. ولكن ماذا لو كنت تطلق منتجاً جديداً تماماً، أو تدخل بلداً جديداً، أو تستهدف نوعاً جديداً من العملاء؟ ليس لديك كتاب وصفات بعد. الطريقة القديمة تفشل لأنها لا تملك شيئاً لتتعلم منه. إنها تشبه محاولة طهي وجبة فاخرة بمخزن طعام فارغ.

الحل الجديد: "المستكشف الذكي" (BCCB)

يقترح مؤلفو هذه الورقة طريقة جديدة تسمى "المستكشفات النطاقية السببية المقيدة بالميزانية" (BCCB). بدلاً من انتظار كتاب الوصفات، تتعلم هذه الطريقة أثناء الطهي.

تخيل BCCB كمستكشف ذكي يسير وسط حشد، حاملاً معه مبلغاً محدداً من المال.

الجزء "السببي" (Causal): المستكشف لا يكتفي بالتخمين بناءً على مظهر المهتمين فقط. بل يحاول اكتشاف السبب والنتيجة: "إذا عرضت هذا الإعلان على هذا الشخص تحديداً، هل سيشتري بسبب الإعلان، أم أنه كان سيشتري في كل الأحوال؟"
الجزء "النطاقي" (Bandit): هذا مصطلح تقني يعني "التعلم من خلال التجربة والخطأ". يجب على المستكشف الموازنة بين شيئين:
- الاستغلال (Exploitation): عرض الإعلانات على الأشخاص الذين يبدون كرهان آمن (لتحقيق مبيعات فورية).
- الاستكشاف (Exploration): عرض الإعلادات على الأشخاص الذين يمثلون لغزاً (لمعرفة ما إذا كانوا بالفعل أهدافاً جيدة).
جزء "الميزانية" (Budget): المستكشف ذكي في إنفاق المال. إذا أنفق الكثير بسرعة في البداية، فقد تنفد أمواله قبل مقابلة العميل المثالي. وإذا كان بخيلاً جداً، فسيضيع فرص مبيعات سهلة. يقوم BCCB بتعديل سرعة إنفاقه باستمرار بناءً على المبلغ المتبقي والوقت المتبقي.

الاكتشاف الكبير: "نقطة التحول"

اختبر الباحثون هذا المستكشف الجديد مقابل طريقة "كتاب الوصفات" القديمة باستخدام مجموعة بيانات حقيقية من شركة إعلانات كبرى. ووجدوا "نقطة تحول" رائعة في كمية البيانات التي تحتاجها:

البداية الباردة (من 0 إلى 2,000 شخص): الطريقة القديمة تنهار تماماً. تحاول بناء كتاب وصفات بمكونات قليلة جداً فتنتج نتائج كارثية. أما المستكشف الجديد (BCCB)، فهو يعمل بفعالية منذ أول شخص. إنه يتعلم أثناء المسير.
النطاق المتوسط (من 2,000 إلى 10,000 شخص): تبدأ الطريقة القديمة في العمل، لكنها تكون متذبذبة للغاية. قد يحالفها الحظ يوماً ما وتجد 100 مشترٍ؛ وفي اليوم التالي، مع نفس كمية البيانات، تجد 10 فقط. إنها غير متوقعة. أما المستكشف الجديد فهو ثابت وموثوق.
النقطة المثالية (أكثر من 10,000 شخص): بمجرد أن تمتلك الطريقة القديمة كمية هائلة من البيانات التاريخية (حوالي 10,000+ شخص)، تصبح في النهاية أفضل من المستكشف. يمكنها التنبؤ بدقة دون الحاجة إلى "إضاعة" المال في التعلم.

الرسالة الجوهرية: إذا كنت تبدأ حملة جديدة مع تاريخ ضئيل أو معدوم، لا تنتظر البيانات. استخدم المستكشف (BCCB). فهو أكثر استقراراً وموثوقية بمقدار 3 إلى 5 مرات من الطرق القديمة عندما تكون البيانات شحيحة.

لماذا يهم هذا؟

في عالم الإعلانات الرقمية الواقعي، تتغير الأشياء بسرعة. تُطلق منتجات جديدة، وتُفتح أسواق جديدة، وتتغير عادات المستخدمين. غالباً، ليس لديك الوقت لانتظار تراكم بيانات 10,000 عميل سابق.

توضح هذه الورقة أنك لست مضطراً للانتظار. يمكنك إنفاق ميزانيتك بحكمة منذ اليوم الأول مع التعلم في الطريق لمعرفة من يستجيب لإعلاناتك، دون استنزاف ميزانيتك أو التخمين بعشوائية. إنها تحول العملية الفوضوية لـ "محاولة العثور على العملاء" إلى رحلة ثابتة ومنظمة.

إليك ملخص تقني مفصل لورقة "Budget-Constrained Causal Bandits: Bridging Uplift Modeling and Sequential Decision-Making".

1. صياغة المشكلة

تتناول الورقة تحدي تخصيص المعالجة المقيد بالميزانية في الإعلانات الرقمية، لا سيما في سيناريوهات البداية الباردة (Cold-Start)، حيث تكون البيانات التاريخية شحيحة أو غير موجودة (مثل الحملات الجديدة أو الأسواق الجديدة).

الهدف الجوهري: تعظيم إجمالي عدد التحويلات (نتائج المعالجة) من خلال اختيار مجموعة فرعية من المستخدمين لعرض الإعلانات لهم، مع الالتزام بحد أقصى للميزانية $B$ .
القيود والتحديات الرئيسية:
1. تأثيرات المعالجة غير المتجانسة (HTE): يستجيب المستخدمون للإعلانات بشكل مختلف. الهدف هو استهداف المستخدمين ذوي التأثيرات الإيجابية العالية ( $\tau(x)$ ) وتجنب أولئك الذين لا يتأثرون أو يتأثرون سلبًا.
2. قيود الميزانية: لكل مستخدم تكاليف محددة $c_t$ (مثل سعر المزاد للإعلانات). يجب ألا تتجاوز التكاليف التراكمية $B$ .
3. البداية الباردة / ندرة البيانات: تتطلب الطرق التقليدية غير المتصلة (offline) مجموعات بيانات تاريخية ضخمة لتدريب نماذج الرفع (uplift models). في السيناريوهات الجديدة، لا تتوفر هذه البيانات، مما يؤدي إلى مشكلة "البداية الباردة".
4. صنع القرار المتسلسل: يصل المستخدمون بشكل متتابع. يجب على النظام تعلم تأثيرات المعالجة عبر الإنترنت (online) مع التحكم في آن واحد في وتيرة استهلاك الميزانية (لتجنب الاستنفاد المبكر أو عدم الاستغلال غير الفعال).

التعريف الرسمي:
تتم نمذجة المشكلة كعملية متسلسلة عبر $T$ من الجولات. في كل جولة $t$ ، يلاحظ الوكيل مستخدمًا بخصائص $x_t$ وتكاليف $c_t$ ويختار إجراءً $a_t \in \{0, 1\}$ (معالجة أو عدم معالجة). الهدف هو:
$\max \sum_{t=1}^T a_t \cdot Y_t(1) \quad \text{subject to} \quad \sum_{t=1}^T a_t \cdot c_t \le B$
حيث أن $Y_t(1)$ هي النتيجة المحتملة تحت المعالجة.

2. المنهجية: Budget-Constrained Causal Bandits (BCCB)

يقترح المؤلفون BCCB، وهو إطار عمل موحد عبر الإنترنت يدمج ثلاثة مكونات متميزة في عملية اتخاذ قرار متسلسلة واحدة. بخلاف الأنابيب (pipelines) التقليدية المكونة من مرحلتين (التدريب ثم التحسين) أو نماذج الـ bandits القياسية (التي تتجاهل HTE)، يقوم BCCB بالتعلم، والاستكشاف، والتحكم في وقت واحد.

أ. تقدير HTE عبر الإنترنت

المنهج: استخدام نهج النموذج المزدوج لتقدير تأثيرات المعالجة الفردية عبر الإنترنت.
- النموذج 1: يقدر $P(Y=1 | x, T=1)$ (احتمالية التحويل تحت المعالجة).
- النموذج 2: يقدر $P(Y=1 | x, T=0)$ (احتمالية التحويل تحت المجموعة الضابطة).
الآلية: يتم تحديث كلا النموذجين بشكل تدريجي بعد كل ملاحظة عبر الانحدار الاشتقاقي العشوائي (SGD) باستخدام خسارة لوجستية (logistic loss).
التعامل مع البداية الباردة: قبل جمع بيانات كافية (أقل من 50 ملاحظة للمعالجة/المجموعة الضابطة)، يتم استخدام تقدير قبلي متفائل ( $\hat{\tau} = 0.002$ ) لتشجيع الاستكشاف الأولي.

ب. استكشاف عينة تومسون (Thompson-Sampling Exploration)

الهدف: الموازنة بين الاستكشاف (التعلم عن المستخدمين غير المؤكدين) والاستغلال (استهداف المستخدمين ذوي القيمة العالية المعروفة).
الآلية: الحفاظ على توزيعات "بيتا" اللاحقة (Beta posterior distributions) لمعدلات النجاح العالمية لكل من المعالجة والمجموعة الضابطة.
مكافأة الاستكشاف: في كل خطوة، يسحب الخوارزمية من التوزيعات اللاحقة لحساب مكافأة الاستكشاف:
$\text{exploration\_bonus}_t = (\theta_t^{(1)} - \theta_t^{(0)}) \cdot \eta$
تُضاف هذه المكافأة إلى تقدير HTE وتشجع الخوارزمية على معالجة المستخدمين ذوي التأثيرات غير المؤكدة، حتى لو كان تقدير HTE الحالي غامضًا.

ج. ضبط وتيرة الميزانية التكيفي (Adaptive Budget Pacing)

الهدف: منع استنفاد الميزانية المبكر أو عدم الاستغلال غير الفعال.
الآلية: حساب نسبة ضغط الميزانية ( $pace_t$ $p a c e_{t}$ ) في كل جولة:
$pace_t = \frac{B_t / B_0}{(T - t) / T}$
- إذا كانت $pace_t > 1$ : الميزانية وفيرة بالنسبة للوقت؛ لذا يكون الخوارزمية أكثر سخاءً في الإنفاق.
- إذا كانت $pace_t < 1$ : الميزانية تنفد بسرعة كبيرة؛ لذا يصبح الخوارزمية أكثر انتقائية.
تعديل العتبة: تقوم نسبة الوتيرة بتعديل عتبة القرار ديناميكيًا. عندما تكون الميزانية ضيقة، تزدل عتبة المعالجة، مما يضمن اختيار المستخدمين ذوي الكفاءة العالية في التكلفة فقط.

د. قاعدة القرار المشتركة

لكل مستخدم $t$ ، يحسب الخوارزمية درجة وقيمة لكل دولار:

الدرجة (Score): $s_t = \hat{\tau}(x_t) + \text{exploration\_bonus}_t$
القيمة (Value): $v_t = s_t / c_t$
القرار: معالجة ( $a_t=1$ ) إذا كان $v_t > \frac{\lambda}{\max(pace_t, \epsilon)}$ ، حيث $\lambda$ هي عتبة أساسية.

3. المساهمات الرئيسية

إطار عمل موحد: اقتراح BCCB، وهو أول إطار عمل يوحد تعلم HTE، واستكشاف عينة تومسون، وضبط وتيرة الميزانية في عملية واحدة عبر الإنترنت، دون الحاجة إلى بيانات تاريخية مجمعة مسبقًا.
العبور الفعال للبيانات: تحديد عتبة حرجة تجريبيًا (~10,000 ملاحظة تاريخية). تحت هذا المستوى، تفشل الطرق غير المتصلة (offline) أو تكون غير مستقرة للغاية؛ وفوق ذلك، يمكن للطرق غير المتصلة التفوق على الطرق المتصلة. يعمل BCCB بفعالية منذ المستخدم الأول.
استقرار الأداء: إثبات أن BCCB يظهر تباينًا في الأداء أقل بـ 3 إلى 5 مرات مقارنة بالطرق غير المتصلة عبر عمليات التكرار، مما يجعله أكثر موثوقية لتخطيط الحملات.
أداء متفوق عبر الإنترنت: من بين طرق العمل عبر الإنترنت الصرفة، يتفوق BCCB باستمرار على عينة تومسون القياسية، وعينة تومسون المقيدة بالميزانية، وتقدير HTE الجشع (Greedy) عبر جميع مستويات الميزانية.

4. النتائج التجريبية

تم تقييم الدراسة على مجموعة بيانات Criteo Uplift (1.4 مليون مستخدم) مع تكاليف اصطناعية تم إنشاؤها عبر توزيع Log-Normal.

مقارنة (Online-vs-Online):
- عند ميزانية عالية ($8,000)، حقق BCCB 46 تحويلًا وتفوق على عينة تومسون القياسية (37) وHTE-Greedy (29).
- عند الميزانيات الضيقة ($1,000)، قدم BCCB وعينة تومسون المقيدة بالميزانية أفضل أداء، مما يؤكد أهمية الوعي بالميزانية.
العبور الفعال للبيانات (Offline vs. Online):
- أقل من 2,000 ملاحظة: فشلت الطرق غير المتصلة تمامًا (لم يتمكن النموذج من الملاءمة بسبب وجود صفر أمثلة إيجابية في المجموعة الضابطة). عمل BCCB بنجاح.
- 2,000 – 10,000 ملاحظة: أظهرت الطرق غير المتصلة تباينًا شديدًا (معامل اختلاف > 100%). ظل BCCB مستقرًا.
- أكثر من 50,000 ملاحظة: تفوقت الطرق غير المتصلة في النهاية على BCCB (104 مقابل 25 تحويلًا)، مما يؤكد أن الطرق غير المتصلة هي الأفضل عند توفر بيانات ممثلة وفيرة.
الاستقرار: أظهر BCCB انحرافات معيارية تترا-وح 7-13 تحويلًا، بينما تراوحت الطرق غير المتصلة بين 35-65. هذا الانخفاض بمقدار 3-5 أضعاف في التباين أمر بالغ الأهمية للتنبؤ بعائد الاستثمار (ROI).
القابلية للتوسع: حافظ BCCB على ذروة أدائه عبر أحجام مجموعات بيانات مختلفة (100K, 500K, 1.4M مستخدم)، بينما كانت طرق Greedy-HTE غير متسقة للغاية.

5. الأهمية والقيود

الأهمية:

حل مشكلة البداية الباردة: يوفر حلاً عمليًا لحملات الإعلانات الجديدة حيث لا تتوفر بيانات تاريخية، وهو سيناريو تفشل فيه مسارات الصناعة القياسية.
تخفيف المخاطر: الاستقرار العالي لـ BCCB يقلل من خطر فشل الحملة بسبب تباين البذور العشوائية (random seed variance)، وهي مشكلة شائعة في النماذج غير المتصلة المدربة على مجموعات بيانات صغيرة.
تحول في النموذج الفكري: ينقل المجال من "التدريب ثم النشر" إلى "التعلم والتخصيص المتزامن" للاستدلال السببي المقيد بالموارد.

القيود:

وفرة البيانات: إذا كانت الشركة تمتلك أكثر من 50,000 ملاحظة تاريخية من نفس المجتمع، تظل الطرق غير المتصلة هي الأفضل.
التكاليف الاصطناعية: استخدمت الدراسة تكاليف اصطناعية بناءً على توزيع Log-Normal. قد تكون ديناميكيات المزاد في العالم الحقيقي أكثر تعقيدًا.
تعقيد النموذج: يستخدم التنفيذ الحالي مصنفات خطية لـ HTE. يمكن للنماذج الأكثر تعبيرًا عبر الإنترنت (مثل الشبكات العصبية عبر الإنترنت) تحسين الدقة، لكن تم تأجيل ذلك للعمل المستقبلي.

الخلاصة:
يجسر BCCB الفجوة بين نمذجة الرفع واتخاذ القرار المتسلسل، ويقدم حلاً قويًا وفعالاً للبيانات لتخصيص المعالجة المقيد بالميزانية في الإعلانات الرقمية، خاصة في السيناريوهات التي تتميز بندرة البيانات والحاجة إلى أداء مستقر وفوري.