ملخص تقني: المزايدة التلقائية المقيدة عبر نمذجة الاستجابة التوليدية

1. بيان المشكلة

تواجه منصات الإعلانات عبر الإنترنت مشكلة تحسين معقدة مقيدة: تعظيم قيمة المعلن (مثل التحويلات أو الإيرادات) على مدى أفق حملة طويل، مع الالتزام بحدود ميزانية صارمة وأهداف كفاءة (مثل تكلفة الاكتساب - CPA، أو العائد على الإنفاق الإعلاني - ROAS).

تتمثل التحديات الجوهرية التي حددتها الورقة في:

• عدم الاستقرار وعدم اليقين: أحجام حركة المرور المستقبلية وديناميكيات المزاد غير مؤكدة وتتغير بمرور الوقت.
• القيود المترابطة: تمتد قيود الميزانية والكفاءة عبر الأفق بأكمله، ومع ذلك تُتخذ قرارات المزايدة لكل انطباع (أو لكل نبضة زمنية).
• قصور النهج الحالية:
  • التحكم القائم على وتيرة الصرف (Pacing): يستجيب للانحرافات (مثل الإنفاق الزائد) ولكنه لا يستطيع استباق الظروف المستقبلية.
  • التعلم المعزز (RL) والنماذج التوليدية: غالبًا ما تدمج القيود في إشارات المكافأة (مثل "العائد المتبقي للذهاب" - Return-to-Go)، مما يؤدي إلى إخفاء انتهاكات القيود ويؤدي إلى أداء هش تحت تأثير تغير التوزيعات.
  • نماذج مشهد المزايدة: تتنبأ بمعدلات الفوز لكل مزاد ولكنها تعامل المزادات كلقطات ثابتة، وتفتقر إلى آلية لفرض قيود الأفق بشكل مباشر.

يجادل المؤلفون بأن الطرق الحالية تجد صعوبة في الموازنة بين استباق الظروف المستقبلية والفرض الصريح والشفاف للقيود.

2. المنهجية: نموذج الاستجابة التوليدي (GRM)

تقترح الورقة تحولًا جذريًا في النموذج: بدلاً من تعلم الإجراء الأمثل (مضاعف المزايدة)، يتعلم النظام استجابة البيئة لإجراء معين.

2.1 المفهوم الجوهري: التنبؤ بالاستجابة

نموذج الاستجابة التوليدي (GRM) هو نموذج تسلسلي مشروط بالتاريخ. بدلاً من التنبؤ بمضاعف مزايدة واحد للنبضة الحالية، فإنه يتنبأ بـ حزمة استجابة مجمعة للأفق مشروطة بتاريخ ما قبل القرار $H_t$. تتكون هذه الحزمة من:

1. حجم حركة المرور المستقبلية ($\hat{I}_{t:T}$): إجمالي عدد فرص المزايدة المتبقية في الأفق.
2. منحنى التكلفة الإجمالي ($\hat{\bar{C}}_{t:T}(\alpha)$): التكلفة المتوقعة لكل فرصة كدالة لمضاعف مزايدة واحد $\alpha$ على مدار الأفق المتبقي.
3. منحنى القيمة الإجمالي ($\hat{\bar{V}}_{t:T}(\alpha)$): القيمة المتوقعة لكل فرصة كدالة لـ $\alpha$.

2.2 بنية النموذج والتدريب

• البنية: يستخدم GRM مشفر Transformer سببي لمعالجة تاريخ الميزات السياقية ($s_{1:t}$) والمضاعفات المنفذة ($\alpha_{1:t-1}$). يقوم فك التشفير (Decoder) بإخراج متجه بارامترات منخفض الأبعاد يحدد توقع حركة المرور ومعلمات منحنيات التكلفة والقيمة.
• تمثيل المنحنيات (Parameterization): يتم تمثيل منحنيات التكلفة والقيمة باستخدام عائلة السيجمويد اللوغاريتمي (بناءً على التوزيع التراكمي الطبيعي). يعكس هذا الاختيار الحقائق الاقتصادية:
  • التشبع عند المضاعفات العالية (تناقص العوائد).
    \ * الرتابة (المضاعفات الأعلى تحقق إنفاقًا/قيمة أعلى).
  • الشروط الحدية (إنفاق صفري عند $\alpha=0$).
• التدريب (الإشراف عبر أخذ عينات المستقبل): نظرًا لأن البيانات المتوفرة خارج الخط (Offline) تحتوي فقط على النتائج للمضاعفات المسجلة (وليس المضاعفات المضادة للواقع)، يتم تدريب GRM باستخدام استراتيجية أخذ عينات المستقبل. بالنسبة لنبضة مرجعية $t$، يأخذ النموذج عينات من النبضات المستقبلية $k$ من البيانات المسجلة ويطابق المنحنى المتوقع مع النتائج المحققة في تلك النبضات المستقبلية. دالة الخسوة هي انحدار مرجح بحركة المرور، مما يضمن أن فترات حركة المرور العالية تساهم بشكل أكبر في ضبط المنحنى.

.3 متحكم وتيرة الصرف التحليلي (Min-Pacing Controller)

بمجرد أن يتنبأ GRM بمنحنيات الاستجابة، يقوم متحكم تحليلي خفيف الوزن بتحديد مضاعف المزايدة $\alpha_t$ للنبضة الحالية. هذا المتحكم لا يتعلم؛ بل يحل من أجل تحقيق الجدوى:

1. وتيرة الميزانية ($\alpha_B$): يحل من أجل $\alpha$ بحيث تساوي التكلفة الإجمالية المتوقعة الميزانية المتبقية ($\hat{C}_{t:T}(\alpha) = B_t$).
2. وتيرة CPA ($\alpha_C$): يحل من أجل $\alpha$ بحيث تحقق التكلفة الإجمالية المتوقعة قيد الكفاءة ($\hat{C}_{t:T}(\alpha) - \tau \hat{V}_{t:T}(\alpha) = \Delta_t$).
3. التنفيذ: المضاعف النهائي هو الحد الأدنى المتحفظ: $\alpha_t = \min\{\alpha_B, \alpha_C\}$.

تتكرر هذه العملية عند كل نبضة (الأفق المتراجع)، مع تحديث الحالة وإعادة الحل بناءً على أحدث التنبؤات.

3. المساهمات الرئيسية والنتائج النظرية

تقدم الورقة ثلاث ضمانات نظرية رئيسية تربط جودة التنبؤ بالالتزام بالقيود:

1. فجوة تقريب $\alpha$-الواحد (النظرية 5.2): يثبت المؤلفون أن الفجوة بين الحل الأمثل باستخدام مضاعف واحد للأفق بأكمله مقابل الحل الأمثل لكل نبضة هي فجوة محدودة بـ تشتت الكفاءة (تباين القيمة الهامشية لكل تكلفة لكل نبضة). إذا كانت الكفاءة موحدة نسبيًا، فإن تقريب المنحنى الواحد يكون قريبًا من المثالية.
2. دقة وتيرة الصرف الدنيا (النظرية 5.3): تحت افتراضات الرتابة البسيطة، ثبت أن قاعدة وتيرة الصرف الدنيا ($\min\{\alpha_B, \alpha_C\}$) هي الحل الدقيق لمشكلة التحسين ذات المضاعف الواحد.
3. حدود انتهاك القيود (النظرية 5.4): تثبت الورقة أنه تحت إعادة التخطيط للأفق المتراجع، تتناسب انتهاكات القيود خطيًا مع خطأ التنبؤ. وتحديدًا، يتم تحديد انتهاكات الميزانية الإجمالية وCPA من خلال حدود تتضمن أخطاء تنبؤ المنحنى ($\epsilon_C, \epsilon_V$) وخطأ تنبؤ حركة المرور ($\epsilon_I$). وهذا يثبت خاصية "التدهور التدريجي": التنبؤات الأفضل تؤدي مباشرة إلى التزام أكثر أمانًا بالقيود.

4. النتائج التجريبية

أُجريت التجارب باستخدام بيئة محاكاة AuctionNet (من تحدي المزايدة التلقائية في NeurIPS 2024).

• الأداء: حقق GRM متوسط درجة قدره 33.88، متفوقًا على أقوى خط أساس (EBaReT، وهو نهج توليدي) بنسبة 7.8%. كما تفوق بشكل كبير على طرق التعلم المعزز التقليدية خارج الخط (CQL، IQL) والتعلم بالتقليد السلوكي (Behavioral Cloning).
• المتانة تجاه تغير التوزيع:
  • طفرة المنافسة: عندما زادت ميزانيات المنافسين بمقدار 1.1 ضعف، تدهور أداء GRM بنسبة 7.2% فقط، مقارنة بـ 22.6% لنموذج Decision Transformer (DT).
  • تشديد هدف CPA: عندما تم تشديد هدف CPA إلى 0.8 ضعف، تدهور أداء GRM بنسبة 5.0%، بينما تدهور DT بنسبة 13.9%.
    يعزو المؤلفون هذه المتانة إلى قدرة GRM على إعادة التنبؤ بمنحنيات الاستجابة عند كل نبضة، مما يسمح له بالتكيف مع المشهد التنافسي المتغير، بينما يعتمد DT على توزيعات ثابتة خارج الخط.
• الارتباط بين التنبؤ والأداء: لوحظ ارتباط سلبي قوي ($r = -0.78$) بين خسارة التحقق (validation loss) للنموذج ودرجة الاختبار. وهذا يؤكد تجريبيًا النظرية 5.4، مما يثبت أن التحسينات في جودة التنبؤ تترجم مباشرة إلى أداء مزايدة أفضل.
• دراسات الاستئصال (Ablation Studies): وُجد أن عائلة منحنيات السيجمويد اللوغاريتمي تتفوق على تمثيلات السيجمويد القياسية والخطية والمجزأة، لأنها تلتقط بشكل صحيح حالة التشبع وتناقص العوائد المتأصلة في مشاهد المزايدة.

5. الأهمية والادعاءات

تدعي الورقة أهميتها في نقل هدف التعلم من الإجراءات إلى الاستجابات. من خلال التنبؤ بمنحنيات الاستجابة الإجمالية للبيئة بدلاً من الإجراء الأمثل نفسه، يحقق المؤلفون:

• التعامل الصريح مع القيود: يتم فرض القيود عبر البحث عن الجذور التحليلية للمنحنيات المتوقعة، مما يجعل انتهاكات القيود شفافة ويمكن تتبعها إلى أخطاء تنبؤ محددة. وهذا يتناقض مع طرق RL حيث غالبًا ما تكون القيود مخفية داخل تشكيل المكافأة.
• الاستقرار تحت التغير: يسمح الفصل بين التنبؤ (GRM) والتحكم (Min-Pacing) للنظام بالتكيف مع تغير التوزيعات بشكل أكثر فعالية من النماذج التوليدية التي تعتمد على إشارات شرطية ثابتة.
• التأسيس النظري: يوفر العمل حدودًا رسمية لكيفية انتقال أخطاء التنبؤ إلى انتهاكات القيود، مما يوفر ضمانًا نظريًا لـ "التدهور التدريجي" الذي غالبًا ما يغيب عن أنظمة المزايدة القائمة على التعلم العميق.

يضع المؤلفون GRM كنهج عملي ومؤسس نظريًا يسد الفجوة بين النمذجة التنبؤية والتحسين المقيد في البيئات عالية المخاطر وغير المستقرة مثل الإعلانات في الوقت الفعلي.