HOBA: Hierarchical On-Policy Bidding Agents for Adaptive Online Advertising
تقترح الورقة البحثية إطار عمل HOBA، وهو إطار للتعلم التعزيزي الهرمي يدمج نموذج لغة كبير لضبط المعلمات الفائقة بشكل تكيفي، وعميل SARSA مصحح الانحياز للاختيار الديناميكي للنموذج الخبير، ومجمع خبراء متنوع لتنفيذ العطاءات، مما يتغلب على قيود أنظمة المزايدة المدربة دون اتصال عبر قدرة كبيرة على التكيف عبر الإنترنت وقيمة تجارية مثبتة في عمليات النشر واسعة النطاق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل دار مزادات عملاقة وعالية السرعة، حيث يحاول الملايين من الناس شراء شرائح ضئيلة من الانتباه في كل ثانية. هذا هو عالم الإعلانات عبر الإنترنت. يريد المعلنون عرض إعلاناتهم للأشخاص المناسبين دون إنفاق ميزانيتهم بالكامل في دقيقة واحدة. وللقيام بذلك، يستخدمون "وكلاء مزايدة" (bidding agents) — وهي برامج حاسوبية تقرر مقدار ما يجب دفعه مقابل مساحة إعلانية. فكر في هؤلاء الوكلاء مثل سائقي سباقات السيارات؛ بعض السائقين حذرون للغاية ويتبعون كتاب قواعد صارماً (مثل متحكم PID)، بينما البعض الآخر مثل الأساتب الكبار الذين درسوا آلاف السباقات الماضية لتعلم أفضل التحركات (مثل التعلم المعزز غير المتصل بالإنترنت - offline Reinforcement Learning).
المشكلة هي أن مضمار السباق يتغير باستمرار. الطقس يتبدل، السائقون الآخرون يصبحون أسرع، وقواعد الطريق تتطور. السائق الذي يكتفي فقط باتباع كتاب قواعد ثابت قد يصطدم عندما يصبح المضمار زلقاً. أما السائق الذي يحاول تعلم حركات جديدة أثناء السباق بسرعة 200 ميل في الساعة، فقد يفقد السيطرة وينتهي به الأمر خارج المسار أو ينفد منه الوقود (الميزانية) في ثوانٍ. لقد حاول العلماء بناء سائق يكون ذكياً بما يكفي للتكيف وفي الوقت نفسه آمناً، لكنها عملية توازن صعبة؛ فإذا تركت الحاسوب يتعلم بحرية كبيرة، فقد يرتكب خطأً كارثياً، وإذا لم تسمح له بالتعلم على الإطلاق، فسيتخلف عن الركب عندما يتغير السوق.
هنا يأتي دور ورقة البحث "HOBA: وكلاء مزايدة هرميون للعمل عبر الإنترنت للتكيف مع الإعلانات عبر الإنترنت" (HOBA: Hierarchical On-Policy Bidding Agents for Adaptive Online Advertising). يقترح الباحثون من شركة كوايشو تكنولوجي (Kuaishou Technology) طريقة جديدة لإدارة هؤلاء السائقين تسمى HOBA. بدلاً من محاولة تعليم سائق واحد القيام بكل شيء، قاموا ببناء فريق مكون من ثلاث طبقات يعمل معاً مثل طاقم الصيانة، والمخطط الاستراتيجي، والسائق.
في قمة الفريق يوجد "المخطط الاستراتيجي" (Strategist) المدعوم بنموذج لغوي كبير (LLM). تخيل هذا كمدرب حكيم ينظر إلى الصورة الكبيرة مرة واحدة كل ساعة. هذا المدرب لا يقرر السرعة الدقيقة لكل منعطف؛ بل ينظر إلى حالة الطقل، ومستويات الوقود، والمنافسة، ثم يكتب مجموعة جديدة من التعليمات للفريق. قد يقول: "اليوم، كن أكثر عدوانية"، أو "حافظ على الإنفاق بطيء وثابت". هذا المدرب يتعلم من سجل ذاكرة للسباقات الماضية، مستخدماً حلقة "فكر-تصرف-لاحظ-تأمل" ليصبح أكثر ذكاءً بمرور الوقت.
في المنتصف يوجد "المدير التكتيكي" (Tactical Manager)، وهو وكيل ذكي يتحقق من العمليات كل دقيقتين. مهمته هي اختيار أفضل "سائق" من مرآب يضم خبراء مدربين مسبقاً. يحتوي المرآب على أنواع مختلفة من السائقين: أحدهم بارع في التصحيحات السريعة (PID)، وآخر جيد في التخطيط طويل الأمد (MPC)، وآخرون خبراء تعلموا من مجموعات بيانات ضخمة (مثل IQL أو Decision Transformers). المدير التكتيكي لا يخمن عشوائياً؛ بل يستخدم أداة "تعديل سببي" (causal adjustment) خاصة لضمان عدم خداعه بالحظ. على سبيل المثال، إذا فاز سائق بسباق لمجرد أن الطقس كان مثالياً، فإن المدير يعرف ألا ينسب هذا الفوز للسائق كمهارة حقيقية. إنه يختار السائق الذي يناسب اللحظة الحالية حقاً.
وفي القاعدة يوجد "السائقون" أنفسهم. هؤلاء هم الخبراء الذين يضعون بالفعل العطاءات لكل مزاد إعلاني، والذي يحدث في أجزاء من الثانية. هم يتبعون القواعد التي وضعها المخطط الاستراتيجي والاختيار الذي اتخذه المدير التكتيكي. والأهم من ذلك، أن هؤلاء السائقين لا يغيرون عقولهم أثناء السباق؛ فهم أدوات مختبرة مسبقاً وآمنة. "التعلم" يحدث فقط في الطبقة الوسطى، حيث يقرر الفريق أي سائق سيستخدم. هذا يحافظ على النظام آمناً من ارتكاب أخطاء جامحة تستنزف الميزانية، مع السماح له بالتكيف بسرعة مع تغير السوق.
اختبر الباحثون هذا النظام بطريقتين. أولاً، قاموا بتشغيله في بيئة محاكاة تسمى AuctionNet، وهي تشبه نسخة من ألعاب الفيديو لسوق الإعلانات. في هذه الاختبارات، تفوق نظام HOBA باستمرار على أفضل الأساليب الموجودة، محققاً تحسناً يصل إلى 12% في السيناريوهات الصعبة وغير المتوقعة. ثانًا، وهو الأهم، جربوه في العالم الحقيقي. قاموا بإجراء اختبار ضخم على منصة إعلانية حية تضم آلاف الحملات وملايين الدولارات من الميزانية.
كانت النتائج مبهرة. في الاختبار الواقعي، ساعد HOBA المعلنين على تحقيق أهداف التكلفة الخاصة بهم بنسبة 3.6% أكثر من النظام القديم. وهذا يعني أنهم حصلوا على قيمة أكبر مقابل أموالهم دون الإفراط في الإنفاق. كما زادت المنصة إجمالي قيمة التحويلات بنسبة 8.1% وحسنت العائد على الاستثمار بنسبة 3.3%. ولعل الأهم من ذلك، أن النظام فعل كل هذا دون استنزاف الميزانية أو التسبب في فوضى. لقد أثبت النظام أنه من خلال تقسيم المهمة إلى مدرب استراتيجي، ومدير تكتيكي، وفريق من السائقين المتخصصين، يمكنك إنشاء نظام إعلاني يتسم بالأمان والقدرة العالية على التكيف. إنه تذكير بأنه في بعض الأحيان، ليست الطريقة الأذكى للفوز في السباق هي امتلاك سائق خارق واحد، بل امتلاك فريق مثالي يعمل معاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.