🤖 AI

LBM: Hierarchical Large Auto-Bidding Model via Reasoning and Acting

تقترح هذه الورقة نموذج LBM، وهو نموذج مزاد تلقائي كبير هرمي يدمج وحدة LLM-Think القائمة على الاستنتاج مع وحدة LBM-Act لتوليد الإجراءات، مستفيداً من آلية تضمين مزدوجة والضبط الدقيق للتعلم التعزيزي غير المتصل بالإنترنت (GQPO) للتغلب على الهلوسة وتحسين أداء المزايدة في مزادات الإعلانات الديناميكية.

المؤلفون الأصليون: Yewen Li, Zhiyi Lyu, Peng Jiang, Qingpeng Cai, Fei Pan, Bo An, Peng Jiang

نُشر 2026-03-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yewen Li, Zhiyi Lyu, Peng Jiang, Qingpeng Cai, Fei Pan, Bo An, Peng Jiang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير كشك ليمون ضخم وعالي المخاطر في مدينة يمر بها ملايين الأشخاص يوميًا. لديك ميزانية محدودة من الليمون والسكر، وتريد بيع أكبر عدد ممكن من الأكواب دون إنفاق أكثر مما يمكنك تحمله.

في الماضي، كنت توظف مديرًا بشريًا لمراقبة الحشود وتعديل أسعارك كل بضع دقائق. ولكن الآن، أصبحت المدينة ضخمة جدًا والمنافسة شرسة للغاية، لدرجة أن البشر لا يمكنهم الاستجابة بالسرعة الكافية أو رؤية جميع الأنماط. لذا، قمت ببناء مدير آلي (روبوت).

المشكلة في الروبوتات الحالية
الروبوتات التي نمتلكها اليوم (القائمة على "التعلم التعزيزي" التقليدي) تشبه الطلاب الذين يتعلمون فقط عن طريق حفظ كتاب مدرسي للمبيعات الماضية. هم جيدون في اتباع الأنماط التي رأوها من قبل، لكنهم عبارة عن "صناديق سوداء". إذا حدث موقف غريب — مثل عاصفة مطرية مفاجئة أو مرور شخصية مشهورة — فقد يصابون بالذعر ويتخذون قرارًا سخيفًا، مثل رفع الأسعار في حين يجب خفضها. هم لا "يفهمون" لماذا يفعلون ما يفعلونه؛ هم فقط يخمنون بناءً على الرياضيات.

الحل الجديد: LBM (الـ "مفكر" والـ "منفذ")
يقترح مؤلفو هذه الورقة نوعًا جديدًا من مديري الروبوتات يسمى LBM (نموذج المزايدة الآلي الضخم). بدلًا من روبوت واحد يحاول القيام بكل شيء، قاموا بتقسيم المهمة إلى دورين متميزين، مثل الجنرال والجندي.

1. الجنرال: LBM-Think (المُفكّر)

تخيل جنرالًا حكيمًا يجلس في مركز قيادة مع خريطة للمدينة بأكملها.

ماذا يفعل: هو لا يلمس الليمون. بدلاً من ذلك، ينظر إلى التاريخ: "لقد أنفقنا الكثير من المال بالأمس"، أو "الزحام كبير جدًا الآن".
القوة الخارقة: هذا الجنرال مدعوم بـ نموذج لغوي كبير (LLM). فكر في هذا الأمر كأنه مستشار فائق الذكاء قرأ ملايين الكتب التجارية، والمقالات الإخبارية، وأدلة الاستراتيجية. يمكنه "التفكير" بلغة بشرية بسيطة.
المخرج: يكتب الجنرال مذكرة قصيرة (تسمى سلسلة الأفكام - Chain-of-Thought) تقول: "مهلاً، الحشد يتضاءل، ولدينا ميزانية كافية متبقية. يجب أن نخفض أسعارنا قليلاً لجذب المزيد من الناس، لكن لا تنخفض كثيرًا حتى لا نخسر المال."
لماذا يهم ذلك: لأن هذا الجنرال يمكنه التفكير باللغة، فهو يفهم السياق. هو يعرف أن "المطر" يعني "عددًا أقل من الناس"، وهو أمر قد يفتقده روبوت الرياضيات البحتة.

2. الجندي: LBM-Act (المنفذ)

الآن، تخيل جنديًا مدربًا تدريبًا عاليًا على الأرض، ممسكًا بلوحة الأسعار.

ماذا يفعل: يتلقى مذكرة الجنرال و البيانات الحية من الشارع (كم عدد الأشخاص الذين يمرون الآن، وكم من المال تبقى في الصندوق).
التحدي: يحتاج الجندي إلى تحديد السعر بدقة (على سبيل المثال $2.43، وليس مجرد "رخيص" أو "غالٍ"). إذا أخطأ في الحساب ولو بسنت واحد، فقد يخسر عملية البيع.
الابتكار: قدمت الورقة تقنية خاصة تسمى "التمثيل المزدوج" (Dual Embedding). تخيل أن الجندي يرتدي زوجين من النظارات:
1. الزوج الأول يقرأ مذكرة الجنرال (اللغة).
2. والزوج الآخر يقرأ الأرقام الحية (الرياضيات).
  يرتدي الجندي كلا الزوجين في وقت واحد، ليدمج حكمة النص مع دقة الأرقام لتحديد السعر المثالي.

التدريب: كيف يتعلمون؟

لا يمكنك ترك هذه الروبوتات تجرب في كشك الليمون الحقيقي الخاص بك؛ فإذا ارتكبوا خطأً، ستخسر المال. لذا، قام المؤلفون بتدريبهم بطريقة خاصة:

المرحلة الأولى (التوجيه اللغوي): علموا الجندي (LBM-Act) كيف يستمع إلى الجنرال. عرضوا عليهم آلاف الأمثلة حيث قدم الجنرال نصيحة، وتعلم الجندي كيفية ترجمة تلك النصيحة إلى السعر المثالي.
المرحلة الثانية (لعبة "ماذا لو"): هذا هو الجزء الذكي. تم استخدام تقنية تسمى GQPO. تخيل أن الجنرال يُطلب منه كتابة ثلاث مذكرات مختلفة لنفس الموقف.
- مذكرة (أ): "ارفع الأسعار".
- مذكرة (ب): "اخفض الأسعار".
- مذكرة (ج): "حافظ على الأسعار كما هي".
  ثم يقوم النظام بمحاكاة ما سيحدث إذا اتبع الجندي كل مذكرة. يقوم بحساب "درجة" لكل منها. إذا أدت المذكرة (ب) إلى أكبر عدد من المبيعات، يخبر النظام الجنرال: "عمل رائع في المذكرة (ب)! اكتب مثلها في المرة القادمة."
  هذا يسمح للجنرال بأن يصبح أكثر ذكاءً دون أن يخاطر أبدًا بأموال حقيقية في العالم الحقيقي.

لماذا يعد هذا أمرًا مهمًا؟

لا مزيد من حيرة "الصندوق الأسود": إذا قام الروبوت بحركة غريبة، يمكنك سؤال الجنرال: "لماذا فعلت ذلك؟" وسيشرح لك الأمر بلغة بسيطة.
أفضل في التعامل مع المجهول: نظرًا لأن الجنرال قد "قرأ" الكثير (بفضل الـ LLM)، فإنه يستطيع التعامل مع المواقف الغريبة والجديدة بشكل أفضل من الروبوتات التي حفظت البيانات القديمة فقط.
الدقة: يضمن الجندي تحويل النصيحة "الغامضة" من الجنرال إلى سعر مثالي من الناحية الرياضية.

باخت_صار:
تقدم الورقة فريقًا حيث يقوم جنرال ذكي ومفكر (يفهم الصورة الكبيرة ويمكنه التحدث إليك) بتوجيه جندي دقيق ومركز على الرياضيات (ينفذ الخطوات بدقة). ومن خلال تدريبهما معًا باستخدام طريقة "المحاكاة" التي لا تخاطر بأموال حقيقية، فإنهم يخلقون نظام مزايدة آلية أكثر ذكاءً، وأمانًا، وقدرة على التكيف من أي شيء امتلكناه من قبل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "LBM: نموذج المزايدة التلقائية الضخم الهرمي عبر الاستنتاج والعمل".

1. بيان المشكلة

تعالج الورقة التحديات المتعلقة بـ المزايدة التلقائية (auto-bidding) في مزادات الإعلانات عبر الإنترنت واسعة النطاق.

السياق: يتنافس المعلنون للحصول على ملايين الظهورات يومياً. وتعتبر المزايدة اليدوية غير عملية نظراً لحجم وسرعة المزادات.
القيود الحالية: تعتمد الطرق الحالية على التعلم المعزز خارج الخط (Offline Reinforcement Learning) (مثل IQL، CQL) أو النماذج التوليدية (مثل Decision Transformers، Diffusers).
- الطبيعة "الصندوق الأسود": غالباً ما تعمل هذه النماذج بشكل غير منطقي (على سبيل المثال، زيادة العروض عندما يكون تكلفة الإجراء (CPA) مرتفعاً بالفعل) لأنها تعتمد فقط على إشارات المكافأة دون فهم المنطق الكامن وراء المهمة.
- التعميم: تواجه هذه النماذج صعوبة في التعميم على البيئات الديناميكية أو "الحالات الحدية" غير المرئية التي لم تكن موجودة في مجموعة بيانات التدريب.
تحدي النماذج اللغوية الكبيرة (LLM): بينما تمتلك النماذج اللغوية الكبيرة قدرات استنتاج قوية ومعرفة بشرية مسبقة، فإن تطبيقها المباشر على المزايدة التلقائية أمر صعب:
- الدقة: تتطلب المزادات إجراءات عددية دقيقة؛ بينما غالباً ما تعاني النماذج اللغوية الكبيرة من "الهلوسة" أو إنتاج قيم مستمرة غير مثالية.
- كفاءة الرموز (Token Efficiency): تحويل المتواليات العددية الطويلة (الحالات، العوائد) إلى رموز لغوية مكلف حاسوبياً ويجهد آليات الانتباه (attention mechanisms).
- نقص البيانات المتخصصة: تفتقر النماذج اللغوية الكبيرة العامة إلى التدريب المسبق على بيانات المزايدة التلقائية المحددة.

2. المنهجية: نموذج LBM الهرمي

يقترح المؤلفون LBM (نموذج المزايدة التلقائية الضخم الهرمي)، وهو إطار عمل مكون من مرحلتين يفصل بين الاستنتاج (المستوى العالي) والعمل (المستوى المنخفض).

أ. بنية النموذج

يتكون النموذج من وحدتين متميزتين:

LBM-Think (المستوى العالي):
- الدور: توليد سلسلة من الأفكار (Chain-of-Thought - CoT) بلغة طبيعية.
- المدخلات: مقاييس الأداء التاريخية (التحويلات، استغلال الميزانية، اتجاهات تكلفة الإجراء CPA).
- المخرجات: ملخص نصي واتجاه استنتاجي عالي المستوى (مثل "زيادة العرض"، "تقليل العرض"، أو "غير متأكد").
- التوقيت: يمكن تشغيله بشكل غير متزامن قبل خطوة اتخاذ القرار، مما يتيح وقتاً للاستنتاج المعقد.
LBM-Act (المستوى المنخفض):
- الدور: توليد تعديل بارامتر المزايدة العددي الدقيق.
- المدخلات: الحالة الحالية (متوالية عددية) + سلسلة الأفكار (CoT) التي تم توليدها بواسطة LBM-Think.
- الآلية: يستخدم آلية التضمين المزدوج (Dual Embedding Mechanism) لدمج نمطين:
  - تضمين اللغة (Language Embedding): يعالج سلسلة الأفكار باستخدام تضمينات الرموز القياسية.
  - تضمين القرار (Decision Embedding): يقوم طبقة MLP متخصصة بإسقاط المتواليات العددية إلى تضمينات تطابق حجم الرمز، مما يتجنب عبء ترميز (tokenization) الأرقام الخام.
- المخرجات: الإجراء النهائي (تعديل العرض).

ب. استراتيجية التدريب (مرحلتان)

تقدم الورقة خط تدريب مبتكر مكون من مرحلتين:

المرحلة الأولى: تدريب القرار الموجه باللغة (لـ LBM-Act)
- الهدف: تعليم LBM-Act كيفية اتباع التعليمات اللغوية أثناء معالجة البيانات العددية.
- الطريقة: يتم تدريب النموذج على التنبؤ بإجراء مجموعة البيانات ( $a_t$ ) بناءً على متوالية الحالة وسلسلة الأفكها ( $c_t$ ).
- دالة الخسارة: تقلل الخطأ التربيعي بين الإجراء المتوقع والإجراء الفعلي في مجموعة البيانات ( $\| \tilde{a}_t - a_t \|^2$ ).
- الابتكار الرئيسي: يسمح التضمين المزدوج للنموذج بالانتباه بفعالية إلى كل من "الاستنتاج" (اللغة) و"البيانات" (الأرقام) في آن واحد.
المرحلة الثانية: الضبط الدقيق للتعلم المعزز خارج الخط (لـ LML-Think)
- الهدف: تحسين جودة الاستنتاج لـ LBM-Think لتقليل الهلوسة وتعزيز اتخاذ القرار دون الحاجة لتجارب واقعية (والتي قد تكون محفوفة بالمخاطر في الإعلانات).
- الطريقة: تحسين سياسة Q النسبية للمجموعات (Group relative-Q Policy Optimization - GQPO).
- الآلية:
  - توليد مجموعة من سلاسل الأفكا المرشحة ( $c_i$ ) لحالة معينة.
  - استخدام دالة Q مدربة مسبقاً (تم تدريبها عبر IQL) لتقييم قيمة الإجراءات الناتجة عن كل سلسلة أفكا.
  - حساب Q النسبية ( $\Delta Q$ ): الفرق في قيم Q بين الإجراء الناتج عن سلسلة أفكا معينة وإجراء مجموعة البيانات الأساسي.
  - التحسين: اختيار سلسلة الأفكا ذات أعلى $\Delta Q$ إيجابي وضبط LBM-Think لزيادة احتمالية توليد هذه السلسلة المتفوقة. يعمل هذا كعملية تحديث "موزونة بالميزة" خارج الخط.

3. المساهمات الرئيسية

البنية الهرمية: فصل مبتكر بين الاستنتاج (LBM-Think) والعمل (LBM-Act)، مما يستفيد من نقاط قوة النماذج اللغوية الكبيرة في المنطق مع الحفاظ على الدقة في توليد الإجراءات.
آلية التضمين المزدوج: طريقة فعالة لدمج الأنماط اللغوية والعددية، مما يحل مشكلة عدم كفاءة الترميز لتمثيل المتواليات العددية الطويلة في النماذج اللغوية الكبيرة.
GQPO (تحسين سياسة Q النسبية للمجموعات): تقنية ضبط دقيق مستقرة خارج الخط تخفف من هلوسة النماذج اللغوية الكبيرة باستخدام قيم Q النسبية كإشارة مكافأة، مما يلغي الحاجة إلى الاستكشاف الواقعي المحفوف بالمخاطر.
تفوق الهيكل التوليدي: يثبت أن الهيكل التوليدي القائم على النماذج اللغوية الكبيرة يتفوق على طرق التعلم المعزز التقليدية خارج الخط والنماذج التوليدية القياسية (مثل Decision Transformers) في كل من الكفاءة والتعميم.

4. النتائج التجريبية

قيم المؤلفون نموذج LBM على AuctionNet، وهو معيار واسع النطاق يعتمد على بيانات إعلانية من الواقع.

الأداء مقابل النماذج المرجعية:
- تفوق LBM بشكل كبير على طرق التعلم المعزز خارج الخط (USCB, CQL, IQL) والنماذج التوليدية المرجعية (DT, DiffBid).
- حقق LBM(GQPO) أعلى عدد من التحويلات (382 مقابل 371 لـ DT-Q) وأعلى درجة (348 مقابل 334 لـ DT-Q) في الإعدادات الكثيفة.
- كما أظهر تفوقاً في استغلال الميزانية والالتزام بقيود تكلفة الإجراء (CPA).
التعميم:
- حافظ LBM على أداء عالٍ عبر مختلف إعدادات الميزانية (من 0.5x إلى 1.5x من الميزانية القياسية)، بينما تراجع أداء نماذج Decision Transformers (DT) بشكل كبير عند تغير الميزانيات.
الاستنتاج والسلوك:
- أظهر التحليل البصري (الشكل 2) أن LBM-Think حدد بشكل صحيح متى يجب تقليل العروض (عندما يكون CPA > القيد) ومتى يجب زيادة العروض (عندما يكون CPA < القيد)، مما يتوافق مع المنطق الاقتصادي. غالباً ما فشلت نماذج DT القياسية في اتباع هذا المنطق.
الكفاءة:
- سمحت البنية الهرمية باستخدام نموذج أصغر (0.5B) لـ LBM-Act، مما يضمن زمن انتقال منخفض للاستدلال، بينما يعمل النموذج الأكبر (3B) لـ LBM-Think بشكل غير متزامن.
- أظهرت دراسات الاستئصال (Ablation studies) أنه حتى نموذج بـ 3 مليار معلمة لـ LBM-Think كان كافياً، مما يشير إلى المتانة.

5. الأهمية

تمثل هذه الورقة خطوة هامة للأمام في الإعلان الحسابي وصنع القرار القائم على النماذج اللغوية الكبيرة:

سد الفجوة: نجحت في سد الفجوة بين قدرات الاستنتاج للنماذج اللغوية الكبيرة ومتطلبات الدقة لمهام التحكم المستمر (المزايدة التلقائية).
الأمان والواقعية: من خلال اقتراح طريقة ضبط دقيق خارج الخط (GQPO)، تعالج الورقة المخاوف الأمنية الحرجة المتعلقة بنشر النماذج اللغوية الكبيرة في المزادات الواقعية حيث تكون تجربة الخطأ والصواب مكلفة للغاية.
القابلية للتفسير: توفر آلية سلسلة الأفكار (CoT) عملية استنتاج شفافة، مما يسمح للمعلنين بفهم سبب تعديل العرض، مما يزيد من الثقة في الأنظمة المؤتمتة.
القابلية للتوسع: تقدم آلية التضمين المزدوج والتصميم الهرمي حلاً قابلاً للتوسع لمهام صنع القرار المعقدة وعالية الأبعاد بما يتجاوز الإعلانات، مثل الروبوتات أو التداول المالي.