🤖 machine learning

Collaborating in Multi-Armed Bandits with Strategic Agents

تقدم هذه الورقة آلية \texttt{CAOS}، التي تمكن الوكلاء الاستراتيجيين المستمرين في مشكلات "المتعدد الأذرع" (multi-armed bandit) من الحفاظ على الاستكشاف التعاوني وتحقيق ضمانات ندم تقترب من المثالية من خلال مشاركة المعلومات وحدها، مما يقلل بفعالية من ظاهرة "الركوب المجاني" دون الحاجة إلى تحويلات نقدية.

المؤلفون الأصليون: Idan Barnea, Ofir Schlisselberg, Yishay Mansour

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Idan Barnea, Ofir Schlisselberg, Yishay Mansour

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مجموعة من الأصدقاء يحاولون العثور على أفضل مطعم في مدينة لم يزوروها من قبل. جميعهم يريدون تناول طعام جيد، لكنهم يواجهون معضلة صعبة: هل يجربون مكاناً جديداً وغير معروف (الاستكشاف)، أم يلتزمون بالمكان الجيد الذي يعرفونه بالفعل (الاستغلال)؟

إذا التزم الجميع بالمكان الجيد المعروف، فلن يكتشفوا أبداً المكان "الأفضل". وإذا جرب الجميع أماكن جديدة، فقد ينتهي بهم الأمر جميعاً في مطاعم سيئة للغاية.

الآن، تخيل أن هؤلاء الأصدقاء أنانيون. لا يريد أي منهم أن يكون الشخص الذي يضيع وقته وماله في تجربة مطعم جديد ومحفوف بالمخاطر. بل يفضلون بدلاً من ذلك الجلوس على طاولة الصديق الذي يجرب المطعم الجديد بالفعل، وينتظرون حتى يعود بتقرير عنه، ثم يقررون ما إذا كانوا سيذهبون إلى هناك بأنفسهم. يُسمى هذا "الركوب المجاني" (Free-riding).

تتناول هذه الورقة مشكلة حيث تحتاج مجموعة من الوكلاء الأذكياء والأنانيين (مثل هؤلاء الأصدقاء) إلى التعلم معاً، ولكن لا أحد منهم يريد القيام بالعمل الشاق المتمثل في الاستكشاف.

المشكلة: فخ "الراكب المجاني"

في العديد من الأنظمة الحاسوبية، تحاول وكلاء متعددة (مثل روبوتات الذكاء الاصطناي أو التطبيقات) حل نفس المشكلة. عادةً، إذا شاركوا ما تعلموه، فسيحلونها بشكل أسرع. ولكن إذا كان الوكلاء استراتيجيين (أنانيين)، فسيحاولون ترك الآخرين يقومون بالاستكشاف بينما يستمتعون هم فقط بالنتائج.

لقد ركزت الأبحاث السابقة في الغالب على الحالات التي يكون فيها الوكلاء "قصيري العمر" — أي أنهم يتخذون قراراً واحداً ثم يرحلون. ولكن في العالم الحقيقي، يستمر الوكلاء في البقاء؛ إنهم يلعبون اللعبة مراراً وتكراراً. وفي هذه اللعبة طويلة الأمد، تكون مشكلة "الراكب المجاني" أصعب بكثير في الحل لأن الوكلاء الأنانيين يمكنهم ببساطة الانتظار والمراقبة ليروا ما إذا كان بإمكانهم الحصول على رحلة مجانية دون دفع تكلفة الاستكشاف أبداً.

الحل: CAOS (الوكلاء المتعاونون مع التوقف المتفائل)

يقترح المؤلفون نظاماً جديداً يسمى CAOS. فكر في CAOS كقواعد نادي صارمة ولكن عادلة تجعل الجميع يلعبون بنزاهة دون استخدام المال أو التهديدات.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. الحاسبة "المتفائلة"

كل يوم، قبل أن يخرج الجميع، يقوم كل وكيل بإجراء محاكاة ذهنية (تسمى OER). يسألون أنفسهم:

"إذا بقيت في المجموعة واستمررت في مشاركة ما اكتشفته، فكم سأكون أفضل حالاً على المدى الطويل؟ أو، إذا غادرت المجموعة وذهبت بمفردي، فكم سأكون أفضل حالاً؟"

النظام "متفائل" لأنه يفترض السيناريو الأفضل: يفترض أنه إذا بقيت أنت، فسيستمر الجميع أيضاً، وستصبح المجموعة أكثر ذكاءً معاً.

2. القرار بالبقاء أو المغادرة

إذا كانت الحسابات تقول إن البقاء أفضل: يبقى الوكيل في النادي. يتبع خطة المجموعة، ويجرب مطعماً جديداً، ويشارك النتائج.
إذا كانت الحسابات تقول إن الذهاب بمفرده أفضل (أو مساوٍ): يغادر الوكيل النادي. يتوقف عن المشاركة، ويتوقف عن الاستماع للآخرين، ويلعب بأمان بمفرده فقط.

3. قاعدة "عدم الغش"

الجزء الأكثر ذكاءً في CAOS هو كيفية التعامل مع الغش.

الخطوة 1: يعلن الجميع عن المطعم الذي سيذهبون إليه قبل أن يشارك أي شخص مراجعات الطعام.
الخطوة 2: إذا قال أحدهم إنه ذاهب إلى "المطعم أ" ولكنه ذهب في الواقع إلى "المطعم ب" (لتجربة شيء محفوف بالمخاطر دون إخبار المجموعة)، فإن المجموعة تكتشفه فوراً.
العقوبة: إذا تم ضبطك وأنت تغش أو تكذب بشأن ما فعلته، يتم طردك من حلقة تبادل المعلومات. لن تحصل على المزيد من التحديثات من المجموعة، وستضطر للعب بمفردك.

لأن العقوبة شديدة جداً (فقدان الوصول إلى معرفة الآخرين)، لا يريد أي وكيل أناني الغش. يدركون أن الفائدة طويلة الأمد لكونك لاعباً جيداً في الفريق أكبر من المكسب قصير الأمد لمحاولة الحصول على رحلة مجانية خفية.

لماذا هذا مهم؟

أثبتت الورقة شيئين رئيسيين:

إنها لعبة مستقرة: إذا اتبع الجميع هذه القواعد، فلا يمكن لأي شخص بمفرده تحسين نتائجه عن طريق كسر القواعد. إنه توازن مثالي (توازن ناش).
إنها تعمل بسرعة: على الرغم من أن الجميع أنانيون، إلا أن المجموعة تتعلم بسرعة تقارب السرعة التي يتعلم بها الأصدقاء المقربون الذين يحبون مشاركة كل شيء. إنهم لا يضيعون الوقت؛ بل يجدون الخيارات الأفضل بسرعة.

أمثلة من العالم الحقيقي ذكرت في النص

ذكر المؤلفون بعض الأماكن التي يمكن أن ينطبق عليها هذا المنطق (بناءً على النص حصراً):

أنظمة الملاحة: السائقون الذين يتشاركون بيانات المرور. الجميع يريد الطريق الأسرع، لكن لا أحد يريد القيادة في شارع غريب وغير مختبر ليرى ما إذا كان أسرع. يشجع نظام CAOS السائقين على اختبار طرق جديدة لأنهم يعلمون أنهم سيحصلون على البيانات من الآخرين.
التجارب السريرية: المستشفيات التي تتشارك بيانات المرضى لإيجاد علاجات أفضل. قد يفضل المستشفى ترك الآخرين يختبرون أدوية جديدة محفوفة بالمخاطر بينما يلتزم هو بالأدوية الآمنة والمعروفة. يضمن نظام CAOS مساهمتهم جميعاً.
وكلاء الذكاء الاصطناعي: في المستقبل، قد تعمل مساعدات الذكاء الاصطناعي لمستخدمين مختلفين وتواجه مشكلات مماثلة. يمكنها مشاركة ما تعلمته، ولكن فقط إذا كان النظام يمنعها من مجرد احتكار المعرفة.

الخلاصة

تظهر الورقة أنك لست بحاجة إلى المال أو العقود لجعل الأشخاص الأنانيين (أو الذكاء الاصطناعي) يعملون معاً. أنت فقط بحاجة إلى نظام ذكي يستخدم المعلومات كمكافأة. إذا لعبت بنزاهة، ستحصل على أفضل البيانات. إذا حاولت الغش أو "الركوب المجاني"، فسيتم قطعك. هذه القاعدة البسيطة تحافظ على استمرار التعاون وتجعل التعلم سريعاً.

ملخص تقني: التعاون في خوارزميات "المتعدد الأذرع" مع وكلاء استراتيجيين

صياغة المشكلة

تتناول هذه الورقة تحدي التعلم التعاوني في بيئات المتعدد الأذرع البايزية (Bayesian Multi-Armed Bandit - MAB) التي تتضمن وكلاء استراتيجيين مستمرين. على عكس الأعمال السابقة التي تفترض وجود وكلاء قصيري العمر ومتقلبين يتفاعلون لمرة واحدة فقط مع المبدئ، تنظر هذه الورقة في نموذج يتضمن مجموعة ثابتة من $m$ من الوكلاء الذين يتفاعلون عبر أفق زمني $t$ .

في هذه البيئة:

السلوك الاستراتيجي: الوكلاء يسعون لتحقيق مصالحهم الذاتية ويهدفون إلى تعظيم مكافآتهم التراكمية. يواجهون صراعاً بين الاستغلال (استخدام المعرفة الحالية لتعظيم المكافأة الفورية) والاستكشاف (تحمل تكاليف قصيرة المدى لجمع معلومات تفيد المجموعة).
عدم تماثل المعلومات وقابلية التحقق: يختار الوكلاء أي ذراع يسحبون ويلاحظون المكافآت. وبينما تولد البيئة إشارات قابلة للتحقق (الأفعال والمكافآت المحققة)، يمتلك الوكلاء حرية كاملة في تحديد المعلومات التي يشاركونها. قد يحجبون البيانات أو يكذبون بشأن ملاحظاتهم.
القيود: لا يمكن لمصمم الآلية استخدام التحويلات النقدية أو العقود الملزمة. الأداة الوحيدة المتاحة لتحفيز التعاون هي التحكم في تدفق المعلومات.

تتمثل المشكلة الجوهرية في تصميم آلية تحافظ على التعاون كـ توازن ناش (Nash equilibrium) (ويُفضل أن يكون توازن ناتجة عن تتابع الألعاب - Subgame Perfect Equilibrium) مع تحقيق ندم (regret) منخفض، ومنع الوكلاء من "الركوب المجاني" (free-riding) على جهود الاستكشاف التي يبذلها الآخرون.

المنهجية: آلية CAOS

يقترح المؤلفون آلية CAOS (الوكلاء المتعاونون مع التوقف المتفائل - Collaborating Agents with Optimistic Stopping)، وهي آلية تستخدم مشاركة المعلومات كأداة تحفيز وحيدة. تعمل الآلية بشكل ديناميكي، مما يسمح للوكلاء بتقرير ما إذا كانوا سيظلون ضمن مجموعة تعاونية أو يختارون الانسحاب للعمل بشكل مستقل.

المكونات الأساسية

الخوارزميات الأساسية: تعتمد الآلية على خوارزمية متعددة الوكلاء مستهدفة $\mathcal{A}$ (يُفترض أن يتبعها الوكلاء غير الاستراتيجيين) وخوارزمية احتياطية أحادية الوكيل $\mathcal{B}$ (وهي الاستراتيجية المثلى لوكيل يعمل بمفرده).
المكافأة المتوقعة المتفائلة (OER): في كل خطوة زمنية $t$ $t$ ، يحسب كل وكيل مكافأته المتوقعة المتفائلة ( $\rho$ $ρ$ ). وهي إجراء تكراري يقدر قيمة الاستمرار لوكيل بافتراض أن:
- من بين الوكلاء النشطين حالياً، فإن أكبر مجموعة فرعية ممكنة تفضل الاستمرار ستستمر بالفعل في التعاون.
- الوكلاء الذين يفضلون التوقف سينتقلون إلى $\mathcal{B}$ فوراً.
- يفترض الحساب السيناريو الأكثر تفاؤلاً بما يتوافق مع الحوافز الفردية (أي إيجاد أكبر تحالف مستدام ذاتياً).
قاعدة المشاركة الديناميكية:
- إذا كانت قيمة الـ OER الخاصة بالوكيل ( $\rho_i$ ) أكبر تماماً من قيمة الاستمرار المتوقعة عند الانتقال إلى $\mathcal{B}$ ، فإن الوكيل يظل نشطاً.
- إذا كانت $\rho_i$ تساوي قيمة الانتقال إلى $\mathcal{B}$ ، فإن الوكيل يتوقف عن التعاون، وينتقل إلى $\mathcal{B}$ ، ويتوقف عن مشاركة المعلومات.
بروتوكول التواصل: يتبع الوكلاء النشطون بروتوكولاً صارماً من ثلاث خطوات لضمان قابلية التحقق والمعرفة المشتركة:
- التحقق من الفعل: يشارك الوكلاء أولاً الذراع الذي لعبوه. وهذا يسمح للآخرين بالتحقق مما إذا كان الوكيل قد اتبع توصية $\mathcal{A}$ .
- تبادل المكافآت: فقط الوكلاء الذين اجتازوا التحقق من الفعل يتبادلون مكافآتهم المرصودة.
- نشر المعلومات: يقوم جميع الوكلاء النشطين بتمرير جميع المكافآت المستلمة حديثاً إلى المجموعة بأكملها. يضمن ذلك أن ينتهي جميع الوكلاء النشطين من الخطوة الزمنية بنفس التاريخ، والبعد اللاحق (posterior)، ومشكلة الاستمرار.

توسعات التوازن

لمعالجة توازن ناتجة عن تتابع الألعاب (Subgame Perfect Equilibrium - SPE)، قدم المؤلفون SP-CAOS. يتضمن هذا التوسيع مرحلة تواصل أولية حيث يبلغ الوكلاء عن أي انحرافات سابقة على دراية بها. تعتمد الآلية على ملاحظة أن أي انحراف عن البروتوكول يمكن رصده من قبل وكيلين على الأقل. إذا تم اكتشاف انحراف، ينهار النظام إلى التوازن الاحتياطي (جميع الوكلاء يلعبون $\mathcal{B}$ ولا يشاركون شيئاً)، وهو توازن ناش.

المساهمات الرئيسية والنتائج

1. ضمانات التوازن

توازن ناش: يشكل ملف الاستراتيجية حيث يتبع جميع الوكلاء CAOS توازن ناش. لا يمكن لأي وكيل الانحراف من جانب واحد لتحسين إجمالي مكافأته المتوقعة.
- الانحراف في الفعل: إذا لعب الوكيل ذراعاً مختلفاً، يتم استبعاده فوراً من مشاركة المكافآت، مما يقلص دوره إلى سيناريو أحادي الوكيل حيث تكون $\mathcal{B}$ هي المثلى.
- الانحراف في المشاركة: إذا لعب الوكيل الذراع الصحيح ولكنه حجب المعلومات، فإنه يفقد الوصول إلى بيانات التعاون المستقبلية. وبما أن المشاركة لا تقلل من خيار التوقف لاحقاً، فإن المشاركة تعتبر مثالية بشكل ضعيف.
توازن ناتجة عن تتابع الألعاب (SPE): يضمن توسيع SP-CAOS الاستقرار حتى خارج المسار المتوقع، مما يمنع الوكلاء من استغلال حالات المعلومات غير المتجانسة.

2. ضمانات الندم (Regret Guarantees)

تثبت الورقة أن CAOS تحقق حدود ندم قوية، تقترب من أداء الأنظمة التعاونية الكاملة:

الخوارزميات المتماثلة: إذا كانت الخوارزمية المستهدفة $\mathcal{A}$ $A$ متماثلة (تفرض نفس الفعل لجميع الوكلاء النشطين)، فإن ندم أي وكيل تحت CAOS لا يتجاوز الندم تحت $\mathcal{A}$ $A$ مع عدم وجود انحرافات.
- UCB: تحقق $O(\mathbb{E}[\sum \frac{\log T}{m \Delta_a}])$ .
- Thompson Sampling: تحقق $\tilde{O}(\sqrt{KT/m})$ .
الخوارزميات غير المتماثلة: بالنسبة للخوارزميات غير المتماثلة (حيث قد يكون للوكلاء أدوار أو تكاليف مختلفة)، قد لا تتحقق ضمانات الندم الفردي. بدلاً من ذلك، تضمن CAOS حداً لـ Regret $_{max}$ (الندم الأقصى عبر جميع الوكلاء).
- Successive Elimination: تحقق $O(\mathbb{E}[\frac{K \log T}{m \Delta_{min}}])$ .
- Fixed-Arm Explore-Exploit: تحقق $\tilde{O}(T^{2/3} K^{1/3} m^{-1/3})$ .
  النتائج تظهر أنه حتى مع السلوك الاستراتيجي، يمكن استدامة الاستكشاف التعاوني بحت من خلال مشاركة المعلومات، مما يستعيد فوائد التعلم المتوازي.

الأهمية والادعاءات

تدعي الورقة أن مساهمتها الأساسية هي إثبات أن الاستكشاف التعاوني بين الوكلاء الاستراتيجيين يمكن استدامته دون تحويلات نقدية أو عقود ملزمة، بالاعتماد فقط على التحكم في تدفق المعلومات.

معالجة مشكلة الركوب المجاني: تسلط الورقة الضوء على أنه بينما تؤدي مشاركة المعلومات الكاملة غالباً إلى نقص الاستثمار في الاستكشاف (الركوب المجاني)، فإن آلية CAOS توائم ديناميكياً بين الحوافز الفردية والأهداف الجماعية من خلال السماح للوكلاء بالانسحاب إذا لم يعد التعاون مفيداً.
الوكلاء المستمرون مقابل قصيري العمر: يؤكد المؤلفون أن إعدادهم للوكلاء المستمرين هو أكثر واقعية لتطبيقات مثل أنظمة الملاحة، والتجارب السريرية الموزعة، و"اقتصاد الوكلاء" الناشئ (نماذج اللغة الكبيرة ذاتية التشغيل)، حيث يتفاعل الوكلاء بشكل متكرر ويراكمون معلوماتهم الخاصة.
المتانة: أظهرت الآلية أنها متينة حتى عندما تكون الخوارزمية الأساسية "غير عادلة" أو غير متماثلة، مما يستعيد مكاسب التعلم المتعدد غير الاستراتيجي المتوقعة.

تخلص الورقة إلى أن هذا العمل يمثل خطوة تأسيسية نحو تصميم أنظمة تعلم للوكلاء الاستراتيجيين، وهي مشكلة تزداد أهميتها في عصر الذكاء الاصطناعي الوكيلي (Agentic AI). كما تقر بوجود قيود، مثل افتراض إشارات بيئية قابلة للتحقق وإمكانية وجود حدود أكثر دقة في الحالات غير المتماثلة، تاركة هذه الأمور كتوجهات للعمل المستقبلي.