🤖 AI

Differentiable Belief-based Opponent Shaping

تقترح هذه الورقة طريقة "تشكيل الخصم القائم على الاعتقاد القابل للتفاضل" (D-BOS)، وهي طريقة من الدرجة الأولى تعمل على تحسين استراتيجيات متعددة الوكلاء من خلال التفاضل عبر ديناميكيات اعتقاد "softmax-Bayes" لعدد $k$ من الخطوات لتشكيل معتقدات الخصوم بشكل طبيعي دون الاعتماد على أهداف خداع محددة مسبقًا، مما يحقق أداءً متفوقًا في الألعاب ذات الأدوار المخفية والدوافع المختلطة مقارنة بالنماذج المرجعية الحالية.

المؤلفون الأصليون: Aarav G Sane, Karthik Sivachandran, Rohan Paleja

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Aarav G Sane, Karthik Sivachandran, Rohan Paleja

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تلعب لعبة معقدة من ألعاب "مافيا" (Mafia) أو "أمونج أس" (Among Us) مع مجموعة من أصدقائك. في هذه الألعاب، يمتلك الجميع دوراً سرياً (مثل "جاسوس" أو "شرير")، والهدف ليس فقط القيام بأفضل حركة لنفسك، بل هو التحكم فيما يعتقده أصدقاؤك عنك.

إذا تصرفت بشكل مريب للغاية، سيكتشف الفريق أنك الجاسوس ويصوتون لإخراجك. وإذا تصرفت ببراءة مفرطة، قد تفوت فرصة لتخريب خطة الفريق. اللاعبون الأذكياء لا يكتفون بمجرد رد الفعل؛ بل يحاولون بنشاط تشكيل "الخريطة الذهنية" للمجموعة حول هويتهم.

تقدم هذه الورقة البحثية برنامجاً حاسوبياً جديداً يسمى D-BOS (تشكيل الخصم القائم على الاعتقاد التفاضلي)، والذي يعلم وكلاء الذكاء الاصطناعي كيف يفعلون ذلك تماماً: التلاعب بما يعتقده اللاعبون الآخرون عنهم.

إليك تفصيل كيفية عمله، باستخدام تشبيهات بسيطة:

1. المشكلة: المخادع "المبرمج مسبقاً"

كانت طرق الذكاء الاصطناعي السابقة للخداع تشبه روبوتاً يتبع كتاب قواعد صارماً وغبياً.

الطريقة القديمة (BBM): تخيل روبوتاً جاسوساً لديه تعليمات مبرمجة مسبقاً: "في كل مرة أتحدث فيها، يجب أن أحاول جعل الناس يعتقدون أنني بريء". هو يفعل ذلك بشكل أعمى، خطوة بخطوة.
العيب: إذا حاول الروبوت أن يبدو بريئاً بشكل مبالغ فيه، سيكتشف اللاعبون الآخرون الأمر فوراً. الأمر يشبه ساحراً يستمر في قول: "أنا بالتأكيد لا أقوم بخدعة الآن!"، عندها سيدرك اللاعبون الآخرون أن هناك أمراً مريباً يحدث.

2. الحل: "محرك الدمى الاستراتيجي" (D-BOS)

يقترح مؤلفو D-BOS طريقة أكثر ذكاءً. فبدلاً من اتباع قاعدة مثل "كن مخادعاً"، يسأل D-BOS: "ماذا سيعتقد أصدقائي عني بعد خمس خطوات من الآن، وكيف يمكنني التصرف اليوم لأجعل هذا الاعتقاد المستقبلي يساعدني على الفوز؟"

فكر في D-BOS كأنه لاعب شطرنج يمكنه رؤية المستقبل.

"الاعتقاد" كحالة: في هذا النظام، لا ينظر الذكاء الاصطناعي إلى لوحة اللعبة فحسب؛ بل ينظر إلى عقول اللاعبين الآخرين. إنه يعامل "اعتقادهم" (مثلاً: "أنا أعتقد أن الوكيل X هو جاسوس") كشيء مادي يمكنه دفعه وسحبه.
سحر "التفاضل" (Differentiable): كلمة "تفاضلي" هي مصطلح رياضي يعني أن الذكاء الاصطناعي يمكنه حساب التأثير المتتابع الدقيق لأفعاله. يمكنه إجراء محاكاة في ذهنه: "إذا قمت بالفعل (أ)، سيعتقد صديقي (س). إذا قمت بالفعل (ب)، سيعتقد (ص). أي فكرة ستؤدي إلى فوزي في اللعبة لاحقاً؟"

3. كيف يعمل: "المرآة المسافرة عبر الزمن"

تصف الورقة عملية "فك" محاكاة لعدد (k) من الخطوات.

التشبيه: تخيل أنك تمسك مرآة تظهر لك ما يفكر فيه خصمك. D-BOS لا ينظر إلى المرآة مرة واحدة فقط؛ بل ينظر إلى المرآة، ثم يتخيل ما سيفكر فيه الخصم بعد أن تقوم بحركتك، ثم ما سيفكر فيه بعد ذلك، وهكذا لعدة خطوات في المستقبل.
الهدف: ثم يعمل بشكل عكسي ليجد الحركة المثالية الآن التي ستوجه صورة المرآة تلك إلى مكان يحقق فيه الذكاء الاصطناعي الفوز.
الاستراتيجية الطبيعية: من المهم ملاحظة أن الذكاء الاصطناعي لم يُؤمر بـ "الكذب". لقد قيل له فقط "الفوز". إذا كان الكذب يساعده على الفوز، فسيکذب. وإذا كانت الحقيقة تساعده على الفوز (لخداع العدو وجعله يثق به)، فسيقول الحقيقة. الاستراتيجية تظهر بشكل طبيعي من الرغبة في الفوز، وليس من قاعدة جامدة للخداع.

4. النتائج: أذكى من البقية

اختبر المؤلفون هذا الذكاء الاصطناعي في ثلاث "ألعاب" مختلفة:

إنقاذ الجنرال (Rescue-the-General): لعبة بصرية تحاول فيها الفرق إنقاذ أو قتل شخصية ما.
أفالون (Avalon): لعبة استنتاج اجتماعي (مثل مافيا) ذات أدوار مخفية.
لعبة العملة (Coin Game): لعبة شبكية بسيطة بدوافع مخفية.

النتائج:

الطريقة القديمة (PPO): لعب الذكاء الاصطناعي القياسي بشكل جيد ولكنه لم يفهم حقاً كيف تغير أفعاله عقول الآخرين.
الطريقة "المبرمجة مسبقاً" (BBM): الذكاء الاصطناعي الذي حاول الخداع في كل خطوة كان أداؤه في الواقع أسوأ من الذكاء الاصطناعي القياسي. لقد كان واضحاً جداً وتم كشفه بسهولة.
طريقة D-BOS: حقق هذا الذكاء الاصطناء الأداء الأفضل، خاصة في لعبة الاستنتاج الاجتماعي (Avalon). فقد تعلم الموازنة بين إخفاء هويته عن الأعداء وبين كشفها للحلفاء، كل ذلك لتعظيم نقاط فريقه.

5. العقبة: "المرآة الضبابية"

تعترف الورقة أيضاً بوجود قصور. للتنبؤ بما يفكر فيه الآخرون، يجب على الذكاء الاصطناعي تخمين ما يراه هم.

التشبيه: إذا كنت تحاول تخمين ما يفكر فيه صديقك، فعليك تخمين ما ينظر إليه. إذا كان تخمينك خاطئاً قليلاً، وحاولت التخطيط لـ 10 خطوات للأمام، فإن هذا الخطأ الصغير سيتضخم، وتنهار خطتك.
النتيجة: يعمل الذكاء الاصطناعي بشكل أفضل عندما يخطط لبضع خطوات للأمام (مثل 3 حركات). إذا حاول التخطيط لعدد كبير من الخطوات (مثل 5 حركات) في لعبة بصرية معقدة، فإن "المرآة الضبابية" ستصبح مشوهة للغاية، وتفشل الاستراتيجية.

ملخص

D-BOS هو طريقة جديدة لتعلم الاستراتيجية الاجتماعية للذكاء الاصطناعي. بدلاً من أن يكون روبوتاً يتبع بشكل أعمى أمر "الخداع"، فهو مفكر استراتيجي يدرك: "أفعالي تغير ما تعتقده أنت عني، واعتقادك يغير طريقة لعبك. سأختار أفعالي لتوجيه معتقداتك نحو اتجاه يساعدني على الفوز".

لقد أثبت أن الفوز في ألعاب الأدوار المخفية لا يتطلب فقط أن تكون بارعاً في اللعبة، بل أن تكون بارعاً في إدارة القصة التي يرويها اللاعبون الآخرون عنك.

ملخص تقني: تشكيل الخصم القائم على الاعتقاد القابل للتفاضل (D-BOS)

بيان المشكلة

في التعلم المعزز متعدد الوكلاء (MARL)، غالبًا ما يعمل الوكلاء في بيئات ذات أدوار خفية وملاحظة جزئية، مثل ألعاب الاستنتاج الاجتماعي (مثل Avalon) أو عوالم الشبكة الاستراتيجية (مثل Rescue-the-General). في هذه الإعدادات، لا يعتمد نجاح الوكيل فقط على أفعاله المباشرة، بل أيضًا على كيفية تأثير تلك الأفعال على الاعتقادات اللاحقة (posterior beliefs) للوكلاء الآخرين (المراقبين) فيما يتعلق بدوره الكامن (مثل حليف أو خصم).

تواجه الأساليب الحالية عقبتين رئيسيتين:

تشكيل الخصم (مثل LOLA): تفرق الطرق التقليدية من خلال تحديثات معاملات الخصم أو سياساته. تتطلب هذه الأساليب نماذج عالية الأبعاد قابلة للتفاضل لتعلم الخصم، وافتراضات قوية حول محسّنات الخصم، وتكون عادةً مقيدة بإعدادات اللاعبين الاثنين فقط.
تلاعب الاعتقاد (مثل BBM): تعتمد أساليب مثل التلاعب بالاعتقاد البايزي (BBM) على نمذجة الاعتقادات الخفية، لكنها تعتمد على أهداف قاصرة ومبرمجة مسبقًا (مثل مكافآت الخداع الثابتة). هذه الأهداف غالبًا ما تكون هشة، حيث تفشل في التكيف مع البيئات المعقدة ذات الدوافع المختلطة التي تتطلب توازنًا ديناميكيًا بين التعاون والتستر مدفوعًا بمكافأة المهمة بدلاً من سابقة ثابتة.

المشكلة الجوهرية هي تطوير طريقة لتشكيل الخصم تعمل مباشرة في فضاء الاعتقاد، وتتعامل مع حالة اعتقاد الخصم كهدف للتشكيل، وتسمح لاتجاه التشكيل الأمثل (التعاون مقابل الخداع) بالظهور بشكل طبيعي من هيكل مكافأة البيئة عبر أفق زمني متعدد الخطوات.

المنهجية: تشكيل الخصم القائم على الاعتقاد القابل للتفاضل (D-BOS)

يعتبر D-BOS طريقة من الدرجة الأولى تتعامل مع التوزيع اللاحق لكل مراقب على الأدوار الخفية باعتباره "حالة الخصم المشكلة". بدلًا من التفاضل عبر خوارزمية تعلم الخصم، يقوم D-BOS بالتفاضل عبر ديناميكيات اعتقاد "softmax-Bayes" لـ k-خطوة للمراقبين.

الآلية الجوهرية

تحديث الاعتقاد القابل للتفاضل: تعيد الطريقة صياغة تحديث الاعتقاد البايزي القياسي كعملية قابلة للتفاضل. بالنظر إلى متجه لوغاريتم الاحتمالية $\ell_t$ المستمد من فعل الوكيل والاعتقاد السابق $b_t$ ، يتم التعبير عن التحديث كالتالي:
$b_{t+1} = \text{softmax}(\ell_t + \log b_t)$
تسمح هذه الصياغة بحساب جاكوبي (Jacobian) تحديث الاعتقاد بالنسبة لمعاملات سياسة الوكيل $\theta$ ، مما يتيح الانتشار العكسي عبر مسار الاعتقاد.
التشكيل متعدد الخطوات: يقوم الوكيل بنشر تحديث الاعتقاد هذا لـ $k$ من الخطوات لتوليد مسار من حالات الاعتقاد المستقبلية $\hat{B}_{t:t+k}$ . ثم يحسب خسارة $L^k_{BOS} = -V_\phi(o_{t+k}, \hat{B}_{t+k})$ ، حيث $V_\phi$ هو ناقد الاعتقاد (BeliefCritic). يقدر هذا الناقد العائد المستقبلي المتوقع للمهمة بالنظر إلى ملاحظة الوكيل المحلية وحالات الاعتقاد المشتركة المقدرة لجميع المراقبين.
حقن التدرج: يتبع D-BOS نموذجًا شبيهًا بـ LOLA حيث يتم حساب تدرج التشكيل من خلال انتشار على السياسة (on-policy rollout) ويُحقن كتصحيح ثابت لتحديث PPO القياسي:
$\theta \leftarrow \theta - \alpha \left( \nabla_\theta L_{PPO} + \frac{g_{BOS}}{M} \right)$
هنا، $g_{BOS}$ هو تدرج خسارة تشكيل الاعتقاد بالنسبة لـ $\theta$ .
وسطاء الملاحظة: للتعامل مع حقيقة أن الوكيل لا يمكنه ملاحظة المعلومات الخاصة للمراقب مباشرة، يستخدم D-BOS وضعين:
- الوضع القياسي (Canonical Mode): يستخدم ملاحظة الوكيل نفسه كوسيط لجميع المراقبين (مناسب للبيئات ذات المنظورات المشتركة).
- الوضع المقدر (Estimated Mode): يستخدم وحدة تنبؤ خلفي متعلمة لاستنتاج ما يعتقد المراقب $j$ أن الوكيل $i$ قد لاحظه ( $\hat{o}_{i,j,i}$ ). هذا أمر بالغ الأهمية في البيئات ذات الدوافع المختلطة حيث يجب على الوكيل تشكيل اعتقادات متضاربة (مثل خداع خصم مع التنسيق مع حليف).

الأسس النظرية

الإحصائية الكافية: يثبت البحث أنه بالنسبة لمراقب عقلاني بايزي، فإن حالة الاعتقاد $b_t$ هي إحصائية كافية لسياسة الخصم، وبالتالي فإن تشكيل الاعتقاد يكافئ رياضيًا تشكيل سياسة الخصم، مما ينتج عنه نفس هيكل التدرج الفائق (meta-gradient) لـ LOLA ولكن في فضاء اعتقاد منخفض الأبعاد.
حدود الخطأ: يستنتج المؤلفون حدودًا لكيفية انتشار أخطاء التقريب في نظرية العقل من الدرجة الثانية (تقدير ما يراه المراقب) عبر سلسلة اعتقاد $k$ -خطوة. يكشف التحليل عن وجود مقايضة: الآفاق الزمنية الأطول ( $k$ ) توفر تخصيصًا أفضل للائتمان الزمني، لكنها تضخم الأخطاء في وسيط الملاحظة، خاصة عندما تصل اعتقادات المراقب إلى حالة التشبع (الثقة العالية).

المساهمات الرئيسية

ديناميكيات الاعتقاد القابلة للتفاضل: يقدم D-BOS طريقة من الدرجة الأولى تنتشر عكسيًا عبر تحديثات "softmax-Bayes" لـ $k$ -خطوة، مستخدمة جاكوبي "softmax" الصريح لتوليد تدرجات تشكيل اعتقاد ممتدة زمنيًا.
LOLA في فضاء الاعتقاد: يثبت العمل أن تشكيل الاعتقادات يكافئ تشكيل سياسات الخصم تحت نموذج مراقب بايزي، مما يوفر بديلًا منخفض الأبعاد لتشكيل المعاملات في فضاء السياسة.
الحدود النظرية للخطأ: يوفر البحث حدودًا صارمة لخطأ التدرج الناتج عن تقريبات نظرية العقل من الدرجة الثانية، موضحًا بدقة المقايضة بين أفق التطلع ودقة نموذج الاعتقاد.
التحقق التجريبي: تم تقييم D-BOS في ثلاث بيئات ذات أدوار خفية (Rescue-the-General، Avalon، Multi-Agent Coin Game)، حيث أظهر أداءً متفوقًا على PPO وBBM، لا سيما في البيئات ذات الدوافع المختلطة.

النتائج التجريبية

قيم المؤلفون D-BOS مقابل PPO (بدون تشكيل) وBBM (تلاعب اعتقاد قاصر) عبر ثلاث بيئات:

Rescue-the-General (RTG): عالم شبكي بصري عالي الأبعاد.
- النتيجة: تفوق D-BOS بشكل كبير على كل من الخطوط المرجعية. ومن الملاحظ أن BBM كان أداؤه أسوأ من PPO العادي (معدل فوز 0.047 مقابل 0.101)، مما يؤكد أن الخداع المبرمج مسبقًا هو أمر هش. بلغ D-Bs ذروته عند $k=3$ ولكنه تدهور عند $k=5$ ، مما يؤكد التنبؤ النظري بأن الآفاق الأطول تضخم أخطاء التقريب في الإعدادات البصرية المعقدة.
Avalon: لعبة استنتاج اجتماعي مكونة من 5 لاعبين ذات دوافع مختلطة.
- النتيجة: حقق D-BOS أعلى معدلات الفوز (0.423 لـ $k=3$ ، وارتفع إلى 0.557 مع الوضع المقدر). أثبت الوضع المقدر، الذي ينمذج منظورات مختلفة للمراقبين، أنه الأفضل نتائج، مما يثبت ضرورة تشكيل تعدد المراقبين في ألعاب الاستنتاج الاجتماعي. مرة أخرى، كان أداء BBM أسوأ من PPO.
Multi-Agent Coin Game: لعبة مكانية ذات إعادة تعيين أدوار عابر.
- النتيجة: أظهر D-BOS مكاسب متواضعة فقط مقارنة بـ PPO. ويعزو المؤلفون ذلك إلى اعتماد الطريقة على الهويات المستمرة وقنوات التواصل الغنية، والتي تكون محدودة في هذه البيئة حيث تُعاد الأدوار في كل حلقة.

النتيجة الرئيسية: عبر جميع البيئات، كان أداء BBM باستمرار أسوأ من PPO العادي، مما يؤكد دافع الورقة البحثية بأن أهداف الخداع القاصرة والمبرمجة مسبقًا معيبة جوهريًا. أما D-BOS، فمن خلال ترك مكافأة المهمة تحدد اتجاه التشكيل، فقد حقق تحسينات قوية.

الأهمية والادعاءات

تضع الورقة البحثية D-BOS كخطوة مهمة نحو الأنظمة متعددة الوكلاء المدركة للتأثير. تكمن أهميته الأساسية في نقل التركيز من تشكيل معاملات السياسة عالية الأبعاد إلى حالات الاعتقاد منخفضة الأبعاد.

الظهور الطبيعي للاستراتيجية: على عكس الأساليب السابقة التي تتطلب أهدافًا مصممة يدويًا للخداع أو التعاون، يسمح D-BOS للاستراتيجية المثلى بالظهور عضويًا من هيكل مكافأة البيئة.
القابلية للتفسير والتدقيق: من خلال العمل في "سيمبلكس" (simplex) الاعتقاد بدلاً من فضاء المعاملات الغامض، يوفر D-BOS آلية يمكن للممارسين من خلالها فحص ما يحاول الوكيل جعل المراقبين يعتقدونه، مما يوفر مسارًا نحو ذكاء اصطوي أكثر قابلية للتدقيق في فرق العمل بين البشر والوكلاء.
القابلية للتوسع: يجعل البعد المنخفض لحالة الاعتقاد ( $|Z|-1$ ) من الممكن حسابيًا الحفاظ على تشكيل مسارات اعتقاد منفصلة لعدة مراقبين في وقت واحد، وهو أمر يصعب تحقيقه في طرق التشكيل القائمة على المعاملات.

يخلص المؤلفون إلى أن D-BOS يمثل "خطوة أولى" نحو الأساليب التي تعمل على الاعتقادات التي يشكلها الوكلاء عن بعضهم البعض، بدلاً من العمل مباشرة على معاملات السياسة، مما يقدم اتجاهًا واعدًا للأبحان المستقبلية في نظرية العقل والتنسيق متعدد الوكلاء.