🤖 AI

Partner-Aware Hierarchical Skill Discovery for Robust Human-AI Collaboration

تقدم هذه الورقة البحثية إطار عمل "اكتشاف المهارات المدرك للشريك" (PASD)، وهو إطار تعلم تعزيزي هرمي يستخدم مكافآت ذاتية تباينية لتعلم مهارات مشروطة بسلوك الشريك، مما يتغلب على تعلم المسارات المختصرة ويُمكّن من تعاون قوي وتكيفي بين الإنسان والذكاء الاصطناعي عبر شركاء متنوعين وجدد.

المؤلفون الأصليون: Adnan Ahmad, Bahareh Nakisa, Mohammad Naim Rastgoo

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Adnan Ahmad, Bahareh Nakisa, Mohammad Naim Rastgoo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول طهي وجبة معقدة مع شريك جديد. لم يسبق لك العمل معه من قبل. قد يكون سريعاً، أو بطيئاً، أو فوضوياً، أو منظماً. إذا ركزت فقط على أسلوب الطهي الخاص بك دون الانتباه إليه، فمن المرجح أن تصطدما ببعضهما البعض، أو تسقط المكونات، أو تصنعا نوعين مختلفين من الحساء بدلاً من نوع واحد.

تقدم هذه الورقة البحثية طريقة جديدة لتدريب "شركاء الطهي" للذكاء الاصطناعي (أو أي روبوت تعاوني) لكي يتمكنوا من العمل بسلاسة مع أي إنسان، بغض النظر عن سلوكه. تسمى هذه الطريقة PASD (اكتشاف المهارات الواعي بالشريك - Partner-Aware Skill Discovery).

إليك شرح مبسط لكيفية عملها، باستخدام تشبيهات من الحياة اليومية:

1. المشكلة: الشيف "المتمحور حول ذاته"

معظم طرق تدريب الذكاء الاصطناعي الحالية تشبه شيفاً يهتم فقط بمهاراته في استخدام السكين. فهو يتعلم تقطيع الخضروات بأسرع ما يمكن لأن هذا يمنحه "مكافأة".

العيب: إذا كان الشريك بطيئاً، فإن الشيف السريع سيستمر في التقطيع بشكل أسرع وأسرع، متجاهلاً أن الشريك لا يستطيع المواكبة. يتعلم الذكاء الاصطناعي "طرقاً مختصرة" — حيث يجد أنماطاً غريبة في البيئة تجعل مظهره يبدو جيداً ولكنها لا تساعد الفريق فعلياً. الأمر يشبه راقصاً يدور بجنون لأنه يعتقد أن ذلك يبدو رائعاً، رغم أن شريكه واقف في مكانه.
النتيجة: عندما تزاوج هذا الذكاء الاصطناعي مع إنسان حقيقي لديه أسلوب مختلف، يصاب الذكاء الاصطناعي بالارتباك ويفشل في التنسيق.

2. الحل: الشيف "المرآة" (PASD)

ابتكر المؤلفون PASD، الذي يعلم الذكاء الاصطناعي أن يكون "مرآة" لشريكه. بدلاً من مجرد تعلم "كيفية التقطيع"، يتعلم الذكاء الاصطعي "كيفية التقطيع عندما يقوم شريكي بفعل X".

فكر في الأمر كتعلم رقصة ما.

الطريقة القديمة: يتعلم الذكاء الاصطناعي قائمة من 100 حركة رقص مختلفة (مهارات) ويحاول القيام بها جميعاً بشكل مثالي بمفرده.
طريقة PASD: يتعلم الذكاء الاصطناعي مراقبة الشريك. إذا قام الشريك بحركة بطيئة ورشيقة، يعرف الذكاء الاصطناعي أنه يجب عليه اختيار مهارة "الرقص الهادئ". وإذا قام الشريك بقفزة سريعة وحيوية، يختار الذكاء الاصطناعي مهارة "الرقص السريع".

3. كيف يتعلم: خدعة "الصورة الجماعية"

كيف يعرف الذكاء الاصطناعي أي مهارة تناسب أي شريك؟ تستخدم الورقة البحثية خدعة ذكية تسمى التعلم التبايني (Contrastive Learning).

تخيل أنك تلتقط صوراً لمجموعة من الأصدقاء وهم يقومون بأنشطة مختلفة:

الإعداد: تلتقط 10 صور لنفس مهارة "الرقص الهادئ"، ولكن في كل مرة تزاوج فيها الذكاء الاصطناعي مع شريك مختلف (واحد طويل، واحد قصير، واحد سريع، واحد بطيء).
الهدف: يُقال للذكاء الاصطناعي: "على الرغم من أن هؤلاء الشركاء يبدون مختلفين، إلا أن النتيجة لمهارة 'الرقص الهادئ' يجب أن تبدو متشابهة في الصورة".
التباين: ثم تعرض للذكاء الاصطناعي صوراً لمهارة "القفز السريع". يتعلم الذكاء الاصطناعي: "هذه الصور تبدو مختلفة تماماً عن صور 'الرقص الهادئ'".

من خلال القيام بذلك، يتعلم الذكاء الاصطناعي تجاهل الضجيج العشوائي (مثل طول الشريك) والتركيز على نمط حركتهما معاً. إنه يتعلم أن يقول: "آه، هذا النمط المحدد من الشريك يؤدي دائماً إلى هذه النتيجة المحددة للفريق".

4. "المكافأة الجوهرية": درجة سرية

في ألعاب الفيديو، تحصل على نقاط لقتل الأعداء أو جمع العملات (مكافأة خارجية). لكن هنا، يحصل الذكاء الاصطناعي على درجة داخلية سرية (مكافأة جوهرية) لمجرد التعرف على الأنماط.

إذا رأى الذكاء الاصطناعي شريكاً وتوقع بشكل صحيح: "أوه، هذا الشريك يحب التحرك في اتجاه عقارب الساعة، لذا يجب أن أستخدم 'مهارة اتجاه عقارب الساعة'"، فإنه يحصل على نقطة إضافية.
إذا أخطأ في التخمين واستخدم مهارة "عكس اتجاه عقارب الساعة"، فإنه يحصل على عقوبة.
هذه النقطة الإضافية تشجع الذكاء الاصطناعي على التوقف عن التخمين العشوائي والبدء في مراقبة سلوك الشريك باهتمام شديد.

5. النتائج: الطبخ معاً بنجاح

اختبر الباحثون هذا في لعبة تسمى Overcooked-AI، حيث يجب على وكيلين طهي الحساء معاً في مطبخ صغير.

الاختبار: قاموا بتزاوج الذكاء الاصطناعي مع العديد من "الشركاء" (بعضهم كانوا ذكاءً اصطناعياً آخر، وبعضهم نماذج حاسوبية مدربة على بيانات بشرية حقيقية، وبعضهم بشر حقيقيون).
النتيجة:
- الطرق القديمة (مثل FCP أو DIAYN) غالباً ما كانت تصاب بالارتباك أو تصطدم بالجدر walls لأنها لم تتكيف جيداً.
- فاز PASD. لقد سجل باستمرار نقاطاً أعلى.
- عندما لعب بشر حقيقيون مع ذكاء PASD الاصطناعي، طهوا كمية أكبر من الحساء وارتكبوا حوادث أقل مقارنة باللعب مع أنواع الذكاء الاصطناعي الأخرى.

الخلاصة

لا تدعي هذه الورقة البحثية أن الذكاء الاصطناعي يمكنه الآن طهي عشاءك لك غداً. إنها ببساطة تثبت أنه إذا علمت الذكاء الاصطناعي تعلم المهارات بناءً على الشخص الذي يعمل معه (بدلاً من مجرد ما يفعله)، فإنه يصبح شريكاً أفضل بكثير. إنه يتوقف عن كونه "ذئباً منفرداً" ويصبح شريكاً حقيقياً يمكنه التكيف مع أسلوب أي شخص.

ملخص تقني: اكتشاف المهارات المتوافق مع الشريك للتعاون القوي بين الإنسان والذكاء الاصطناعي

بيان المشكلة

يتطلب التعاون الفعال بين الوكلاء المتعددين، لا سيما في فرق العمل بين الإنسان والذكاء الاصطناعي، وكلاءً قادرين على التكيف مع شركاء جدد ذوي سلوكيات متنوعة وديناميكية. عادةً ما تركز أساليب التعلم التعزيزي الهرمي العميق (DHRL) التقليدية على المكافآت المتمحورة حول الوكيل، حيث تعمل على تحسين التنوع دون مراعاة تأثير الشريك بشكل صريح. تؤدي هذه المحدودية إلى "تعلم الاختصارات" (shortcut learning)، حيث يستغل الوكلاء الارتباطات الزائفة في سمات الحالة بدلاً من التقاط المعلومات ذات الصلة بتفاعلات الشريك. ونتيجة لذلك، غالباً ما تفشل المهارات المتعلمة في التعميم عبر الشركاء الجدد، مما يؤدي إلى ضعف التنسيق وعدم الاتساق السلوكي. تعاني الأساليب الحالية التي تزيد من المعلومات المتبادلة (MI) بين المهارات والحالات من هذه المشكلة، حيث تكون مقيدة بإنتروبيا المهارات ولا تضمن الحساسية تجاه سلوك الشريك، مما يؤدي إلى مهارات ثابتة ذات قدرة محدودة على التكيف.

المنهجية

يقترح المؤلفون اكتشاف المهارات المتوافق مع الشريك (PASD)، وهو إطار عمل للتعلم التعزيزي الهرمي العميق مصمم لتعلم مهارات مشروطة بسلوك الشريك. الابتكار الجوهري هو المكافأة الذاتية التباينية التي تشكل تمثيلات المهارات لتكون متسقة عبر الشركاء ذوي السلوكيات المتشابهة مع الحفاظ على القدرة على التمييز بين الاستراتيجيات المختلفة.

نظرة عامة على إطار العمل

يعمل PASD ضمن هيكل هرمي يتكون من مدير عالي المستوى ( $\pi_{hi}$ ) يختار مهارات كامنة ( $z$ )، ومتحكم منخفض المستوى ( $\pi_{lo}$ ) ينفذ إجراءات أولية مشروطة بالحالة الحالية والمهارة النشطة. يستخدم إطار العمل مجموعة من الشركاء ( $\mathcal{D}_p$ ) يتم أخذ عينات منها من توزيع معين أثناء التدريب.

الآليات الرئيسية

المكافأة الذاتية التباينية:
بدلاً من تعظيم المعلومات المتبادلة القياسية بين المهارات والحالات، يعمل PASD على تعظيم حد سفلي متغير للمعلومات المتبادلة بين المهارات والمسارات الفرعية. ويتم تحقيق ذلك عبر هدف تبايني من نوع InfoNCE.
- الأزواج الإيجابية: المسارات الفرعية الناتجة عن نفس المهارة بالتفاعل مع شركاء مختلفين.
- الأزواج السلبية: المسارات الفرعية الناتجة عن مهارات مختلفة.
- الهدف: تشجع المكافأة الذاتية ( $r_{int}$ ) السياسة على اختيار المهارات التي تنتج تضمينات حالة متسقة عبر الشركاء ذوي السلوكيات المتشابهة (الاتساق داخل المهارة الواحدة) مع ضمان وجود تضمينات متميزة للمهارات المختلفة (التمييز بين المهارات).
هدف التدريب:
يتم حساب إجمالي المكافأة لكل من السياسات عالية المستوى ومنخفضة المستوى عبر مزيج مرجح من المكافأة الخارجية للفريق ( $r$ ) والمكافأة الذاتية التباينية ( $r_{int}$ ):
$\tilde{r} = (1 - \lambda)r + \lambda r_{int}$
خلال المراحل الأولى من التدريب، تكون قيمة $\lambda$ مرتفعة لتعزيز استكشاف الأنماط المتنوعة المشروطة بالشريك. ومع تقدم التدريب، يتم تقليل $\lambda$ تدريجياً لإعطاء الأولوية لأداء المهمة مع الاحتفاظ بالاتساق السلوكي المتعلم.
التحسين:
يتم تحسين المدير عالي المستوى، والمتحكم منخفض المستوى، ودالة الإنهاء بشكل متكامل باستخدام خوارزمية التحسين المستند إلى السياسة القريبة (PPO).

المساهمات الرئيسية

إطار عمل PASD: تقديم إطار عمل للتعلم التعزيزي الهرمي العميق يشترط اكتشاف المهارات على سلوك الشريك، مما يتيح تنسيقاً قوياً مع الشركاء الجدد.
مكافأة ذاتية مبتكرة: اقتراح مكافأة ذاتية تباينية مشتقة من خسارة InfoNCE. تلتقط هذه المكافأة الأنماط المشتركة من عمليات التشغيل المتوازية مع شركاء متنوعين، مما يخفف من تعلم الاختصارات الناتج عن معلومات الحالة الزائفة ويستفيد مباشرة من المعلومات ذات الصلة بالشريك.
تقييم شامل: تقييم واسع النطاق في بيئة Overcooked-AI عبر مجموعات متنوعة من السكان (تفاوت مستويات المهارة وأنماط اللعب) ونماذج محاكاة بشرية. تُظهر الدراسة أن PASD يتعلم مهارات قابلة للنقل وتعمم بفعالية عبر نطاق واسع من سلوكيات الشركاء.

النتائج التجريبية

قيم المؤلفون PASD مقابل نماذج أساسية تشمل Fictitious Co-Play (FCP)، وDIAYN، وHierarchical Population Training (HiPT) في بيئة Overcooked-AI.

الأداء مع شركاء الذكاء الاصطناعي: تفوق PASD باستمرار على جميع النماذج الأساسية عبر خمسة تخطيطات قياسية (Cramped Room, Asymmetric Advantages, Coordination Ring, Counter Circuit, Forced Coordination). على سبيل المثال، في تخطيط Cramped Room، حقق PASD متوسط مكافأة قدره 165.8، وهو أعلى بكثير من FCP (137.7) وHiPT (117.9).
الأداء مع نماذج المحاكاة البشرية: عند الاقتران بنماذج نسخ السلوك (BC) المدربة على مسارات بشرية-بشرية، حافظ PASD على أداء متفوق، محققاً أعلى العوائد في جميع التخطيطات (مثلاً، 150.00 في Crambed Room مقابل 118.75 لـ FCP).
دراسة المشاركين البشر: في دراسة منضبطة شملت 19 مشاركاً بشرياً، حقق PASD مكافآت مشتركة أعلى من HiPT في جميع التخطيطات، مما أدى إلى تحسين التعاون بين الإنسان والذكاء الاصطناعي بنسبة تتراوح بين 22% إلى 47%.
التحليل النوعي: كشف تحليل تضمينات المهارات المتعلمة (عبر خرائط الحرارة للتشابه الجيبي وإسقاطات UMAP) أن PASD نجح في فك الارتباط بين المهارات. شكلت التضمينات الخاصة بالمهارة نفسها مجموعات متماسكة بغض النظر عن الشريك، بينما ظلت المهارات المختلفة متميزة، مما يؤكد قدرة النموذج على التقاط الديناميكيات المشروطة بالشريك بدلاً من الضوضاء المتمحورة حول الوكيل.

الأهمية والادعاءات

يدعي البحث أن PASD يعالج فجوة حرجة في التعلم التعزيزي متعدد الوكلاء: عدم قدرة الأساليب الهرمية القياسية على التكيف مع السلوكيات الديناميكية للشركاء الجدد. ومن خلال نقل التركيز من التنوع المتمحور حول الوكيل إلى الاتساق المتوافق مع الشريك، يقلل الأسلوب من تعلم الاختصارات ويعزز المتانة السلوكية.

يؤكد المؤلفون أن PASD يوفر أساساً لوكلاء أكثر تكيفاً وكفاءة من خلال تعلم مهارات ليست متنوعة فحسب، بل ذات معنى أيضاً في سياق التفاعل بين الإنسان والذكاء الاصطناعي. تشير النتائج إلى أن جعل اكتشاف المهارات مشروطاً بسلوك الشريك يسمح للوكلاء بالتعميم بفعالية على الشركاء غير المرئيين، بما في ذلك أولئ_ك الذين لديهم أنماط لعب شبيهة بالبشر، دون الحاجة إلى بيانات بشرية مكثفة للتدريب. يسلط العمل الضوء على أن التنسيق القوي يتطلب التفكير في السلوكيات الممتدة زمنياً والتي تكون حساسة للاستراتيجيات المحددة للمتعاونين.