🤖 AI

Adaptive Human-AI Coordination via Hierarchical Action Disentanglement

تقترح هذه الورقة البحثية "فك الارتباط الجوهري للأفعال" (IAD)، وهو إطار عمل للتعلم التعزيزي الهرمي العميق يستخدم المكافآت الجوهرية لتعلم تسلسلات أفعال متميزة ومدركة للشريك، مما يتيح تنسيقاً قوياً وتكيفياً بين الإنسان والذكاء الاصطناعي عبر شركاء متنوعين وغير مرئيين في مجال Overcooked-AI.

المؤلفون الأصليون: Adnan Ahmad, Bahareh Nakisa, Mohammad Naim Rastgoo

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Adnan Ahmad, Bahareh Nakisa, Mohammad Naim Rastgoo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول طهي وجبة معقدة مع شريك في مطبخ صغير وفوضوي. أحياناً، يكون شريكك سريعاً جداً ويخطف كل شيء بسرعة؛ وأحياناً أخرى، يكون حذراً ومنهجياً. وأحياناً يحب العمل في حركة دائرية مع عقارب الساعة حول المنضدة، وأحياناً عكس عقارب الساعة. إذا حاولت استخدام نفس أسلوب الطهي تماماً مع الجميع، فمن المرجح أن تصطدم ببعضكما البعض، أو تسقط المكونات، أو تسبب فوضى عارمة.

تقدم هذه الورقة البحثية طريقة جديدة للذكاء الاصطناعي (الشيف الروبوت) لتعلم كيفية الطهي مع أي شريك بشري، بغض النظر عن سلوكهم. يطلق المؤلفون على طريقتهم اسم IAD (فك الارتباط الجوهري للأفعال - Intrinsic Action Disentanglement).

إليك كيف يعمل ذلك باستخدام تشبيهات بسيطة:

المشكلة: فشل "المقاس الواحد الذي يناسب الجميع"

كانت أساليب الذاء الاصطناعي السابقة تشبه روبوتاً تعلم طريقة واحدة فقط للرقص. إذا طلبت منه الرقص مع شريك بطيء، فإنه يحاول الرقص ببطء. وإذا طلب منه الرقص مع شريك سريع، فإنه يحاول الرقص بسرعة. ولكن لأنه لم يكن لديه سوى "حركة رقص" واحدة في رأسه، فغالباً ما كان يصاب بالارتباك، أو يتباطأ، أو ينهار ببساطة إلى عدم القيام بأي شيء مفيد. لم يكن قادراً على تغيير تروسه بسرعة ليتناسب مع الأشخاص المختلفين.

الحل: "سكين سويسري" من المهارات

يقترح المؤلفون أنه بدلاً من تعلم سلوك واحد كبير وفوضوي، يجب على الذكاء الاصطناعي تعلم قائمة من المهارات المتميزة. فكر في الأمر مثل السكين السويسري؛ لديك مفك براغي، وشفرة، وفتاحة زجاجات، ومقص. أنت لا تستخدم فتاحة الزجاجات لربط مسمار؛ بل تختار الأداة المناسبة للمهمة.

يتكون نظام IAD من جزأين رئيسيين يعملان معاً:

المدير (العقل): هذا هو الجزء عالي المستوى من الذكاء الاصطناعي. هو يراقب الشريك البشري لبضع ثوانٍ ليفهم "مزاج" الشخص. هل الإنسان يتسرع؟ هل هو حذر؟ هل يتحرك في دائرة؟ بناءً على هذه الملاحظة، يختار المدير "مهارة" محددة من القائمة (على سبيل المثال: "مهارة المسار السريع" أو "مهارة الخطوة الحذرة").
العامل (اليدان): هذا هو الجزء منخفض المستوى. بمجرد أن يختار المدير مهارة معينة، يقوم العامل بتنفيذ تسلسل محدد من الحركات المصممة فقط لتلك المهارة.

السر الخفي: "فك الارتباط" (Disentanglement)

السحر الحقيقي في هذه الورقة هو كيفية تعليم الذكاء الاصطناعي إبقاء هذه المهارات منفصلة. وهذا ما يسمى "فك الارتباط الجوهري للأفعال".

تخيل أنك تعلم كلباً بعض الحركات. إذا لم تدربه بعناية، فقد يعتقد الكلب أن "اجلس" و"ابقَ مكانك" هما نفس الشيء، أو قد يخلط بينهما.

الأساليب القديمة كانت تسمح للذكاء الاصطناعي بتعلم مهارات كانت جميعها متشابهة تقريباً، مع اختلافات طفيفة فقط. كان الأمر يشبه امتلاك صندوق أدوات حيث تبدو كل أداة فيه كأنها مطرقة.
يستخدم IAD "نظام مكافأة" خاصاً (مكافأة افتراضية) يقول: "إذا استخدمت المهارة (أ)، يجب أن تفعل شيئاً مختلفاً تماماً عما ستفعله إذا استخدمت المهارة (ب)".

هذا يجبر الذكاء الاصطناعي على إنشاء أنماط واضحة ومتميزة.

المهارة 1 قد تعني: "سأقوم دائماً بتسليمك الطماطم من جهة اليسار".
المهارة 2 قد تعني: "سأنتظر دائماً حتى تأخذ الطبق قبل أن أتحرك".

ولأن هذه المهارات متميزة جداً (مفككة الارتباط)، يمكن للمدير أن ينظر إلى الإنسان، ويقول: "آه، إنه يتحرك بسرعة من اليسار"، ويختار فوراً المهارة 1. لا يتعين على الذكاء الاصطناعي التخمين؛ بل ينتقل ببساطة إلى السلوك المبرمج مسبقاً والذي يناسب هذا الأسلوب المحدد من البشر.

كيف اختبروه

اختبر الباحثون هذا في لعبة رقمية تسمى Overcooked، حيث يعمل وكيلان (Agent) على صنع الحساء معاً.

الاختبار: قاموا بربط ذكائهم الاصطناعي مع العديد من "الشركاء". بعض الشركاء كانوا وكلاء ذكاء اصطناعي آخرين بمستويات مهارات مختلفة، وبعضهم نماذج حاسوبية مدربة على بيانات بشرية حقيقية، وبعضهم بشر حقيقيون يلعبون اللعبة.
النتيجة: تفوق ذكاء IAI باستمرار على الأساليب الأخرى. فعندما اقترن بإنسان سريع، كان يسرع. وعندما اقترن بإنسان بطيء وحذر، كان يبطئ وينتظر. لم يرتبك أو "ينهار" ليصبح غير فعال.
الدليل: لقد نظروا أيضاً إلى البيانات بصرياً ورأوا أن سلوكيات الذكاء الاصطناعي شكلت مجموعات (Clusters) مرتبة ومنفصلة. لم تكن فوضى ضبابية؛ بل كانت مجموعة واضحة من الأدوات المختلفة المستخدمة بشكل صحيح.

الخلاصة

تظهر هذه الورقة أنه لكي يعمل الذكاء الاصطناعي بشكل جيد مع البشر، لا ينبغي له فقط أن يحاول أن يكون "جيداً" في المهمة. بل يحتاج إلى تعلم مكتبة من السلوكيات المتميزة وطريقة ذكية لاختيار الأنسب منها بناءً على الشخص الذي يعمل معه. ومن خلال إجبار هذه السلوكيات على أن تكون مختلفة تماماً عن بعضها البعض، يصبح الذكاء الاصطناعي شريكاً أكثر قدرة على التكيف والاعتماد عليه، سواء كان الشريك روبوتاً، أو نموذجاً حاسوبياً، أو شخصاً حقيقياً.

ملخص تقني: التنسيق التكيفي بين البشر والذكاء الاصطناي عبر فك الارتباط الإجرائي الهرمي

بيان المشكلة

لا يزال تطوير وكلاء أذكياء قادرين على التعاون الفعال مع الشركاء البشريين يمثل تحديًا كبيرًا في تعلم التعزيز متعدد الوكلاء (MARL). فخلافًا للإعدادات التنافسية حيث يُعرَّف النجاح بالتفوق على الخصم، يتطلب التعاون من الوكلاء التكيف مع شركاء ذوي سلوكيات متنوعة وغير متوقعة، ومستويات مهارة متفاوتة، وتفضيلات فردية.

تواجه الأساليب الحالية قيودًا حرجة:

محاكاة السلوك (Behavior Cloning - BC): رغم فعاليتها في حالات عرض محددة، إلا أن هذه الأساليب تتطلب كميات ضخمة من البيانات وتواجه صعوبة في التعميم خارج نطاق بيانات التدريب.
التعلم التعزيزي الهرمي العميق (DHRL): بينما يوفر DHRL تجريدًا زمنيًا عبر تفكيك المهام إلى مهارات عالية المستوى وإجراءات منخفضة المستوى، فإن طرق اكتشاف المهارات الحالية غالبًا ما تعاني من انهيار المهارة (حيث تتقارب المهارات المتعددة نحو سلوكيات متشابهة) أو تتعلم مهارات زائدة تلتقط الضجيج بدلاً من الأنماط ذات الصلة بالشريك.
الافتقار إلى الوعي بالشريك: تفشل العديد من آليات المكافأة الجوهرية التي تعزز التنوع بناءً على استكشاف الوكيل الخاص أو توزيعات الحالة، في نمذجة ديناميكيات التفاعل أو السلوكيات المعتمدة على الشريك بشكل صريح. ونتيجة لذلك، يفرط الوكلاء في التكيف مع شركاء التدريب ويفشلون في التعميم على شركاء جدد ذوي أساليب تنسيق مختلفة.

المنهجية: فك الارتباط الإجرائي الجوهري (IAD)

يقترح المؤلفون إطار عمل فك الارتباط الإجرائي الجوهري (IAD)، وهو إطار تعلم تعزيزي هرمي عميق ثنائي المستوى مصمم لتعلم تسلسلات إجراءات منخفضة المستوى متميزة ومدركة للشريك، مشروطة بمهارات كامنة عالية المستوى.

بنية إطار العمل

يعمل النظام على سياسة هرمية $\pi_\theta = (\pi_{hi}, \pi_{lo}, \beta)$ :

المدير عالي المستوى ( $\pi_{hi}$ ): يلاحظ الأنماط الممتدة زمنيًا لسلوك الشريك ويختار مهارة كامنة $z \in \mathcal{Z}$ . يتم تنفيذه كشبكة متكررة لالتقاط التبعيات التسلسلية.
المتحكم منخفض المستوى ( $\pi_{lo}$ ): ينفذ تسلسلات من الإجراءات الذرية المشروطة بالمهارة المختارة $z$ .
دالة الإنهاء ( $\beta$ ): دالة عشوائية تحدد متى يجب إنهاء المهارة الحالية، مما يسمح بالتبديل التكيفي بناءً على سياق التعاون.

الابتكار الجوهري: فك الارتباط الإجرائي الجوهري

المساهمة المركزية لـ IAD هي مكافأة جوهرية مبتكرة تُطبق على السياسة منخفضة المستوى لتعزيز فك الارتباط الصريح لتوزيعات الإجراءات عبر المهارات المختلفة.

الهدف: يتم تنظيم السياسة منخفضة المستوى لضمان أن كل مهارة كامنة $z$ تنتج تسلسل إجراءات متميزًا وقابلًا للتنبؤ يعكس أنماط التنسيق مع الشريك، بدلاً من عكس التباينات المتمحورة حول الوكيل نفسه.
صياغة المكافأة الجوهرية: تُعرف المكافأة الجوهرية $r^{IAD}$ بأنها تباعد كولباك - ليبلر (KL divergence) بين توزيع الإجراءات المشروط بالمهارة وتوزيع الإجراءات الهامشي:
$r^{IAD}(s_t, a_t, z_k) = \text{KL}(\pi_{lo}(\cdot | s_t, z_k) \parallel \pi_{lo}(\cdot | s_t))$
حيث $\pi_{lo}(a | s) = \sum_{z \in \mathcal{Z}} \pi_{hi}(z | s) \pi_{lo}(a | s, z)$ .
ديناميكيات التدريب:
- هدف المستوى المنخفض: يعظم مزيجًا من مكافآت الفريق الخارجية والمكافأة الجوهرية لفك الارتباط. يضمن ذلك تعلم المهارات لأنماط تنسيق قابلة لإعادة الاستخدام ومحددة بالشريك.
- هدف المستوى العالي: يعظم المكافأة الخارجية التراكمية للفريق عبر مقاطع المهارة، مستفيدًا من السلوكيات الهيكلية منخفضة المستوى لاختيار المهارة الأكثر فعالية لديناميكيات الشريك الحالية.
- التحسين: يتم تدريب الهيكل بأكهله من البداية إلى النهاية باستخدام تحسين السياسة القريبة (PPO). يتم تحسين دالة الإنهاء $\beta$ باستخدام نفس إشارة الميزة عالية المستوى لضمان إنهاء المهارات بشكل مناسب.

المساهمات الرئيسية

إطار عمل IAD: إطار عمل DHRL ثنائي المستوى مبتكر يمكّن الوكلاء من التكيف مع شركاء لم يسبق رؤيتهم ذوي أساليب تنسيق متنوعة، محققًا تنسيقًا قويًا في المهام التعاونية.
مكافأة فك الارتباط الجوهري: آلية مكافأة محددة للسياسة منخفضة المستوى تشجع صراحةً على فك الارتباط بين تسلسلات الإجراءات الذرية عبر المهارات. هذا يمنع انهيار المهارة ويجعل كل مهارة عالية المستوى متوافقة مع نمط سلوكي متميز ومرتبط بالشريك.
تقييم شامل: تجارب مكثفة في بيئة Overcooked-AI عبر خمسة تخطيطات، لاختبار التعميم على:
- مجموعات كبيرة من شركاء اللعب الذاتي (self-play) بمستويات مهارة متفاوتة.
- نموذج وسيط بشري مدرب بواسطة محاكاة السلوك (BC) بناءً على مسارات بشرية-بشرية حقيقية.
- شركاء بشريين حقيقيين في دراسة مستخدم مضبوطة.

النتائج التجريبية

قيم المؤلفون IAD مقابل خطوط أساس قوية: Fictitious Co-Play (FCP)، و DIAYN، و Hierarchical Population Training (HiPT).

شركاء اللعب الذاتي: حقق IAD باستمرار أعلى متوسط عوائد عبر جميع التخطيطات (على سبيل المثال، 172.96 في C्रamped Room مقابل 137.7 لـ FCP و 117.9 لـ HiPT). أظهر تقاربًا أسرع وأداءً مستقرًا، بينما عانى DIAYN بسبب الحساسية لتباينات الحالة غير ذات الصلة، وأظهر HiPT/FCP أداءً غير متسق بسبب الافتقار إلى المهارات الهيكلية منخفضة المستوى.
الشركاء الوسيطون البشريون: عند الاقتران بوسيط بشري مدرب بأسلوب BC، تفوق IAD مرة أخرى على جميع الخطوط المرجعية (على سبيل المثال، 148.76 في C्रamped Room مقابل 118.75 لـ FCP)، مما أظهر القدرة على التعميم على السلوكيات البشرية رغم قيود البيانات البشرية المحدودة.
الشركاء البشريون الحقيقيون: في دراسة مستخدم شملت 24 مشاركًا صالحًا، حقق IAD مكافآت مشتركة أعلى بكثير من HiPT عبر جميع التخطيطات، مع تحسينات تراوحت بين 22% إلى 47%.
التحليل النوعي: كشفت إسقاطات UMAP لتمثيلات التسلسل أن IAD ينتج مجموعات مدمجة ومنفصلة جيدًا للمهارات المختلفة، مما يشير إلى اتساق قوي داخل المهارة وفك ارتباط واضح بين المهارات. أكدت التصورات للمسارات أن مهارات محددة تتوافق باستمرار مع مسارات فرعية بشرية متميزة (مثل استراتيجيات مختلفة لالتقاط الأطباق أو التنسيق باتجاه عقارب الساعة مقابل عكس عقارب الساعة).

الأهمية والادعاءات

يزعم البحث أن IAD يعالج الفجوة الحرجة في الأساليب الهرمية الحالية من خلال نمذجة ديناميكيات التفاعل صراحةً بدلاً من مجرد تعزيز التنوع المتمحور حول الوكيل. من خلال فك ارتباط توزيعات الإجراءات بناءً على سلوك الشريك، يُمكّن IAD الوكلاء من:

تعلم سلوكيات مشروطة بالمهارة، هيكلية وقابلة لإعادة الاستخدام، وتكون قوية تجاه التحولات التوزيعية.
التكيف بفعالية مع الشركاء غير المتجانسين دون الإفراط في التكيف مع حالات تدريب محددة.
تحقيق تنسيق موثوق في سيناريوهات التعاون بين الإنسان والذكاء الاصطناي في العالم الحقيقي، كما هو مثبت من خلال الأداء المتفوق مع كل من الوسائط البشرية المحاكية والمشاركين البشريين الفعليين.

يخلص المؤلفون إلى أن نهجهم يوفر طريقة مبدئية للتعامل مع التعقيد الزمني للتعاون بين الإنسان والذكاء الاصطناي، مما يضمن أن القرارات عالية المستوى ترتكز على أنماط تنفيذ منخفضة المستوى متميزة ومدركة للشريك.