🤖 AI

Beyond Partner Diversity: An Influence-Based Team Steering Framework for Zero-Shot Human-Machine Teaming

تقترح هذه الورقة إطار عمل "توجيه الفريق القائم على التأثير" (IBTS)، الذي يعزز العمل الجماعي بين الإنسان والآلة في وضع الصفر (zero-shot) عبر الجمع بين تنوع الشركاء وتشكيل التأثير لاكتشاف وتوجيه الوكلاء نحو أنماط تنسيق قوية، مما أظهر أداءً فائقاً في دراسات Overcooked-AI المحاكية والواقعية للتعاون بين الإنسان والذكاء الاصطناński.

المؤلفون الأصليون: Wei Sheng, Rohan Paleja

نُشر 2026-05-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wei Sheng, Rohan Paleja

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

المشكلة الكبيرة: تعليم الروبوتات الرقص مع الغرباء

تخيل أنك تعلم روبوتاً كيفية الطبخ في مطبخ مزدحم. الروبوت بارع في اتباع التعليمات، لكنه لم يعمل معك من قبل. في الماضي، حاول الباحثون حل هذه المشكلة عبر عرض آلاف الفيديوهات لأشخاص مختلفين يطبخون على الروبوت. كانوا يأملون أنه من خلال رؤية تنوع كافٍ، سيتعلم الروبوت كيفية التعامل مع أي شريك جديد.

يطلق الورقة البحثية على هذا اسم "تنوع الشركاء" (Partner Diversity). الأمر يشبه محاولة تعلم الرقص من خلال التدرب مع 100 شخص مختلف؛ قد تصبح جيداً في الأساسيات، ولكن إذا قابلت شخصاً جديداً يرقص بطريقة غريبة وغير متوقعة، فقد تتعثران معاً.

يرى المؤلفون أن مجرد امتلاك الكثير من شركاء التدريب المختلفين ليس كافياً. فعندما يصبح المطبخ أكبر (بإضافة شخص ثالث) أو تصبح التعليمات أصعب (مكافآت نادرة)، يحتاج الروبوت إلى أكثر من مجرد التدريب؛ يحتاج إلى فهم كيفية التأثير على شركائه وتوجيه الفريق نحو إيقاع جيد.

الحل: IBTS (قائد الأوركسترا أو "الموجه")

يقترح المؤلفون إطار عمل جديد يسمى "التوجيه القائم على التأثير" (Influence-Based Team Steering - IBTS). فكر في IBTS كمعسكر تدريبي مكون من ثلاث مراحل للروبوت:

المرحلة الأولى: بناء "مجمع خارق" للفرق

بدلاً من ترك الروبوت يتدرب عشوائياً، يستخدم الباحثون حيلة خاصة تسمى "تشكيل التأثير" (Influence Shaping).

التشبيه: تخيل مدرباً لا يكتفي بالصراخ "سجل هدفاً!" (وهو أمر يصعب تحقيقه فوراً)، بل بدلاً من ذلك، يعطي "تحية عالية" (مكافأة صغيرة) في كل مرة يقوم فيها اللاعب بحركة تمهد لنجاح زميله في المستقبل.
ماذا تفعل: هذا يشجع الروبوت على التوقف عن التفكير فقط في حركته التالية، والبدء في التفكير: "إذا تحركت هنا، هل سيتمكن شريكي من القيام بشيء مفيد لاحقاً؟". هذا يبني مكتبة من الفرق التي تجيد تمرير الكرة، وليس فقط تسجيل الأهداف.

المرحلة الثانية: "المحقق النمطي"

بمجرد أن يتدرب الروبوت مع هذا المجمع المتنوع من الفرق، يحتاج إلى تعلم كيفية التعرف على نوع الفريق الذي يعمل معه حالياً.

التشبيه: تخيل أن الروبوت محقق. يراقب الثواني القليلة الأولى من اللعبة ويتساءل: "هل يبدو هذا الفريق مثل 'فريق التمرير' الذي تدربت معه؟ أم أنه 'فريق الهجوم السريع'؟"
ماذا تفعل: يبني الروبوت خريطة ذهنية (متنبئ) تنظر إلى التاريخ القريب من الأفعال وتخمن أي "أسلوب" من التنسيق يحدث الآن.

المرحلة الثالثة: "عجلة القيادة"

هذه هي الخطوة النهائية حيث يتعلم الروبوت قيادة الفريق نحو النجاح.

التشبيه: تخيل أن الروبوت يقود سيارة مع نظام تحديد مواقع (GPS). الـ GPS لا يقول فقط "قد بسرعة"، بل يقول: "أنت تقود حالياً مثل 'الفريق البطيء'، ولكن إذا قمت بهذا المنعطف المحدد، فستتحول للقيادة مثل 'الفريق السريع'، مما سيوصلنا إلى الوجهة بشكل أسرع".
ماذا تفعل: يستخدم الروبوت مهارات "المحقق النمطي" ليرى ما إذا كان تدفق الفريق الحالي ضعيفاً. إذا كان كذلك، فإنه يدفع أفعاله الخاصة بلطف لتوجيه المجموعة بأكملها نحو نمط أقوى وأكثر كفاءة تعلمه في المرحلة الأولى.

كيف اختبروا ذلك: مطبخ "Overcooked"

لاختبار ذلك، استخدم الباحثون لعبة فيديو شهيرة تسمى Overcooked-AI.

الإعداد: يجب على البشر ووكلاء الذكاء الاصطناعي العمل معاً لتقطيع البصل، وطبخ الحساء، وتقديمه.
التحدي: اختبروا ذلك في سيناريوهين:
1. فرق من شخصين: إنسان واحد، وروبوت واحد.
2. فرق من ثلاثة أشخاص: إنسانان، وروبوت واحد. (وهذا أصعب بكثير لأن البشر يتعين عليهم التنسيق مع بعضهم البعض ومع الروبوت أيضاً).
النتائج:
- الاختبارات المحاكية: اختبروا الروبوت ضد شركاء وهميين (بما في ذلك ذكاء اصطناعي يحاكي شخصيات مختلفة مثل "الموافق"، "المنفتح"، أو "القلق"). تفوق IBTS في كل مرة تقريباً، خاصة في سيناريوهات الثلاثة أشخاص الصعبة حيث فشلت الطرق القديمة.
- اختبارات البشر الحقيقيين: أحضروا 30 شخصاً حقيقياً للعب اللعبة. وقد ساعد الروبوت الذي تدرب باستخدام IBTS فرق البشر باستمرار على تسجيل نقاط أعلى من الروبوتات التي تدربت باستخدام الطرق القديمة.

الخلاصة الرئيسية

يزعم البحث أنه لكي تعمل الروبوتات بشكل جيد مع البشر (خاصة في المجموعات)، لا يمكننا مجرد إلقائها وسط حشد من الناس المختلفين والأمل في أن تتعلم. نحن بحاجة إلى تعليمها كيفية التأثير على زملائها لخلق عادات جيدة، ثم تعليمها التعرف والتوجيه للفريق نحو تلك العادات الجيدة في الوقت الفعلي.

يخلص المؤلفون إلى أنه على الرغم من أن طريقتهم تعمل بشكل جيد، إلا أنها ليست مثالية. فأحياناً، حتى مع هذا التدريب، لا يزال الروبوت يكافح لمطابقة الحدس الخاص باستراتيجية مصممة بشرياً، ولا يزال البشر يثقون في زملائهم البشر أكثر من زملائهم الروبوتيين، حتى عندما يسجل الروبوت نقاطاً أعلى. لكنها خطوة كبيرة نحو روبوتات يمكنها حقاً "الانسجام" (Jam) مع البشر في مجموعة.

ملخص تقني: توجيه الفريق القائم على التأثير (IBTS)

1. بيان المشكلة

تتناول الورقة البحثية قيود القابلية للتوسع في العمل الجماعي بين الإنسان والآلة (HMT) في سياقات التنسيق صفري الاستباق (Zero-Shot Coordination - ZSC). بينما تعتمد أساليب HMT المعتمدة على البيانات على بيانات تفاعل بشري مكلفة، يحاول ZSC تدريب الوكلاء للتعاون مع شركاء غير مرئيين من خلال محاكاة مجموعات متنوعة من الشركاء. ومع ذلك، يرى المؤلفون أن تنوع الشركاء وحده غير كافٍ مع زيادة أحجام الفرق (على سبيل المثال، الانتقال من الفرق الثنائية إلى الثلاثية) وتدهور التواصل.

غالبًا ما تتقارب أساليب التعداد السكاني القياسية (مثل FCP وMEP وGAMMA) نحو سياسات عامة متينة ولكنها ثابتة. وتفشل هذه السياسات في الحفاظ على أنماط تنسيق فعالة وعالية الأداء، لا سيالما في البيئات ذات المكافآت المتناثرة (sparse rewards) وسلاسل التفاعل الطويلة حيث لا يتم مكافأة الخطوات المتوسطة فوراً. التحدي الجوهري يكمس في تحديد وتعزيز هياكل التنسيق المثمرة دون الحاجة لتغطية شاملة للبيانات البشرية.

2. المنهجية: توجيه الفريق القائم على التأثير (IBTS)

يقترح المؤلفون إطار عمل IBTS، وهو إطار مكون من ثلاث مراحل يعزز تنوع الشركاء بتوجيه تنسيقي متعلم. يعمل الإطار ضمن صياغة عملية ماركوف لاتخاذ القرار تحت الملاحظة الجزئية اللامركزية (Dec-POMDP).

المرحلة 1: بناء مجمع فرق متنوع

الهدف هو إنشاء مجمع من الفرق المتنوعة وعالية الأداء. ويتم تحقيق ذلك عن طريق تعديل هدف التدريب المركزي مع التنفيذ اللامركزي (CTCT - وتحديداً باستخدام PPO/MAPPO) بمصطلحي مكافأة ذاتية:

تشكيل التأثير (Influence Shaping): لتشجيع السلوك الداعم، تمنح الطريقة مكافآت للأفعال التي تزيد من احتمالية قيام الزملاء بأفعال متابعة "بارزة".
- يُعرَّف الفعل البارز $a^*_t$ بأنه الفعل الذي يستحث أكبر تغيير في سمات الحالة التعاونية (المواقع، امتلاك الأشياء).
- يتم حساب مكافأة التأثير الموجه ( $r^{inf}_{i,t}$ ) عبر مقارنة متنبئ أساسي (يتنبأ بمتابعة الزميل بناءً على الملاحظة فقط) مقابل متنبئ مشروط بالتأثير (مشروط بفعل الوكيل $i$ ).
- المكافأة هي الفرق غير السالب، مما يشجع الوكيل $i$ على اتخاذ أفعال تجعل متابعة الزميل أكثر احتمالاً، حتى لو كان التأثير متأخراً (يتم التقاطه عبر تسمية حدث قصير الأمد $K$ ).
التنوع السلوكي (Behavioral Diversity): لمنع التجمع السكاني من الانهيار في عرف واحد، يُضاف مصطلح تنوع ( $r^{div}_{i,t}$ ). هذا المصطلح يكافئ الأفعال التي تكون أقل احتمالاً في ظل توزيع متوسط الأفعال الحالي للمجتمع، مما يشجع على أساليب تنسيق متميزة عبر مجمع الفريق.

المرحلة 2: متنبئ الفريق المشروط بالمسار

يتم تدريب متنبئ يعتمد على المحولات (Transformer-based) على سجلات المسارات من مجمع الفريق الذي تم إنشاؤه.

المدخلات: تاريخ المسار $h_t$ (مواقع الوكلاء، الاتجاهات، الأشياء المحمولة، الأفعال).
المخرجات: تضمين تنسيقي $c_t$ وتوزيع $p_t$ على $M$ من الفرق في المجمع.
الهدف: يتعلم المتنبئ رسم خرائط لتاريخ التفاعلات الأخيرة إلى أسلوب التنسيق المحدد (هوية الفريق) الذي أنتجها. وهذا يسمح للنظام بالتعرف على "نمط" التفاعل الحالي في الوقت الفعلي.

المرحلة 3: توجيه الفريق

تدرب هذه المرحلة سياسة "أفضل استجابة" قابلة للنشر باستخدام هيكل التنسيق المتعلم.

توجيه جودة المسار: يتم تقييم مجمع الفريق التاريخي لتعيين درجة جودة $S(m)$ $S (m)$ لكل فريق. تُعرف مكافأة التوجيه ( $r^{steer}_t$ $r_{t}^{s t eer}$ ) بناءً على ما إذا كان المسار الحالي يتحرك نحو أنماط تاريخية أعلى جودة.
- $r^{steer}_t = \max(Q(h_{t+\Delta}) - Q(h_t), 0)$ ، حيث $Q$ هو الدرجة المرجحة بالجودة للمسار الحالي.
- توجه هذه المكافأة السياسة لتوجيه التفاعلات المستمرة نحو أنماط تنسيق أقوى تم تعلمها سابقاً.
تقطير الطالب المشترك (Shared-Student Distillation): بما أن عملية التوجيه تنتج سياسات "معلم" متخصصة (كل منها مدرب كوكيل محدد مقابل شركاء ثابتين)، فإن خطوة تقطير غير متصلة (offline distillation) تعمل على دمج هذه السياسات في سياسة طالب مشتركة. يتم تدريب الطالب عبر "التعلم بالتقليد السلوكي" (behavior cloning) على مجموعة بيانات مجمعة من أفعال المعلمين، مما يمكنه من العمل كوكيل استجابة مثلى عام لأي موقع في الفريق.

3. المساهمات الرئيسية

إطار عمل IBTS: تقديم إطار عمل يربط تنوع الشريك بهيكل أداء الفريق المتعلم، باستخدام تشكيل التأثير لاكتشاف الأنماط الداعمة والتوجيه الموجه بالمتنبئ لتعزيزها.
التوسع في HMT: توسيع تقييم Overcooked-AI ليشمل تخطيطات مكونة من ثلاثة وكلاء وتطوير بروتوكول ذكاء اصطناعي اصطناعي مشروط بالشخصية لاختبار المتانة ضد تباين أسلوب الشريك.
الدراسة البشرية ومجموعة البيانات: دراسة بشرية شارك فيها 30 شخصاً لتقييم IBTS في كل من حالات (إنسان واحد–آلة واحدة) و**(إنسانان–آلة واحدة)**. أصدر المؤلفون مجموعة بيانات تضم 90 مساراً من هذه التعاونات، وهي الأولى من نوعها لأبحاث Overcooked-AI في سياق (2 بشر–1 ذكاء اصطناعي).

4. النتائج التجريبية

أجري التقييم على Overcooked-AI عبر ثلاثة تخطيطات: التنسيق القسري (FC)، الأنبوب (PL)، والمزايا غير المتماثلة (AA).

التقييم المحاكي داخل النطاق: تفوق IBTS بشكل كبير على الأساليب المرجعية القوية (MAPPO-SP, FCP, MEP, GAMMA)، خاصة في تخطيط الأنبوب (PL) حيث تجعل المكافآت المتناثرة التنسيق صعباً.
- في نظام الوكيلين (2-agent) في تخطيط PL، تفوق IBTS على MEP بنسبة +16.5%.
- في نظام الثلاثة وكلاء (3-agent) في تخطيط PL، تفوق IBIBTS على MEP بنسبة +17.1%.
- في الإعدادات ذات المكافآت الأكثر كثافة (مثل المزايا غير المتماثلة)، ظل IBTS منافساً لأفضل الأساليب المرجعية.
تقييم الشريك الاصطناعي (LLM): تم اختبار IBTS ضد شركاء من نوع GPT-5-mini مشروطين بشخصيات (ودودة، انبساطية، وعصابية).
- تفوق IBTS على FCP في جميع الحالات الـ 18 المختبرة، وعلى MEP في 13 من أصل 18 حالة.
- حقق متوسط درجة قدره 186.9، وهو أعلى بكثير من MEP (133.7) وFCP (110.6).
- لوحظت أكبر المكاسب في تخطيط الأنبوب (Pipeline)، مما يشير إلى الفعالية في سلاسل التفاعل الطويلة.
الدراسة البشرية:
- في حالة (إنسان واحد–آلة واحدة)، تفوق IBTS بشكل كبير على MEP وGAMMA في تخطيط الأنبوب.
- في حالة (إنسانان–آلة واحدة)، تفوق IBTS بشكل كبير على كلا المرجعيين في تخطيط التنسيق القسري.
- أشارت استطلاعات الرأي بعد اللعبة إلى أنه بينما حصل الزملاء البشر على أعلى تقييم في الثقة، فقد تم تقييم IBTS بشكل إيجابي عموماً مقارنة بالأساليب المرجعية المتعلمة الأخرى، مما يشير إلى أن المكاسب في الأداء لم تأتِ على حساب جودة الزميل الذاتية.

5. الأهمية والادعاءات

تدعي الورقة أن تغطية الشركاء وحدها غير كافية لـ ZSC القابل للتوسع. بدلاً من ذلك، يتطلب التنسيق الناجح الجمع بين التنوع وآليات لتحديد وتعزيز هياكل التنسيق القابلة للنقل.

مبدأ التصميم: يقترح المؤلفون أنه لا ينبغي للآلات مجرد التدرب على تحمل الشركاء المتنوعين، بل يجب أن تتعلم التعرف على أنماط التنسيق المثمرة وتعزيزها مع ظهورها.
التعامل مع المكافآت المتناثرة: يثبت IBTS أن تشكيل التأثير أمر بالغ الأهمية لاكتشاف خطوات التنسيق المتوسطة المفيدة في بيئات المكافآت المتناثرة حيث لا تكفي مكافآت المهام القياسية لتوجيه التعلم.
القابلية للتوسع: نجح إطار العمل في الانتقال من الإعدادات الثنائية (وكيلين) إلى المجموعات (ثلاثة وكلاء)، مما يشير إلى مسار نحو تعاون بشري-آلي أكثر واقعية حيث يجب على الآلات التكيف مع التفضيلات الفردية وديناميكيات الإنسان-الإنسان الناشئة.

القيود التي أقر بها المؤلفون:

يعتمد IBTS على جودة هيكل أداء الفريق المتعلم؛ فإذا افتقر فضاء التضمين (embedding space) إلى السلوكيات المفضلة بشرياً، فلن يتمكن التوجيه من استعادتها.
تتسبب صياغة التأثير الثنائية في تكاليف قابلية التوسع للفرق الكبيرة جداً.
كانت الدراسة البشرية محدودة الحجم، واستمرت فجوات الثقة الذاتية بين البشر والآلات رغم التحسينات في الأداء.