Evaluating XAI Support From A Hierarchical Reinforcement Learning Policy in Human-Agent Collaboration
تقدم هذه الورقة أول تقييم منهجي للتعلم التعزيزي الهرمي القابل للتفسير جوهرياً في التعاون بين الإنسان والوكيل باستخدام معيار Overcooked-AI، كاشفةً أنه بينما أظهرت التفسيرات اتجاهات نحو تحسن أسرع، فإن التفسيرات المقدمة عبر الصوت قد قوضت بشكل كبير التحالف العملي بين الإنسان والوكيل من خلال خلق توقعات شراكة غير ملباة.
المؤلفون الأصليون:Mateus Levi Simões Fernandes, Alberto Sardinha
تخيل أنك تلعب لعبة فيديو عالية السرعة مع زميل آلي. عليكما معاً تقطيع البصل، وطهي الحساء، وتقديمه قبل انتهاء الوقت. في العالم الحقيقي، عندما يلعب بشر اثنان معاً، فإنهما يتحدثان: "سآخذ الطماطم، وأنت خذ القدر!" أو "احذر، أنا قادم!" هذا الدردشة تساعدهما على بناء فهم مشترك لما يحدث. لكن الروبوتات غالباً ما تكون مثل آلات صامتة وغامضة؛ فهي تتحرك بسرعة وتفعل الأشياء، لكنها لا تخبرك لماذا. هذا يخلق فجوة. إذا كان الروبوت سيعمل كشريك حقيقي، وليس مجرد أداة، فعليه أن يشرح أفكاره. هنا يأتي دور "الذكاء الاصطناعي القابل للتفسير" (XAI). إنه علم تعليم الروبوتات قول: "أنا أفعل هذا لأن..." لكي يتمكن البشر من الثقة بها والعمل معها بشكل أفضل. ولكن إليك الجزء الصعب: إذا تكلم الروبوت كثيراً، فقد يشتت انتباهك. وإذا تكلم بطريقة خاطئة، فقد يزعجك. السؤال الكبير هو: كيف نجعل الروبوت يشرح نفسه دون أن يعيق سير اللعبة؟
تتعمق هذه الورقة البحثية في هذه المشكلة تحديداً عبر إعداد تجربة مطبخ رقمي باستخدام لعبة تسمى Overcooked-AI. استخدم الباحثون نوعاً خاصاً من عقول الروبوتات يسمى "التعلم التعزيزي الهرمي". فكر في هذا الأمر كأن الروبوت لا يفكر فقط في كل خطوة صغيرة (مثل "تحرك يساراً، تحرك يميناً")، بل يفكر في كتل أكبر، مثل "أحضر بصلة" أو "ضع الحساء في وعاء". ولأنه يفكر في هذه الكتل الكبيرة، يمكنه طبيعياً أن يخبرك بما يخطط لفعله بعد ذلك. أراد الفريق معرفة ما إذا كان السماح لهذا الروبوت بالتحدث إلى لاعبه البشري سيجعلهما يعملان معاً بشكل أفضل. لقد اختبروا طريقتين للتحدث: يمكن للروبوت كتابة رسائل على الشاشة (نص) أو نطقها بصوت عالٍ (صوت).
جاءت النتائج بمزيج من المفاجآت والدروس. أولاً، لم تجعل تفسيرات الروبوت الفريق يحرز نقاطاً أكثر على الفور. في الواقع، سجل اللاعبون البشر الذين لم يحصلوا على أي تفسيرات نقاطاً أعلى قليلاً في المتوسط، رغم أن الفرق لم يكن كبيراً. هذا يشير إلى أنه بالنسبة للأشخاص المهرة في الألعاب بالفعل، فإن التحديثات المستمرة قد تكون مجرد تشتيت. ومع ذلك، كان هناك جانب مشرق: اللاعبون الذين حصلوا على تفسيرات بدا أنهم يتعلمون كيفية العمل مع الروبوت بشكل أسرع. لقد حسنوا درجاتهم بشكل أسرع بمرور الوقت، كما لو أن ثرثرة الروبوت ساعدتهم على فهم أسلوب الروبوت في وقت أقصر.
لكن الاكتشاف الأكثر إثارة للاهتمام حدث فيما يتعلق بـ طريقة حديث الروبوت. عندما تحدث الروبوت بصوت عالٍ (صوت)، حدث شيء غريب. على الرغم من أن اللاعبين تعلموا بشكل أسرع، إلا أنهم شعروا برابط أضعف بكثير مع الروبوت. لم يشعروا أنهم في نفس الفريق. الأمر كما لو أن صوت الروبوت جعلهم يتوقعون محادثة حقيقية ووعداً بما سيحدث بعد ذلك. ولكن لأن الروبوت كان يتفاعل فقط مع اللحظة (مثل رد الفعل المنعكس)، فقد كان يغير رأيه فوراً بعد التحدث. عندما يقول الروبوت: "أنا ذاهب إلى القدر"، ثم يركض فوراً إلى المنضدة بدلاً من ذلك، شعر الإنسان بالخيانة. لقد جعل الصوت المنطوق الروبوت يبدو كشريك يجب أن يفي بوعوده، لكن عقل الروبوت كان تفاعلياً للغاية لدرجة تمنعه من الوفاء بهذا الوعد فعلياً.
في المقابل، عندما كان الروبوت يكتفي بكتابة الرسائل على الشاشة، لم يشعر اللاعبون بهذه الخيانة. كان بإمكانهم تجاهل النص إذا أرادوا ذلك، لذا لم يشعروا أن الروبوت "شريك مزيف". تشير الدراسة إلى أنه بينما يجذب التحدث بصوت عالٍ الانتباه ويساعد الناس على التعلم بشكل أسرع، فإنه يرفع أيضاً توقعات قد لا يستطيع روبوت بسيط وتفاعلي تلبيتها. ويخلص الباحثون إلى أنه إذا أردنا للروبوتات أن تتحدث إلينا، فنحن بحاجة للتأكد من أنها قادرة حقاً على الوفاء بالوعود التي توحي بها أصواتها، وإلا فإن الشراكة قد تبدو مكسورة.
ملخص تقني: تقييم دعم الذكاء الاصطناالاصطناعي القابل للتفسير (XAI) من سياسة تعلم تعزيزي هرمي في التعاون بين الإنسان والوكيل
بيان المشكلة
يتطلب انتقال أنظمة الذكاء الاصطناعي من مجرد أدوات إلى شركاء تعاونيين ألا تكون فعالة فحسب، بل وأن تكون مفهومة أيضاً لزملائها البشر. وبينما يقدم الذكاء الاصطناعي القابل للتفسير (XAI) حلولاً محتملة، إلا أن التقييم المنهجي في السياقات التعاونية لا يزال محدوداً. تعتمد الأبحاث الحالية غالباً على سياسات مصممة يدوياً في بيئات مخصصة (مثل Minecraft)، مما يحد من إمكانية تعميم النتائج على أبحاث العمل الجماعي المتطورة التي تستخدم معايير ثابتة مثل Overcooked-AI. علاوة على ذلك، تفتقر الأدبيات الحالية إلى التقييم المنهجي لدعم XAI الناتج عن سياسات متعلمة وقابلة للتفسير جوهرياً (بدلاً من التفسيرات البعدية أو القواعد المصممة يدوياً) ضمن هذه المعايير عالية الأداء. كما توجد فجوة في فهم كيفية تأثير نمط التفسير (نص مقابل صوت) على التعاون في المهام سريعة الوتيرة والتي تتطلب تركيزاً بصرياً عالياً.
المنهجية
أجرى المؤلفون تجربة بين المجموعات (n=38) في بيئة المعيار Overcooked-AI، وتحديداً باستخدام تخطيط Counter-Circuit.
بنية الوكيل: استخدمت الدراسة بنية الوكلاء الهرميين المخصصين (HA2). يعتمد هذا النظام على هيكلية "مدير-عامل" (Manager-Worker)، حيث تختار سياسة المدير عالية المستوى (πH) مهاماً فرعية ذات دلالة دلالية (مثل "التقاط البصلة"، "وضع البصلة في القدر") من مجموعة محددة مسبقاً مكونة من 12 هدفاً خاصاً بالمجال. ثم تقوم سياسة العامل منخفضة المستوى (πW) بتنفيذ إجراءات أولية لإكمال المهمة الفرعية المختارة. توفر هذه الهيكلية الهرمية تفسيراً جوهرياً، حيث تكون القرارات عالية المستوى قابلة للتفسير من قبل البشر.
توليد التفسيرات: تم توليد تفسيرات في الوقت الفعلي مباشرة من اختيارات المهام الفرعية للمدير. ولمنع الإفراط في المعلومات، تم تنفيذ نظام مبتكر قائم على المحفزات (Triggers) لتقديم التفسيرات فقط في لحظات التنسيق ذات الصلة. شملت المحفزات ما يلي:
الاعتراض (Blocking): عندما يعيق الإنسان مسار الوكيل.
عتبة المسافة (Distance Threshold): تحديثات دورية أثناء الحركة الممتدة.
تغيير المهمة الفرعية (Subtask Change): إعلانات عند تغيير المدير لأهدافه.
الظروف التجريبية: تم توزيع المشاركين عشوائياً على ثلاثة ظروف:
التحكم (Control): لا توجد تفسيرات.
النص (Text): تُعرض التفسيرات في شريط شبه شفاف في أسفل الشاشة.
الصوت (Audio): محتوى متطابق يتم تسليمه عبر تقنية تحويل النص إلى كلام الأصلية في المتصفح.
الإجراء: أكمل المشاركون أربع جلسات لعب مدة كل منها 80 ثانية. شملت المقاييس درجات اللعبة، ومعدلات التعلم (المنحدرات الخطية عبر الجلسات)، وتقييمات عبء العمل NASA-TLX، والتقييمات الذاتية باستخدام استبيان Godspeed واستبيان معدل لتقييم سلاسة الإنسان والروبوت. تألفت العينة من بالغين ذوي خبرة في الألعاب (متوسط درجة الألفة 8.1/10).
المساهمات الرئيسية
أول تقييم منهجي في معيار قياسي: يوفر هذا العمل أول تقييم منهجي لدعم XAI الناتج عن سياسات متعلمة متطورة (HA2) ضمن معيار تعاوني ثابت بين الإنسان والوكيل (Overcooked-AI)، مما يثبت أن بنيات التعلم التعزيزي القابلة للتفسير جوهرياً يمكنها توليد تفسيرات حقيقية في الوقت الفعلي دون المساس بالأداء.
مقارنة الأنماط (Modality Comparison): يقدم العمل أول مقارنة لأنماط التفسير (النص مقابل الصوت) في مهمة تعاونية بين الإنسان والوكيل في الوقت الفلفي، مما يعزل آثار نمط التسليم على الأداء والتجربة الذاتية.
منهجية خط الأساس: وضع المؤلفون نظام تسليم قائم على المحفزات كخط أساس لتفسير السياسة الهرمية، مما يوفر منهجية لتقييم بنيات التعلم التعزيزي القابلة للتفسير جوهرياً في بيئات المعايير القياسية.
النتائج
الأداء (H1): لم يكن هناك فرق جوهري في درجات اللعبة الفورية بين مجموعة التحكم وظروف التفسير المدمجة (p=0.136). ومع ذلك، أشار اتجاه ما إلى أن المشاركين الذين تلقوا تفسيرات (خاصة الصوتية) أظهروا معدلات تعلم أسرع (تحسن عبر الجلسات) مقارنة بمجموعة التحكم (d=0.59)، رغم أن ذلك لم يصل إلى الدلالة الإحصائية (p=0.087).
العبء المعرفي (H2): لم توجد فروق ذات دلالة إحصائية في عبء العمل المعرفي (NASA-TLX) بين النمط النصي والصوتي.
التجربة الذاتية (H3): ظهرت نتيجة هامة وقوية فيما يتعلق بـ رابط التحالف العملي (Working-Alliance Bond). صنف المشاركون في الشرط الصوتي رابطهم مع الوكيل بدرجة أقل بكثير من المشاركين في الشرط النصي أو شرط التحكم (p=0.003). لم تؤثر التفسيرات النصية سلباً على الرابط مقارنة بشرط التحكم.
أنسنة الآلة (Anthropomorphism): أشار اتجاه ما إلى أن المشاركين في الحالة الصوتية قيموا الوكيل بأنه أقل "أنسنة"، رغم أن ذلك لم يصمد أمام تصحيح Bonferroni.
الآلية: يفسر المؤلفون انخفاض الرابط في الحالة الصوتية بفجوة "الادعاء مقابل الواقع". فالإيضاحات المنطوقة تضع الوكيل في إطار شريك تواصلي يقدم التزامات، لكن السياسة التفاعلية القائمة على نماذج (model-free) لا يمكنها الوفاء بهذه الالتزامات (على سبيل المثال، قد يغير الوكيل مهامه الفرعية فوراً بعد التحدث). هذه الفجوة أقل وضوحاً في النص (الذي يمكن تجاهله) أو الصمت.
الأهمية والادعاءات
يدعي البحث أنه يساهم في فهم متى وكيف يعمل XAI في البيئات التعاونية سريعة الوتيرة. الرؤية الأساسية هي أن مطابقة نمط التفسير مع قدرة السياسة الأساسية أمر بالغ الأهمية.
عدم التوافق الهيكلي: تشير الدراسة إلى أن التفسيرات المنطوقة تنشط توقعات الشراكة التي لا تستطيع السياسات التفاعلية (model-free) الوفاء بها، مما يؤدي إلى زعزعة التحالف العملي. "تكلفة الرابط" ليست إدانة لنمط التسليم الصوتي بحد ذاته، بل هي إدانة للسياسات التي تفتقر إلى أفق التخطيط أو القدرة على نمذجة البشر للوفاء بما تعلن عنه من نوايا.
التكيف مقابل التنفيذ: تشير النتائج إلى أن دعم XAI قد يعزز تكيف الإنسان مع أنماط سلوك الوكيل (تسريع التعلم) بدلاً من تنفيذ المهام الفوري، خاصة للمستخدمين الخبراء الذين قد يمتلكون بالفعل استراتيجيات تنسيق فعالة.
الاتجاه المستقبلي: يرى المؤلفون أن الطريق نحو XAI تعاوني فعال هو طريق هيكلي (Architectural). ومن أجل الحفاظ على الشراكة التي يوحي بها التفسير الصوتي، يجب أن تدمج الأنظمة المستقبلية آفاق التزام أطول (خطط ملزمة) ونماذج صريحة لزملائهم البشر لتمكين التواصل ثنائي الاتجاه القائم على "نظرية العقل" (theory-of-mind)، بدلاً من مجرد سرد المخرجات التفاعلية.
يخلص البحث إلى أنه بينما يوفر التعلم التعزيزي الهرمي أساساً واعداً للذكاء الاصطناعي القابل للتفسير جوهرياً، فإن فعالية XAI تظل مقيدة بقدرة السياسة على مواءمة سلوكها الفعلي مع التوقعات العلاقاتية التي يخلقها أسلوب تقديم التفسير (خاصة الكلام).