Stop Training Against Soft Users: Mentalized Adversarial Self-Play for Proactive Dialogue
تُقدم الورقة البحثية إطار عمل MASP، وهو إطار للعب الذاتي العدائي القائم على التجسيد الذهني (Mentalized Adversarial Self-Play) الذي ينمذج الحوار الاستباقي كلعبة غير كاملة الملاحظة ضد مستخدم يقاوم بعقلانية وفق نموذج (BDI) للحالة الذهنية، مما يدرب الوكلاء على تحقيق نجاح وفعالية قويين في المهام حتى ضد المستخدمين الصعاب وغير الممتثلين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، يوجد فرق واضح بين روبوت الدردشة الذي يكتفي بالرد على ما تقوله وبين ذلك الذي يوجه الحوار بنشاط نحو هدف محدد. هذا النوع الثاني، المعروف باسم "الحوار الاستباقي"، هو المحرك وراء المساعدين الرقميين الذين يحاولون إقناعك بالتبرع للأعمال الخيرية، أو مساعدتك على الهدوء عندما تكون مضطرباً، أو التفاوض على سعر سلعة مستعملة. ولكي تعمل هذه الأنظمة، يجب أن تفعل أكثر من مجرد توليد جمل بليغة؛ يجب أن تتوقع كيف ستغير كلماتها عقليتك، ومشارعك، ونواياك على مدار محادثة طويلة. لقد كان التحدي دائماً هو أن نماذج الذكاء الاصطناعي الأكثر تقدماً غالباً ما يتم تدريبها في فراغ، حيث تمارس مهاراتها ضد برامج حاسوبية شديدة الرغبة في الإرضاء. هذه البرامج، أو المحاكيات، تعمل مثل طلاب مطيعين للغاية يوافقون على كل شيء، مما يسمح للذكاء الاصطناعي بالحصول على درجات عالية دون أن يتعلم أبداً كيفية التعامل مع شخص حقيقي قد يكون متشككاً، أو مقاوماً، أو ببساطة يغير رأيه.
قدم فريق من الباحثين من جامعة "دونغتشيزو" للتكنولوجيا وجامعة "بيهانغ" طريقة تدريب جديدة مصممة لإصلاح هذا الخلل. أطلقوا على نهجهم اسم MASP، وهو اختصار لـ "اللعب الذاتي التنافسي المعتمد على التفكير الذهني" (Mentalized Adversarial Self-Play). وبدلاً من ترك الذكاء الاصطناعي يتدرب على هدف سهل ولين، أنشأ الباحثون ساحة تدريب حيث يلعب الذكاء الاصطناعي ضد خصم رقمي مصمم ليكون عقلانياً ولكن صعب المراس. في هذا الإعداد، يجب على الذكاء الاصطناعي أن يتعلم قراءة الحالة الذهنية الخفية للمستخدم — ما يعتقده، وما يريده، وما ينوي فعله — وتعديل استراتيجيته وفقاً لذلك. لا يتم مكافأة النظام على الفوز فحسب، بل على فهم المستخدم جيداً بما يكفي لإحراز تقدم حتى عندما يبدي المستخدم مقاومة. تجبر هذه الطريقة الذكاء الاصطناعي على تطوير قدرة قوية على خوض التفاعلات البشرية المعقدة، بدلاً من مجرد حفظ كيفية الفوز ضد نص برمجي مطيع.
الفكرة الجوهرية وراء هذا العمل هي أن الذكاء الاصطناعي لا يمكنه تعلم توجيه المحادثة إذا لم يواجه مقاومة حقيقية أبداً. في الأساليب السابقة، كان الذكاء الاصطناعي يتدرب ضد نموذج مستخدم ثابت كان إما ساكناً أو سهلاً جداً في التلاعب به. وجد الباحثون أن هذا أدى إلى مشكلة "المستخدم الناعم"، حيث بدا الذكاء الاصطناعي ناجحاً في الاختبارات لكنه فشل عند مواجهة شخص حقيقي لديه أفكاره المتطورة الخاصة. ولحل هذه المشكلة، أنشأ الباحثون حلقة تدريب حيث يلعب الذكاء الاصطناعي ومحاكي المستخدم ضد بعضهما البعض في لعبة مستمرة. محاكي المستخدم ليس مجرد معيق عشوائي؛ بل تم تدريبه على مقاومة اقتراحات الذكاء الاصطناعي بطريقة عقلانية. إذا قدم الذكاء الاصطناعي سبباً جيداً، فقد يوافق المستخدم. وإذا قدم الذكاء الاصطناني حجة ضعيفة، فسوف يقاوم المستخدم. هذا الديناميكي يجبر الذكاء الاصطناعي على تعلم كيفية بناء قضية مقنعة خطوة بخطوة، بدلاً من الاعتماد على ضربات الحظ أو التكتيكات البسيطة للغاية.
جزء حاسم من هذا النظام هو كيفية تتبع الحالة الداخلية للمستخدم. يستخدم الباحثون إطار عمل يعتمد على المعتقدات، والرغبات، والنوايا. تخيل خريطة مخفية يحاول الذكاء الاصطناعي قراءتها، توضح ما يفكر فيه المستخدم حالياً، وما يأمل في تحقيقه، وما يخطط لفعله تالياً. الذكاء الاصطناعي لا يرى هذه الخريطة مباشرة؛ بل يرى فقط الكلمات التي يقولها المستخدم ويجب عليه استنتاج الخريطة من المحادثة. وللتأكد من أن الذكاء الاصطناعي يتعلم الاستنتاج بشكل صحيح، يستخدم إعداد التدريب نهج "المعلم" و"الطالب". نموذج "المعلم" المجمد، الذي تم تدريبه مسبقاً على كمية هائلة من البيانات، يعرف الحالة الخفية الحقيقية للمستخدم. أما الذكاء الاصطناعي، الذي يعمل كـ "طالب"، فلا يرى سوى تقدير لتلك الحالة. ثم يتم مكافأة الذكاء الاصطناعي لإحراز تقدم نحو الهدف مع معاقبته أيضاً إذا كان تقديره لعقل المستخدم خاطئاً. يضمن هذا أن يتعلم الذكاء الاصطناعي فهم الشخص الذي يتحدث إليه، وليس فقط الكلمات التي يقولها.
اختبر الباحثون هذه الطريقة عبر أنواع مختلفة من المحادثات، بما في ذلك الإقناع بالتبرع، وتقديم الدعم العاطفي، وإظهار التعاطف، والتفاوض على الأسعار. وقارنوا طريقتهم الجديدة بمنهجين شائعين آخرين: أحدهما حيث يتم تدريب الذكاء الاصطناعي ببساطة على المحادثات البشرية دون أي استراتيجية خاصة، والآخر حيث يستخدم الذكاء الاصطناعي مخططاً (planner) ولكنه لا يزال يتدرب ضد مستخدم سهل. أظهرت النتائج أن الطريقة الجديدة تفوقت باستمرار على غيرها. في اختبارات الإقناع، حقق الذكاء الاصطناعي معدل نجاح يقارب 86 بالمائة ضد المستخدمين السهلين و79 بالمائة ضد المستخدمين الصعبين، بينما عانت الطرق الأخرى بشكل كبير مع المستخدمين الصعبين. كما قللت الطريقة الجديدة من عدد الأدوار اللازمة للوصول إلى الهدف، مما يعني أن المحادثات كانت أكثر كفاءة. ولعل الأهم من ذلك هو أن الذكاء الاصطناعي المدرب بهذه الطريقة كان أفضل في الحفاظ على محادثة عقلانية، متجنباً المواقف التي قد يفرض فيها فوزاً عن طريق إرباك المستخدم أو إزعاجه.
كما بحثت الدراسة في كيفية أداء الذكاء الاصطناعي عندما يكون المستخدم عنيداً بشكل خاص. في هذه السيناريوهات الصعبة، حافظت الطريقة الجديدة على معدل نجاح مرتفع، بينما شهدت الطرق الأخرى انخفاضاً حاداً في أدائها. يشير هذا إلى أن الذكاء الاصطناعي تعلم استراتيجية أكثر مرونة وصموداً. لم يتعلم الفوز ضد نوع واحد محدد من المستخدمين فحسب؛ بل تعلم التكيف مع مجموعة واسعة من السلوكيات البشرية. لاحظ الباحثون أن قدرة الذكاء الاصطناعي على النجاح لم تكن تتعلق فقط بكونه أسرع أو أكثر عدوانية، بل بقدرته على "قراءة الغرفة" وتعديل نهجه بناءً على الحالة الذهنية المتغيرة للمستخدم. عندما كان المستخدم يقاوم، كان الذكاء الاصطناعي يتوقف ويجمع المزيد من المعلومات. وعندما يظهر المستخدم علامات الانفتاح، كان الذكاء الاصطناعي يقوم بحركته.
كانت إحدى النتائج الرئيسية هي أن نجاح الذكاء الاصطناعي كان مرتبطاً بقدرته على فهم عقلانية المستخدم. قدم الباحثون طريقة جديدة لقياس النجاح لا تحتسب الفوز إلا إذا وافق المستخدم لسبب منطقي، بدلاً من مجرد الاستسلام للضغط. وتحت هذا المقياس الأكثر صرامة، لا تزال الطريقة الجديدة تتفوق على البدائل. يشير هذا إلى أن الذكاء الاصطناعي لم يكن يخدع المستخدم ليوافق فحم، بل كان في الواقع يوجهه نحو استنتاج منطقي بالنسبة له. إن عملية التدريب، التي تضمنت آلاف المحادثات المحاكية حيث يلعب الذكاء الاصطناعي والمستخدم ضد بعضهما البعض، سمحت للنظام بصقل استراتيجيته بمرور الوقت. تعلم الذكاء الاصطناعي أن أفضل طريقة للفوز هي بناء الثقة وتقديم أسباب واضحة وصادقة لاقتراحاته.
أجرى الباحثون أيضاً تحليلاً مفصلاً لأماكن فشل النظام. في الحالات التي لم ينجح فيها الذكاء الاصطناعي، كان ذلك غالباً بسبب وجود قيود مالية قوية لدى المستخدم أو عدم ثقة عميقة لم يستطع الذكاء الاصطناعي التغلب عليها في عدد الأدوار المحدود. لم تكن حالات الفشل هذه ناتجة عن ارتباك الذكاء الاصطناعي أو عدوانيته، بل لأن الحالة الداخلية للمستخدم كانت مقاومة جداً للتغيير ضمن الإطار الزمني المعطى. ساعد هذا التحليل الباحثين على فهم حدود النظام وأكد أن الذكاء الاصطناعي كان يتصرف بعقلانية حتى في حالات الفشل. لم يستمر في طلب التبرع بعد أن قال المستخدم "لا" بوضوح؛ بل أدرك المأزق وتوقف.
يمثل هذا العمل خطوة كبيرة للأمام في جعل وكلاء الذكاء الاصطناعي قادرين على التفاعل مع البشر بطريقة أكثر طبيعية وفعالية. من خلال تدريب الذكاء الاصطناعي ضد خصم عقلاني وصعب، أنشأ الباحثون نظاماً أفضل استعداداً لتعقيدات المحادثة البشرية الحقيقية. لا تعتمد الطريقة على السحر أو الحيل المعقدة؛ بل تعتمد على الفكرة البسيطة والقوية المتمثلة في أنه لكي تتعلم كيف تقنع، يجب عليك أولاً أن تتعلم كيف تستمع وتفهم. تشير النتائج إلى أن هذا النهج يمكن تطبيقه في العديد من المجالات الأخرى حيث يحتاج الذكاء الاصطناعي إلى توجيه السلوك البشري، من دعم الصحة النفسية إلى خدمة العملاء. وتخلص الدراسة إلى أن معاملة المستخدم كطرف مشارك عقلاني ونشط في عملية التدريب أمر ضروري لبناء ذكاء اصطناعي يمكنه النجاح حقاً في العالم الحقيقي.
يلاحظ الباحثون بحذر أن نظامهم لا يزال عبارة عن محاكاة ولم يتم اختباره بعد على أشخاص حقيقيين في بيئة حية. إن معدلات النجاح والسلوكيات الموصوفة مبنية على التفاعلات بين البرامج الحاسوبية. ومع ذلك، فإن اتساق النتائج عبر أنواع مختلفة من المحادثات ومتانة النظام ضد المستخدمين الصعبين يوفر دليلاً قوياً على أن الطريقة تعمل. يخطط الفريق لمواصلة صقل النظام واختباره في النهاية مع مستخدمين حقيقيين لمعرفة كيفية أدائه خارج البيئة المحكومة للمحاكاة. في الوقت الحالي، تقدم الدراسة اتجاهاً جديداً ومثيراً للاهتمام لكيفية تعليم الآلات التحدث إلينا، بالانتقال من مجرد مطابقة الأنماط البسيطة نحو فهم استراتيجي أعمق للفكر البشري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.