المرآة الرقمية: لماذا نحتاج إلى اختبار روبوتات الدردشة قبل أن تتحدث مع البشر الحقيقيين

تخيل عالماً تستطيع فيه الحواسيب إجراء محادثة تماماً كالبشر. هذا ليس خيالاً علمياً بعد الآن؛ بل هو واقع النماذج اللغوية الكبيرة (LLMs)، وهي "الأدمغة" التي تقف وراء روبوتات الدردشة الحديثة. هذه المساعدات الرقمية أصبحت بارعة جداً في فهمنا لدرجة أن البنوك والمستشفيات والمدارس بدأت في استخدامها للإجابة على الأسئلة وحل المشكلات. ولكن هنا تكمن العقبة: مجرد قدرة الكمبيوتر على الكلام لا يعني أنه يعرف كيف يتصرف، خاصة عندما يتعلق الأمر بالمال أو السلامة.

في الماضي، لضمان عمل روبوت أو برنامج جديد، كان المهندسون يدفعون أشخاصاً حقيقيين لتجربته، وارتكاب الأخطاء، وتقديم الملاحظات. هذا يشبه "البروفة النهائية" لمسرحية. ومع ذلك، عندما يكون لديك روبوت دردشة يحتاج للتحدث مع ملايين الأشخاص في بنك، لا يمكنك الانتظار حتى يحضر ملايين البشر الحقيقيين ويصابون بالحيرة أو الغضب. إن الأمر بطيء للغاية، ومكلف جداً، ومن المخاطرة ترك روبوت مليء بالأخطاء يتحدث إلى عملاء حقيقيين. لذا، حاول العلماء بناء "توائم رقمية" — عملاء وهميين يتصرفون تماماً مثل العملاء الحقيقيين. السؤال الكبير هو: هل يمكننا بناء عميل وهمي واقعي لدرجة أنه يستطيع اختبار روبوت الدردشة بشكل أفضل من الشخص الحقيقي؟ تغوص هذه الورقة في هذا التحدي تحديداً، محاولةً بناء ساحة اختبار مؤتمتة وضخمة حيث يمكن لروبوت الدردشة الخاص بالبنك مواجهة آلاف "العملاء" المختلفين قبل أن يلتقي بأول عميل حقيقي.

الورقة البحثية: بناء جيش من "التوائم الرقمية" لاختبار روبوتات الدردشة البنكية

تتناول هذه الورقة البحثية، التي كتبها باحثون من قسم أبحاث الذكاء الاصطناعي في "NatWest"، مشكلة ضخمة في عالم الصيرفة: كيف تختبر روبوت دردشة فائق الذكاء بأمان قبل إطلاقه للتعامل مع العملاء الحقيقيين؟ يرى المؤلفون أن الطريقة القديمة للاختبار — وهي توظيف عدد قليل من الأش ludzi لتجربة الروبوت ثم مراجعة ملاحظاتهم يدوياً — بطيئة ومكلفة للغاية. الأمر يشبه محاولة اختبار سيارة جديدة عبر قيادتها فقط في شارع واحد هادئ؛ أنت بحاجة لرؤية كيف ستتعامل مع عاصفة، وازدحام مروري، وسائق مرتبك، كل ذلك في آن واحد.

ولحل هذه المشكلة، أنشأ الفريق نظاماً يتكون من جزئين. أولاً، قاموا ببناء وكلاء العملاء الاصطناعيين (SCAs). فكر فيهم كـ "توائم رقمية" أو شخصيات ألعاب فيديو واقعية للغاية. ولكن بدلاً من برمجتهم بنص بسيط مثل "إذا قال المستخدم 'مرحباً'، قل 'أهلاً'"، فإن هؤلاء الوكلاء مدعومون بذكاء اصطناعي متطور. لقد تم تدريبهم على بيانات حقيقية ومجهولة المصدر من عملاء بنكيين فعليين. وهذا يعني أنهم لا يعرفون فقط ماذا يقولون، بل يعرفون كيف يقولونه. يمكنهم محاكاة سجل معاملات العميل المحدد، وطريقته المعتادة في الكلام، وحتى شخصيته.

أظهر الباحثون أن هؤلاء التوائم الرقميين بارعون بشكل مفاجئ في وظيفتهم. فعندما قارنوا المحادثات التي أنتجها وكلاء العملاء الاصطناعيين بالمحادثات البشرية الحقيقية، وجدوا أن "المعنى" كان متطابقاً تقريباً. لقد التقط العملاء الوهميون نفس النقاط الرئيسية والنوايا التي يمتلكها البشر الحقيقيون، حتى لو استخدموا كلمات مختلفة. في الواقع، كان النظام جيداً لدرجة أن معدل "الهلوسة" — حيث يبتدع الذكاء الاصطناعي حقائق وهمية — كان منخفضاً للغاية، حيث بلغ حوالي 3.2% (24 خطأ من أصل 750 حالة اختبار). كانت معظم هذه الأخطاء مجرد سهو بسيط أو أخطاء طفيفة، وليست اختلاقات جامحة.

لكن السحر الحقيقي يحدث عندما يمكنك تعديل الشخصية. وجد الباحثون أنه يمكنهم أخذ توأم رقمي وإخباره: "تصرف بغضب"، أو "تصرف بارتباك"، أو "تصرف كأنك في عجلة من أمرك". وقد اختبروا ذلك من خلال النظر في سمات الشخصية (مثل السمات الخمس الشهيرة: العصابية، الانبساط، الانفتاح، الوفاق، والضمير الحي). وبطبيعة الحال، مال الذكاء الاصطناعي لأن يكون مهذباً للغاية. ومع ذلك، عندما طبقوا تدخل "الغضب"، تغير سلوك التوأم الرقمي بشكل دراماتيكي؛ حيث ارتفعت درجة "العصابية" لديه، وانخفضت درجة "الوفاق"، مما طابق تماماً كيف يتصرف العميل الغاضب الحقيقي. وهذا يثبت أن النظام ليس مجرد تسجيل ثابت، بل هو أداة مرنة يمكنها محاكاة مجموعة واسعة من المشاعر وردود الفعل البشرية.

الجزء الثاني من الورقة هو إطار التحقق (Validation Framework). هذا هو "ساحة الاختبار" حيث يتم وضع روبوت الدردشة تحت الاختبار. بدلاً من وجود مختبر أو اثنين من البشر، يمكن للبنك الآن تشغيل آلاف عمليات المحاكاة في وقت واحد. يستخدم الإطار ثلاث طرق لفحص روبوت الدردشة:

1. الأحكام المؤتمتة: يعمل ذكاء اصطناعي كحكم، حيث يقوم بتقييم روبوت الدردشة بناءً على تسعة معايير مختلفة مثل "التعاطف"، "السلامة"، و"الدقة".
2. الخبراء البشريون: لا يزال البشر يتدخلون للتحقق من العمل، لضمان أن الحكم الآلي لا يغفل عن أي تفاصيل دقيقة.
3. الاستقصاء العدائي (Adversarial Probing): هذا يشبه "الفريق الأحمر" (Red Teaming)، حيث يحاول النظام خداع روبوت الدردسة أو جعله يقول شيئاً لا ينبغي قوله، فقط لمعرفة ما إذا كان سينهار.

أظهرت نتائج هذا الاختبار الضخم أن روبوت الدردشة كان يؤدي بشكل جيد في جميع المجالات. فقد حافظ على دقته سواء كان "العميل" غاضباً، أو قلقاً، أو مرتبكاً. كما تعامل مع مختلف الفئات من الناس بإنصاف، بغض النظر عن أعمارهم، أو جنسهم، أو مهاراتهم اللغوية. وحتى عندما تحدث "العملاء" بمستوى كفاءة منخفض (مثل المبتدئين في اللغة الإنجليزية)، فقد تكيف النظام وظل يقدم مساعدة جيدة.

باخت شديد، تشير هذه الورقة إلى أنه باستخدام هذه التوائم الرقمية عالية الدقة، يمكن للبنوك اختبار روبوتات الدردشة الخاصة بها على نطاق واسع، مما يساعد في رصد الأخطاء وضمان السلامة قبل أن يُسأل أول عميل حقيقي أي سؤال. إنها طريقة لبناء "محاكي طيران" لخدمة العملاء، مما يسمح للمؤسسات المالية بالإبحار في المياه المعقدة للتشريعات والسلامة بثقة أكبر بكثير. ويخلص المؤلفون إلى أن هذا النهج يوفر مساراً قابلاً للتوسع، محولاً الطبيعة الفوضوية وغير المتوقعة للمحادثة البشرية إلى شيء يمكن اختباره وتحسينه بشكل منهجي.