One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows

في عالم الذكاء الاصطناعي سريع التطور، ظهر جيل جديد من البرامج الحاسوبية يُعرف باسم "الوكلاء" (agents). وخلافاً لبرامج الدردشة الآلية السابقة التي كانت تكتفي بالإجابة على الأسئلة أو كتابة النصوص، صُمم هؤلاء الوكلاء لاتخاذ إجراءات فعلية؛ إذ يمكنهم تصفح الويب، أو تشغيل أكواد برمجية، أو استدعاء أدوات رقمية لأداء مهام، تماماً كما يفعل الموظف البشري. لسنوات عديدة، اختبر الباحثون هؤلاء الوكلاء عبر مطالبتهم بحل مشكلات ذات إجابات واضحة وسهلة التحقق، مثل إصلاح سطر برمجي معطل أو العثور على حقيقة محددة في موقع إلكتروني. وكان قياس النجاح في هذه المجالات يعتمد على ما إذا كان الوكيل قد أنتج مخرجاً نهائياً صحيحاً أو أمراً صالحاً للتنفيذ. ومع ذلك، فإن واقع الأعمال الحقيقي نادراً ما يكون بهذه البساطة. ففي المكاتب الشركاتية، غالباً ما يتضمن العمل سلسلة طويلة من الأحداث حيث يجب تحديث نظام الكمبيوتر بشكل صحيح، والالتزام بالسياسات، وتغيير حالة قاعدة بيانات بطريقة محددة. وإذا ارتكب الوكيل خطأً في منتلة العملية، أو قام بتغيير السجل الخطأ، فقد تكون العواقب حقيقية ومكلفة. إن السؤال الجوهري لمستقبل هذه التكنولوجيا لا يقتصر فقط على ما إذا كان بإمكان الوكيل إيجاد طريق للنجاح مرة واحدة، بل ما إذا كان بإمكانه القيام بذلك بموثوقية، في كل مرة، دون التسبب في أضرار غير مقصودة.

قام فريق من الباحثين من جامعة بيتسبرغ، وجامعة نورث وسترن، وجامعة كاليفورنيا، إيرفاين، ومايكروسوفت، ببناء بيئة اختبار جديدة للإجابة على هذا السؤال. لقد أنشأوا بيئة رقمية تسمى "ThinkingBox"، والتي تعمل كبيئة معزولة وآمنة (sandbox) حيث يمكن لوكلاء الذكاء الاصطناعي التفاعل مع مستخدمين محاكيين وأدوات أعمال معقدة. داخل هذه البيئة المعزولة، تُعطى للوكلاء مهام واقعية، مثل معالجة عملية استرداد مبلغ لطلب عبر الإنترنت، أو تغيير حجز فندقي، أو تحديث مطالبة تأمين، أو التعامل مع طلب موظف للدعم الفني لتقنية المعلومات. تم تصميم البيئة لمحاكاة الواقع الفوضوي للعمل المكتبي، حيث تكون المعلومات غالباً ناقصة، والقواعد صارمة، وكل إجراء يترك أثراً دائماً على سجل رقمي. لم يطلب الباحثون من الوكلاء التحدث فحسب، بل ألزموهم بتغيير حالة النظام فعلياً. ولضمان أن تكون الاختبارات عادلة وقابلة للتكرار، تقوم البيئة المعزولة بإعادة ضبط نفسها بالكامل بعد كل محاولة، مما يضمن عدم اشتراك أي تجربتين في نفس البيانات أو التاريخ الخفي.

بعد ذلك، ملأ الباحثون هذه البيئة بـ 507 مهمة متميزة موزعة على خمس قطاعات مختلفة: التجزئة، والسفر والضيافة، والتأمين على السيارات، والخدمات المصرفية، والاستشارات. ودعوا مجموعة واسعة من أكثر نماذج الذكاء الاصطناعي تقدماً المتاحة، بما في ذلك الأنظمة المملوكة لشركات تقنية كبرى والنماذج مفتوحة المصدر، لمحاولة تنفيذ هذه المهام. مُنح كل نموذج عشرين فرصة لحل كل مشكلة. كان التقييم صارماً؛ فلم يكن الوكيل يجتاز الاختبار لمجرد أنه قدم إجابة مهذبة أو استدعى أداة بدت صحيحة في ظاهرها، بل كان النظام يتحقق من النتيجة النهائية مقابل المخرج المطلوب. هل ظهر الاسترداد بالفعل في قاعدة البيانات؟ هل تم تحديد تغيير الغرفة الفندقية بشكل صحيح؟ هل تم تحديث مطالبة التأمين دون تعديل وثيقة العميل الخطأ عن طريق الخطأ؟ كما تحقق النظام أيضاً من "الآثار الجانبية"، بمعنى أنه بحث فيما إذا كان الوكيل قد غير بالخطأ شيئاً لم يكن من المفترض أن يلمسه، وهو خطأ شائع وخطير في البرمجيات الواقعية.

كشفت النتة عن وجود فجوة كبيرة بين ما يمكن للوكلاء فعله عرضياً وما يمكنهم فعله بشكل موثوق. فقد تمكن أفضل النماذح أداءً من حل المهمة بشكل صحيح في محاولته الأولى بنسبة l حوالي 65 بالمائة. ورغم أن هذا قد يبدو مثيراً للإعجاب، إلا أن الصورة تغيرت عندما نظر الباحثون إلى الموثوقية. فعندما تحققوا من عدد المرات التي استطاع فيها النموذج حل المهمة بنجاح في جميع المحاولات العشرين، انخفض الرقم بشكل دراماتيكي إلى 25 بالمائة فقط. وهذا يعني أنه بينما يمكن لوكيل ذكي أن يعثر غالباً على مسار ناجح إذا أُعطي محاولات كافية، فإنه لا يستطيع تكرار هذا النجاح باستمرار دون ارتكاب أخطاء. ووجد الباحثون أن العديد من الإخفاقات لم تكن بسبب عدم قدرة الوكلاء على فهم الطلب أو الفشل في التحدث إلى المستخدم، بل إن المشكلة الأكثر شيوعاً كانت فشل الوكلاء في التعافي عندما تعطي الأداة رسالة خطأ، أو قيامهم بالإجراء الصحيح على البيانات الخطأ. على سبيل المثال، قد ينجح الوكيل في استدعاء أداة لتحديث سجل ما، ولكنه يطبق التغيير على العميل الخطأ، أو قد يوقف العملية قبل إكمال خطوة ضرورية، مما يترك النظام في حالة معطلة.

كما سلطت الدراسة الضوء على أن النماذج المختلفة تعاني من أنواع مختلفة من العمل. فبعض النماذج كانت جيدة جداً في التعامل مع طلبات التجزية، لكنها كان أداؤها ضعيفاً عند التعامل مع سياسات التأمين المعقدة أو اللوائح المصرفية. وهذا يشير إلى أن الأداء العالي في مجال واحد لا يضمن موثوقية الوكيل في مجال آخر. لاحظ الباحثون أنه حتى عندما ينتج الوكيل رسالة نهائية تبدو مثالية للمستخدم، فإن قاعدة البيانات الأساسية غالباً ما تظل دون تغيير أو تتعرض للتلف. وتتحدى هذه النتيجة الطريقة الحالية التي تُقيم بها العديد من الأنظمة، والتي تركز غالباً على جودة المحادثة أو صحة استدعاء الأداة بدلاً من النتيجة الفعلية. وتخلص الورقة البحثية إلى أنه لكي يتم الوثوق بالذكاء الاصطناعي لتولي أعمال تجارية ذات عواقب هامة، يجب أن يتجاوز مجرد إيجاد مسار ناجح لمرة واحدة، وأن يتعلم تنفيذ ذلك المسار بدقة ثابتة وقابلة للتكرار. إن بيئة "ThinkingBox" والمعيار المرجعي الخاص بها متاحان الآن للجمهور، مما يوفر معياراً جديداً لقياس ما إذا كان هؤلاء العمال الرقميون مستعدين حقاً للعالم الواقعي.