On the Fragility of Self-Improving Agents: Variance, Task Order, and Underspecification
تكشف هذه الورقة عن هشاشة الوكلاء ذاتيي التحسين القائمين على الذاكرة من خلال إثبات أن أداءهم حساس للغاية لتباين التقييم وترتيب المهام بسبب عدم التحديد، مما يدعو إلى بروتوكولات تقييم أكثر صرامة وتعزيز الإشراف البشري.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل مساعداً رقمياً لا يكتفي فقط باتباع سيناريو محدد، بل يتعلم من أخطائه، ويحتفظ بمذكرات مكتوبة عما نجح وما لم ينجح لكي يتحسن في الوظائف المستقبلية. هذا هو الوعد الذي تقدمه الوكلاء ذاتيي التحسين، وهم نوع من الذكاء الاصطناعي المصمم للتنقل في العوالم الرقمية المعقدة، مثل متصفحات الويب، وصقل مهاراتهم بمرور الوقت. فبدلاً من إعادة برمجتهم من قبل بشري في كل مرة تظهر فيها تحديات جديدة، تحتفظ هذه الأنظمة بسجل ذاكرة نصي، يخزن الدروس المستفادة من المهام السابقة لتوجيه أفعالها التالية. والأمل هو أن تتمكن في النهاية من أتمتة العمل الروتيني، والتكيف مع المواقف الجديدة، واكتشاف الحلول التي قد يغفل عنها البشر. ولكن لكي تحظى هذه الأنظمة بالثقة في العالم الحقيقي، يجب أن تكون موثوقة؛ فإذا ارتكب الوكيل خطأً، فلا ينبغي أن يكون مجرد خلل عابر لمرة واحدة، بل يجب ألا يتفاقم الخطأ ليصبح كرة ثلج، مما يؤدي إلى تعلم النظام دروساً خاطئة والفشل بشكل متكرر بطرق يصعب التنبؤ بها.
قرر فريق من الباحثين في "Salesforce AI Research" وضع هذا الوعد تحت اختبار صارم. فقد أخذوا طريقتين شائعتين لبناء هؤلاء الوكلاء ذاتيي التحسين وأخضعوهما لاختبار جهد يتجاوز بكثير كيفية تقييمهما سابقاً. وبدلاً من إجراء تجربة واحدة والإبلاغ عن النتيجة، قاموا بتشغيل نفس مجموعة المهام عدة مرات لمعرفة مدى تباين النتائج. كما قاموا بخلط ترتيب ظهور المهام، مما أزال التسلسل السلس من السهل إلى الصعب الذي استخدمته الدراسات السابقة. وما وجدوه كان صورة من الهشاشة؛ فلم تكن الوكلاء متعلمين ثابتين وموثوقين كما كان يُؤمل منهم. في الواقع، غالباً ما جعلت عملية محاولة جعلهم يحسنون من أنفسهم يجعلهم أقل استقراراً، حيث تضخم الأخطاء الصغيرة لتتحول إلى تقلبات كبيرة في الأداء.
اكتشف الباحثون أن أداء هؤلاء الوكلاء كان حساساً بشكل مفاجئ للصدفة. فعندما أجروا التجربة نفسها ثلاث مرات، اختلفت النتائج غالباً بشكل كبير. وفي بعض الحالات، كانت الفجوة بين أفضل تشغيل وأسوأ تشغيل تصل إلى عشر نقاط مئوية. وهذا يعني أن الوكيل قد ينجح ببراعة في محاولة ما ويفشل فشلاً ذريعاً في المحاولة التالية، رغم أن التكنولوجيا والمهام هي نفسها تماماً. وعندما يتم تفعيل آلية التحسين الذاتي، غالباً ما يزداد عدم الاستقرار هذا؛ حيث يتعلم النظام من مهامه القليلة الأولى، ولكن نظرًا لأن الخطوات الأولية تأثرت بالصدفة العشوائية، فإن "الدروس" التي يخزنها قد تكون غير دقيقة تماماً. وهذه الانحرافات العشوائية الصغيرة تتراكم بمرور الوقت، مما يقود الوكيل إلى مسار مختلف تماماً عن أقرانه. وأشار الباحثون إلى أنه في ما يقرب من ثلاثة أرباع حالات الاختبار الخاصة بهم، أدت إضافة حلقة التحسين الذاتي إلى زيادة التباين، مما جعل سلوك الوكيل أقل قابلية للتنبؤ بدلاً من أن يكون أكثر اتساقاً.
كان أحد الاكتشافات الرئيسية الأخرى هو أن هؤلاء الوكلاء يعتمدون بشكل كبير على الترتيب الذي يواجهون به المهام. فقد اختبرتهم الدراسات السابقة في الغالب بناءً على مهام مرتبة من البسيط إلى الصعب، وهو إعداد عمل بمثابة دليل تدريب خفي. بدا أن الوكلاء يتعلمون جيداً في هذه البيئة لأنهم يتم إدخالهم بلطف إلى المشكلات الأكثر صعوبة. ومع ذلك، عندما قام الباحثون بخلط الترتيب، وعرض المهام في تسلسل عشوائي، انخفض أداء الوكلاء. فبدلاً من أن يتحسنوا، ساء أداؤهم في الواقع مقارنة بما كانوا عليه بدون أي ذاكرة على الإطلاق. وهذا يشير إلى أن الوكلاء لم يكونوا يتعلمون حقاً مهارات عامة؛ بل كانوا ببساطة يحفظون تسلسلاً معيناً من الأحداث. وعندما تم كسر هذا التسلسل، عانى الوكلاء من أجل التكيف، مما كشف أن "ذكاءهم" كان هشاً ومرتبطاً بإعداد معين واصطناعي.
لفهم سبب حدوث ذلك، نظر الباحثون عن كثب في الملاحظات التي يكتبها الوكلاء في سجلات ذاكرتهم. ووجدوا أن الوكلاء غالباً ما يتعلمون أشياء خاطئة لأن التعليمات التي يتلقونها حول العالم غير كاملة. على سبيل المثال، كان الوكلاء يُطلب منهم أحياناً استخدام أكواد برمجية أو واجهات برمجة التطبيقات (APIs) لحل المشكلات، رغم أن البيئة التي يعملون فيها كانت متصفح ويب قياسياً لا يمكنه تشغيل مثل هذه الأكواد. وكان الوكلاء يكتبون هذه الاستراتيجيات المستحيلة في ذاكرتهم، ثم يحاولون استخدامها مراراً وتكراراً، مما يجعلهم عالقين في حلقات من الفشل. وبالمثل، عندما كانت المهمة غامضة، كان الوكلاء يفرطون في التفكير فيها، ويضعون تفسيرات معقدة ولكن خاطئة لسبب فشلهم، والتي كانوا يحاولون تطبيقها لاحقاً على مشكلات أخرى غير ذات صلة. حتى أن أحد الوكلاء بدأ في استخدام صيغة رياضية معقدة لتقدير أوقات السفر لأن موقع الخرائط الذي كان يستخدمه فشل في التحميل، وقرر أن "يتعلم" هذا الحل البديل كاستراتيجية دائمة، رغم أنه كان مجرد واقعة عارضة.
حاول الفريق إصلاح هذه المشكلات من خلال تزويد الوكلاء بمعلومات أكثر تفصيلاً عن بيئتهم وقواعد اللعبة. فقد قدموا ملاحظات محددة حول سبب فشل المهمة ووضحوا الإجراءات الممكنة فعلياً. وقد ساعد ذلك؛ فعندما أضافوا هذه التفاصيل، أدى أداء الوكلاء إلى التحسن، وانخفض انخفاض الأداء الناتج عن الترتيب العشوائي للمهام بنحو الثلث. ومع ذلك، ظلت هناك فجوة كبيرة؛ فحتى مع وجود تعليمات أفضل، ظل الوكلاء يعانون في الظروف الأكثر تحدياً وعشوائية. وهذا يشير إلى أنه بينما تساعد التعليمات الأكثر وضوحاً، إلا أن هناك أسباباً أعمق وغير محددة بعد لكون هذه الأنظمة هشة للغاية. فلا يزال الوكلاء عرضة لتعلم "دروس خاطئة" يمكن أن تتوالى لتؤدي إلى إخفاقات مستقبلية.
يختتم العمل بالدعوة إلى نهج أكثر حذراً في تطوير واختبار هذه الأنظمة. يجادل الباحثون بأنه لا يمكننا الاعتماد على اختبارات التشغيل الواحد أو قوائم المهام المرتبة بدقة للحكم على جاهزية الوكيل للعالم الحقيقي. بدلاً من ذلك، نحن بحاجة إلى اختبار جهدهم في ظل ظروف فوضوية وغير متوقعة، والإبلاء عن كيفية أدائهم عبر العديد من عمليات التشغيل المختلفة. كما يؤكدون على الحاجة إلى الإشراف البشري؛ لأنه بما أن هؤلاء الوكلاء يمكنهم تعلم استراتيجيات خاطئة من معلومات ناقصة، فلا بد من وجود وسيلة للتدخل البشري، لرصد الدروس السيئة وتصحيحها قبل أن يتسبب الوكيل في ضرر لا يمكن إصلاحه. إن الطريق إلى الأمام لا يقتصر فقط على بناء وكلاء أذكى، بل في بناء أنظمة قادرة على الصمود أمام عدم اليقين في العالم الحقيقي دون أن تنهار.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.