CUADebug: Diagnosing and Repairing Computer-Use Agent Failures
تقدم هذه الورقة CUADebug، وهو إطار عمل يتكون من تصنيف للأخطاء، ومعيار مرجعي مُصنف بشرياً، ومصحح أخطاء نشط ومعزز بالأدوات يعمل على تحسين تشخيص وإصلاح إخفاقات وكلاء استخدام الكمبيوتر بشكل كبير عبر تحديد الأسباب الجذرية في المسارات متعددة الوسائط لتمكين إعادة تنفيذ المهام بفعالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك بنيت مساعداً آلياً ذكياً للغاية يمكنه النظر إلى شاشة حاسوبك، وتحريك الفأرة، والكتابة على لوحة المفاتيح تماماً مثل البشر. هذا ليس مجرد روبوت دردشة يتحدث عن الأكواد البرمجية؛ بل هو "وكيل استخدام الحاسوب" (Computer-Use Agent) الذي يقوم بأشياء فعلية في العالم الرقمي، مثل ملء النماذج، أو تحرير المستندات، أو تنظيم الملفات. لكن هنا تكمن المشكلة، فتماماً مثل البشر أثناء تعلم لعبة فيديو جديدة، ترتكب هذه الروبوتات أخطاءً. أحياناً تنقر على الزر الخطأ، وأحياناً تفهم ما تراه بشكل خاطئ، وأحياناً تضل طريقها في قائمة طويلة من التعليمات. السؤال الكبير للعلماء هو: عندما يفشل الروبوت، كيف نعرف بالضبط أين أخطأ؟ هل لأن الروبوت لم يستطع رؤية النص الصغير على الشاشة؟ أم لأنه نسي الخطة التي وضعها قبل خمس خطوات؟ أم أنه نقر فقط على الشيء الخطأ؟ إصلاح هذه الأخطاء أمر صعب لأن الخطأ قد يكون حدث في البداية تماماً، لكن الروبوت لا يظهر لك سوى النتيجة المكسورة في النهاية.
تقدم هذه الورقة البحثية فريقاً جديداً من المحققين الرقميين يسمى CUADebug لحل هذا اللغز. بدلاً من مجرد سؤال الروبوت "لماذا فشلت؟" والأمل في الحصول على إجابة جيدة، يعمل CUADebug كخبير جنائي. لديه مجموعة خاصة من الأدوات التي تسم تسمح له بإيقاف تاريخ الروبوت مؤقتاً، والنظر إلى صور "ما قبل" و"ما بعد" كل نقرة، ومقارنتها بما كان يعتقد الروبوت أنه يفعله. لقد بنى الباحثون مكتبة ضخمة من 204 حالات فشل حقيقية للروبوت (تسمى CUAErrorBench) حيث قام بشر بتصنيف ما حدث خطأً بدقة. وقد وجدوا أنه بينما تخطئ الروبوتات غالباً في التخطيط الشامل، فإنها تعاني أيضاً من أشياء بسيطة مثل رؤية التفاصيل الصغيرة أو النقر في المكان الصحيح. ومن خلال استخدام هذا العمل التحقيقي، أظهر الفريق أنهم لا يستطيعون فقط شرح سبب فشل الروبوت، بل يمكنهم أيضاً إعطاؤه "وصفة إصلاح" محددة لتجربة الأمر مرة أخرى. وعندما سمحوا للروبوت باستخدام هذه الوصفات لإعادة محاولة المهمة، نجح في كثير من الأحيان أكثر مما لو استمر في المحاولة بشكل أعمى.
أدوات المحقق: كيف يعمل CUADebug
فكر في وكيل يستخدم الحاسوب كطالب يحاول حل مسألة رياضية معقدة على سبورة بيضاء. إذا حصل الطالب على الإجابة النهائية خاطئة، فقد يقول له المعلم: "حاول مرة أخرى". لكن المعلم الذكي (مثل CUADebug) سينظر إلى عمل الطالب خطوة بخطوة. سيسأل: "هل قرأت الرقم بشكل خاطئ في الخطوة 3؟ هل استخدمت الصيغة الخاطئة في الخطوة 5؟ أم أنك فقط تعبت وتخطيت سطراً ما؟"
أدرك الباحثون أنه بالنسبة لوكلاء الحاسوب، فإن "السبورة البيضاء" هي شاشة الحاسوب، و"الخطوات" هي نقرات الفأرة وضغطات لوحة المفاتيح. المشكلة هي أن هؤلاء الوكلاء غالباً ما يفشلون بطرق يصعب رصدها. قد ينقر الروبوت على النافذة الخطأ لأنه اعتقد أن أيقونة صغيرة كانت زراً، أو قد ينسى أنه بحاجة إلى حفظ الملف قبل إغلاق البرنامج. هذه الإخفاقات هي مزيج من الإدراك البصري (ما يراه)، والتمركز المكاني (أين توجد الأشياء)، والتفاعل (كيف ينقر)، والاستنتاج (الخطة).
ولمعالجة ذلك، أنشأ الفريق CUADebugger، وهو محقق مدعوم بالأدوات. بدلاً من مطالبة الذكاء الاصطناعي بتخمين القصة بأكملها من كومة ضخمة من البيانات دفعة واحدة، يقوم CUADebugger بالتحقيق بنشاط. إنه يستخدم حلقة "ReAct"، وهي تشبه المحقق الذي يقول: "أنا أشك في أن الخطوة 12 هي المشكلة. دعني أنظر إلى الشاشة قبل الخطوة 12 والشاشة بعد الخطوة 12". إنه يقارن لقطات الشاشة هذه مع ملاحظات الروبوت الخاصة حول ما كان ينوي فعله. إذا قال الروبوت: "سأنقر على الزر الأحمر"، ولكن لقطة الشاشة تظهر أنه نقر على الزر الأزرق، فإن المحقق يحدد ذلك كفشل.
مكتبة الغموض: CUAErrorBench
لا يمكنك تعليم محقق دون بيانات تدريب. لقد بنى الباحثون CUAErrorBench، وهي مكتبة تضم 204 مهمة فاشلة نفذتها وكلاء روبوتية مختلفة (باستخدام نماذج مثل Claude 4.5، وGemini 2.5 Pro، وQwen 3.5). نظر البشر إلى هذه الإخفاقات وصنفوها باستخدام "تصنيف" (Taxonomy) محدد، أو نظام ملفات للأخطاء. ووجدوا أن أكبر فئة للفشل هي التفكير في المهمة والتحكم (110 من أصل 204 حالة). هذا يشبه نسيان الروبوت للخطة أو الارتباك بشأن الهدف. الفئات التالية الكبرى كانت الإدراك (36 حالة، حيث لم يستطع الروبوت رؤية شيء ما) والتمركز/التفاعل (25 حالة، حيث نقر على الشيء الخطأ).
تجادل الورقة البحثية بأنه لا يمكنك ترك الروبوت يبتكر قواعده الخاصة للفشل. في تجربة ما، حاولوا ترك ذكاء اصطناعي قوي يبتكر قائمة فئات الأخطاء الخاصة به من الصفر. النتيجة؟ كان الذكاء الاصطناعي يغير رأيه باستمرار. في إحدى المرات وصف خطأً بأنه "خطأ بصري"، وفي المرة التالية وصف نفس الشيء بأنه "فشل في سياسة الإجراءات". وجد الباحثون أنه بدون دليل بشري، لم يستطع الذك de الاصطناعي الاتفاق على طريقة مستقرة لوصف المشكلات. وهذا يشير إلى أن الخبراء البشر لا يزالون مطلوبين لتحديد "قواعد اللعبة" لتصحيح الأخطاء.
الإصلاح: من التفسير إلى العمل
الجزء الأكثر إثارة في الورقة البحثية هو ما يحدث بعد أن يجد المحقق الدليل. يمكن للعديد من أنظمة الذكاء الاصطناعي أن تعطيك تفسيراً طويلاً وفخماً لسبب فشلها، لكن هذا لا يحل المشكلة فعلياً. CUADebugger مختلف لأنه يحول التشخيص إلى إشارة إصلاح.
تخيل أن الروبوت يحاول تغيير لون أرقام الشرائح في عرض تقديمي.
- الفشل: ينقر الروبوت على المربع الخطأ، ظناً منه أنه يحدد النص، لكنه في الواقع يحدد الإطار. لاحقاً، تظل الأرقام رمادية بدلاً من أن تصبح حمراء.
- التشخيص: ينظر CUADebugger إلى الوراء، ويرى النقرة الخاطئة، ويقول: "الخطأ كان في الخطوة 2. اعتقد الروبوت أنه ينقر على النص، لكنه نقر على الإطار. الإصلاح هو النقر المزدوج على النص تحديداً".
- الإصلاح: يتم إرسال الروبوت للبدء من جديد من الخطوة 2 مع هذه التعليمات الجديدة.
كانت نتائج هذا "الإصلاح" مبهرة. عندما سُمح للروبوت بإعادة المحاولة من مكان الخطأ باستخدام نصيحة المحقق:
- إعادة المحاولة لمرة واحدة: إذا حاول الروبوت الاستمرار في المحاولة دون مساعدة، فقد نجح بنسبة 13.89% فقط. ومع تعليمات الإصلاح المحددة من المحقق، قفز النجاح إلى 29.90%.
- إعادة المحاولة المستمرة: إذا سُمح للروبوت بالاستمرار في المحاولة مراراً وتكراراً، فقد ارتفعت نسبة النجاح من 12.2% إلى 25.86% باستخدام طريقتهم. وهذا يقترب جداً مما يمكن لخبير بشري تحقيقه (والذي كان 29.21%).
ماذا يعني هذا للمستقبل
تشير الورقة البحثية إلى أن مستقبل إصلاح الوكلاء الروبوتيين لا يقتصر فقط على جعلهم أكثر ذكاءً أو منحهم ذاكرة أكبر. بل يتعلق ببناء أنظمة "تصحيح أخطاء" أفضل يمكنها تحديد اللحظة الدقيقة التي يخرج فيها الروبوت عن المسار وإعطائه طريقة ملموسة للإصلاح. وجد الباحثون أنه بينما تعد أخطاء التفكير هي الأكثر شيوعاً، فإن الأخطاء البصرية والتفاعلية لا تقل أهمية في الرصد.
كما أظهروا أن المحقق الذي يبحث بنشاط في لقطات الشاشة والإجراءات (CUADebugger) أفضل بكثير في العثور على الحقيقة من المحقق الذي يكتفي فقط بقراءة قصة طويلة عما حدث (النهج القياسي). على سبيل المثال، في مجموعة الاختبار الرئيسية، حسن المحقق النشط دقة العثيد على الخطأ بالضبط من 11.2% إلى 19.6%. ورغم أن هذا الرقم قد لا يبدو ضخماً، إلا أنه في عالم مهام الروبوت المعقدة، يعد العثور على الخطوة الصحيحة تماماً لإصلاحها أمراً في غاية الصعوبة.
في نهاية المطاف، يوضح هذا العمل أننا نتجاوز عصر مشاهدة الروبوتات وهي تفشل والقول: "أوه، هذا مؤسف". نحن ندخل عصراً يمكننا فيه بناء أنظمة تعمل كعلماء جنائيين، يجدون السبب الجذري للفشل ويسلمون الروبوت خريطة للمحاولة مرة أخرى، وهذه المرة بشكل صحيح. لا تدعي الورقة البحثية أنها حلت جميع إخفاقات الروبوتات للأبد، لكنها توفر مجموعة أدوات قوية جديدة تجعل عملية الإصلاح أسهل وأكثر فعالية بشكل كبير.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.