SaaS-Bench: Can Computer-Use Agents Leverage Real-World SaaS to Solve Professional Workflows?
تقدم الورقة البحثية SaaS-Bench، وهو معيار شامل يتكون من 106 مهام واقعية عبر 23 نظامًا احترافيًا من أنظمة البرمجيات كخدمة (SaaS)، والذي يكشف أن الوكلاء الحاليين المستخدمين للحاسوب يعانون بشكل كبير مع سير العمل المعقد وطويل الأمد، حيث حققوا أقل من 4% من النجاح في المسار الكامل نتيجة للقيود في التخطيط، وتتبع الحالة، والتعافي من الأخطاء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مساعداً جديداً ليتولى مهام أكثر أيام عمل تعقيداً لديك. أنت لا تريد منه فقط الرد على رسائل البريد الإلكتروني؛ بل تريده أن يسجل الدخول إلى حسابك البنكي، وبرنامج إدارة المشاريع الخاص بك، وسجلاتك الطبية، وأدوات التصميم الخاصة بك ليقوم بالعمل فعلياً.
تقدم هذه الورقة البحثية اختباراً جديداً يسمى "الامتحان النهائي" يُدعى SaaS-Bench، وذلك لاختبار مدى براعة مساعدي الذكاء الاصطناعي (التي تُسمى "وكلاء استخدام الكمبيوتر") في أداء مثل هذا النوع من الوظائف الواقعية.
إليك تفصيل لما قاموا به وما وجدوه، باستخدام تشبيهات بسيطة.
1. المشكلة: "لعبة الفيديو" مقابل "الوظيفة الحقيقية"
حتى الآن، كانت معظم الاختبارات لوكلاء الذكاء الاصطناعي تشبه لعب ألعاب الفيديو. المستويات قصيرة، القواعد بسيطة، وإذا تعثرت، تعود اللعبة ببساطة إلى نقطة البداية.
- الطريقة القديمة: "اضغط على الزر الأحمر، ثم اكتب 'مرحباً'." (سهلة، قصيرة، ومعزولة).
- الواقع الحقيقي: "اذهب إلى نظام الموارد البشرية لإنهاء خدمات موظف، ثم اذهب إلى نظام المحاسبة لحساب راتبه النهائي، ثم اذهب إلى نظام إدارة علاقات العملاء (CRM) لإعادة تعيين عملائه، وتأكد من تطابق التواريخ تماماً." (صعبة، طويلة، وفوضوية).
أدرك المؤلفون أن اجتياز اختبارات "ألعاب الفيديو" لا يعني أن الذكاء الاصطناعي يمكنه التعامل مع وظيفة حقيقية. لذا، قاموا ببناء اختبار جديد يعتمد على 23 نظاماً برمجياً قابلاً للتطبيق والتشغيل (مثل أنظمة السجلات الطبية الحقيقية، وأدوات المحاسبة، ومديري المشاريع) التي يستخدمها المهنيون بالفعل.
2. الامتحان: SaaS-Bench
فكر في SaaS-Bench كأنه مسار عقبات ضخم يمتد لعدة أيام.
- المسار: يتكون من 106 مهمة مختلفة موزعة على ستة "أحياء" من العمل (مثل الرعاية الصحية، والتمويل، وهندسة البرمجيات).
- القواعد: يجب على الذكاء الاصطناعي التنقل في هذه الأنظمة باستخدام متصفح الويب، تماماً كما يفعل البشر. لا يمكنه الغش عبر النظر إلى كود قاعدة البيانات؛ بل يجب عليه الضغط على الأزرار وقراءة الشاشات.
- الصعوبة: هذه ليست مهام تستغرق 5 دقائق. متوسط المهمة الواحدة يتطلب أكثر من 100 خطوة (نقرات، كتابة، وتمرير شاشة). الأمر يشبه أن تطلب من شخص ما خبز كعكة، ثم كتابة وصفة لها، ثم إرسال الوصفة بالبريد إلى صديق، ثم تقديم إيصال شراء الدقيق، كل ذلك في عملية واحدة مستمرة.
3. النتائج: الذكاء الاصطناعي تاه في الطريق
اختبر الباحثون أذكى نماذج الذكاء الاصطناعي المتاحة (مثل "الطلاب المتفوقين" في عالم الذكاء الاصطناعي) في هذا الامتحان. وكانت النتائج صادمة:
- الدرجة: حتى أفضل نموذج ذكاء اصطناعي لم يكمل سوى أقل من 4% من المهام بالكامل من البداية إلى النهاية.
- فخ "الاقتراب من النجاح": كان الذكاء الاصطناعي جيداً في بداية المهام. كان بإمكانه الوصول إلى 80% من الطريق. كان بإمكانه ملء النموذج الأول، والنقر على الأزرار الصحيحة، وإنشاء المستند الأول.
- الانهيار: ولكن بعد ذلك، كان يرتكب خطأً صغيراً (مثل كتابة التاريخ بشكل خاطئ)، ويفشل في ملاحظة الخطأ، ثم يستمر في السير في المسار الخاطئ. وبحلول الوقت الذي يصل فيه إلى النهاية، يكون الناتج الإجمالي كله خاطئاً.
التشبيه: تخيل جهاز GPS رائع في إخبارك بـ "انعطف يساراً" و"قد لمسافة 5 أميال". لكن إذا أخطأت في الانعطاف، فإن جهاز الـ GPS لا يقول لك "لقد ضللت الطريق، دعنا نعيد حساب المسار". بدلاً من ذلك، يخبرك بثقة أن تستمر في القيادة مستقيماً لمسافة 50 ميلاً أخرى حتى ينفد منك الوقود. الذكاء الاصطناعي واثق، لكنه غالباً ما يكون مخطئاً.
4. لماذا فشلوا؟ (العقبات الأربع الكبرى)
حددت الورقة البحثية أربعة أسباب رئيسية جعلت الذكاء الاصطناعي يعاني، باستخدام استعارات رائعة:
- تأثير "بيت الورق" (الهشاشة): في هذه المهام الطويلة، تعتمد كل خطوة على التي سبقتها. إذا أخطأت في الخطوة 10، فستفسد الخطوات من 11 إلى 100. الذكاء الاصطناعي بارع جداً في الخطوة 10 لدرجة أنه يعتقد أنه يبلي بلاءً حسناً، لكن ذلك الخطأ الصغير الواحد يدمر الهيكل بأكل.
- "السم الصامت" (توالي الأخطاء): أحياناً يرتكب الذكاء الاصطناعي خطأً يبدو صحيحاً في الظاهر.
- مثال: ينشئ الذكاء الاصطناعي عميلاً باسم "إيلينا" بدلاً من "أركتوروس ديجيتال". تظهر الشاشة "إيلينا (أركتوروس)"، فيظن الذكاء الاصطناعي: "رائع، لقد فعلتها!". ولكن لأن الاسم خاطئ تقنياً، فإن كل المعاملات المالية التي تتبع ذلك ستكون مرتبطة بالشخص الخطأ. لم يدرك الذكاء الاصطناعي أبداً أنه سمّم البئر.
- "الكاذب الواثق" (الخداع الذاتي): يمتلك الذكاء الاصطناعي "ذاكرة" يخبر فيها نفسه بما فعله. أحياناً، يرى خطأً، ويحاول إصلاحه، ثم ينسى التحقق مما إذا كان الإصلاح قد نجح أم لا. ثم يكتب تقريراً يقول فيه: "لقد أصلحت الأمر!" رغم أن الشاشة لا تزال تظهر الخطأ. إنه مثل طالب يدرك أنه ارتكب خطأً رياضياً، يحاول مسحه، لكنه يكتفي بكتابة الإجابة النهائية ويقول: "لقد انتهيت".
- "رمية العملة" (عدم الموثوقية): إذا طلبت من نفس الذكاء الاصطناعي القيام بنفس المهمة ثلاث مرات، فقد يحصل على درجة كاملة في المحاولة الأولى، ويفشل تماماً في الثانية، ويؤدي بشكل مقبول في الثالثة. إنه ليس متسقاً. وهذا يعني أنه لا يمكنك الوثوق به للقيام بمهمة بشكل موثوق اليوم، حتى لو نجح في القيام بها بالأمس.
5. الخلاصة
تسأل الورقة البحثية: "هل يمكن لوكلاء الذكاء الاصطناعي استخدام البرامج الواقعية لحل العمل المهني؟"
الإجابة هي: ليس بعد.
بينما تعد نماذج الذكاء الاصطناعي هذه ذكية للغاية في التحدث وفهم اللغة، إلا أنها حالياً سيئة جداً في التنفيذ الطويل والمعقد في العالم الحقيقي. إنها تضيع في التفاصيل، ولا تراجع عملها، ولا تستطيع التعافي عندما ترتكب خطأً.
لقد بنى المؤلفون هذا الاختبار (SaaS-Bench) ليس للقول بأن الذكاء الاصطناعي عديم الفائدة، بل لتوضيح أين ينكسر بالضبط حتى نتمكن من إصلاحه. ما لم يتمكن الذكاء الاصطناعي من التعامل مع سير عمل مكون من 100 خطوة دون أن يصاب بالارتباك أو الثقة في الإجابة الخاطئة، فهو ليس مستعداً لتولي وظيفتك المهنية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.