SaaS-Bench: Can Computer-Use Agents Leverage Real-World SaaS to Solve Professional Workflows?
تقدم الورقة البحثية SaaS-Bench، وهو معيار شامل يتكون من 106 مهام واقعية عبر 23 نظامًا احترافيًا من أنظمة البرمجيات كخدمة (SaaS)، والذي يكشف أن الوكلاء الحاليين المستخدمين للحاسوب يعانون بشكل كبير مع سير العمل المعقد وطويل الأمد، حيث حققوا أقل من 4% من النجاح في المسار الكامل نتيجة للقيود في التخطيط، وتتبع الحالة، والتعافي من الأخطاء.