SaaS-Bench: Can Computer-Use Agents Leverage Real-World SaaS to Solve Professional Workflows?
यह शोध पत्र SaaS-Bench प्रस्तुत करता है, जो 23 पेशेवर SaaS प्रणालियों में 106 यथार्थवादी कार्यों वाला एक व्यापक बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान कंप्यूटर-उपयोग करने वाले एजेंट जटिल, दीर्घकालिक वर्कफ़्लो में काफी संघर्ष करते हैं, और नियोजन, स्टेट ट्रैकिंग तथा त्रुटि सुधार की सीमाओं के कारण 4% से भी कम एंड-टू-एंड सफलता प्राप्त करते हैं।