SaaSBench: Exploring the Boundaries of Coding Agents in Long-Horizon Enterprise SaaS Engineering
यह शोधपत्र SaaSBench प्रस्तुत करता है, जो जटिल, बहु-घटक एंटरप्राइज SaaS परिवेशों में स्वायत्त कोडिंग एजेंटों का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला बेंचमार्क है, जो यह प्रकट करता है कि अत्याधुनिक मॉडलों के लिए प्राथमिक बाधा कोड लॉजिक उत्पन्न करने में नहीं, बल्कि विषम सिस्टम घटकों को सफलतापूर्वक कॉन्फ़िगर और एकीकृत करने में निहित है।