PERFOPT-Bench: Evaluating Coding Agents on Software Performance Optimization
यह शोध पत्र PERFOPT-Bench को प्रस्तुत करता है, जो सॉफ्टवेयर के प्रोफाइलिंग, निदान और अनुकूलन (optimization) के पूर्ण प्रदर्शन-इंजीनियरिंग लूप पर कोडिंग एजेंटों का मूल्यांकन करने के लिए डिज़ाइन किया गया एक नया बेंचमार्क है, जो यह प्रकट करता है कि अनुकूलन की सफलता केवल अंतर्निहित LLM के बजाय विशिष्ट एजेंट फ्रेमवर्क और वर्कलोड पर अत्यधिक निर्भर है।