JETO-Bench: A Reproducible Benchmark for Execution Time Improvement Patches in Java
यह शोध पत्र JETO-Mine को प्रस्तुत करता है, जो जावा में निष्पादन समय सुधार (execution time improvement) पैच के पुनरुत्पादक बेंचमार्क उत्पन्न करने के लिए एक नवीन कॉन्फ़िगर करने योग्य टूल है, जिसका उपयोग JETO-Bench बनाने के लिए किया गया था—जो 174 रिपॉजिटरी से पहचाने गए 660 पैच का एक डेटासेट है—और यह प्रदर्शित किया गया कि OpenHands जैसे वर्तमान कोडिंग एजेंट इन कार्यों पर 14.3% सफलता दर प्राप्त करते हैं और ओपन-सोर्स प्रोजेक्ट्स में प्रदर्शन-संबंधी परीक्षणों की महत्वपूर्ण कमी को उजागर करते हैं।