Position: Coding Benchmarks Are Misaligned with Agentic Software Engineering
यह शोध पत्र तर्क देता है कि वर्तमान कोडिंग बेंचमार्क एजेंटिक सॉफ्टवेयर इंजीनियरिंग के साथ असंगत हैं क्योंकि वे मॉडल के प्रदर्शन को सिस्टम हार्नेस घटकों के साथ मिला देते हैं, एकल संदर्भ उत्तरों पर निर्भर रहकर वैध वैकल्पिक समाधानों को दंडित करते हैं, और पुनरावृत्ति प्रणाली सुधार के लिए आवश्यक सूक्ष्म फीडबैक का अभाव रखते हैं।