Investigating Test Overfitting on SWE-bench
यह शोध पत्र SWE-bench में टेस्ट ओवरफिटिंग की समस्या की जांच करने वाला पहला अनुभवजन्य अध्ययन प्रस्तुत करता है, जहाँ कोड समाधान ऑटो-जेनरेटेड या पुनरावृत्ति द्वारा परिष्कृत किए गए टेस्ट पास कर लेते हैं लेकिन अंतर्निहित समस्याओं को सही ढंग से हल करने में विफल रहते हैं।