NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?
यह शोधपत्र नेचर-परिवार के प्रकाशनों से व्युत्पन्न नेचरबेंच (NatureBench) को प्रस्तुत करता है जो यह प्रकट करता है कि वर्तमान एआई कोडिंग एजेंट वास्तविक वैज्ञानिक खोज कार्यों में मौजूदा अत्याधुनिक (SOTA) स्तरों को पार करने के लिए संघर्ष कर रहे हैं, जो मुख्य रूप से वास्तविक आविष्कार के बजाय पद्धतिगत अनुवाद के माध्यम से सफल होते हैं और गलत विधि चयन एवं सीमित कंप्यूट बजट के कारण विफल हो जाते हैं।