PRBench: End-to-end Paper Reproduction in Physics Research
यह शोध पत्र PRBench प्रस्तुत करता है, जो AI एजेंटों की एंड-टू-एंड पुनरुत्पादन क्षमताओं के मूल्यांकन के लिए विशेषज्ञों द्वारा क्यूरेट किए गए 30 भौतिकी कार्यों वाला एक कठोर बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान मॉडल अपनी उन्नत तर्क क्षमताओं के बावजूद कोड की शुद्धता, डेटा सटीकता और सफल पुनरुत्पादन प्राप्त करने में काफी संघर्ष करते हैं।