MathlibPR: Pull Request Merge-Readiness Benchmark for Formal Mathematical Libraries
यह शोध पत्र MathlibPR को प्रस्तुत करता है, जो वास्तविक Lean/Mathlib4 पुल रिक्वेस्ट इतिहास से प्राप्त एक बेंचमार्क है, जिसका उद्देश्य LLMs और एजेंटों की मर्ज-तैयार योगदानों से गैर-मर्ज किए गए योगदानों के बीच अंतर करने की क्षमता का मूल्यांकन करना है, जो उनकी वर्तमान संघर्षों को प्रकट करता है और रिव्यूअर असिस्टेंट और रिवॉर्ड मॉडल विकसित करने के लिए इस बेंचमार्क की क्षमता को उजागर करता है।