CelloAI Benchmarks: Toward Repeatable Evaluation of AI Assistants
यह शोध पत्र CelloAI पेश करता है, जो वैज्ञानिक सॉफ्टवेयर विकास की अनूठी बाधाओं को संबोधित करने के लिए कोड दस्तावेज़ीकरण, GPU कर्नेल जनरेशन और ग्राफ़िकल डेटा विश्लेषण सहित HEP/HPC-विशिष्ट कार्यों पर लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करने के लिए डिज़ाइन किए गए दोहराव योग्य और स्वचालित बेंचमार्क का एक समूह है।