What Makes a Programming Problem Hard for a Language Model? An Empirical Study of Item Difficulty Across Code LLMs on Two Benchmarks
यह शोध पत्र एक अनुभवजन्य अध्ययन प्रस्तुत करता है जो यह प्रदर्शित करता है कि कोड जनरेशन बेंचमार्क में समस्या की कठिनाई एक स्थिर, हस्तांतरणीय मीट्रिक है जो HumanEval पर स्पेसिफिकेशन फीचर्स (जैसे उदाहरण और प्रॉम्प्ट की लंबाई) और MBPP पर समाधान की जटिलता द्वारा संचालित होती है, जो मॉडल स्कोर के संतृप्त होने पर बेंचमार्किंग, ऑटोग्रेडिंग और शैक्षिक उपकरण डिजाइन में सुधार के लिए महत्वपूर्ण अंतर्दृष्टि प्रदान करती है।