CSTutorBench: Benchmarking Small Language Models as Tutors for Block-Based Programming
यह शोधपत्र CSTutorBench प्रस्तुत करता है, जो ब्लॉक-आधारित प्रोग्रामिंग में ट्यूटर के रूप में छोटे भाषा मॉडलों (small language models) के मूल्यांकन के लिए एक शैक्षणिक रूप से आधारित बेंचमार्क है, जो यह प्रकट करता है कि जहाँ मॉडल सतही स्तर की अंतःक्रियाओं में उत्कृष्ट हैं, वहीं वे गहरे ट्यूटरिंग व्यवहारों में संघर्ष करते हैं और मॉडल परिवार तथा इंस्ट्रक्शन-ट्यूनिंग (instruction-tuning), पैरामीटर संख्या की तुलना में गुणवत्ता के अधिक महत्वपूर्ण भविष्यवक्ता हैं।