CodeStylist: Supporting Early Undergraduate Programmers with Course-Aware Code Style Feedback

कल्पना कीजिए कि आप कहानी लिखना सीख रहे हैं। आप जानते हैं कि कथानक (plot) का तर्कसंगत होना चाहिए, पात्रों का व्यवहार सही होना चाहिए, और अंत संतोषजनक होना चाहिए। लेकिन एक और परत भी है: आपके शिक्षक चाहते हैं कि आप विशिष्ट फ़ॉन्ट्स का उपयोग करें, अपने अनुच्छेदों को ठीक से इंडेंट करें, और "And" (और) से वाक्य शुरू करने से बचें। यदि आपका कथानक सही है लेकिन आपकी फॉर्मेटिंग गलत है, तो आपके अंक कट सकते हैं। कंप्यूटर प्रोग्रामिंग की दुनिया में, इस "फॉर्मेटिंग" को कोड स्टाइल (code style) कहा जाता है। यह इस बारे में नहीं है कि कंप्यूटर आपका प्रोग्राम चला सकता है या नहीं (जो कि कथानक है), बल्कि यह इस बारे में है कि कोड कितना साफ, व्यवस्थित और अन्य मनुष्यों के लिए पढ़ने में आसान है।

लंबे समय से, शिक्षक इससे जूझ रहे हैं। वे चाहते हैं कि छात्र इन स्वच्छता के नियमों को सीखें, लेकिन इस पर फीडबैक देना बहुत समय लेने वाला काम है। यदि कोई शिक्षक सेमेस्टर के अंत तक इंतजार करता है यह कहने के लिए कि, "हे, तुमने अपने वेरिएबल के नामों के लिए गलत फ़ॉन्ट का उपयोग किया है," तो छात्र तब तक सबक भूल चुका होता है। हाल ही में, एक नए प्रकार का "स्मार्ट असिस्टेंट" जिसे लार्ज लैंग्वेज मॉडल (LLM) कहा जाता है, सामने आया है। इन्हें एक "सुपर-स्मार्ट रोबोट" की तरह समझें जो आपके कोड को पढ़ सकता है और इस पर आपसे चर्चा कर सकता है। लेकिन यहाँ एक पेंच है: ये रोबोट सामान्य सलाह देने में तो अच्छे हैं, लेकिन वे आपके विशेष कक्षा के विशिष्ट नियमों को नहीं जानते। वे आपको किसी दूसरे देश के पेशेवर की तरह लिखने के लिए कह सकते हैं, जबकि आपका शिक्षक चाहता है कि आप केवल स्थानीय स्कूल के नियमों का पालन करें।

यही वह समस्या है जिसे पर्ड्यू यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने CodeStylist नामक एक नए टूल के माध्यम से हल करने की कोशिश की। वे यह देखना चाहते थे कि क्या वे एक ऐसा रोबोट बना सकते हैं जो जानता हो कि आपका विशिष्ट शिक्षक वास्तव में क्या चाहता है, ताकि वह आपको तब उपयोगी सुझाव दे सके जब आप अभी अपना कोड लिख रहे हों, न कि तब जब आप इसे जमा कर चुके हों। उन्होंने इसे केवल बनाया ही नहीं; उन्होंने शिक्षकों और शिक्षण सहायकों (TAs) के एक समूह से इसे आज़माने और यह बताने के लिए कहा कि क्या यह वास्तव में उपयोगी था या यह केवल एक फैंसी खिलौना था जो छात्रों को भ्रमित कर देगा।

प्रयोग: एक रोबोट जो सिलेबस जानता है

शोधकर्ताओं ने CodeStylist बनाया, जो एक वेब ऐप है जो कोडिंग छात्रों के लिए एक व्यक्तिगत संपादक (editor) के रूप में कार्य करता है। "अपने कोड को बेहतर बनाएं" जैसी सामान्य सलाह देने के बजाय, CodeStylist एक विशेष पाठ्यक्रम के विशिष्ट "स्टाइल गाइड" के साथ कॉन्फ़िगर (configured) है। यह ऐसा है जैसे एक रोबोट जिसके पास आपके शिक्षक के सटीक सिलेबस और रूब्रिक (rubric) का पाठ संदर्भ के रूप में दिया गया हो।

यह वास्तविक दुनिया में कैसे काम करता है: एक छात्र अपनी कोड फाइलें अपलोड करता है (जो एक पूरा प्रोजेक्ट हो सकता है जिसमें कई अलग-अलग फाइलें हों, न कि केवल एक)। वे टूल को बताते हैं, "यह मेरी C प्रोग्रामिंग क्लास के लिए है," और टूल उस कोड को एक लार्ज लैंग्वेज मॉडल (एक AI) को भेज देता है। AI कोड को पढ़ता है और विशिष्ट पंक्तियों की ओर इशारा करते हुए एक रिपोर्ट तैयार करता है। यह कहता है, "हे, पंक्ति 42 पर, आपने इस वेरिएबल का नाम 'x' रखा है, लेकिन हमारे क्लास के नियम के अनुसार वेरिएबल वर्णनात्मक होने चाहिए, जैसे 'totalScore'। इसके अलावा, आप यहाँ एक कमेंट लिखना भूल गए जो बताता है कि यह हिस्सा क्या करता है।"

महत्वपूर्ण रूप से, इस अध्ययन में परीक्षण किए गए संस्करण में, टूल ने इन निर्णयों के लिए पूरी तरह से AI पर भरोसा किया। इसके पास तथ्यों की जांच करने के लिए कोई अलग, सख्त कंप्यूटर प्रोग्राम ("डिटरमिनिस्टिक" चेकर) नहीं था। इसने AI को एक साथ नियमों को खोजने और गलतियों को पहचानने के लिए कहा।

लक्ष्य छात्र के लिए कोड को ठीक करना या उन्हें ग्रेड देना नहीं था। लक्ष्य एक "रिवीजन बडी" (पुनरावृत्ति साथी) के रूप में कार्य करना था—एक ऐसा टूल जो छात्रों को बटन दबाने से पहले गलतियाँ पकड़ने में मदद करे। शोधकर्ता जानना चाहते थे: क्या शिक्षक इस रोब "पर भरोसा करेंगे? क्या छात्र वास्तव में इसका उपयोग करेंगे? और सबसे महत्वपूर्ण बात, क्या रोबोट की सलाह उस चीज़ से मेल खाएगी जो वास्तव में आपके शिक्षक चाहते हैं?

शिक्षक क्या कहते हैं: एक मिला-जुला परिणाम

यह जानने के लिए, शोधकर्ताओं ने पर्ड्यू में एक कंप्यूटर साइंस पाठ्यक्रम के 18 निर्देशात्मक स्टाफ सदस्यों (शिक्षण सहायकों और एक प्रशिक्षक) को इकट्ठा किया। ये वे लोग थे जो वास्तव में हर सप्ताह छात्रों के कोड को पढ़ते हैं। उन्हें यह टूल दिया गया और वास्तविक कोड उदाहरणों के साथ इसका परीक्षण करने के लिए कहा गया जो उन्होंने पहले देखे थे। फिर उन्होंने एक सर्वेक्षण भरा और अपने ईमानदार विचार साझा किए।

परिणाम थोड़े ऐसे थे जैसे एक स्कूल नाटक जहाँ अभिनेता अपनी पूरी कोशिश कर रहे हैं, लेकिन पटकथा को कुछ संपादन की आवश्यकता है।

अच्छी खबर:
शिक्षक इस बात पर सहमत थे कि विचार बहुत अच्छा है। उन्होंने देखा कि CodeStylist अदृश्य नियमों को दृश्यमान बना सकता है। एक शिक्षक ने नोट किया कि यह एक "दूसरी जोड़ी आँखों" की तरह था जो तुरंत स्टाइल संबंधी गलतियों को पकड़ सकती है। उनका मानना था कि छात्र वास्तव में इस टूल का उपयोग करेंगे, जिनमें से अधिकांश ने भविष्यवाणी की कि छात्र सप्ताह में कम से कम एक बार अपना कोड चेक करेंगे। शिक्षकों को लगा कि यह स्टाइल त्रुटियों को पकड़ने का एक सहायक तरीका है, जिससे लंबे समय में सबका समय बचेगा।

बुरी खबर (और बड़ी चिंता):
मुख्य समस्या विश्वास (trust) थी। शिक्षकों को रोबोट के उत्तरों पर पूरी तरह से भरोसा नहीं था।

• सटीकता (Accuracy): जब पूछा गया कि रोबोट कितनी बार सही होता है, तो शिक्षकों ने औसतन 60.7% का अनुमान लगाया। इसका मतलब है कि 10 में से लगभग 4 बार, रोबोट गलत, भ्रमित करने वाला, या ऐसी सलाह दे सकता है जो क्लास के नियमों से मेल नहीं खाती। क्योंकि टूल ने बिना किसी सख्त "स्पेल-चेकर" बैकअप के केवल AI पर भरोसा किया, इसलिए यह कभी-कभी चीजों को मिस कर देता था या चीजें बना देता था।
• उपयोगिता (Helpfulness): 1 से 5 के पैमाने पर, शिक्षकों ने उत्तरों की प्रभावशीलता को 3.50 और उपयोगिता को 3.33 रेट किया। ये "ठीक-ठाक" स्कोर हैं, लेकिन "शानदार" नहीं।
• सीखना (Learning): सबसे बड़ी चिंता यह थी कि क्या टूल वास्तव में छात्रों को सीखने में मदद करेगा। "अनुमानित छात्र शिक्षण" के लिए औसत रेटिंग 5 में से 2.61 थी। यह मध्य बिंदु से नीचे है। शिक्षकों को डर था कि यदि रोबोट गलत सलाह देता है, तो छात्र बिना सोचे-समझे बस उसका पालन कर सकते हैं, या भ्रमित हो सकते हैं जब रोबोट की सलाह शिक्षक के वास्तविक नियमों से टकराती है।

एक शिक्षण सहायक इतने संशय में थे कि उन्होंने टूल को 4% सटीकता रेटिंग दी और कहा कि छात्र इसे "कभी भी" उपयोग नहीं करेंगे। एक अन्य को डर था कि यदि रोबोट गलत सलाह देता है, तो यह शिक्षकों के लिए अधिक काम पैदा करेगा, जिन्हें रोबोट द्वारा की गई गड़बड़ी को ठीक करना होगा।

निष्कर्ष: एक आशाजनक ड्राफ्ट, एक तैयार उत्पाद नहीं

शोधकर्ताओं ने निष्कर्ष निकाला कि CodeStylist एक आशाजनक शुरुआत है, लेकिन यह कक्षा में अंतिम अधिकार के रूप में तैयार नहीं है। शिक्षकों ने इसे स्टाइल चेक करने और संभावित समस्याओं को खोजने के लिए एक उपयोगी उपकरण के रूप में देखा, लेकिन वे इसे अभी छात्रों को अच्छे कोडिंग के गहरे सिद्धांतों को सिखाने वाले विश्वसनीय उपकरण के रूप में नहीं देखते थे।

पेपर सुझाव देता है कि इस टूल को वास्तव में काम करने के लिए, इसे एक "हाइब्रिड" दृष्टिकोण की आवश्यकता है। AI को सब कुछ अनुमान लगाने देने के बजाय, इसे स्पष्ट, अपरिवर्तनीय कंप्यूटर नियमों (जैसे एक स्पेल-चेकर) का उपयोग करना चाहिए ताकि स्पष्ट गलतियों को पाया जा सके, और फिर AI का उपयोग केवल यह समझाने के लिए करना चाहिए कि वे गलतियाँ क्यों महत्वपूर्ण हैं। शिक्षकों ने बेहतर विजुअल एड्स (दृश्य सहायता) की भी मांग की, जैसे कि कोड की सटीक लाइन को हाइलाइट करना और वह विशिष्ट नियम दिखाना जिसे छात्र ने तोड़ा है, ताकि छात्र स्वयं सलाह को सत्यापित कर सकें।

संक्षेप में, अध्ययन बताता है कि हालांकि कोर्स-अवेयर फीडबैक एक शानदार विचार है, वर्तमान संस्करण का CodeStylist थोड़ा अविश्वसनीय है क्योंकि इसमें वह सख्त कंप्यूटर बैकअप नहीं है। यह एक मददगार ड्राफ्ट है जिसे यह सुनिश्चित करने के लिए अधिक काम की आवश्यकता है कि यह गलती से छात्रों को कोड लिखने का गलत तरीका न सिखा दे। शोधकर्ताओं का मानना है कि यदि वे सटीकता के मुद्दों को ठीक कर सकते हैं और फीडबैक को सत्यापित करना आसान बना सकते हैं, तो इस तरह का टूल छात्रों को स्वच्छ, अधिक पेशेवर कोड लिखने में मदद करने के लिए गेम-चेंजर बन सकता है।