SCALEFeedback: A Large-Scale Dataset of Synthetic Computer Science Assignments for LLM-generated Educational Feedback Research
यह शोध पत्र SCALEFeedback को प्रस्तुत करता है, जो स्केलेबल, प्रभावी और जिम्मेदार LLM-आधारित शैक्षिक फीडबैक पर अनुसंधान को आगे बढ़ाने के लिए सोफिस्टिकेटेड असाइनमेंट मिमिक्री (SAM) फ्रेमवर्क के माध्यम से जनरेट किए गए 10,000 सिंथेटिक कंप्यूटर साइंस असाइनमेंट और छात्र सबमिशन का एक बड़े पैमाने का ओपन-सोर्स डेटासेट है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक विश्वविद्यालय कक्षा की कल्पना करें जहाँ एक शिक्षक के पास 1,000 छात्र हैं। प्रत्येक छात्र एक होमवर्क असाइनमेंट जमा करता है, और शिक्षक को हर एक पर एक व्यक्तिगत, सहायक टिप्पणी (comment) लिखनी है। वास्तविक दुनिया में, यह एक बुरा सपना है। दिन में पर्याप्त घंटे नहीं हैं, और शिक्षक थक जाता है।
एआई (AI) का आगमन। हम एआई को "सुपर-टीचर" बनने के लिए सिखाना चाहते हैं जो इन टिप्पणियों को तुरंत लिख सके। लेकिन एक बहुत बड़ी समस्या है: एआई को अभ्यास करने की आवश्यकता है। अच्छा फीडबैक देना सीखने के लिए, एआई को वास्तविक छात्र होमवर्क और वास्तविक शिक्षक टिप्पणियों को देखने की आवश्यकता है।
हालाँकि, स्कूल सार्वजनिक रूप से वास्तविक छात्र के पेपर नहीं दे सकते। वह एक बड़ा गोपनीयता उल्लंघन (privacy violation) होगा (कल्पना कीजिए कि आपका नाम और खराब ग्रेड ऑनलाइन पोस्ट कर दिए गए हों) और कॉपीराइट का एक दुस्वप्न होगा।
समाधान: एक "डिजिटल ट्विन" क्लासरूम
यह पेपर एक चतुर समाधान पेश करता है जिसे SCALEFeedback कहा जाता है। इसे एक पूरी तरह से यथार्थवादी, नकली क्लासरूम बनाने के रूप में सोचें जो बिल्कुल असली क्लासरूम जैसा दिखता है और महसूस होता है, लेकिन जहाँ हर एक छात्र एक रोबोट है, और हर पेपर शुद्ध कल्पना से बना है।
उन्होंने इसे कैसे बनाया, यहाँ एक सरल उपमा (analogy) दी गई है:
1. "सोफिस्टिकेटेड असाइनमेंट मिमिक्री" (SAM) फ्रेमवर्क
कल्पना कीजिए कि आप एक विशिष्ट चरित्र निभाने की कोशिश कर रहे एक अभिनेता हैं। आप केवल यह अनुमान नहीं लगाते कि वे क्या कहते हैं; आप उनका बारीकी से अध्ययन करते हैं।
- वास्तविक दुनिया: शोधकर्ताओं ने वास्तविक विश्वविद्यालय असाइनमेंट (जो "स्क्रिप्ट" है) और वास्तविक छात्र सबमिशन (जो "परफॉर्मेंस" है) लिए।
- मिमिक्री (अनुकरण): उन्होंने एक बहुत ही स्मार्ट एआई (LLM) का उपयोग किया जो एक "डिजिटल ट्विन" के रूप में कार्य करता है।
- चरण 1 (अध्ययन): एआई ने एक वास्तविक असाइनमेंट और एक वास्तविक छात्र के उत्तर को देखा। इसने सब कुछ का विश्लेषण किया: लहजा (tone), लंबाई, गलतियाँ, और दिया गया ग्रेड।
- चरण 2 (परफॉर्मेंस): एआई ने फिर एक बिल्कुल नया असाइनमेंट और एक बिल्कुल नया छात्र उत्तर लिखा जो वास्तविक वाले जैसा ही लगा, लेकिन इसमें पूरी तरह से काल्पनिक शब्दों का उपयोग किया गया।
- चरण 3 (दोहरा चेक): एआई ने अपने स्वयं के नकली काम की समीक्षा की। "क्या यह वास्तविक चीज़ जैसा दिखता है? क्या मैंने गलती से किसी वास्तविक छात्र के नाम को कॉपी कर दिया?" यदि यह चेक में विफल रहा, तो इसने फिर से शुरुआत की।
इस प्रक्रिया को 10,000 बार दोहराया गया। परिणाम स्वरूप 10,000 नकली छात्र पेपर्स का एक डेटासेट प्राप्त हुआ जो 59 अलग-अलग कंप्यूटर साइंस पाठ्यक्रमों से लिया गया है।
2. यह डेटासेट क्यों विशेष है?
आमतौर पर, जब लोग नकली डेटा बनाते हैं, तो यह एक घर के कार्टून चित्र जैसा होता है—यह घर जैसा दिखता तो है, लेकिन इसमें बहुत अधिक विवरण नहीं होता।
- "नाइव" (Naïve) तरीका: यदि आप केवल एआई से "एक होमवर्क असाइनमेंट बनाने" के लिए कहते हैं, तो यह कुछ सामान्य सा लिख सकता है। यह एक खराब फोटोकॉपी की तरह है।
- SAM का तरीका: यह पेपर दावा करता है कि उनकी विधि एक हाई-डेफिनिशन 3D स्कैन की तरह है। उन्होंने नकली डेटा की वास्तविक डेटा के साथ तुलना की और पाया कि:
- "वाइब" (Vibe) समान है: नकली पेपर्स में उन्हीं प्रकार के शब्दों और वाक्य संरचनाओं का उपयोग किया गया है जो वास्तविक वाले में हैं।
- ग्रेड मेल खाते हैं: नकली छात्रों को ऐसे ग्रेड मिले जो वास्तविक छात्रों के ग्रेड की तरह ही दिखे।
- लंबाई सही है: नकली पेपर्स वास्तविक पेपर्स की तरह ही लंबाई के हैं।
3. क्या यह काम आया? ("टेस्ट ऑफ टेस्ट")
यह साबित करने के लिए कि यह नकली क्लासरूम उपयोगी था, शोधकर्ताओं ने एक "टेस्ट ऑफ टेस्ट" किया।
- उन्होंने वास्तविक पेपर्स लिए और 10 अलग-अलग एआई मॉडल को फीडबैक देने के लिए कहा।
- उन्होंने नकली पेपर्स लिए और उन्हीं 10 एआई मॉडलों को फीडबैक देने के लिए कहा।
- परिणाम: नकली पेपर्स को दिए गए फीडबैक और वास्तविक पेपर्स को दिए गए फीडबैक में लगभग समानता थी।
उपमा: कल्पना कीजिए कि एक शेफ असली चिकन से बनी सूप और एक परफेक्ट प्लांट-बेस्ड विकल्प से बनी सूप का स्वाद चखता है। यदि शेफ अंतर नहीं बता पाता और कहता है, "दोनों का स्वाद बेहतरीन है," तो विकल्प सफल है। शोधकर्ताओं ने पाया कि एआई "टेस्टर्स" असली और नकली छात्र कार्य के बीच अंतर नहीं कर सके।
4. सुरक्षा जाल (Privacy)
सबसे महत्वपूर्ण नियम था: कोई भी वास्तविक नाम नहीं।
शोधकर्ताओं ने एक "प्राइवेसी गेट" बनाया। किसी भी नकली पेपर को सेव करने से पहले, एक सुपर-स्मार्ट एआई गार्ड ने इसकी जाँच की।
- गार्ड का काम: "क्या आपने गलती से किसी वास्तविक छात्र का नाम या आईडी नंबर कॉपी किया है?"
- परिणाम: यदि गार्ड को कोई वास्तविक नाम मिला, तो उस पेपर को कचरे में डाल दिया गया और उसे फिर से लिखा गया। अंतिम डेटासेट निजी जानकारी से 100% मुक्त है।
पेपर के दावों का सारांश
- उन्होंने क्या बनाया: 10,000 नकली कंप्यूटर साइंस असाइनमेंट और छात्र उत्तरों का एक मुफ्त, खुला पुस्तकालय।
- उन्होंने इसे कैसे बनाया: एक "मिमिक्री" प्रक्रिया का उपयोग करके जहाँ एआई वास्तविक सामग्री को कॉपी किए बिना उसकी शैली और संरचना की नकल करता है।
- उन्होंने क्या साबित किया:
- नकली डेटा सांख्यिकीय रूप से वास्तविक डेटा के समान है (समान लंबाई, समान ग्रेड, समान शब्द चयन)।
- एआई मॉडल नकली डेटा को उतना ही गुणवत्तापूर्ण फीडबैक देते हैं जितना वे वास्तविक डेटा को देते हैं।
- डेटा सुरक्षित है; किसी भी छात्र की गोपनीयता लीक नहीं हुई।
- उन्होंने क्या दावा नहीं किया: उन्होंने यह दावा नहीं किया कि यह डेटासेट हर चीज़ के लिए एकदम सही है। वे स्वीकार करते हैं कि नकली डेटा थोड़ा "बहुत औसत" (too average) है। यह चरम आउटलेयर्स (जैसे कि एक छात्र जिसने 50 पन्नों का निबंध लिखा हो या एक छात्र जो बुरी तरह फेल हो गया हो) को कैप्चर नहीं करता है। यह सामान्य प्रशिक्षण के लिए बहुत अच्छा है, लेकिन शायद चरम मामलों (edge cases) को पहचानने के लिए एआई को प्रशिक्षित करने के लिए नहीं।
संक्षेप में: यह पेपर शोधकर्ताओं को एक सुरक्षित, कानूनी और यथार्थवादी "प्लेग्राउंड" देता है ताकि वे एआई को एक बेहतर शिक्षक बनने के लिए सिखा सकें, बिना एक भी छात्र की गोपनीयता को जोखिम में डाले।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।