Training data generation for context-dependent rubric-based short answer grading
यह शोध पत्र PISA मूल्यांकन के संदर्भ में लघु उत्तरों की स्वचालित, रूब्रिक-आधारित ग्रेडिंग में सुधार के लिए एक छोटे संदर्भ सेट से बड़े पैमाने पर, गोपनीयता संरक्षित प्रशिक्षण डेटासेट उत्पन्न करने की विधियों का प्रस्ताव और मूल्यांकन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी समस्या: "गुप्त रेसिपी" की दुविधा
कल्पना कीजिए कि आप एक शेफ हैं जो एक रोबोट को एक बेहतरीन स्टेक बनाना सिखाने की कोशिश कर रहे हैं। आपके पास एक गुप्त रेसिपी बुक (PISA टेस्ट डेटा) है जिसमें दुनिया के सबसे अच्छे निर्देश, प्रश्न और ग्रेडिंग मानदंड मौजूद हैं। यह किताब अविश्वसनीय रूप से मूल्यवान है, लेकिन यह एक तिजोरी में बंद है। आप इसे देख तो सकते हैं, लेकिन आप इसकी फोटोकॉपी नहीं कर सकते, इसे साझा नहीं कर सकते, या किसी और को इसके पन्ने भी नहीं दिखा सकते।
आपको अपने रोबोट को प्रशिक्षित करने की आवश्यकता है, लेकिन गोपनीयता के नियमों के कारण आप उसे सीधे गुप्त रेसिपी बुक नहीं खिला सकते। यदि आप शून्य से नकली रेसिपी बनाने की कोशिश करते हैं, तो उनका स्वाद सही नहीं होगा—वे बहुत साधारण होंगी। आपको एक नई, खुली कुकबुक बनाने का तरीका चाहिए जिसका स्वाद बिल्कुल गुप्त वाली रेसिपी जैसा हो, बिना उन गुप्त पन्नों की नकल किए।
चार्ल्स यूनिवर्सिटी के शोधकर्ताओं की टीम ने ठीक यही समस्या हल करने की कोशिश की।
लक्ष्य: एक "सरोगेट" (विकल्प) कुकबुक बनाना
शोधकर्ता एक विशाल डेटासेट बनाना चाहते थे ताकि AI मॉडल को छात्रों के उत्तरों (जैसे छोटे निबंध) को ग्रेड देने के लिए प्रशिक्षित किया जा सके। उनके पास वास्तविक PISA टेस्ट डेटा (गुप्त रेसिपी) का एक छोटा, गोपनीय सेट था, लेकिन उन्हें भारी काम करने के लिए एक विशाल, सार्वजनिक डेटासेट की आवश्यकता थी।
उनकी चुनौती: आप एक नकली डेटासेट कैसे बना सकते हैं जो असली जैसा महसूस हो, बिना असली डेटा को चुराए?
विधि: "टेस्ट-टेस्ट" पाइपलाइन
केवल AI से "कुछ प्रश्न बनाने" के लिए कहने के बजाय, उन्होंने एक बहु-चरणीय असेंबली लाइन बनाई:
- सामग्री इकट्ठा करना (संदर्भ निष्कर्षण): उन्होंने खुले इंटरनेट (जैसे समाचार लेखों) से सादा टेक्स्ट निकाला और उसे साफ किया। इसे कच्चे रूप में सब्जियां इकट्ठा करने के समझें।
- व्यंजन पकाना (प्रश्न और रूब्रिक निर्माण): उन्होंने एक शक्तिशाली AI (एक लार्ज लैंग्वेज मॉडल) का उपयोग करके उन कच्चे टेक्स्ट को प्रश्नों, ग्रेडिंग नियमों और नमूना उत्तरों में बदल दिया।
- ट्विस्ट: उन्होंने AI से केवल एक उत्तर नहीं मांगा। उन्होंने AI से ऐसे उत्तर बनाने के लिए कहा जो परफेक्ट (उत्कृष्ट), ओके (ठीक-ठाक), और टेरिबल (बहुत खराब) हों, ठीक वैसे ही जैसे एक वास्तविक शिक्षक कक्षा में देखते हैं।
- गुणवत्ता नियंत्रण: एक अन्य AI ने "फूड क्रिटिक" (खाद्य आलोचक) के रूप में कार्य किया, जिसने यह जांचा कि क्या प्रश्न निष्पक्ष थे और क्या ग्रेडिंग नियम समझ में आने योग्य थे। यदि AI ने कोई गलती की, तो क्रिटिक ने उसे रसोई में वापस भेज दिया ताकि वह फिर से प्रयास कर सके।
- परिणाम: अंत में उनके पास "सरोगेट" डेटा का एक बड़ा ढेर जमा हो गया। यह गुप्त रेसिपी जैसा दिखता था, लेकिन यह शून्य से बनाया गया था।
सीक्रेट सॉस: "टेस्ट-टेस्ट" (फीचर मैचिंग)
यहाँ पेचीदा हिस्सा है। "सरोगेट" ढेर बहुत बड़ा था, लेकिन थोड़ा अस्त-व्यस्त था। कुछ हिस्से बहुत आसान थे, कुछ बहुत कठिन थे, और उत्तर वास्तविक गुप्त रेसिपी की तुलना में बहुत लंबे या बहुत छोटे थे।
शोधकर्ताओं को अपने नकली ढेर में से सबसे अच्छे हिस्सों को चुनने (cherry-pick) की आवश्यकता थी ताकि वे असली वाले से मेल खा सकें। उन्होंने ऐसा डेटा के विशिष्ट "फ्लेवर्स" (विशेषताओं) को मापकर किया:
- लंबाई: उत्तर में कितने शब्द हैं?
- शब्दावली: शब्द कितने जटिल हैं?
- जुड़ाव: उत्तर प्रश्न से कितनी निकटता से संबंधित है?
उन्होंने विजेताओं को चुनने के लिए तीन अलग-अलग रणनीतियों का उपयोग किया:
- विधि 1 (औसत मजाक): उन्होंने वास्तविक डेटा के "औसत फ्लेवर" की गणना की और उन नकली उत्तरों को चुना जो उस औसत के सबसे करीब थे। परिणाम: यह बहुत सरल था। रोबोट ने ज्यादा कुछ नहीं सीखा।
- विधि 2 (ग्रुप हग): उन्होंने महसूस किया कि "औसत" बहुत उबाऊ है। इसलिए, उन्होंने वास्तविक डेटा को समूहों (जैसे विभिन्न प्रकार के व्यंजन) में विभाजित किया और प्रत्येक समूह के लिए सबसे अच्छे नकली उत्तर चुने। परिणाम: अभी भी पूरी तरह सही नहीं था।
- विधि 3 (डीप डाइव): यही विजेता बना। केवल सरल औसत देखने के बजाय, उन्होंने रैंकिंग (श्रेणीकरण) को देखा। उन्होंने पूछा: "यदि हम वास्तविक उत्तरों और नकली उत्तरों को उनकी समानता के आधार पर एक साथ लाइन में खड़ा करें, तो कौन से नकली उत्तर वास्तविक वाले के सबसे करीबी पड़ोसी हैं?"
परिणाम: क्या रोबोट ने सीखा?
उन्होंने अपने नए "सरोगेट कुकबुक" का तीन तरीकों से परीक्षण किया:
- त्वरित टेस्ट: उन्होंने एक बड़े AI मॉडल को कुछ उदाहरण दिए यह देखने के लिए कि क्या वह ग्रेड का अनुमान लगा सकता है। सरल तरीके विफल रहे, लेकिन डीप डाइव (विधि 3) ने उम्मीद दिखाई।
- मॉडल सेलेक्टर: उन्होंने यह तय करने के लिए नकली डेटा का उपयोग किया कि कौन सा AI मॉडल सबसे अच्छा है। इस काम के लिए नकली डेटा वास्तविक डेटा के लगभग उतना ही अच्छा था।
- ट्रेनिंग रन (बड़ा परीक्षण): उन्होंने वास्तव में "डीप डाइव" नकली डेटा का उपयोग करके एक छोटे AI मॉडल को प्रशिक्षित किया।
- परिणाम: "डीप डाइव" नकली डेटा पर प्रशिक्षित मॉडल ने यादृच्छिक (random) नकली डेटा पर प्रशिक्षित मॉडल की तुलना में काफी बेहतर प्रदर्शन किया। यह ऐसा था जैसे रोबोट ने वास्तविक शिक्षकों की शैली और तर्क को सीख लिया हो, भले ही उसने वास्तविक टेस्ट प्रश्न कभी नहीं देखे थे।
निष्कर्ष
यह पेपर साबित करता है कि एक शानदार भोजन पकाने के लिए आपको गुप्त रेसिपी चुराने की आवश्यकता नहीं है। यदि आप गुप्त व्यंजन के फ्लेवर प्रोफाइल (विशेषताओं) का विश्लेषण करते हैं और अपने स्वयं के भंडार से सामग्री को सावधानीपूर्वक चुनते हैं, तो आप एक ऐसा विकल्प बना सकते हैं जो आपके रोबोट को मूल के समान ही अच्छी तरह से सिखा सकता है।
संक्षेप में: उन्होंने यह पता लगाया कि कैसे एक "नकली" डेटासेट को इतनी चतुराई से क्यूरेट किया जाए कि वह AI को यह विश्वास दिलाने के लिए पर्याप्त हो कि उसने वास्तविक, गुप्त डेटा को देखा है। यह गोपनीयता और अनुसंधान के लिए एक बड़ी जीत है!
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।