Feedback-to-Rubrics: Can We Learn Expert Criteria from Inline Comments?
यह शोध पत्र संचित इनलाइन टिप्पणियों (inline comments) से पुन: प्रयोज्य प्राकृतिक भाषा रूब्रिक्स (natural-language rubrics) को स्वचालित रूप से अनुमानित करने के लिए एक विधि का प्रस्ताव और मूल्यांकन करता है, यह प्रदर्शित करते हुए कि ये संकलित मानदंड वास्तविक और नियंत्रित परिवेशों में टिप्पणी भविष्यवाणी, रूब्रिक समझ और स्वचालित आर्टिफैक्ट संशोधन में प्रभावी रूप से सहायता कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पब्लिशिंग हाउस में एक जूनियर एडिटर हैं। आपके पास पांडुलिपियों (manuscripts) का एक ढेर है, लेकिन आपको ठीक से पता नहीं है कि आपके सीनियर एडिटर्स वास्तव में क्या देख रहे हैं। आपने पुराने ड्राफ्ट्स पर उनके लाल पेन के निशान (इनलाइन कमेंट्स) देखे हैं, लेकिन आपने कभी उन निशानों के पीछे के नियमों को नहीं समझा है। आपने देखा है कि वे एक वाक्य पर घेरा बनाकर लिखते हैं "Too vague" (बहुत अस्पष्ट), लेकिन आपको यह नहीं पता कि इसका मतलब है "अधिक संख्याएँ दें," "तर्क स्पष्ट करें," या "किसी स्रोत का हवाला दें।"
यह पेपर, जिसका शीर्षक "Feedback-to-Rubrics" है, इस बारे में है कि एक कंप्यूटर को इन छिपे हुए नियमों को समझने के लिए कैसे सिखाया जाए, और वह भी केवल उन ढेर सारे लाल पेन के निशानों को देखकर।
यहाँ उन्होंने जो किया गया है, उसका विवरण सरल उपमाओं (analogies) के साथ दिया गया है:
1. समस्या: "टैसिट" (Tacit) गुप्त नुस्खा
आमतौर पर, जब विशेषज्ञ (जैसे सीनियर एडिटर्स या वैज्ञानिक) किसी काम की समीक्षा करते हैं, तो उनके पास एक मानसिक चेकलिस्ट होती है कि क्या चीज़ अच्छी है और क्या बुरी। लेकिन वे इस चेकलिस्ट को शायद ही कभी लिख कर रखते हैं। यह "टैसिट" (tacit) ज्ञान है—जैसे एक शेफ जानता है कि सूप में नमक की कमी है, लेकिन वह इसे चखे बिना ठीक से यह नहीं समझा सकता कि क्यों या कितना नमक चाहिए।
लार्ज लैंग्वेज मॉडल्स (LLMs) लिखने में बहुत अच्छे हैं, लेकिन वे इन छिपे हुए, अलिखित नियमों का अनुमान लगाने में बहुत खराब हैं। यदि आप AI से कहें कि "इसे बेहतर बनाओ," तो वह गलत चीज़ों को बदल सकता है क्योंकि उसे विशेषज्ञ की पसंद का विशिष्ट "स्वाद" पता नहीं होता।
2. समाधान: "खरोंचों" को "रेसिपी" में बदलना
लेखक इन नियमों को सीखने का एक नया तरीका प्रस्तावित करते हैं। विशेषज्ञों से एक नियम पुस्तिका (rulebook) लिखने के लिए कहने के बजाय (जो कठिन है क्योंकि वे अपने अंतर्ज्ञान को समझाने में सक्षम नहीं होते), वे हजारों ड्राफ्ट्स पर विशेषज्ञों द्वारा छोड़े गए इनलाइन कमेंट्स को देखते हैं।
इनलाइन कमेंट्स को एक मानचित्र पर खरोंच (scratches on a map) की तरह समझें।
- पुराना तरीका: पूरे मानचित्र को देखकर खजाने के स्थान का अनुमान लगाना।
- इस पेपर का तरीका: हर एक खरोंच को देखना, यह समझना कि मानचित्र बनाने वाला किस तरह के खजाने की तलाश में था, और फिर एक नया, स्पष्ट "खजाने का मानचित्र" (रूब्रिक/Rubric) बनाना जो स्पष्ट रूप से बताए कि कहाँ देखना है।
3. मशीन कैसे सीखती है: "अनुमान लगाओ, जाँचो और सुधारो" लूप
यह तरीका एक छात्र की तरह काम करता है जो अभ्यास प्रश्न हल करता है और उत्तर कुंजी (answer key) से मिलान करता है।
- पहला अनुमान: कंप्यूटर पुराने ड्राफ्ट्स और उन पर किए गए कमेंट्स को देखता है। वह जो कुछ भी देखता है, उसके आधार पर एक कच्चा "नियमों का संग्रह" (Rulebook) बनाने की कोशिश करता है।
- सिमुलेशन (Simulation): कंप्यूटर एक विशेषज्ञ होने का नाटक करता है। वह एक नया ड्राफ्ट लेता है, अपने स्वयं के 'रूलबुक' को पढ़ता है, और उस पर कमेंट्स लिखने की कोशिश करता है।
- रियलिटी चेक (Reality Check): वह अपने द्वारा किए गए कमेंट्स की तुलना मानव विशेषज्ञ द्वारा लिखे गए वास्तविक कमेंट्स से करता है।
- क्या कंप्यूटर ने उस बिंदु को मिस कर दिया जिसे इंसान ने बताया था?
- क्या कंप्यूटर ने उस चीज़ की शिकायत की जिसे इंसान ने अनदेखा कर दिया था?
- सुधार (जादुई कदम): यह सबसे महत्वपूर्ण हिस्सा है। कंप्यूटर केवल यह नहीं कहता कि "मैं गलत था।" वह यह देखता है कि उसके 'रूलबुक' के ठीक किस नियम के कारण गलती हुई।
- उपमा: कल्पना कीजिए कि आप केक बनाना सीख रहे हैं। आप चखते हैं और वह बहुत नमकीन है। केवल यह कहने के बजाय कि "केक खराब है," आप महसूस करते हैं, "आह, मैंने जो नियम लिखा था वह था 'एक चुटकी नमक डालें,' लेकिन वास्तव में मुझे 'प्रति कप मैदा में एक चुटकी नमक' डालना चाहिए था।"
- कंप्यूटर अपने 'रूलबुक' को अपडेट करता है, इसे अधिक विशिष्ट बनाता है, इसमें सीमाएँ और उदाहरण जोड़ता है ताकि वह अगली बार वही गलती न करे।
वे इसे बार-बार (iteratively) करते हैं, 'रूलबुक' को तब तक परिष्कृत करते हैं जब तक कि यह विशेषज्ञ की शैली की पूरी तरह से नकल न करने लगे।
4. उन्होंने क्या पाया (परिणाम)
लेखकों ने शोध प्रस्तावों से लेकर मेडिकल चैट लॉग्स तक, नौ अलग-अलग प्रकार के लेखन पर इसका परीक्षण किया। उन्होंने तीन मुख्य बातें पाईं:
- बेहतर कमेंट्स: जब उन्होंने कंप्यूटर द्वारा सीखे गए 'रूलबुक' का उपयोग करके फीडबैक जनरेट किया, तो फीडबैक बिना किसी रूलबुक के या केवल पिछले कमेंट्स को देखने की तुलना में बहुत अधिक सटीक और सहायक था।
- एक स्पष्ट नियम पुस्तिका (Rulebook): अंतिम 'रूलबुक' केवल "स्पष्ट रहें" जैसे अस्पष्ट विचारों की सूची नहीं थी। यह एक विस्तृत, विशिष्ट मार्गदर्शिका बन गई (जैसे, "यदि शोध प्रश्न बहुत व्यापक है, तो बताएं कि इसे एक विशिष्ट दायरे की आवश्यकता है")। इसने वास्तव में विशेषज्ञों के "गुप्त नुस्खे" को पकड़ लिया।
- बेहतर संशोधन (Revisions): जब उन्होंने इस सीखे हुए 'रूलबुक' को एक AI को दिया और उसे एक खराब ड्राफ्ट को ठीक करने के लिए कहा, तो AI ने टेक्स्ट को मानव विशेषज्ञों की इच्छा के अनुरूप बेहतर बनाने में बहुत बेहतर काम किया।
5. निचोड़ (Bottom Line)
यह पेपर दिखाता है कि आपको विशेषज्ञों से यह लिखने के लिए कहने की ज़रूरत नहीं है कि चीजों की समीक्षा कैसे की जाए। आप बस कंप्यूटर को उनके पिछले नोट्स (कमेंट्स) दे सकते हैं, उसे "नियम का अनुमान लगाने" और "गलती को सुधारने" का खेल खेलने दें, और अंततः वह एक पुन: प्रयोज्य (reusable), लिखित मानदंड सेट सीख जाएगा जो उनकी विशेषज्ञता को दर्शाता है।
उन्होंने क्या नहीं किया:
- उन्होंने मेडिकल डायग्नोसिस या क्लिनिकल उपचारों पर इसका परीक्षण नहीं किया।
- उन्होंने यह दावा नहीं किया कि यह पूरी तरह से मानव संपादकों की जगह ले लेगा।
- उन्होंने यह नहीं कहा कि यह किसी भी प्रकार के डेटा पर काम करता है, केवल उन टेक्स्ट ड्राफ्ट्स पर जिनमें इनलाइन कमेंट्स हों।
संक्षेप में: उन्होंने कंप्यूटर को मानव फीडबैक के बीच की पंक्तियों को पढ़ना और उन बिखरे हुए नोट्स को एक साफ, उपयोगी निर्देश पुस्तिका में बदलना सिखाया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।