Rubrics as Privileged Information for Open-Ended Generation
यह शोधपत्र ओपन-एंडेड जनरेशन के लिए एक ऐसी विधि प्रस्तुत करता है जो रूब्रिक्स (rubrics) को ऑन-पॉलिसी सेल्फ-डिस्टिलेशन के लिए सघन विशेषाधिकार प्राप्त सूचना (dense privileged information) के रूप में मानती है, और यह प्रदर्शित करती है कि यह दृष्टिकोण कई मॉडल परिवारों और बेंचमार्क में अधिक समृद्ध, कम बाध्यकारी प्रशिक्षण संकेत प्रदान करके, रेफरेंस-कम्प्लीशन डिस्टिलेशन और रूब्रिक-एज़-रिवॉर्ड वाले सुदृढीकरण लर्निंग (reinforcement learning) दोनों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक बेहतरीन कहानी लिखना या सटीक चिकित्सा सलाह देना सिखाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "ओपन-एंडेड जनरेशन" (open-ended generation) कहा जाता है। गणित की समस्याओं के विपरीत जहाँ केवल एक ही सही उत्तर होता है (जैसे 2+2=4), इन कार्यों के लाखों "अच्छे" तरीके हो सकते हैं। एक कहानी मज़ेदार, दुखद या रोमांचक हो सकती है, और फिर भी वह उत्कृष्ट हो सकती है। वैज्ञानिकों के लिए बड़ी चुनौती यह है: आप एक रोबोट को उन लाखों अच्छे रास्तों को खोजने के लिए कैसे सिखाएं बिना भटके?
परंपरागत रूप से, शोधकर्ताओं ने दो मुख्य तरकीबों का उपयोग किया है। पहली है "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning), जो एक वीडियो गेम की तरह है जहाँ रोबोट को स्तर के अंत में अच्छा प्रदर्शन करने के लिए एक एकल अंक मिलता है। दूसरी है "डिस्टिलेशन" (Distillation), जहाँ एक बुद्धिमान शिक्षक छात्र को ठीक से दिखाता है कि क्या लिखना है, और छात्र उसकी नकल करने की कोशिश करता है। लेकिन यहाँ एक पेंच है: ओपन-एंडेड कार्यों में, केवल एक उदाहरण की नकल करना बहुत सख्त हो सकता है। यदि शिक्षक एक ड्रैगन के बारे में कहानी लिखता है, तो छात्र को लग सकता है कि उन्हें ड्रैगन के बारे में ही लिखना होगा, जबकि एक जादूगर (wizard) के बारे में कहानी भी उतनी ही अच्छी हो सकती थी। यह शोध पत्र रोबोट को सिखाने का एक नया तरीका बताता है, जिसमें उन्हें केवल एक उदाहरण या एक एकल स्कोर देने के बजाय एक "रूब्रिक" (rubric)—यानी एक चेकलिस्ट कि एक अच्छा उत्तर क्या बनाता है—दी जाती है।
शोध पत्र का बड़ा विचार: चेकलिस्ट बनाम एकल उत्तर
लेखकों ने, जो Apple में कार्यरत हैं, एक विधि प्रस्तावित की है जिसे वे RuPI (Rubrics as Privileged Information) कहते हैं। वे यह देखना चाहते थे कि क्या वे विस्तृत चेकलिस्ट (रूब्रिक्स) का उपयोग करके, जो शिक्षक के लिए एक विशेष "गाइड" के रूप में काम करती है लेकिन छात्र के लिए नहीं, AI मॉडल्स को ओपन-एंडेड कार्यों में बेहतर बनाने के लिए प्रशिक्षित कर सकते हैं।
इसे एक कुकिंग क्लास की तरह समझें।
- पुराना तरीका (रेफरेंस कम्प्लीशन): शिक्षक छात्र को एक आदर्श लाज़ानिया (lasagna) की फोटो दिखाता है और कहता है, "ठीक इसी की नकल करो।" छात्र फोटो की नकल करने की कोशिश करता है। लेकिन क्या होगा अगर छात्र की रसोई में अलग सामग्री हो? वे फोटो को वास्तविकता में जबरदस्ती फिट करने की कोशिश में फंस सकते हैं, या वे इस तथ्य को मिस कर सकते हैं कि किसी अन्य प्रकार का पास्ता भी स्वादिष्ट हो सकता था।
- रीइन्फोर्समेंट लर्निंग का तरीका (रूब्रिक एज़ रिवॉर्ड): छात्र एक व्यंजन बनाता है, और एक जज उसे चखता है और एक एकल संख्या देता है, जैसे "10 में से 8"। छात्र फिर से कोशिश करता है, इस उम्मीद में कि उसे 9 मिलेगा। लेकिन जज उसे यह नहीं बताता कि क्या गलत था, बस इतना बताता है कि वह पूर्ण नहीं था।
- नया तरीका (RuPI): शिक्षक के पास एक गुप्त चेकलिस्ट (रूब्रिक) है जो कहती है, "व्यंजन में लहसुन होना चाहिए, यह बहुत नमकीन नहीं होना चाहिए, और इसमें एक क्रीमी सॉस होना चाहिए।" शिक्षक अपने स्वयं के खाना पकाने के मार्गदर्शन के लिए इस चेकलिस्ट का उपयोग करता है, जिससे उसके दिमाग में एक "परफेक्ट" संस्करण बनता है। हालाँकि, छात्र केवल उन सामग्रियों और शिक्षक द्वारा बनाए गए अंतिम व्यंजन को देखता है, बिना चेकलिस्ट को देखे। छात्र शिक्षक के उच्च-गुणवत्ता वाले खाना पकाने की शैली को सीखने में सक्षम होता है, जो केवल एक फोटो द्वारा नहीं, बल्कि चेकलिस्ट के सिद्धांतों द्वारा निर्देशित थी।
उन्होंने क्या पाया
शोधकर्ताओं ने इस विचार का परीक्षण दो बहुत अलग प्रकार के प्रश्नों पर किया: चिकित्सा सलाह (HealthBench नामक डेटासेट का उपयोग करके) और विज्ञान के प्रश्न (RubricHub का उपयोग करके)। उन्होंने यह देखने के लिए तीन अलग-अलग AI मॉडल्स (Qwen और Llama परिवार) का उपयोग किया कि क्या यह विधि काम करती है।
यहाँ आश्चर्यजनक परिणाम मिला: चेकलिस्ट (रूब्रिक) एक एकल "परफेक्ट" उत्तर (रेफरेंस) की तुलना में बहुत बेहतर शिक्षक थी।
जब शिक्षक को चेकलिस्ट द्वारा निर्देशित किया गया, तो छात्र ने बहुत तेज़ी से सीखा और कार्य में बेहतर हुआ। वास्तव में, चेकलिस्ट विधि "एकल फोटो" विधि से काफी आगे निकल गई। मेडिकल टेस्ट पर, चेकलिस्ट विधि ने रीइन्फोर्समेंट लर्निंग विधि की तुलना में 0.10 अंक तक और एकल-उत्तर विधि की तुलना में 0.034 से 0.079 अंक तक सुधार किया।
ऐसा क्यों हुआ? लेखक बताते हैं कि एक एकल "परफेक्ट" उत्तर अच्छे उत्तरों के विशाल महासागर में केवल एक छोटा सा बिंदु है। यदि आप छात्र को केवल उस एक बिंदु की नकल करने के लिए मजबूर करते हैं, तो आप उनकी रचनात्मकता और नई स्थितियों को संभालने की क्षमता को सीमित कर देते हैं। लेकिन एक चेकलिस्ट अच्छे उत्तरों के पूरे महासागर का वर्णन करती है। यह छात्र को बताती है, "इन सीमाओं के भीतर रहें," बजाय इसके कि "ठीक यहीं खड़े रहो।" यह छात्र को सीखने के लिए एक बहुत अधिक मजबूत और लचीला संकेत देता है।
"ऑन-पॉलिसी" (On-Policy) का गुप्त मंत्र
एक और महत्वपूर्ण खोज थी। यह विधि तभी काम करती थी जब छात्र अपने स्वयं के प्रयासों (जिसे "ऑन-पॉलिसी" रोल-आउट्स कहा जाता है) से सीख रहा था। यदि छात्र शिक्षक के पहले से बने उत्तरों (ऑफ-पॉलिसी) से सीखने की कोशिश करता, तो जादू गायब हो जाता।
कल्पना कीजिए कि एक डांस इंस्ट्रक्टर है। यदि छात्र अपने स्वयं के मूव्स का अभ्यास करता है और इंस्ट्रक्टर चेकलिस्ट के आधार पर उसे सुधारता है, तो छात्र बेहतर होता है। लेकिन यदि छात्र केवल इंस्ट्रक्टर के परफेक्ट डांस का वीडियो देखता है और कभी अपने पैर हिलाने की कोशिश नहीं करता, तो वह उतना नहीं सीख पाता। शोध ने पाया कि चेकलिस्ट केवल तभी एक शक्तिशाली शिक्षक बनती है जब इसका उपयोग वास्तविक समय में छात्र की अपनी गलतियों को सुधारने के लिए किया जाता है।
क्या इससे कुछ और टूट जाता है?
शोधकर्ता चिंतित थे कि रोबोट को चिकित्सा सलाह में महान बनाना उसे गणित करने या सरल निर्देशों का पालन करने के लिए भूलने जैसा न बना दे। उन्होंने मॉडल्स का सामान्य ज्ञान परीक्षणों (जैसे MMLU) और गणित (GSM8K) पर परीक्षण किया। परिणाम उत्साहजनक थे: मॉडल सामान्य बुद्धिमत्ता खोए बिना विशिष्ट कार्य में बेहतर हुए। हालाँकि, उन्होंने पाया कि एक विशिष्ट प्रकार के गणितीय सुधार (जिसे "फॉरवर्ड KL" कहा जाता है) का उपयोग करने से मॉडल कभी-कभी निर्देशों का पालन करने में थोड़े खराब हो जाते हैं, इसलिए वे मॉडल्स को सुरक्षित और सहायक बनाए रखने के लिए एक अलग सुधार विधि ("रिवर्स KL") का उपयोग करने की सलाह देते हैं।
निष्कर्ष
यह शोध पत्र सुझाव देता है कि जिन कार्यों के लिए केवल एक सही उत्तर नहीं होता, हमें AI को केवल एक "परफेक्ट" उदाहरण की नकल करने या एक एकल स्कोर के पीछे भागने के लिए मजबूर करना बंद कर देना चाहिए। इसके बजाय, हमें AI को एक स्पष्ट नियमों की सूची (रूब्रिक) देनी चाहिए जो उसके सीखने के मार्गदर्शन के लिए हो। इन नियमों को शिक्षक के लिए एक "प्रिविलेज्ड" (विशेषाधिकार प्राप्त) गाइड के रूप में उपयोग करके, छात्र बहुत अधिक प्रभावी ढंग से अच्छे उत्तरों के विशाल स्थान में नेविगेट करना सीखता है। यह "उदाहरण द्वारा शिक्षण" से "सिद्धांत द्वारा शिक्षण" की ओर एक बदलाव है, और परिणाम दिखाते हैं कि यह AI को स्मार्ट, अधिक लचीला और वास्तविक दुनिया की जटिल, ओपन-एंडेड समस्याओं को संभालने में बेहतर बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।