Rubric-Guided Self-Distillation: Post-Training Without Rubric Verifiers
यह शोध पत्र रूब्रिक-गाइडेड सेल्फ-डिस्टिलेशन (RGSD) का प्रस्ताव करता है, जो एक वेरीफायर-मुक्त प्रशिक्षण विधि है जो रूब्रिक-कंडीशन्ड पॉलिसी को एक शिक्षक के रूप में उपयोग करके डेंस, प्रति-टोकन लर्निंग सिग्नल्स को अनकंडीशन्ड स्टूडेंट में डिस्टिल करती है ताकि LLM जजों के ओवरहेड और बायस को समाप्त किया जा सके, जिससे जज-आधारित विधियों के तुलनीय प्रदर्शन प्राप्त होता है और साथ ही कम्प्यूटेशनल लागत में महत्वपूर्ण कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र (एक AI) को एक सटीक मेडिकल डायग्नोसिस या वैज्ञानिक स्पष्टीकरण लिखना सिखाने की कोशिश कर रहे हैं। आमतौर पर, इसमें महारत हासिल करने के लिए, छात्र एक उत्तर लिखता है, और एक सख्त, महंगा शिक्षक (एक "जज" AI) उसे पढ़ता है, एक चेकलिस्ट (एक "रुब्रिक") की जांच करता है, और अंत में एक एकल स्कोर देता है।
इस पुराने तरीके के साथ तीन समस्याएं हैं:
- यह धीमा और महंगा है: शिक्षक को छात्र द्वारा लिखे गए हर एक ड्राफ्ट को पढ़ना पड़ता है।
- यह अस्पष्ट है: छात्र को अंत में केवल एक स्कोर मिलता है (जैसे, "8/10")। उन्हें यह नहीं पता चलता कि किस विशिष्ट शब्द या वाक्य ने स्कोर को ऊपर या नीचे किया।
- यह पक्षपाती है: छात्र शिक्षक को धोखा देने के लिए लंबे, दिखावटी उत्तर लिखकर सीख सकते हैं जो शिक्षक को अच्छे लगते हैं लेकिन वास्तव में सत्य नहीं होते (एक ऐसी घटना जिसे पेपर "रिवॉर्ड हैकिंग" कहता है)।
यह पेपर एक नई विधि पेश करता है जिसे रुब्रिक-गाइडेड सेल्फ-डिस्टिलेशन (RGSD) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग यहाँ दिया गया है:
"सीक्रेट चीट शीट" की उपमा
कल्पना कीजिए कि छात्र एक भूमिका सीखने की कोशिश कर रहा एक अभिनेता है।
- पुराना तरीका (जज-आधारित): एक अभिनेता एक दृश्य प्रस्तुत करता है। एक आलोचक थिएटर के पीछे से दृश्य देखता है, एक लंबी समीक्षा लिखता है, और अभिनेता को अंत में एक एकल ग्रेड देता है। अभिनेता को अगले प्रदर्शन के लिए क्या बदलना है, इसका अनुमान लगाना पड़ता है।
- नया तरीका (RGSD): अभिनेता के पास एक "जुड़वा" (शिक्षक) है। इस जुड़वा के पास एक सीक्रेट चीट शीट (रुब्रिक) है जिसमें लिखा है कि निर्देशक वास्तव में क्या चाहता है।
- छात्र बिना चीट शीट के दृश्य प्रस्तुत करता है।
- जुड़वा वही दृश्य चीट शीट हाथ में लेकर प्रस्तुत करता है। क्योंकि जुड़वा नियमों को जानता है, वे स्वाभाविक रूप से सही सुर पकड़ते हैं, सही लहजा अपनाते हैं, और आवश्यक विवरण शामिल करते हैं।
- छात्र को कोई ग्रेड नहीं मिलता। इसके बजाय, छात्र बस जुड़वा को देखता है और वास्तविक समय में, शब्द-दर-शब्द, वाक्य-दर-वाक्य उनके प्रदर्शन की नकल करने की कोशिश करता है।
यह बेहतर क्यों है
- महंगे आलोचकों की अब आवश्यकता नहीं: आपको हर प्रदर्शन को ग्रेड देने के लिए आलोचक को काम पर रखने की आवश्यकता नहीं है। "जुड़वा" छात्र मॉडल की ही एक प्रति है, इसलिए इसे चलाना मुफ्त है।
- शब्द-दर-शब्द सीखना: अंत में ग्रेड मिलने के बजाय, छात्र हर एक शब्द पर जुड़वा के चुनाव से सीखता है। यदि रुब्रिक के कारण जुड़वा "सीटी स्कैन" के बजाय "चेस्ट एक्स-रे" कहता है, तो छात्र तुरंत उस विशिष्ट शब्द के चयन से सीखता है। यह सड़क के अंत में टिकट मिलने के बजाय, को-पायलट द्वारा हर बार गलती होने पर धीरे से स्टीयरिंग व्हील घुमाने से सीखने जैसा है।
- छोटे, साफ उत्तर: पेपर ने पाया कि पुराने तरीके (एक आलोचक का उपयोग करके) ने AI को बहुत लंबे, भ्रामक उत्तर लिखने के लिए प्रेरित किया ताकि वह हर संभव बिंदु को छू सके, जिससे अक्सर जगह भरने के लिए तथ्य भी मनगढ़ंत बनाए गए। नया तरीका (RGSD) अधिक छोटे और सीधे उत्तर उत्पन्न करता था, फिर भी चेकलिस्ट को उतनी ही अच्छी तरह से संतुष्ट करता था। यह एक ऐसे छात्र के बीच के अंतर जैसा है जो 'B' ग्रेड पाने के लिए 10 पन्नों का निबंध लिखता है, बनाम एक जो एक सटीक 2-पन्नों का निबंध लिखता है।
परिणाम
शोधकर्ताओं ने विभिन्न AI मॉडलों का उपयोग करके मेडिकल और साइंस के सवालों पर इनका परीक्षण किया। उन्होंने पाया:
- प्रदर्शन: नया तरीका चेकलिस्ट पर उच्च स्कोर प्राप्त करने में पुराने तरीके के समान ही अच्छा था।
- दक्षता: यह बहुत तेज़ और सस्ता था क्योंकि इसे काम को ग्रेड करने के लिए महंगे "जज" AI की आवश्यकता नहीं थी।
- ईमानदारी: नए तरीके द्वारा उत्पन्न किए गए उत्तरों में पुराने तरीके की तुलना में कम मनगढ़ंत तथ्य (hallucinations) थे, क्योंकि पुराना तरीका आलोचक को खुश करने के लिए विवरण गढ़ने की प्रवृत्ति रखता था।
कमी (सीमाएं)
पेपर नोट करता है कि यह तरीका तब सबसे अच्छा काम करता है जब "जुड़वा" (चेकलिस्ट वाला मॉडल) वास्तव में "छात्र" (बिना चेकलिस्ट वाले मॉडल) से बहुत बेहतर होता है। यदि मॉडल चेकलिस्ट देखने के बाद भी बहुत अधिक सुधार नहीं करता है, तो यह तरीका ज्यादा मदद नहीं करेगा। साथ ही, यदि आपके पास एक सुपर-महंगा, सुपर-स्मार्ट आलोचक उपलब्ध है और पैसा कोई समस्या नहीं है, तो पुराना तरीका थोड़े और बेहतर प्रदर्शन को निचोड़ सकता है, लेकिन एक भारी लागत पर।
संक्षेप में: RGSD AI को जटिल नियमों का पालन करना सिखाने का एक तरीका है, जिसमें इसे अपने ही एक संस्करण की नकल करने के लिए कहा जाता है जो नियमों को जानता है, बजाय इसके कि किसी जज द्वारा काम को ग्रेड दिए जाने का इंतजार किया जाए। यह तेज़ है, सस्ता है, और अधिक स्पष्ट परिणाम देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।