PriFT: Prior-Support Guided Supervised Fine-Tuning
PriFT (प्रायर-सपोर्ट गाइडेड फाइन-ट्यूनिंग) एक फ्रोजन प्रीट्रेंड मॉडल से स्थिर टोकन रीवेटिंग सिग्नल्स निकालकर सुपरवाइज्ड फाइन-ट्यूनिंग के सामान्यीकरण और RL इनिशियलाइजेशन में सुधार करता है ताकि ऑनलाइन मॉडल के डिस्ट्रीब्यूशन के उपयोग से होने वाली सेल्फ-रीइन्फोर्सिंग डायनेमिक्स से बचा जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र (AI मॉडल) है जिसने पहले ही लाखों किताबें पढ़ ली हैं और बहुत सारा सामान्य ज्ञान प्राप्त कर लिया है। यह प्रीट्रेंड मॉडल (pretrained model) है। अब, आप इस छात्र को एक विशिष्ट नया कौशल सिखाना चाहते हैं, जैसे जटिल गणित की समस्याओं को हल करना या कोड लिखना। सीखने के इस चरण को सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) कहा जाता है।
आमतौर पर, शिक्षक छात्र को एक पाठ्यपुस्तक दिखाते हैं जिसमें सही उत्तर होते हैं और कहते हैं, "इसे पंक्ति दर पंक्ति याद करो।" हालांकि, यह शोध पत्र तर्क देता है कि इस "पंक्ति दर पंक्ति" रटने में एक दोष है: छात्र उन उत्तरों को रटने की कोशिश कर सकता है जो वास्तव में उसके पहले से मौजूद ज्ञान के आधार पर उसे समझ में नहीं आते। इससे छात्र 'ओवरफिटिंग' (overfitting) का शिकार हो जाता है—यानी वह उस विशिष्ट पाठ्यपुस्तक को इतनी अच्छी तरह रट लेता है कि जब उसके सामने थोड़े अलग प्रश्न आते हैं, तो वह विफल हो जाता है।
समस्या: "चलते-फिरते लक्ष्य" वाला शिक्षक (The "Moving Target" Teacher)
इसे ठीक करने के हालिया प्रयासों में एक "स्मार्ट शिक्षक" शामिल था जो यह देखता है कि छात्र वर्तमान में क्या सीख रहा है और निर्णय लेता है, "ठीक है, यह उत्तर अभी छात्र को समझ में आ रहा है, इसलिए हम इस पर ध्यान केंद्रित करेंगे। वह दूसरा उत्तर भ्रमित करने वाला है, इसलिए हम इसे अनदेखा कर देंगे।"
शोध पत्र इस प्रक्रिया को ऑनलाइन रीवेटिंग (online reweighting) कहता है। समस्या यह है कि यह "स्मार्ट शिक्षक" अस्थिर है। जैसे-जैसे छात्र सीखता है, उसका मस्तिष्क बदलता रहता है। वह "स्मार्ट शिक्षक" वास्तव में छात्र का अपना मस्तिष्क है जो दर्पण में खुद को देख रहा है।
- जाल (The Trap): यदि छात्र शुरू में एक निश्चित प्रकार के उत्तर को पसंद करता है, तो शिक्षक उसे बार-बार वही सिखाता रहता है। यदि छात्र किसी अन्य प्रकार के उत्तर को नापसंद करता है, तो शिक्षक उसे सिखाना बंद कर देता है।
- परिणाम: छात्र एक "अमीर-होता-जाता-है" (rich-get-richer) मशीन बन जाता है। वे उन कुछ चीजों में बहुत अच्छे हो जाते हैं जिन्हें वे पहले से ही पसंद करते थे, लेकिन वे समस्याओं को हल करने के नए, विविध तरीकों को खोजने की क्षमता खो देते हैं। वे कठोर हो जाते हैं और अपना व्यापक ज्ञान खो देते हैं।
समाधान: PriFT (द "फ्रोजन" रेफरेंस)
लेखक एक नई विधि प्रस्तावित करते हैं जिसे PriFT (प्रायर-सपोर्ट गाइडेड फाइन-ट्यूनिंग) कहा जाता है।
छात्र के वर्तमान, बदलते हुए मस्तिष्क से यह तय करने के लिए नहीं पूछने के बजाय कि क्या सीखना है, PriFT छात्र के मूल, प्री-ट्रेनिंग मस्तिष्क (जिसे "फ्रोजन रेफरेंस" कहा जाता है) से सलाह मांगता है।
इसे इस तरह सोचें:
- पुराना तरीका: आप एक छात्र से पूछते हैं जो वर्तमान में तनावग्रस्त और भ्रमित है, "मुझे क्या पढ़ना चाहिए?" वह कह सकता है, "केवल वही चीज़ जो मैं पहले से जानता हूँ!" क्योंकि वह नई चीज़ों से डरता है।
- PriFT का तरीका: आप छात्र के "पिछले स्वरूप" (उस संस्करण से पहले का जब उसने यह विशिष्ट कक्षा शुरू की थी) से पूछते हैं, "इस नए पाठ के कौन से हिस्से मेरे मौजूदा ज्ञान के साथ मेल खाते हैं?" पिछला स्वरूप एक स्थिर, शांत उत्तर देता है: "यहाँ वे अवधारणाएँ हैं जो आपके आधार के साथ अच्छी तरह फिट बैठती हैं। इन पर ध्यान दें, लेकिन बाकी को अनदेखा न करें।"
यह "पिछला स्वरूप" एक प्रायर सपोर्ट (Prior Support) संकेत प्रदान करता है। यह मॉडल को बताता है: "यह टोकन (शब्द) आपके मूल ज्ञान द्वारा समर्थित है, इसलिए इसे सीखना सुरक्षित है। वह दूसरा टोकन एक कठिन प्रयास है, इसलिए सावधान रहें।"
PriFT कैसे काम करता है (दो रूप)
लेखक इस "पिछले स्वरूप" की सलाह का उपयोग करने के दो तरीके पेश करते हैं:
- PriFT-prob (प्रोबेबिलिटी चेक): यह देखता है कि "पिछले स्वरूप" के लिए एक विशिष्ट शब्द कहना कितना संभावित था। यदि पिछला स्वरूप बहुत आश्वस्त था, तो यह उस शब्द को उच्च भार (weight) देता है। यदि पिछस्त स्वरूप अनिश्चित था, तो यह उसे कम भार देता है।
- PriFT-mass (क्राउड चेक): कभी-कभी, एक शब्द "आसान" हो सकता है (पिछला स्वरूप 99% सुनिश्चित है), लेकिन इसका मतलब यह नहीं है कि वह सबसे महत्वपूर्ण शब्द है जिसे सीखना है। PriFT-mass "संचयी द्रव्यमान" (cumulative mass) को देखता है। यह पूछता है, "क्या यह शब्द कम से कम आधे संभावित विकल्पों द्वारा समर्थित है जिन पर पिछले स्वरूप ने विचार किया था?" यह मॉडल को केवल अत्यंत आसान, स्पष्ट शब्दों को सीखने से रोकता है और उसे कठिन, अधिक महत्वपूर्ण तर्क चरणों पर ध्यान देने के लिए मजबूर करता है।
परिणाम: यह क्यों मायने रखता है
लेखकों ने तीन कठिन कार्यों पर परीक्षण किया: गणित (Math), कोडिंग (Coding), और चिकित्सा संबंधी प्रश्न (Medical Questions)।
- बेहतर सामान्यीकरण (Better Generalization): PriFT के साथ प्रशिक्षित मॉडल ने केवल प्रशिक्षण डेटा को रटा नहीं; वे उन नए समस्याओं को हल करने में भी बेहतर हो गए जिन्हें उन्होंने पहले नहीं देखा था।
- अधिक विविधता (More Diversity): "ऑनलाइन" तरीकों के विपरीत, जिन्होंने मॉडल को कठोर बना दिया था, PriFT ने मॉडल की सोच को विविध बनाए रखा। यह एक टूलबॉक्स में कई अलग-अलग औजारों को रखने जैसा था, न कि केवल एक हथौड़े को।
- रीइन्फोर्समेंट लर्निंग (RL) के लिए बेहतर तैयारी: अक्सर, SFT के बाद, शोधकर्ता रीइन्फोर्समेंट लर्निंग (जैसे एक वीडियो गेम जहाँ AI ट्रायल और एरर से सीखता है) का उपयोग और भी स्मार्ट बनने के लिए करते हैं। शोध पत्र ने पाया कि PriFT इस अगले चरण के लिए एक बहुत बेहतर "शुरुआती बिंदु" बनाता है। क्योंकि PriFT ने मॉडल के फोकस को बहुत जल्दी संकुचित नहीं किया, इसलिए RL गेम खेलते समय मॉडल के पास "बढ़ने के लिए अधिक स्थान" था।
मुख्य निष्कर्ष (The Bottom Line)
लेखक का दावा है कि सीखने की प्रक्रिया को निर्देशित करने के लिए मॉडल की वर्तमान, बदलती स्थिति के बजाय, एक स्थिर, फ्रोजन संदर्भ (मॉडल के मूल ज्ञान) का उपयोग करके, हमें एक स्मार्ट और अधिक लचीला AI प्राप्त होता है। यह एक ऐसे छात्र के बीच का अंतर है जो अपने वर्तमान मूड का अंधाधुंध पालन करता है बनाम एक ऐसे छात्र के बीच जो आगे क्या सीखना है यह तय करने के लिए अपने ठोस ज्ञान के आधार से परामर्श करता है।
मुख्य बात: PriFT AI मॉडलों को यह सीखने में मदद करता है कि वे कौन हैं यह भूले बिना या बहुत संकीर्ण मानसिकता वाले बने बिना नए कौशल कैसे सीखें, जिससे गणित, कोडिंग और चिकित्सा में बेहतर प्रदर्शन होता है, और भविष्य के प्रशिक्षण के लिए उनकी सफलता के लिए बेहतर आधार तैयार होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।