Training Skills Like Parameters via Self-Supervised Semantic Diffusion
यह शोध पत्र एक नवीन, अनसुपरवाइज्ड (unsupervised) स्व-विकसित एजेंट फ्रेमवर्क प्रस्तावित करता है जो एक स्व-सुपरवाइज्ड सिमेंटिक डिफ्यूजन प्रक्रिया के माध्यम से टेक्स्टुअल स्किल्स की एक बाहरी लाइब्रेरी को प्रशिक्षित करता है, जिससे LLMs बिना वेट एक्सेस (weight access) या बाहरी मानवीय पर्यवेक्षण के स्क्रीनराइटिंग जैसे जटिल, विशिष्ट डोमेन को स्वायत्त रूप से महारत हासिल करने में सक्षम होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन अनुभवहीन प्रशिक्षु (apprentice) को एक रोमांचक मूवी स्क्रिप्ट लिखना सिखाने की कोशिश कर रहे हैं। आपके पास हजारों पुरस्कार विजेता स्क्रिप्ट्स का एक पुस्तकालय है, लेकिन आप प्रशिक्षु के मस्तिष्क को फिर से लिखकर उन सभी को याद करने के लिए मजबूर नहीं कर सकते। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये "प्रशिक्षु" लार्ज लैंग्वेज मॉडल्स (LLMs) हैं—बेहद स्मार्ट कंप्यूटर जो चैट कर सकते हैं, लिख सकते हैं और समस्याओं को हल कर सकते हैं। हालाँकि, जब बात लघु नाटकों (short dramas) जैसे अत्यधिक विशिष्ट और रचनात्मक कार्यों की आती है, तो वे अक्सर मानव विशेषज्ञों की तुलना में थोड़े सामान्य (generic) लगते हैं। आमतौर पर, इसे ठीक करने के लिए, हम मॉडल को "फाइन-ट्यून" करने की कोशिश करते हैं, जो इसके मस्तिष्क की आंतरिक वायरिंग को बदलने के लिए ओपन-हार्ट सर्जरी करने जैसा है। लेकिन यह महंगा है, इसके लिए मॉडल के गुप्त कोड तक पहुंच की आवश्यकता होती है (जो कई शीर्ष कंपनियां नहीं देती हैं), और एक बार सर्जरी होने के बाद, मॉडल हमेशा के लिए उसी विशिष्ट संस्करण के साथ बंध जाता है। यदि अगले साल कोई बेहतर मॉडल आता है, तो आपको फिर से शुरुआत करनी होगी।
इसलिए, वैज्ञानिक एक अलग तरीका खोज रहे हैं: मस्तिष्क को बदलने के बजाय, क्यों न प्रशिक्षु को "चीट शीट्स" या एक "नियम पुस्तिका" दी जाए जिसे वह जरूरत पड़ने पर पढ़ सके? इसे "एक्सटर्नलाइज्ड लर्निंग" कहा जाता है। समस्या यह है कि इन चीट शीट्स को लिखने के लिए आमतौर पर एक मानव विशेषज्ञ को बैठकर अपने गुप्त नुस्खे समझाने की आवश्यकता होती है, जो धीमा, महंगा है और विशेषज्ञ अक्सर अपने रहस्य साझा नहीं करना चाहते क्योंकि उन्हें नकल किए जाने का डर होता है। यह शोध पत्र एक साहसी प्रश्न पूछता है: क्या हम एक AI को अपने लिए ये चीट शीट्स लिखना सिखा सकते हैं, जो केवल मौजूदा फिल्मों और स्क्रिप्ट्स का उपयोग करे, बिना किसी मानव द्वारा उसके होमवर्क को ग्रेड करने या नियमों को समझाने की आवश्यकता के?
लघु ड्रामा पटकथाओं (screenplays) के साथ काम करने वाले इस अध्ययन के पीछे के शोधकर्ताओं का कहना है कि हाँ, यह संभव है। उन्होंने एक ऐसा सिस्टम बनाया जहाँ एक AI एजेंट "करप्शन और रिकंस्ट्रक्शन" (भ्रष्टाचार और पुनर्निर्माण) का खेल खेलकर एक प्रो की तरह लिखना सीखता है। इसे ऐसे सोचिए: कल्पना कीजिए कि आप एक पूर्ण, विस्तृत मूवी स्क्रिप्ट लेते हैं और उसे एक श्रेडर (shredder) से गुजारते हैं जब तक कि आपके पास केवल कथानक का एक अव्यवधर, एक-वाक्य का सारांश न रह जाए। फिर, आप वह सारांश AI को देते हैं और कहते हैं, "इस सारांश से पूरी मूवी स्क्रिप्ट को फिर से बनाओ।" लेकिन यहाँ ट्विस्ट यह है: AI केवल अनुमान नहीं लगा रहा है; उसके पास परामर्श करने के लिए नियम कार्डों का एक "मेमोरी बैंक" है। इसके बाद, जब AI स्क्रिप्ट को फिर से बनाने की कोशिश करता है, तो सिस्टम मूल, पूर्ण मानव स्क्रिप्ट के विरुद्ध उसकी अव्यवधर पुनर्निर्माण की तुलना करता है। एक मानव शिक्षक के "अच्छा काम किया" या "बुरा काम किया" कहने के बजाय, सिस्टम स्वचालित रूप से अंतरों को पहचान लेता है—जैसे कि कहाँ संवाद बहुत लंबा था या जहाँ एक पात्र पर्याप्त रूप से नहीं हिला—और एक रिपोर्ट लिखता है कि क्या गलत हुआ।
इस रिपोर्ट का उपयोग फिर AI के मेमोरी बैंक को अपडेट करने के लिए किया जाता है। यदि AI ने एक ऐसे नियम का पालन किया जिससे खराब स्क्रिप्ट बनी, तो उस नियम को बदला या हटा दिया जाता है। यदि वह एक ऐसे नियम को भूल गया जो स्क्रिप्ट को बेहतर बना सकता था, तो एक नया नियम कार्ड बनाया जाता है। यह बार-बार होता है, एक स्व-सुधारने वाले लूप (self-correcting loop) की तरह। AI अपने मस्तिष्क को नहीं बदलता है; वह केवल अपनी बाहरी "कैसे करें" कार्डों की लाइब्रेरी को परिष्कृत करता रहता है। शोधकर्ताओं ने इसका परीक्षण पेशेवर लघु नाटकों के एक विशाल संग्रह पर किया। उन्होंने पाया कि प्रशिक्षण के बाद, AI की स्क्रिप्ट मानव गुणवत्ता के बहुत करीब हो गई। विशेष रूप से, AI ने अधिक यथार्थवादी एक्शन सीन लिखना सीखा (ऐसी चीजें वर्णित करने के बजाय जिन्हें कैमरा नहीं देख सकता), अधिक रोमांचक क्लिफहैंगर्स बनाना, और कहानी में प्रॉप्स (props) का उपयोग करना सीखा, बजाय इसके कि पात्र बस उन्हें देखते रहें।
जो चीज़ इसे वास्तव में शानदार बनाती है वह यह है कि AI द्वारा सीखे गए "चीट शीट्स" एक विशिष्ट कंप्यूटर मॉडल से बंधे नहीं हैं। शोधकर्ताओं ने एक प्रकार के AI पर प्रशिक्षित मेमोरी बैंक को लिया और उसे पूरी तरह से अलग AI मॉडल को दे दिया, और इसने उतना ही अच्छा काम किया। यह ऐसा है जैसे आपने फिल्में लिखने के लिए एक आदर्श मार्गदर्शिका लिखी हो, और उसने दो अलग-अलग मस्तिष्क वाले छात्रों को भी बेहतरीन लेखक बनने में मदद की हो। अध्ययन बताता है कि यह तरीका AI को बिना महंगे मानव शिक्षकों या AI के मूल कोड को बदले, उच्च-गुणवत्ता वाले मानव उदाहरणों से खुद को जटिल कौशल सिखाने की अनुमति देता है। हालाँकि यह प्रणाली अभी भी पूर्ण नहीं है—यह कभी-कभी सही नियम को सही समय पर पढ़ने के लिए संघर्ष करती है—यह एक आशाजनक मार्ग दिखाती है जिससे AI सर्वोत्तम मानव कार्य का अध्ययन करके खुद को लगातार सीखने और सुधारने में सक्षम हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।