Your Language Model Secretly Contains Personality Subnetworks
यह शोध पत्र प्रदर्शित करता है कि बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) स्वाभाविक रूप से अपने मौजूदा मापदंडों के भीतर व्यक्तित्व-विशिष्ट उप-नेटवर्कों (पर्सोना-स्पेशलाइज्ड सब-नेटवर्क्स) को समाहित करते हैं, जो मास्किंग और कंट्रास्टिव प्रूनिंग रणनीतियों के माध्यम से विशिष्ट व्यवहारों के कुशल, प्रशिक्षण-मुक्त निष्कर्षण की अनुमति देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका पसंदीदा लार्ज लैंग्वेज मॉडल (जैसे ChatGPT) एक विश्व-स्तरीय अभिनेता है।
वर्तमान में, जब हम चाहते हैं कि यह अभिनेता एक नई भूमिका निभाए—जैसे, एक विनम्र बटलर से बदलकर एक गुस्सैल समुद्री डाकू (pirate) बनना—तो हम आमतौर पर तीन में से एक काम करते हैं:
- स्क्रिप्ट विधि (प्रॉम्प्टिंग): हम उन्हें कागज का एक टुकड़ा थमाते हैं जिस पर लिखा होता है, "एक समुद्री डाकू की तरह अभिनय करो!" अभिनेता कोशिश तो करता है, लेकिन कभी-कभी वह चूक जाता है और अभी भी बहुत अधिक बटलर जैसा सुनाई देता है।
- कॉस्ट्यूम ट्रंक विधि (RAG): हम उन्हें समुद्री डाकू के कुछ प्रॉप्स वाला एक बॉक्स देते हैं। यह मदद तो करता है, लेकिन थोड़ा बोझिल है।
- री-ट्रेनिंग विधि (फाइन-ट्यूनिंग): हम अभिनेता को महीनों लंबे गहन समुद्री डाकू अभिनय स्कूल में भेज देते हैं। यह बहुत अच्छा काम करता है, लेकिन यह अविश्वसनीय रूप से महंगा और धीमा है।
यह शोध पत्र एक चौथी, बहुत अधिक शानदार विधि प्रस्तावित करता है: "हिडन टैलेंट" (छिपी हुई प्रतिभा) विधि।
बड़ा विचार: अभिनेता पहले से ही एक प्रो है
शोधकर्ताओं ने एक अद्भुत बात खोजी है: अभिनेता को वास्तव में एक नई स्क्रिप्ट या प्रशिक्षण स्कूल की आवश्यकता नहीं है। "समुद्री डाकू" पहले से ही अभिनेता के मस्तिष्क के भीतर जीवित है।
उन्होंने महसूस किया कि एआई के "मस्तिष्क" के विशाल कनेक्शनों के जाल के भीतर, छोटे, विशिष्ट "सब-नेटवर्क्स" (sub-networks) होते हैं—इन्हें "छिपे हुए टैलेंट सर्किट" के रूप में सोचें। एक "विनम्र सर्किट", एक "मजाकिया सर्किट" और एक "समुद्री डाकू सर्किट", ये सभी एक ही सिर के भीतर दबे हुए हैं।
यह कैसे काम करता है: "प्रिसिजन स्पॉटलाइट" (सटीक स्पॉटलाइट)
मॉडल को नई चीजें सिखाने के बजाय, शोधकर्ता प्रूनिंग (Pruning) नामक एक तकनीक का उपयोग करते हैं।
कल्पना कीजिए कि एआई का मस्तिष्क एक विशाल, भीड़भाड़ वाला मंच है जो हजारों अभिनेताओं से भरा है जो एक साथ बोल रहे हैं। आपको "समुद्री डाकू" व्यक्तित्व पाने के लिए उन सभी की आवश्यकता नहीं है। आपको बस उन विशिष्ट लोगों की आवश्यकता है जो गुर्राना और खजाने के बारे में बात करना जानते हैं।
शोधकर्ताओं की विधि एक प्रिसिजन स्पॉटलाइट की तरह काम करती है:
- अवलोकन (Observation): वे एआई को किसी व्यक्तित्व (जैसे, एक "धन-खोजी") के कुछ उदाहरण दिखाते हैं ताकि यह देखा जा सके कि कौन से "न्यूरॉन्स" चमक रहे हैं।
- मुखौटा (The Mask): वे एक डिजिटल "मास्क" (निर्देशों का एक सेट) बनाते हैं जो कहता है: "इस मंच पर मौजूद सभी लोगों को बंद कर दो, सिवाय उन लोगों के जो समुद्री डाकू सर्किट में हैं।"
- स्विच (The Switch): जब आपको समुद्री डाकू चाहिए होता है, तो वे तुरंत मास्क चालू कर देते हैं। मॉडल का बाकी हिस्सा अंधेरे में चला जाता है, और केवल मस्तिष्क का "समुद्री डाकू" वाला हिस्सा बोलने की अनुमति पाता है।
"विपरीत" वाली ट्रिक (कॉन्ट्रास्टिव प्रूनिंग)
शोधकर्ताओं ने एक पेचीदा समस्या को भी हल किया है: क्या होगा यदि दो व्यक्तित्व एक-दूसरे के विपरीत हों? (जैसे, एक अंतर्मुखी बनाम एक बहिर्मुखी)।
यदि आप केवल "अंतर्मुखी" सर्किट को चालू करते हैं, तो कुछ "बहिर्मुखी" हिस्से अभी भी लीक हो सकते हैं। इसे ठीक करने के लिए, उन्होंने कॉन्ट्रास्टिव प्रूनिंग (Contrastive Pruning) का आविष्कार किया। यह एक बॉक्सिंग मैच में रेफरी की तरह है: यह दो विरोधी व्यक्तित्वों को देखता है और कहता है, "तुम, इस विशिष्ट न्यूरॉन को लो; तुम, इससे दूर रहो!" यह दोनों व्यक्तित्वों को अपने-अपने दायरे में रहने के लिए मजबूर करता है, जिससे "अंतर्मुखी" बहुत अधिक शांत और "बहिर्मुखी" बहुत अधिक मुखर हो जाता है, जिससे कोई भी उलझन भरा ओवरलैप नहीं होता।
यह क्यों महत्वपूर्ण है (इसका महत्व क्या है?)
- यह तत्काल है: मॉडल को नया व्यक्तित्व "सीखने" के लिए अब दिनों तक इंतजार करने की जरूरत नहीं है। यह एक लाइट स्विच को पलटने जैसा है।
- यह हल्का है: आप मस्तिष्क में नए भाग नहीं जोड़ रहे हैं; आप बस उन हिस्सों का उपयोग कर रहे हैं जो पहले से ही वहां मौजूद हैं।
- यह कुशल है: क्योंकि आप मस्तिष्क के उन हिस्सों को "बंद" कर रहे हैं जिनकी आपको आवश्यकता नहीं है, मॉडल वास्तव में तेजी से चल सकता है और कम ऊर्जा का उपयोग कर सकता है।
संक्षेप में: यह शोध पत्र साबित करता है कि एआई को अलग-अलग लोग बनने के लिए सिखाने की आवश्यकता नहीं है; इसे बस अनलॉक करने की आवश्यकता है ताकि यह हमें उन कई अलग-अलग पात्रों को दिखा सके जिन्हें यह पहले से ही जानता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।