Decomposing Representation Space into Interpretable Subspaces with Unsupervised Learning
यह शोध पत्र 'नेबर डिस्टेंस मिनिमाइजेशन' (NDM) नामक एक अनसुपरवाइज्ड विधि प्रस्तुत करता है जो न्यूरल मॉडल रिप्रेजेंटेशन स्पेस को स्पष्ट रूप से व्याख्या योग्य, गैर-बेसिस-अलाइन्ड सबस्पेस में सफलतापूर्वक विघटित करती है, जो विशिष्ट अमूर्त अवधारणाओं और सर्किट वेरिएबल्स के अनुरूप हैं, जैसा कि GPT-2 और 2B-स्केल मॉडल्स पर गुणात्मक विश्लेषण और मात्रात्मक प्रयोगों के माध्यम से प्रदर्शित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक न्यूरल नेटवर्क (जैसे कि एक AI का मस्तिष्क) की कल्पना एक विशाल, उच्च-आयामी (high-dimensional) कमरे के रूप में करें जो अदृश्य "विचारों" से भरा हुआ है। जब AI एक वाक्य को प्रोसेस करता है, तो वह केवल एक विचार को स्टोर नहीं करता; वह एक साथ हजारों अलग-अलग विवरणों को स्टोर करता है: वर्तमान शब्द, उस शब्द की स्थिति, बातचीत का विषय, और व्याकरण के नियम।
समस्या यह है कि ये सभी विचार आपस में मिलकर एक विशाल, अस्त-व्यस्त ढेर बन गए हैं। यदि आप समझना चाहते हैं कि AI कैसे काम करता है, तो यह ऊन के एक गोले में एक विशिष्ट धागे को खोजने जैसा है जहाँ हर रंग आपस में मिला हुआ है।
बड़ा विचार: ऊन को सुलझाना
यह पेपर एक नई विधि पेश करता है जिसे नेबर डिस्टेंस मिनिमाइजेशन (NDM) कहा जाता है। AI के "विचार वाले कमरे" की कल्पना एक भीड़भाड़ वाले डांस फ्लोर के रूप में करें जहाँ हर कोई एक अराजक मिश्रण में नाच रहा है। शोधकर्ताओं ने एक तरीका खोजने की कोशिश की जिससे वे नर्तकों को इस आधार पर अलग-अलग समूहों में विभाजित कर सकें कि वे वास्तव में क्या कर रहे हैं, बिना उन्हें यह बताए कि उन्हें क्या खोजना है।
उन्होंने पाया कि यदि आप कमरे को इस तरह व्यवस्थित करते हैं कि जो नर्तक समान चीजें कर रहे हैं वे एक-दूसरे के करीब रहें, और जो अलग चीजें कर रहे हैं वे दूर रहें, तो आप स्वाभाविक रूप से अलग-अलग "सबस्पेस" (subspaces) या "क्षेत्र" बना लेते हैं।
यह कैसे काम करता है (उपमा)
कल्पना कीजिए कि आपके पास मिश्रित LEGO ब्रिक्स का एक बॉक्स है: लाल वाले, नीले वाले और हरे वाले।
- पुराना तरीका: शोधकर्ताओं को आमतौर पर यह अनुमान लगाना पड़ता था कि कौन से ब्रिक्स एक साथ जाते हैं या उन्हें पहले सॉर्ट करने के लिए किसी इंसान से पूछना पड़ता था (सुपरवाइज्ड लर्निंग)।
- नया तरीका (NDM): शोधकर्ताओं ने बस ब्रिक्स के बॉक्स से कहा: "जो ब्रिक्स समान हैं उन्हें पास रखें, और जो अलग हैं उन्हें दूर धकेल दें।"
आश्चर्यजनक रूप से, बॉक्स ने खुद को व्यवस्थित कर लिया! लाल ब्रिक्स स्वाभाविक रूप से एक साथ आ गए, नीले ब्रिक्स ने अपना स्वयं का समूह बनाया, और हरे ब्रिक्स ने भी वैसा ही किया। शोधकर्ताओं को यह जानने की आवश्यकता नहीं थी कि "लाल" या "नीला" क्या है; "अपने पड़ोसियों के करीब रहने" का गणित ने उनके लिए छंटनी कर दी।
उन्होंने क्या पाया
एक बार जब उन्होंने कमरे को इन साफ-सुथरे क्षेत्रों में विभाजित कर दिया, तो उन्होंने इसके अंदर देखा और कुछ अद्भुत पाया:
- विशेषीकृत क्षेत्र (Specialized Zones): प्रत्येक क्षेत्र एक विशिष्ट प्रकार की जानकारी को संभालता था: एक क्षेत्र पूरी तरह से "वर्तमान शब्दों" के लिए समर्पित था, दूसरा "हम वाक्य में कहाँ हैं" के लिए, और एक अन्य "कहानी के विषय" के लिए।
- वेरिएबल्स (Variables): ये क्षेत्र कंप्यूटर प्रोग्राम के वेरिएबल्स की तरह कार्य करते हैं। जिस तरह एक वेरिएबल
xएक संख्या रखता है, ये क्षेत्र विशिष्ट अवधारणाओं को रखते हैं। यदि AI "एलिस" के बारे में बात कर रहा है, तो "नाम वाला क्षेत्र" "एलिस" को रखता है। यदि यह "बॉब" पर स्विच करता है, तो वही "नाम वाला क्षेत्र" "बॉब" में अपडेट हो जाता है, जबकि "विषय वाला क्षेत्र" वही रहता है। - यह बड़े मॉडल्स पर भी काम करता है: उन्होंने पहले छोटे खिलौना मॉडल्स (toy models) पर परीक्षण किया, फिर वास्तविक AI मॉडल्स (जैसे GPT-2 और 2-बिलियन-पैरामीटर वाले मॉडल्स) पर। यह हर जगह काम कर गया। बड़े मॉडल्स में, उन्होंने अलग-अलग क्षेत्र भी खोजे जो "मॉडल अपने प्रशिक्षण से क्या जानता है" बनाम "मॉडल अभी प्रॉम्प्ट में क्या पढ़ रहा है" को संभालते हैं।
यह क्यों महत्वपूर्ण है
इससे पहले, एक AI को समझने की कोशिश करना एक ऐसी किताब को पढ़ने जैसा था जहाँ सभी अक्षर बिखरे हुए थे। यह तरीका हमें उन अक्षरों को शब्दों और वाक्यों में अनस्क्रैम्बल (unscramble) करने का एक तरीका देता है।
शोधकर्ता इन नए क्षेत्रों को "सबस्पेस सर्किट्स" (subspace circuits) कहते हैं। व्यक्तिगत न्यूरॉन्स को देखने के बजाय (जो धुंधली छवि के एकल पिक्सेल की तरह हैं), अब हम इन पूरे क्षेत्रों (स्पष्ट, अलग शब्दों की तरह) को देख सकते हैं। यह हमें यह ट्रैक करने की अनुमति देता है कि AI सूचना को अपने मस्तिष्क के एक भाग से दूसरे भाग में कैसे ले जाता है, जिससे हमें यह समझने का एक स्पष्ट मानचित्र मिलता है कि ये बुद्धिमान मशीनें वास्तव में कैसे सोचती हैं।
संक्षेप में:
यह पेपर दिखाता है कि आप एक AI को उसके अपने अस्त-व्यस्त विचारों को व्यवस्थित फोल्डरों में व्यवस्थित करने के लिए सिखा सकते हैं, बस उसे समान विचारों को एक-दूसरे के करीब रखने के लिए कहकर। यह प्रकट करता है कि AI सूचना को प्रोसेस करने के लिए स्वाभाविक रूप से एक संरचित, समझने योग्य "वेरिएबल्स" की प्रणाली बनाता है, भले ही मनुष्य उसे यह करने के लिए न बता रहे हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।