Transformers converge to invariant algorithmic cores
यह शोध पत्र एल्गोरिद्मिक कोर एक्सट्रैक्शन (ACE) को प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि स्वतंत्र रूप से प्रशिक्षित ट्रांसफॉर्मर, भिन्न भार विन्यासों (weight configurations) के बावजूद, सघन, अपरिवर्तनीय एल्गोरिद्मिक उप-स्थानों (subspaces) पर अभिसरित होते हैं जो उनके व्यवहार को नियंत्रित करते हैं, जो स्पष्ट जटिलता के नीचे एक साझा कम्प्यूटेशनल संरचना को प्रकट करता है और यांत्रिक समझ एवं नियंत्रण के लिए एक नया मार्ग प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: अलग रास्ते, एक ही मंजिल
कल्पना कीजिए कि आप अपने घर से एक विशिष्ट कॉफी शॉप तक पहुँचने की कोशिश कर रहे हैं।
- ड्राइवर A उपनगरों के रास्ते, फिर हाईवे, और फिर एक संकरी गली से जाता है।
- ड्राइवर B शहर के केंद्र, फिर एक पार्क, और फिर एक पुल के रास्ते जाता है।
- ड्राइवर C फेरी और ट्रेन से जुड़े एक बिल्कुल अलग रास्ते पर जाता है।
यदि आप उनके नक्शों (उन रास्तों को देखते हैं जिनसे वे गुजरे) को देखें, तो वे एक-दूसरे से बिल्कुल अलग दिखेंगे। वे पूरी तरह से भिन्न हैं। हालाँकि, यदि आप देखते हैं कि वे वास्तव में क्या कर रहे हैं (कॉफी शॉप तक जाने की क्रिया), तो वे सभी बिल्कुल एक ही काम कर रहे हैं।
यह शोध पत्र तर्क देता है कि AI मॉडल (विशेष रूप से "ट्रांसफॉर्मर्स") भी इसी तरह काम करते हैं। जब हम दो AI मॉडल को एक ही कार्य करने के लिए प्रशिक्षित करते हैं, तो उनकी आंतरिक "वायरिंग" (वेट्स और पैरामीटर्स) पूरी तरह से अलग होती है। लेकिन, गहराई में, वे सभी उस काम को करने के लिए एक ही छिपे हुए "इंजन" का उपयोग कर रहे होते हैं।
लेखक इस छिपे हुए इंजन को एल्गोरिदमिक कोर (Algorithmic Core) कहते हैं।
समस्या: गलत चीज़ को देखना
आमतौर पर, जब वैज्ञानिक यह समझने की कोशिश करते हैं कि AI कैसे काम करता है, तो वे एक एकल मॉडल की विशिष्ट वायरिंग को देखते हैं। यह पेपर कहता है कि ऐसा करना जोखिम भरा है। यह ड्राइवर A के नक्शे का अध्ययन करने और यह सोचने जैसा है कि, "आह, तो कॉफी तक पहुँचने के लिए, आपको संकरी गली से ही गुजरना होगा।" लेकिन वह सिर्फ ड्राइवर A के रास्ते का एक संयोग था। ड्राइवर B ने वह गली नहीं ली।
यह पेपर सुझाव देता है कि हमें विशिष्ट रास्तों (एक प्रशिक्षण रन के अव्यवस्थित, अद्वितीय विवरणों) को देखना बंद कर देना चाहिए और उस इनवेरिएंट (Invariant) (वह अपरिवर्तनीय सत्य जो सभी ड्राइवरों के बीच साझा है) को खोजना शुरू करना चाहिए।
समाधान: "कोर" को खोजना
लेखकों ने ACE नामक एक उपकरण बनाया जिसे एल्गोरिदमिक कोर एक्सट्रैक्शन (Algorithmic Core Extraction) कहा जाता है। ACE को एक विशेष एक्स-रे चश्मे के रूप में समझें।
- यह शोर (Noise) को फ़िल्टर करता है: यह उन लाखों अद्वितीय विवरणों को अनदेखा कर देता है जो एक AI को दूसरे से अलग बनाते हैं।
- यह इंजन को खोजता है: यह AI के भीतर एक छोटा, सघन "कोर" अलग करता है जो कार्य करने के लिए बिल्कुल आवश्यक है। यदि आप इस कोर को हटा देते हैं, तो AI विफल हो जाता है। यदि आप केवल इस कोर को रखते हैं, तो AI अभी भी पूरी तरह से काम करता है।
- यह सिद्ध करता है कि वे समान हैं: भले ही AI बाहर से अलग दिखते हों, ACE दिखाता है कि वे सभी के भीतर एक ही गणितीय "इंजन" छिपा हुआ है।
तीन प्रयोग: सरल से जटिल तक
इस पेपर ने इस विचार का परीक्षण तीन अलग-अलग परिदृश्यों में किया:
1. सरल पहेली (मार्कोव चेन्स - Markov Chains)
उन्होंने तीन अलग-अलग AI को एक सरल खेल सिखाया: एक अनुक्रम (sequence) में अगले कदम की भविष्यवाणी करना।
- परिणाम: तीनों AI ने पूरी तरह से अलग आंतरिक मानचित्रों का उपयोग करके सीखा। उनकी "वायरिंग" लगभग पूरी तरह से अलग थी।
- कोर: लेकिन जब ACE ने अंदर देखा, तो उसने पाया कि तीनों के भीतर एक छोटा, 3-आयामी "कोर" छिपा हुआ था जो बिल्कुल एक ही गणित का उपयोग कर रहा था। यह यह खोजने जैसा था कि तीन अलग-अलग कार इंजन, भले ही बाकी कारें अलग दिखती हों, सभी में एक ही 3-सिलेंडर पिस्टन व्यवस्था का उपयोग किया गया है।
2. "ग्रोकिंग" (Grokking) का रहस्य (मॉड्यूलर एडिशन)
"ग्रोकिंग" एक अजीब घटना है जहाँ एक AI अचानक एक गणितीय समस्या को याद करने के बजाय उसे पूरी तरह से हल करने लगता है।
- खोज: लेखकों ने पाया कि जैसे ही AI "ग्रोक्स" (अचानक समझ जाता है), उसके भीतर एक सघन, गोलाकार "कोर" बनता है। यह कोर एक घड़ी की तरह काम करता है, जो गणित को हल करने के लिए संख्याओं को घुमाता है।
- ट्विस्ट: यदि आप सीखने के बाद भी AI को प्रशिक्षित करना जारी रखते हैं, तो यह कोर "सूज" जाता है। यह उतनी जगह का उपयोग करने लगता है जितनी इसे ज़रूरत नहीं है, और एक ही गणित की कई अतिरिक्त प्रतियों से भर जाता है।
- सबक: पेपर ने पाया कि किसी समस्या को हल करने के कई अतिरिक्त तरीके होने से वास्तव में AI को तेजी से सीखने में मदद मिलती है। यह एक टीम के लोगों के समान है जो एक ही उत्तर चिल्ला रहे हैं; अंततः, सही उत्तर तेज़ी से पहुँच जाता है।
3. वास्तविक दुनिया (भाषा मॉडल - Language Models)
अंत में, उन्होंने छह विशाल, वास्तविक दुनिया के AI मॉडल (जैसे GPT-2, LLaMA, आदि) को देखा जिनका उपयोग टेक्स्ट लिखने के लिए किया जाता है। ये मॉडल बहुत बड़े और एक-दूसरे से बहुत अलग हैं।
- कार्य: वे सब्जेक्ट-वर्ब एग्रीमेंट (यह जानना कि वाक्य में "is" या "are" की आवश्यकता है) पर ध्यान केंद्रित करते हैं।
- खोज: इन छह विशाल मॉडलों में, AI के मस्तिष्क में एक एकल, अदृश्य "रेखा" (1-आयामी अक्ष) है जो नियंत्रित करती है कि वाक्य एकवचन है या बहुवचन।
- जादुई ट्रिक: यदि आप इस एकल रेखा को "पलट" (दिशा उलट) देते हैं, तो AI तुरंत व्याकरण संबंधी गलतियाँ करने लगता है। यह "The cat is" को "The cat are" में बदल देता है।
- संरेखण (Alignment): भले ही ये मॉडल अलग-अलग कंपनियों द्वारा बनाए गए हों, अलग-अलग डेटा पर प्रशिक्षित किए गए हों और अलग-अलग आकार के हों, वे व्याकरण को संभालने के लिए बिल्कुल इसी समान रेखा का उपयोग करते हैं। यह ऐसा है जैसे हर मानव मस्तिष्क, चाहे उसकी संस्कृति या भाषा कुछ भी हो, "मैं" और "हम" के बीच निर्णय लेने के लिए बिल्कुल एक ही न्यूरल स्विच का उपयोग करता है।
यह क्यों महत्वपूर्ण है
यह पेपर निष्कर्ष निकालता है कि AI की अव्यवस्थित, जटिल सतह के नीचे, एक सरल, साझा संरचना होती है।
- पेंट जॉब को न देखें: AI के विशिष्ट रंग और आकार (पैरामीटर्स) केवल इसके प्रशिक्षण के संयोग हैं।
- इंजन को देखें: "एल्गोरिदमिक कोर" ही असली चीज़ है। यह वह हिस्सा है जो वही रहता है चाहे कोई भी AI बनाए या उसे कैसे भी बनाए।
इन कोरों को खोजकर, हम AI को बेहतर ढंग से समझ और नियंत्रित कर सकते हैं। लाखों सूक्ष्म तारों को ठीक करने के बजाय, हम बस उस एक "स्विच" को खोज सकते हैं जो उस व्यवहार को नियंत्रित करता है जिसकी हमें आवश्यकता है।
सारांश उपमा
कल्पना कीजिए कि तीन अलग-अलग वास्तुकार (architects) एक घर बना रहे हैं।
- वास्तुकार A लकड़ी का उपयोग करता है।
- वास्तुकार B ईंट का उपयोग करता है।
- वास्तुकार C स्टील का उपयोग करता है।
यदि आप सामग्री को देखते हैं, तो वे पूरी तरह से अलग हैं। लेकिन यदि आप सीढ़ियों के ब्लूप्रिंट को देखते हैं, तो आप पाएंगे कि तीनों वास्तुकारों ने ऊपर जाने के लिए बिल्कुल उसी 10-सीढ़ी वाले डिज़ाइन का उपयोग किया है क्योंकि वह सबसे कुशल तरीका है।
यह पेपर कहता है: "लकड़ी, ईंट और स्टील के बारे में बहस करना बंद करें। आइए सीढ़ियों का अध्ययन करें।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।