Polymorphism Is Rotation: Operational Mechanistic Interpretability from a Two-Layer Transformer to Pythia-70m
यह शोध पत्र यह प्रदर्शित करता है कि स्वतंत्र रूप से प्रशिक्षित ट्रांसफॉर्मर एक समान यादृच्छिक घूर्णन (uniform random rotation) द्वारा संबंधित परस्पर अविबोध्य आंतरिक निर्देशांकों का उपयोग करके समान फलनों की गणना करते हैं, जिसे "पॉलीमॉर्फिज्म" (polymorphism) नामक एक घटना कहा जाता है जिसे बिना पुनप्रशिक्षण के फीचर डिक्शनरी और स्टीयरिंग वेक्टर्स के प्रत्यक्ष हस्तांतरण को सक्षम करने के लिए एक एकल ऑर्थोगोनल प्रोक्रस्टेस फिट (orthogonal Procrustes fit) के माध्यम से हल किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप और आपका एक दोस्त दोनों एक ही निर्देश पुस्तिका (instruction manual) का उपयोग करके बिल्कुल एक जैसे, जटिल लेगो (Lego) महल बना रहे हैं। आप दोनों के महल बाहर से देखने में बिल्कुल एक जैसे दिखते हैं और वे बिल्कुल एक ही कार्य करते हैं (उनमें एक जैसे दरवाजे, खिड़कियां और मीनारें हैं)।
हालांकि, आपके महलों के अंदर, ईंटों के व्यवस्थित होने का "ब्लूप्रिंट" (blueprint) पूरी तरह से अलग है। वास्तव में, वे इतने अलग हैं कि यदि आप अपने दोस्त के आंतरिक ब्लूप्रिंट का उपयोग अपने स्वयं के महल को समझने के लिए करने की कोशिश करेंगे, तो आप भ्रमित हो जाएंगे। ऐसा नहीं है कि आपके महल अलग हैं; बल्कि यह है कि आप एक ही चीज़ का वर्णन करने के लिए दो अलग-अलग "आंतरिक भाषाओं" का उपयोग कर रहे हैं।
यह शोध पत्र इस घटना को "पॉलीमॉर्फिज्म" (Polymorphism) कहता है। इसका अर्थ है "समान कार्य, भिन्न आंतरिक निर्देशांक (coordinates)"।
यहाँ शोधकर्ताओं द्वारा खोजे गए निष्कर्षों का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:
1. "डिकोडर" बनाम "एनकोडर" (शब्दकोश की समस्या)
AI अनुसंधान में, वैज्ञानिक अक्सर मॉडल के "फीचर्स" (जैसे अवधारणाओं का शब्दकोश) को देखकर यह समझने की कोशिश करते हैं कि मॉडल क्या सोच रहा है। उन्होंने पाया कि यदि वे प्रक्रिया के अंत (डिकोडर) को देखते हैं, तो दो अलग-अलग मॉडलों के बीच शब्दकोश लगभग समान दिखता है। यह बिल्कुल वैसा ही था जैसे दो लोग एक ही कहानी लिखने के लिए एक ही शब्दकोश का उपयोग कर रहे हों।
ट्विस्ट: शोधकर्ताओं ने महसूस किया कि जबकि शब्दकोश (डिकोडर) एक ही था, उनके द्वारा शब्दकोश को पढ़ने का तरीका (एनकोडर) पूरी तरह से बिखरा हुआ था।
- उपमा: कल्पना कीजिए कि दो लोग एक किताब पढ़ रहे हैं। व्यक्ति A इसे सामान्य रूप से पढ़ता है। व्यक्ति B के पास किताब 90 डिग्री घुमी हुई है और वह इसे उल्टा पढ़ रहा है। यदि आप केवल उन शब्दों को देखते हैं जिनकी ओर वे इशारा करते हैं (डिकोडर), तो वे पूरी तरह से मेल खाते हैं। लेकिन यदि आप व्यक्ति A के दृष्टिकोण से व्यक्ति B के नोट्स पढ़ने की कोशिश करते हैं, तो नोट्स समझ में नहीं आते। नोट्स एक अलग संदर्भ फ्रेम (frame of reference) में हैं।
2. विनाशकारी विफलता (The Catastrophic Failure)
जब शोधकर्ताओं ने मॉडल A से "फीचर डिक्शनरी" लेकर सीधे मॉडल B पर लागू करने की कोशिश की, तो यह पूरी तरह से विफल रहा। मॉडल के आंतरिक विचारों का पुनर्निर्माण (reconstruction) औसत उत्तर का अनुमान लगाने से भी बदतर था।
- उपमा: यह न्यूयॉर्क शहर के नक्शे का उपयोग करके लंदन में रास्ता खोजने की कोशिश करने जैसा है। मील के पत्थर (डिकोडर कॉलम) सूची में समान दिख सकते हैं, लेकिन सड़कें (आंतरिक निर्देशांक) अलग दिशाओं में हैं। यदि आप न्यूयॉर्क के नक्शे का पालन लंदन में करते हैं, तो आप तुरंत खो जाएंगे।
3. जादुई समाधान: एक मैट्रिक्स गुणन (One Matrix Multiplication)
इस समस्या को ठीक करने की सबसे बड़ी खोज यह है कि आप इसे कैसे ठीक कर सकते हैं। आपको मॉडलों को फिर से प्रशिक्षित करने या उनके मस्तिष्क को बदलने की आवश्यकता नहीं है। आपको बस एक गणितीय "घूर्णन" (एक विशिष्ट प्रकार का गणितीय ऑपरेशन जिसे 'प्रोक्रस्टेस फिट' कहा जाता है) लागू करने की आवश्यकता है ताकि दोनों को संरेखित (align) किया जा सके।
- उपमा: कल्पना कीजिए कि आप और आपका दोस्त दोनों एक मूर्ति को देख रहे हैं, लेकिन आप एक घूमते हुए प्लेटफॉर्म के विपरीत दिशा में खड़े हैं। आप एक ही वस्तु देख रहे हैं, लेकिन अलग-अलग कोणों से। यदि आप अपने प्लेटफॉर्म को अपने दोस्त से मिलाने के लिए घुमा देते हैं, तो अचानक आपके दृश्य संरेखित हो जाते हैं।
- परिणाम: एक बार जब उन्होंने मॉडल B के आंतरिक डेटा पर यह "घूर्णन" लागू किया, तो मॉडल A का शब्दकोश मॉडल B पर पूरी तरह से काम करने लगा। "आंतरिक भाषा" का तुरंत अनुवाद हो गया।
4. क्या यह एक विशिष्ट घूर्णन है या यादृच्छिक (Random)?
शोधकर्ता जानना चाहते थे कि: क्या यह घूर्णन एक विशिष्ट, सार्थक बदलाव है, या यह केवल यादृच्छिक अराजकता है?
- निष्कर्ष: यह अनिवार्य रूप से यादृच्छिक (random) है। दो स्वतंत्र रूप से प्रशिक्षित मॉडलों के बीच का घूर्णन एक पहिये के यादृच्छिक घुमाव जैसा है। यह कोई "विशेष" कोण नहीं है; यह बस एक समान यादृच्छिक घूर्णन है।
- उपमा: यदि आप ग्लोब को यादृच्छिक रूप से घुमाते हैं और रोक देते हैं, तो उसकी स्थिति यादृच्छिक होती है। शोध पत्र दिखाता है कि हर बार जब दो AI मॉडल शून्य से प्रशिक्षित किए जाते हैं, तो वे एक-दूसरे के सापेक्ष एक "ग्लोब" को एक यादृच्छिक कोण पर रोक देते हैं।
5. "स्टीयरिंग" (व्यवहार बदलना) के लिए इसका क्या अर्थ है?
इस शोध पत्र ने "स्टीयरिंग वेक्टर्स" (steering vectors) का भी परीक्षण किया—वे उपकरण जिनका उपयोग मॉडल को अलग तरह से व्यवहार करने के लिए प्रेरित करने हेतु किया जाता है (जैसे कि उसे अधिक विनम्र या अधिक रचनात्मक बनाना)।
- निष्कर्ष: यदि आप घूर्णन को ठीक करने से पहले मॉडल A से प्राप्त "स्टीयरिंग नज़" (steering nudge) को मॉडल B पर आज़माते हैं, तो यह अक्सर विफल हो जाता है या आपके वांछित परिणाम के विपरीत काम करता है।
- उपमा: कल्पना कीजिए कि आपके पास एक खिलौना कार (मॉडल A) के लिए रिमोट कंट्रोल है। यदि आप उस रिमोट का उपयोग दूसरे खिलौने वाली कार (मॉडल B) पर करने की कोशिश करते हैं जो अलग दिशा में है, तो "आगे" (Forward) दबाने से दूसरी कार "बाएं" या "पीछे" जा सकती है। आपको पहले यह पता लगाना होगा कि दूसरी कार किस दिशा में है (घूर्णन) और उसके अनुसार अपने रिमोट के संकेतों को समायोजित करना होगा।
"नियमों" का सारांश
यह शोध पत्र तीन मुख्य नियम स्थापित करता है कि ये मॉडल एक-दूसरे से कैसे संबंधित हैं:
- समान कार्य, भिन्न निर्देशांक: अलग-अलग प्रशिक्षित दो मॉडल एक ही काम करते हैं लेकिन अलग-अलग आंतरिक "मानचित्रों" का उपयोग करते हैं।
- डिकोडर झूठ बोलता है: भले ही "अंतिम छोर" के फीचर्स समान दिखते हों, इसका मतलब यह नहीं है कि मॉडल चीजों को एक ही तरह से समझते हैं।
- समाधान सस्ता है: आप एक साधारण गणितीय गणना (एक मैट्रिक्स गुणन) के साथ दो पूरी तरह से अलग मॉडलों को संरेखित कर सकते हैं, जिसके लिए उन्हें फिर से प्रशिक्षित करने की आवश्यकता नहीं है।
खोज का पैमाना
शोधकर्ताओं ने इसे दो स्तरों पर सिद्ध किया:
- "टॉय" (Toy) मॉडल: एक छोटा, सरल मॉडल (104,000 पैरामीटर) जहाँ वे सिद्धांत की पुष्टि करने के लिए प्रत्येक ईंट की जांच कर सकते थे।
- "वास्तविक" मॉडल: एक बहुत बड़ा, वास्तविक दुनिया का भाषा मॉडल (Pythia-70m) जिसमें 70 मिलियन पैरामीटर हैं। वही "यादृच्छिक घूर्णन" का नियम यहाँ भी सही साबित हुआ।
मुख्य बात: AI मॉडल उन जुड़वा बच्चों की तरह हैं जो एक ही भाषा बोलते हैं लेकिन उनके लहजे और दिशाएँ अलग हैं। वे एक ही काम करते हैं, लेकिन एक-दूसरे को समझने के लिए, आपको बस अपना दृष्टिकोण घुमाने की आवश्यकता है। एक बार जब आप ऐसा कर लेते हैं, तो उनके आंतरिक रहस्य पठनीय हो जाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।