Relational Rank Geometry in Transformers: Detecting and Steering Hidden-State Relation Frames
यह शोधपत्र प्रदर्शित करता है कि ट्रांसफॉर्मर हिडन स्टेट्स (hidden states) में उच्च-क्रम के रिलेशनल स्ट्रक्चर्स (high-order relational structures) को प्लकर साइन एंट्रॉपी (Plücker sign entropy) के माध्यम से पहचाना जा सकता है और रिलेशन-फ्रेम ज्योमेट्री (relation-frame geometry) पर लक्षित हस्तक्षेपों के माध्यम से प्रभावी ढंग से नियंत्रित किया जा सकता है, जिससे विभिन्न पैमानों के लामा (Llama) मॉडल्स में सही व्यवहार संबंधी आउटपुट को पुनः प्राप्त किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़े लैंग्वेज मॉडल (जैसे चैटबॉट्स को चलाने वाले) की कल्पना एक विशाल, हलचल भरे शहर के रूप में करें। इस शहर के भीतर, जानकारी "हिडन स्टेट्स" (hidden states) नामक सड़कों के माध्यम से बहती है। अधिकांश शोधकर्ता इस शहर का अध्ययन व्यक्तिगत इमारतों (न्यूरॉन्स), एकल ट्रैफिक लाइटों (अटेंशन हेड्स), या विशिष्ट सड़कों (डायरेक्शंस) का अध्ययन करके कर रहे हैं। वे पूछते हैं, "यह विशिष्ट इमारत क्या करती है?"
यह शोध पत्र एक अलग प्रश्न पूछता है: "कई इमारतों के बीच का संबंध एक समग्र रूप में कैसा दिखता है?"
लेखक, माज़ेन कोब्रोस्ली (Mazen Kobrosly), प्रस्तावित करते हैं कि जब एक मॉडल एक जटिल संबंध को समझता है (जैसे, "A का B से वही संबंध है जो C का D से है"), तो वह केवल कुछ यादृच्छिक (random) बिंदुओं को नहीं चमकाता है। इसके बजाय, इसमें शामिल टोकन (शब्द) एक विशिष्ट, कठोर ज्यामितीय आकार (geometric shape) बनाते हैं। शोध पत्र इस आकार को "रिलेशन फ्रेम" (Relation Frame) कहता है।
यहाँ सरल उपमाओं (analogies) का उपयोग करके शोध के निष्कर्षों का विवरण दिया गया है:
1. "प्लंबर का लेवल" (आकार का पता लगाना)
इन आकारों को खोजने के लिए, लेखक ने प्लकर साइन एंट्रॉपी (Plücker Sign Entropy) नामक एक उपकरण का आविष्कार किया।
- उपमा: कल्पना करें कि आपके पास 3D स्पेस में तैरती हुई तीन छड़ें (sticks) हैं। आप उन्हें एक पिरामिड बनाने के लिए व्यवस्थित कर सकते हैं। यदि आप छड़ों का क्रम बदलते हैं, तो पिरामिड उल्टा हो सकता है या अंदर से बाहर की ओर मुड़ सकता है। यह "पलटना" अभिविन्यास (orientation) में परिवर्तन है (जैसे, बायां हाथ बनाम दायां हाथ)।
- परीक्षण: लेखक शब्दों के उन समूहों को देखते हैं जो वास्तव में संबंधित होने चाहिए (जैसे, एक विशिष्ट तर्क पहेली बनाने वाले तीन शब्द) और उन शब्दों के समूहों को देखते हैं जो केवल बिखरा हुआ कचरा हैं।
- निष्कर्ष: जब मॉडल सही संबंधित शब्दों को प्रोसेस करता है, तो वे एक बहुत ही सुसंगत, अनुमानित ज्यामितीय अभिविन्यास (जैसे, पूरी तरह से निर्मित पिरामिड) में व्यवस्थित होते हैं। जब शब्द बिखरे हुए होते हैं, तो वे बिना किसी सुसंगत आकार के छड़ियों के एक अस्त-व्यस्त ढेर की तरह दिखते हैं।
- परिणाम: यह "ज्यामितीय हस्ताक्षर" (geometric signature) विभिन्न आकारों (8 बिलियन, 70 बिलियन और 405 बिलियन पैरामीटर्स) के लामा (Llama) मॉडल्स में पाया गया। मॉडल जितना बड़ा होता, यह आकार उतना ही स्पष्ट और सुसंगत होता जाता।
2. "जादुई ग्रिड" (प्रयोग)
यह सिद्ध करने के लिए कि यह आकार वास्तव में मॉडल को सही ढंग से सोचने में मदद करता है, लेखक ने एज-ग्रिड असायी (Edge-Grid Assay) नामक एक खेल बनाया।
- उपमा: कल्पना करें कि 8 पंक्तियों और 8 कॉलमों वाला एक स्प्रेडशीट है।
- स्वच्छ अवस्था (Clean State): "YES" के निशान एक पूर्ण विकर्ण रेखा (diagonal line) बनाते हैं (पंक्ति 1 कॉलम 1 से जुड़ती है, पंक्ति 2 से कॉलम 2, आदि)। मॉडल इसे सही ढंग से एक "विकर्ण पैटर्न" के रूप में पहचानता है।
- भ्रष्ट अवस्था (Corrupt State): "YES" के निशान इस तरह बिखरे हुए हैं कि कई पंक्तियाँ एक ही कॉलम की ओर इशारा करती हैं। मॉडल इसे सही ढंग से "डुप्लिकेट पैटर्न" के रूप में पहचानता है।
- हस्तक्षेप (Intervention): लेखक ने "भ्रष्ट" अवस्था (जहाँ मॉडल भ्रमित था) को लिया और उसे "स्टीयर" (steer) करने की कोशिश की। उन्होंने केवल मॉडल को थोड़ा सा नहीं धकेला; उन्होंने उन शब्दों का प्रतिनिधित्व करने वाले आंतरिक "क्लाउड" (cloud) के डेटा को भौतिक रूप से पुनर्गठित करने का प्रयास किया।
3. "मिट्टी की मूर्ति" (मॉडल को नियंत्रित करना)
लेखक ने डेटा को अलग-अलग तरीकों से हिलाकर "भ्रष्ट" मॉडल को ठीक करने का प्रयास किया। डेटा को मिट्टी के एक लोथड़े (blob of clay) के रूप में सोचें।
- प्रयास A: केंद्र को हिलाना (केवल सेंट्रॉइड): उन्होंने पूरे मिट्टी के लोथड़े को "स्वच्छ" उत्तर की दिशा में धकेलने का प्रयास किया।
- परिणाम: विफलता। मॉडल भ्रमित ही रहा। द्रव्यमान के केंद्र (center of mass) को हिलाने से तर्क ठीक नहीं हुआ।
- प्रयास B: शोर (Noise) जोड़ना: उन्होंने डेटा में रैंडम स्टैटिक जोड़ा।
- परिणाम: विफलता। मॉडल भ्रमित ही रहा।
- प्रयास C: लोथड़े को नया आकार देना (केवल आकार): उन्होंने लोथड़े को उसी स्थान पर रखा लेकिन उसे "स्वच्छ" उत्तर के ज्यामिति के अनुरूप पुनर्गठित किया। उन्होंने मिट्टी को तब तक घुमाया और मोड़ा जब तक कि वह "स्वच्छ" मूर्ति की तरह बिल्कुल नहीं दिखने लगी।
- परिणाम: सफलता! मॉडल अचानक सही उत्तर देने लगा।
- मुख्य अंतर्दृष्टि: यह महत्वपूर्ण नहीं था कि डेटा कहाँ था (स्थान); बल्कि यह महत्वपूर्ण था कि डेटा स्वयं के सापेक्ष कैसे व्यवस्थित था (आकार)। मॉडल को काम करने के लिए संबंध के विशिष्ट ज्यामितीय "कंकाल" (skeleton) की आवश्यकता होती है।
4. "ब्लूप्रिंट ट्रांसफर" (क्रॉस-प्रॉम्ट सफलता)
लेखक ने परीक्षण किया कि क्या यह "स्वच्छ आकार" एक सार्वभौमिक समाधान है।
- उन्होंने एक विशिष्ट पहेली से प्राप्त "स्वच्छ आकार" को एक दूसरे पहेली पर लागू किया, जिसमें समान संरचना थी लेकिन शब्द अलग थे।
- परिणाम: यह काम कर गया! मॉडल ने नई पहेली को हल कर लिया।
- सावधानी: यह तभी काम किया जब "स्वच्छ आकार" एक सही ढंग से हल किए गए उदाहरण से आया था। यदि उन्होंने एक भ्रष्ट उदाहरण से "स्वच्छ आकार" को स्थानांतरित करने की कोशिश की, तो यह विफल रहा। यह सिद्ध करता है कि मॉडल केवल विशिष्ट शब्दों को याद नहीं कर रहा है; बल्कि यह "सही होने" के लिए एक पोर्टेबल ज्यामितीय प्रारूप सीख रहा है।
दावों का सारांश
यह शोध पत्र तीन विशिष्ट दावे करता है, और केवल इतना ही:
- पहचान (Detection): हम यह पता लगा सकते हैं कि मॉडल संबंधों को विशिष्ट ज्यामितीय आकारों (रिलेशन फ्रेम्स) के रूप में प्रदर्शित करते हैं, जिसके लिए प्लकर साइन एंट्रॉपी नामक एक गणितीय उपकरण का उपयोग किया जाता है।
- हस्तक्षेप (Intervention): हम मॉडल की तर्क संबंधी त्रुटियों को केवल शब्दों को बदलकर नहीं, बल्कि सही उदाहरण के अनुरूप संबंध के आंतरिक ज्यामितीय "क्लाउड" को सर्जिकल तरीके से नया आकार देकर ठीक कर सकते हैं।
- विशिष्टता (Specificity): यह इसलिए काम करता है क्योंकि यह डेटा के आकार के कारण है, न कि केवल उसके स्थान या आकार के कारण। मॉडल सही उत्तर पाने के लिए इस विशिष्ट ज्यामितीय व्यवस्था पर निर्भर करता है।
यह शोध पत्र क्या दावा नहीं करता है:
- यह दावा नहीं करता है कि इसने AI की "आत्मा" खोज ली है।
- यह दावा नहीं करता है कि यह हर प्रकार के प्रश्न के लिए काम करता है (इसका परीक्षण विशिष्ट लॉजिक ग्रिड पर किया गया था)।
- यह दावा नहीं करता है कि इसने उस पूरे सर्किट का मानचित्र तैयार किया है कि कैसे मॉडल इन आकारों को बनाता है (इसने केवल आकार को देखा, उस "मशीनरी" को नहीं जिसने इसे बनाया है)।
संक्षेप में, यह शोध पत्र दिखाता है कि एक बड़े AI के "ब्लैक बॉक्स" के भीतर, संबंधों का एक विशिष्ट, मापने योग्य 3D आकार होता है, और यदि आप उस आकार को ठीक कर सकते हैं, तो आप AI का उत्तर भी ठीक कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।