Trajectory Geometry of Transformer Representations Across Layers
यह शोध पत्र मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) के लिए एक प्रोब-मुक्त (probe-free), ज्यामितीय ढांचे को प्रस्तुत करता है जो ट्रांसफार्मर रिप्रजेंटेशन्स को परतों के माध्यम से विविक्त प्रक्षेप पथों (discrete trajectories) के रूप में अभिलक्षित करता है, जो सार्वभौमिक तीन-चरणीय गतिकी (three-phase dynamics) को प्रकट करता है और यह प्रदर्शित करता है कि कैसे वक्रता (curvature), अभिसरण (convergence) और द्विभाजन (bifurcation), विविध मॉडल परिवारों में कम्प्यूटेशनल जटिलता, सिमेंटिक समानता और अस्पष्टता को एनकोड करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ट्रांसफॉर्मर एआई (जैसे कि चैटबॉट्स को चलाने वाले मॉडल) को एक ब्लैक बॉक्स के रूप में न देखें जो जादुई रूप से टेक्स्ट को उत्तरों में बदल देता है, बल्कि इसे एक विशाल, अदृश्य परिदृश्य में चलने वाले एक हाइकर (हाइकर/पगडंडी पर चलने वाला) के रूप में देखें।
यह शोध पत्र उस हाइकर को देखने का एक नया तरीका प्रस्तावित करता है। हर कदम पर रुककर यह पूछने के बजाय कि, "तुम अभी किस विशिष्ट शब्द के बारे में सोच रहे हो?" (जैसा कि अधिकांश शोधकर्ता आमतौर पर करते हैं), लेखकों ने पगडंडी की शुरुआत से अंत तक हाइकर द्वारा तय किए गए पूरे रास्ते का मानचित्र बनाने का निर्णय लिया। वे इस पथ को एक "ट्रैजेक्टरी" (प्रक्षेपवक्र) कहते हैं।
यहाँ उन्होंने सरल उपमाओं का उपयोग करते हुए उस पथ के आकार के बारे में क्या खोजा, इसका विवरण दिया गया है:
1. "चुंबक" प्रभाव (सिमेंटिक कन्वर्जेंस - अर्थ संबंधी अभिसरण)
उपमा: कल्पना करें कि आप "कुत्तों" के बारे में तीन अलग-अलग रंगों की गेंदें (तीन अलग-अलग वाक्यों का प्रतिनिधित्व करने वाली) एक फनल (कीप) में डालते हैं। ऊपर से, वे एक-दूसरे से दूर होती हैं। जैसे-जैसे वे नीचे गिरती हैं, उन्हें फनल के केंद्र की ओर खींचा जाता है जब तक कि वे एक तंग ढेर में एक साथ न आ जाएं।
निष्कर्ष: शोधकर्ताओं ने पाया कि जब एआई समान अर्थ वाले वाक्यों को प्रोसेस करता है, तो उनके आंतरिक "पथ" शुरू में दूर होते हैं, लेकिन नेटवर्क के मध्य और अंतिम चरणों में धीरे-धीरे एक ही बिंदु की ओर मुड़ते हैं। वे इन स्थानों को "अट्रैक्टर्स" (आकर्षण केंद्र) कहते हैं। ऐसा लगता है जैसे एआई के भीतर एक इन-बिल्ट चुंबक है जो गहराई से सोचने के दौरान समान विचारों को एक साथ खींच लेता है।
2. "टेढ़ा-मेढ़ा रास्ता" बनाम "सीधी रेखा" (कर्वेचर - वक्रता)
उपमा: दो ड्राइवरों के बारे में सोचें।
- ड्राइवर A केवल अपनी कार का रंग बदल रहा है (जैसे, "बिल्ली" बनाम "कुत्ता")। वह एक बिल्कुल सीधी, उबाऊ रेखा में गाड़ी चलाता है।
- ड्राइवर B एक जटिल पहेली या गणित की समस्या हल कर रहा है। उसे इधर-उधर मुड़ना पड़ता है, तीखे मोड़ लेने पड़ते हैं, और एक टेढ़े-मेढ़े, घुमावदार रास्ते पर नेविगेट करना पड़ता है।
निष्कर्ष: पेपर में पाया गया कि "टेढ़े-मेढ़े रास्ते" (उच्च कर्वेचर) तब होते हैं जब एआई कठिन तर्क या सादृश्य (analogies) कर रहा होता है। "सीधी रेखाएं" (कम कर्वेचर) तब होती हैं जब एआई केवल शब्दों में सतही स्तर के छोटे बदलाव कर रहा होता है। पथ का "घुमावदार होना" सीधे तौर पर इस बात का माप है कि एआई कितनी कठिन सोच रहा है।
3. "रास्ते का दोराहा" (डिसांबिग्यूएशन - अर्थ स्पष्टीकरण)
उपमा: कल्पना करें कि एक हाइकर रास्ते के दोराहे पर खड़ा है। शुरू में, वह बस दोराहे के आधार पर खड़ा है, अनिश्चित है कि किस दिशा में जाना है। जैसे ही वह कुछ कदम आगे बढ़ता है, वह धीरे-धीरे बाएं रास्ते के प्रति प्रतिबद्ध होता है, और "बाएं रास्ते" और "दाएं रास्ते" के बीच की दूरी बढ़ती जाती है जब तक कि वे मीलों दूर न हो जाएं।
निष्कर्ष: जब एआई एक ऐसे शब्द का सामना करता है जिसके दो अर्थ होते हैं (जैसे नदी का "बैंक/किनारा" बनाम पैसे वाला "बैंक"), तो दोनों संभावित अर्थ बिल्कुल एक ही स्थान से शुरू होते हैं। लेकिन जैसे-जैसे एआई वाक्य को प्रोसेस करता है, पथ विभाजित हो जाता है। नेटवर्क के लगभग 20-25% हिस्से के दौरान, पथ स्पष्ट रूप से अलग होने लगते हैं, और अंत तक, वे पूरी तरह से अलग हो जाते हैं। एआई तुरंत निर्णय नहीं लेता; वह एक अर्थ को चुनने के लिए पथ पर यात्रा करते हुए धीरे-धीरे प्रतिबद्ध होता है।
4. यात्रा के तीन चरण (थ्री-फेज स्ट्रक्चर)
उपमा: यह यात्रा यादृच्छिक (random) नहीं है; यह हमेशा तीन विशिष्ट अध्यायों में होती है, चाहे कोई भी एआई मॉडल उपयोग किया गया हो:
- अध्याय 1: मानचित्र (एनकोडिंग): हाइकर इलाके को देखता है और पता लगाता है कि वह कहाँ है। पथ दिशा तेजी से बदलता है।
- अध्याय 2: पदयात्रा (एलाबोरेटिंग/विस्तार): हाइकर जंगल के बीच से लगातार चलता है। यहीं पर "चुंबक" प्रभाव और कठिन समस्याओं के लिए "टेढ़े-मेढ़े रास्ते" होते हैं। पथ स्थिर है लेकिन भारी काम (heavy lifting) कर रहा है।
- अध्याय 3: गंतव्य (आउटपुट की तैयारी): हाइकर फिनिश लाइन देखता है और रुकने के लिए तैयार होने हेतु अपनी चाल को समायोजित करता है। पथ अंतिम उत्तर की तैयारी के लिए एक आखिरी बार दिशा बदलता है।
उन्हें कैसे पता चला कि यह वास्तविक है
लेखकों ने केवल अनुमान नहीं लगाया। उन्होंने यह सुनिश्चित करने के लिए "कंट्रोल प्रयोग" चलाए कि वे ऐसी चीजें नहीं देख रहे हैं जो मौजूद ही नहीं हैं:
- यदि उन्होंने परतों (layers) का क्रम बदल दिया (जैसे किताब के अध्यायों को मिला देना), तो पैटर्न गायब हो गए।
- यदि उन्होंने रैंडम, बिना प्रशिक्षित वेट्स (weights) वाला मॉडल उपयोग किया (जैसे बिना मानचित्र वाला हाइकर), तो पैटर्न गायब हो गए।
- यदि उन्होंने शब्दों को यादृच्छिक रूप से असाइन किया, तो "चुंबक" प्रभाव खत्म हो गया।
मुख्य निष्कर्ष
यह पेपर तर्क देता है कि हम उसकी यात्रा की ज्यामिति (geometry) को देखकर यह समझ सकते हैं कि एआई कैसे सोचता है। हमें हर कदम पर एआई को रोकने और यह पूछने की आवश्यकता नहीं है कि वह क्या सोच रहा है। इसके बजाय, हम बस उसके पथ के आकार को देख सकते हैं:
- सीधी रेखाएं = आसान कार्य।
- टेढ़े-मेढ़े रास्ते = कठिन सोच।
- एक साथ आते पथ = समान विचार एक साथ आना।
- विभाजित होते पथ = अर्थों के बीच चुनाव करना।
यह एक नया नजरिया है जो हमें बिना किसी अतिरिक्त टूल को इंस्टॉल किए या एआई को खुद को समझाने के लिए कहे, बुद्धिमत्ता के "प्रवाह" (flow) को देखने की अनुमति देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।