A Gauge Theory of Superposition: Toward a Sheaf-Theoretic Atlas of Neural Representations
यह शोध पत्र वैश्विक शब्दकोशों (global dictionaries) के स्थान पर स्थानीय अर्थ संबंधी चार्टों (local semantic charts) का उपयोग करके, बड़े भाषा मॉडलों (large language models) में सुपरपोजिशन की व्याख्या करने के लिए एक शीफ-सैद्धांतिक गेज फ्रेमवर्क (sheaf-theoretic gauge framework) प्रस्तावित करता है, जिससे व्याख्यात्मकता (interpretability) की तीन विशिष्ट बाधाओं—लोकल जैमिंग (local jamming), प्रॉक्सी शीयरिंग (proxy shearing), और नॉनट्रिवियल होलोनोमी (nontrivial holonomy)—को परिमाणित किया जाता है और Llama-3.2-3B पर अनुभवजन्य प्रयोगों के माध्यम से इन सैद्धांतिक सीमाओं को मान्य किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल, अत्यंत बुद्धिमान AI (जैसे कि पेपर में उल्लेखित Llama मॉडल) कैसे सोचता है।
लंबे समय तक, शोधकर्ताओं का मानना था कि AI के मस्तिष्क में एक एकल, विशाल शब्दकोश (single, giant dictionary) है। उन्हें लगा कि यदि आप किसी विशिष्ट शब्द या अवधारणा को देखते हैं, तो वह हमेशा उन्हीं "न्यूरॉन्स" द्वारा दर्शाया जाएगा जो एक ही तरह से सक्रिय होते हैं, चाहे AI किसी भी विषय पर बात कर रहा हो। यह एक सार्वभौमिक अनुवादक (universal translator) की तरह था जो हर भाषा और हर संदर्भ में पूरी तरह से काम करता था।
बड़ी समस्या:
यह पेपर तर्क देता है कि यह "एकल शब्दकोश" वाला विचार गलत है। AI का मस्तिष्क वास्तव में एक पैचवर्क क्विल्ट (patchwork quilt - विभिन्न टुकड़ों से बनी रजाई) या कई स्थानीय मानचित्रों वाला एक यात्रा गाइड जैसा है।
इस पेपर के विचारों का सरल उपमाओं (analogies) का उपयोग करके विवरण यहाँ दिया गया है:
1. "एटलस" बनाम "एकल मानचित्र" (The "Atlas" vs. The "Single Map")
कल्पना कीजिए कि आप एक विशाल, जटिल शहर में एक पर्यटक हैं।
- पुराना दृष्टिकोण: आपके पास पूरे शहर का एक विशाल मानचित्र है। आप मानते हैं कि "मेन स्ट्रीट" उत्तर में भी वैसी ही दिखती है जैसी दक्षिण में।
- नया दृष्टिकोण (यह पेपर): शहर एक मानचित्र के लिए बहुत बड़ा है। इसके बजाय, आपके पास स्थानीय मानचित्रों (local maps) का एक संग्रह है (जिन्हें "चार्ट्स" कहा जाता है)।
- बिजनेस डिस्ट्रिक्ट में, "मेन स्ट्रीट" का अर्थ गगनचुंबी इमारतें और सूट हैं।
- आर्ट डिस्ट्रिक्ट में, "मेन स्ट्रीट" का अर्थ गैलरी और कॉफी शॉप है।
- इंडस्ट्रियल ज़ोन में, "मेन स्ट्रीट" का अर्थ कारखाने और ट्रक हैं।
AI के पास किसी अवधारणा के लिए कोई एक वैश्विक परिभाषा नहीं है; इसके पास स्थानीय परिभाषाएं हैं जो इस पर बदल जाती हैं कि वह वर्तमान में किस "डिस्ट्रिक्ट" (संदर्भ) में है।
2. तीन तरीके जिनसे "मानचित्र" आपस में टकराते हैं
यह पेपर यह मापने के लिए एक फैंसी गणितीय ढांचा (गेज थ्योरी और शीव्स - Gauge Theory and Sheaves) पेश करता है कि ये स्थानीय मानचित्र एक पूर्ण वैश्विक चित्र में फिट होने में कितनी विफल होते हैं। उन्होंने तीन विशिष्ट तरीके खोजे जिनसे AI इन स्थानीय दृश्यों को जोड़ने की कोशिश करते समय भ्रमित हो जाता है:
बाधा 1: लोकल जैमिंग (Local Jamming - स्थानीय जाम)
- उपमा: कल्पना कीजिए कि एक छोटा पार्किंग लॉट (AI की स्थानीय स्मृति) जिसमें 100 कारों (फीचर्स) को पार्क करने की कोशिश की जा रही है, लेकिन उसमें केवल 50 कारों की जगह है।
- क्या होता है: कारों को जबरन अंदर ठूँसा जाता है। वे एक-दूसरे से टकराने लगती हैं। AI बहुत कम जगह में बहुत सारे विचारों को भरने की कोशिश कर रहा है।
- परिणाम: फीचर्स "जैम" (जाम) हो जाते हैं। AI अब उनके बीच स्पष्ट अंतर नहीं कर पाता क्योंकि वे बहुत अधिक ओवरलैप हो रहे हैं। यह लोकल जैमिंग है।
बाधा 2: प्रॉक्सी शीयरिंग (Proxy Shearing - बेमेल पहेली के टुकड़े)
- उपमा: कल्पना कीजिए कि आप बिजनेस डिस्ट्रिक्ट से आर्ट डिस्ट्रिक्ट की ओर जा रहे हैं। आपके पास प्रत्येक के लिए एक "स्थानीय मानचित्र" है।
- बिजनेस मैप पर, "मेन स्ट्रीट" उत्तर की ओर संकेत करती है।
- आर्ट मैप पर, "मेन स्ट्रीट" पूर्व की ओर संकेत करती है।
- आप दोनों मानचित्रों को आपस में जोड़ने की कोशिश करते हैं, लेकिन सड़कें मेल नहीं खातीं। एक मानचित्र का "उत्तर", दूसरे का "पूर्व" बन जाता है।
- क्या होता है: AI एक संदर्भ से दूसरे संदर्भ में किसी अवधारणा का अनुवाद करने की कोशिश करता है, लेकिन अनुवाद "शीयर्ड" (विकृत/टेढ़ा) हो जाता है। अर्थ विकृत हो जाता है क्योंकि स्थानीय नियम वैश्विक नियमों से मेल नहीं खाते। यह प्रॉक्सी शीयरिंग है।
बाधा 3: नॉन-ट्रिवियल होलोनोमी (Nontrivial Holonomy - खोया हुआ दिशा सूचक)
- उपमा: कल्पना कीजिए कि आप एक घेरे (loop) में घूम रहे हैं। आप एक पार्क से शुरू करते हैं, बिजनेस डिस्ट्रिक्ट से गुजरते हैं, फिर आर्ट डिस्ट्रिक्ट, फिर इंडस्ट्रियल ज़ोन, और अंत में वापस पार्क में पहुँचते हैं।
- एक आदर्श दुनिया में, जब आप वापस पार्क में पहुँचेंगे, तो आपका कंपास ठीक उसी दिशा में होना चाहिए जिस दिशा में वह छोड़ते समय था।
- इस AI में, जब आप उस लूप में घूमते हैं, तो आपका कंपास एक अलग दिशा में समाप्त होता है।
- क्या होता है: किसी अवधारणा का अर्थ इस बात पर निर्भर करता है कि आप वहां तक पहुँचने के लिए कौन सा रास्ता अपनाया। यदि आप कोडिंग के संदर्भ के माध्यम से किसी विचार तक पहुँचते हैं, तो इसका एक अर्थ होता है। यदि आप कविता के संदर्भ के माध्यम से पहुँचते हैं, तो इसका कुछ और अर्थ होता है। जब आप उन्हें वापस एक ही स्थान पर लाने की कोशिश करते हैं, तो वे मेल नहीं खाते। यह पथ-निर्भरता (path-dependency) होलोनोमी कहलाती है।
3. यह क्यों मायने रखता है?
लेखकों ने इन तीन समस्याओं को मापने के लिए एक टूलकिट बनाया। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने इसे एक वास्तविक AI मॉडल (Llama 3.2) पर टेस्ट किया।
- उन्होंने साबित किया कि "एकल शब्दकोश" टूट चुका है: उन्होंने गणितीय रूप से दिखाया कि आप AI को एक सुसंगत वैश्विक शब्दकोश रखने के लिए मजबूर नहीं कर सकते बिना उसे विफल किए।
- उन्होंने पाया कि "गोंद" कमजोर है: उन्होंने मापा कि स्थानीय मानचित्र कितने टकराते हैं (शीयरिंग) और AI अपने स्वयं के लूप्स से कितना भ्रमित होता है (होलोनोमी)।
- उन्होंने इसे पुनरुत्पादनीय (reproducible) बनाया: उन्होंने दिखाया कि ये केवल यादृच्छिक गड़बड़ियाँ (glitches) नहीं हैं; ये वे संरचनात्मक विशेषताएं हैं कि कैसे एक AI सीखता है।
निष्कर्ष (The Takeaway)
AI को एक ऐसी लाइब्रेरी के रूप में न देखें जिसमें एक आदर्श कैटलॉग है, बल्कि इसे स्थानीय गाइडों की एक टीम के रूप में देखें जो अपने पड़ोस को तो पूरी तरह जानते हैं लेकिन पूरे शहर का वर्णन करने के लिए हमेशा एकमत नहीं होते।
यह पेपर AI को देखने का एक नया तरीका देता है: एक एकल "सत्य" रखने के लिए इसे मजबूर करने के बजाय, हमें यह स्वीकार करना चाहिए कि इसकी समझ स्थानीय, खंडित (patchy) और संदर्भ-निर्भर है। उन "ग्लिच" को मापकर जहाँ पैच आपस में फिट नहीं बैठते (जैमिंग, शीयरिंग और कंपास का घूमना), हम अंततः यह समझ सकते हैं कि AI अलग-अलग स्थितियों में कभी-कभी गलतियाँ क्यों करता है या अजीब व्यवहार क्यों करता है।
संक्षेप में: AI का मस्तिष्क स्थानीय वास्तविकताओं का एक पैचवर्क है, और यह पेपर उन सीमों (seams) को मापने के लिए एक पैमाना प्रदान करता है जहाँ वे पूरी तरह से मेल नहीं खाते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।