🤖 AI

Laguerre Geometry for Interpreting Large Language Models

यह शोध पत्र एक लैगुएर ज्यामिति (Laguerre Geometry) ढांचे को प्रस्तुत करता है जो LLM अवधारणाओं को बिंदुओं के बजाय स्थानिक क्षेत्रों (spatial regions) के रूप में पुनर्परिभाषित करता है, जिससे ट्रांसफॉर्मर मॉडल के आंतरिक तर्क प्रक्षेपवक्रों (reasoning trajectories) और पदानुक्रमित संरचनाओं को सटीक रूप से विज़ुअलाइज़ करने, मापने और हेरफेर करने के लिए ज्योमेट्रिक लेंस (Geometric Lens) और लैगुएर ऑटोएनकोडर (Laguerre Autoencoder) जैसे प्रशिक्षण-मुक्त उपकरणों का विकास सक्षम होता है।

मूल लेखक: Chunwei Ma, Russell Wolfinger

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chunwei Ma, Russell Wolfinger

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, बहु-मंजिला पुस्तकालय के रूप में करें जहाँ हर किताब उस शब्द का प्रतिनिधित्व करती है जिसे मॉडल अगला बोल सकता है। लंबे समय तक, वैज्ञानिकों ने सोचा कि इस पुस्तकालय के भीतर हर "विचार" या "अवधारणा" (concept) केवल एक मानचित्र पर लगी एक छोटी सी पिन की तरह है। यदि आप "Dog" (कुत्ता) की अवधारणा को खोजना चाहते, तो आप बस एक विशिष्ट पिन को देखते।

लेकिन यह नया शोध पत्र बताता है कि यह दृष्टिकोण बहुत सरल है। एक एकल पिन के बजाय, लेखक प्रस्ताव देते हैं कि एक अवधारणा वास्तव में एक पूरा कमरा है जिसमें दीवारें, एक फर्श और एक छत है। वे इसे "लैगुएर-वोरोनोई सेल" (Laguerre-Voronoi cell) कहते हैं। इसे एक शहर के मोहल्ले की तरह समझें: "Dog" केवल एक घर नहीं है; यह वह पूरा ब्लॉक है जहाँ कुत्ते से संबंधित सभी विचार रहते हैं, जो "Cat" (बिल्ली) या "Bird" (पक्षी) से अलग करने वाली अदृश्य बाड़ से घिरा हुआ है।

वह मानचित्र जिसने सब कुछ बदल दिया

लेखकों, चनवेई मा और रसेल डी. वुल्फिंगर ने इन मानचित्रों को खींचने के लिए लैगुएर ज्यामिति (Laguerre Geometry) नामक गणित की एक शाखा का उपयोग किया। इस ज्यामिति में, प्रत्येक अवधारणा का एक केंद्र (जैसे कि शहर का चौक) और एक विशेष "भार" (weight/radius of influence) होता है।

यहाँ एक बड़ा मोड़ है जो उन्होंने पाया: भार मायने रखता है।
यदि आप केवल यह देखते हैं कि दो शब्द एक-दूसरे के कितने करीब हैं (दूरी), तो आप यह अंतर नहीं बता सकते कि "puppy" (कुत्ते का बच्चा - एक प्रकार का कुत्ता) और "mammal" (स्तनधारी - एक श्रेणी जिसमें कुत्ते शामिल हैं) के बीच क्या अंतर है। एक साधारण मानचित्र में वे समान रूप से करीब हो सकते हैं। लेकिन जब आप लैगुएर ज्यामिति से "भार" जोड़ते हैं, तो मानचित्र एक पदानुक्रम (hierarchy) प्रकट करता है। यह दिखाता है कि "puppy" "dog" के कमरे के अंदर है, और "dog" "mammal" के कमरे के अंदर है। गणित यह सिद्ध करता है कि मॉडल स्वाभाविक रूप से इन विचारों को 'नेस्टिंग डॉल्स' (एक के भीतर एक आने वाली गुड़िया) की तरह व्यवस्थित करता है, और आप इस नेस्टिंग को तभी देख सकते हैं जब आप इस विशिष्ट ज्यामितीय लेंस का उपयोग करें।

मशीन के भीतर झाँकना

यह शोध पत्र एक रहस्य को भी सुलझाता है: वाक्य पूरा होने से पहले, मॉडल टाइप करने के बीच में क्या सोच रहा होता है?

कल्पना कीजिए कि आप मॉडल से पूछते हैं, "The capital of France is..." (फ्रांस की राजधानी है...)

पुराना दृष्टिकोण (Logit Lens): वैज्ञानिक पहले सोचते थे कि मॉडल पहले शब्द से ही उत्तर "Paris" की ओर धीरे-धीरे बढ़ रहा है।
नया दृष्टिकोण (Geometric Lens): लेखकों ने वास्तविक समय में मॉडल की "विचार प्रक्रिया" को देखने के लिए ज्यामितीय लेंस (Geometric Lens) नामक एक उपकरण बनाया। उन्होंने पाया कि मॉडल का आंतरिक पथ बहुत अधिक अराजक और दिलचस्प है।

अपने प्रयोगों में, उन्होंने देखा कि वाक्य को प्रोसेस करते समय मॉडल के छिपे हुए विचार विभिन्न "कमरों" (क्षेत्रों) के माध्यम से कैसे यात्रा करते हैं।

शुरुआत में, मॉडल कई विकल्पों पर विचार करता है।
फिर, यह मध्य परतों (layers) में सही तथ्य वाले शब्द "Paris" (बिना स्पेस के) को पकड़ लेता है।
अंत में, अंतिम चरणों में, यह आउटपुट देने से पहले खुद को व्याकरणिक रूप से सही शब्द "_Paris" (स्पेस के साथ) में सुधार करता है।

ज्यामितीय लेंस ही एकमात्र उपकरण था जिसने इस पूरी यात्रा को पकड़ा। अन्य उपकरणों ने या तो बहुत जल्दी काम रोक दिया या बीच के चरणों को पूरी तरह से मिस कर दिया।

जब मॉडल भ्रमित हो जाता है

लेखकों ने यह भी परीक्षण किया कि जब आप मॉडल को चकमा देने की कोशिश करते हैं तो क्या होता है। उन्होंने इसे एक प्रॉम्प्ट दिया जैसे: "आप एक काल्पनिक दुनिया में हैं जहाँ मैर्सिले (Marseille) और ल्यों (Lyon) ने अपने नाम बदल लिए हैं। लौवर (Louvre) यहाँ है..."
सामान्यतः, मॉडल नकली कहानी से भ्रमित हो जाता है और वास्तविक उत्तर "Paris" के बजाय "Lyon" या "Marseille" कह सकता है।

हालाँकि, जब लेखकों ने टाइप करने से पहले (विशेष रूप से लेयर 20 पर) मॉडल के विचारों को देखने के लिए अपने 'ज्यामितिक लेंस' का उपयोग किया, तो उन्होंने पाया कि मॉडल सच्चाई जानता था। भले ही नकली कहानी के कारण अंतिम उत्तर गलत था, लेकिन ज्यामितिक लेंस ने दिखाया कि मॉडल के आंतरिक "विचार" ने नकली कहानी के प्रभाव में बहने से पहले, सही उत्तर "Paris" की यात्रा संक्षिप्त रूप से की थी।

इसका क्या अर्थ है (और क्या नहीं)

यह शोध पत्र सुझाव देता है कि हमें अवधारणाओं को एकल बिंदु के रूप में सोचना बंद कर देना चाहिए और उन्हें विशिष्ट आकृतियों और भार वाले संपूर्ण क्षेत्रों के रूप में देखना शुरू करना चाहिए। उन्होंने गणितीय रूप से सिद्ध किया कि ये क्षेत्र मौजूद हैं और रैखिक रूप से विभाज्य (linearly separable) हैं (अर्थात आप किन्हीं भी दो अलग-अलग अवधारणा कक्षों के बीच एक सीधी रेखा खींच सकते हैं)।

उन्होंने इसे वास्तविक मॉडलों जैसे Phi-2 और Gemma-2 का उपयोग करके मापा। विभिन्न तरीकों से अवधारणाओं को परिभाषित करने के परीक्षणों में, उनके "लैगुएर" तरीके ने "Animals" (जानवरों) को "Plants" (पौधों) से अलग करना पिछले तरीकों की तुलना में आसान बना दिया। उदाहरण के लिए, Phi-2 मॉडल पर, जानवरों और पौधों के बीच अंतर करने के लिए उनकी विधि में त्रुटि दर 0.111 थी, जो पुराने "कैटेगोरिकल ज्योमेट्री" (Categorical Geometry) विधि के 0.121 त्रुटि दर से बेहतर थी।

उन्होंने यह भी प्रदर्शन किया कि उनका "ज्यामितिक लेंस" भ्रमित करने वाले प्रॉम्प्ट के दौरान मॉडल के वास्तविक तर्क को पहचानने में अन्य उपकरणों की तुलना में बेहतर है। "Paris" इंटरफेरेंस टेस्ट में, ज्यामितिक लेंस ने Phi-2 पर 0.56 की सटीकता के साथ सही टोकन को रिकवर किया, जो Patchscopes के 0.55 और Logit Lens के 0.05 से बेहतर था।

निचोड़

यह शोध पत्र यह दावा नहीं करता है कि इसने एआई (AI) के सभी रहस्यों को सुलझा लिया है। यह अभी हमें यह नहीं बताता कि मॉडल को नियंत्रित कैसे किया जाए (यह भविष्य के कार्य के लिए है)। लेकिन यह हमें ब्लैक बॉक्स के भीतर क्या हो रहा है, इसे देखने का एक नया, स्पष्ट तरीका प्रदान करता है। यह सुझाव देता है कि मॉडल की बुद्धिमत्ता केवल A से B तक की एक सीधी रेखा नहीं है; यह कमरों के एक शहर के माध्यम से एक जटिल यात्रा है, जहाँ मॉडल विभिन्न विचारों पर जाता है, उनका भार तौलता है, और बोलने से पहले कभी-कभी अपना मन बदल लेता है। और लैगुएर ज्यामिति की मदद से, हमारे पास अब एक ऐसा मानचित्र है जो हमें केवल एक बिंदु नहीं, बल्कि पूरा मोहल्ला दिखाता है।

तकनीकी सारांश: लैगर (Laguerre) ज्यामिति द्वारा लार्ज लैंग्वेज मॉडल्स (LLMs) की व्याख्या करना

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) के भीतर परमाणु गणनाओं (atomic computations) की ऑन्टोलॉजिकल स्पष्टता के बावजूद, वे एपिस्टेमोलॉजिकल तंत्र (epistemological mechanisms) जिनके माध्यम से ये गणनाएँ उभरती हुई बुद्धिमत्ता (emergent intelligence) में परिवर्तित होती हैं, अपारदर्शी बने हुए हैं। एक केंद्रीय रहस्य यह है कि LLM प्रतिनिधित्व स्थानों (representation spaces) के भीतर अर्थपूर्ण अवधारणाओं (semantic concepts) का संगठन कैसे होता है। मौजूदा दृष्टिकोण, जो मुख्य रूप से लीनियर रिप्रजेंटेशन हाइपोथीसिस (LRH) पर आधारित हैं, आमतौर पर अवधारणाओं को एकल बिंदुओं, रैखिक दिशाओं, या गाऊसी क्लस्टर्स (Gaussian clusters) के रूप में परिभाषित करते हैं। हालाँकि, इन ढाँचों के तहत चार मौलिक प्रश्न अनसुलझे हैं: (I) एक अवधारणा की सटीक परिभाषा क्या है? (II) यह किस प्रतिनिधित्व स्थान (representation space) में एनकोडेड है? (III) कौन सी ठोस ज्यामितीय संरचना इसे वहन करती है? और (IV) रैखिकता (linearity) क्यों मानी जाती है, और यह किस सीमा तक सत्य है? इसके अतिरिक्त, वर्तमान व्याख्यात्मक उपकरण (जैसे Logit Lens, Tuned Lens) अक्सर ह्यूरिस्टिक डिकोडिंग पर निर्भर करते हैं या प्रशिक्षण की आवश्यकता रखते हैं, जिनमें मध्यवर्ती परतों (intermediary layers) के छिपे हुए वेक्टर्स के "अर्थ" के लिए एक सिद्धांत-आधारित ग्राउंड ट्रुथ (ground truth) का अभाव है।

कार्यप्रणाली (Methodology)
लेखक निम्न-स्तरीय ज्यामितीय अपघटन (geometric decomposition) को उच्च-स्तरीय अर्थपूर्ण संगठन के साथ एकीकृत करने के लिए लैगर ज्यामिति (Laguerre Geometry) पर आधारित एक ज्यामितीय ढांचे का प्रस्ताव करते हैं। कार्यप्रणाली तीन मुख्य चरणों में आगे बढ़ती है:

अनएम्बेडिंग लेयर एक लैगर-वोरोनोई डायग्राम (LVD) के रूप में:
लेखक यह स्थापित करते हैं कि एक LLM की अंतिम रैखिक प्रोजेक्शन लेयर (unembedding layer), जो वेट्स $W$ और बायस $b$ द्वारा पैरामीटराइज्ड है, स्वाभाविक रूप से प्रतिनिधित्व स्थान $\mathbb{R}^d$ को एक लैगर-वोरोनोई डायग्राम (जिसे पावर डायग्राम भी कहा जाता है) में विभाजित करती है।

अवधारणा की परिभाषा: एक अवधारणा को केवल एक वेक्टर के रूप में नहीं, बल्कि एक विशिष्ट लैगर-वोरोनोई सेल $\omega_j$ के रूप में पुनर्व्याख्यायित किया गया है, जो एक केंद्र $c_j$ और एक वेट $\nu_j$ द्वारा अभिलक्षित है। एक श्रेणी (category) को ऐसे कई सेल्स के संघ (union) के रूप में परिभाषित किया गया है।
ज्यामितीय गुण: यह सूत्रीकरण अवधारणाओं और श्रेणियों के बीच रैखिक पृथकरणीयता (linear separability) के लिए एक सख्त परिभाषा प्रदान करता है। महत्वपूर्ण रूप से, यह लैगर वेट्स और सेंटर्स से प्राप्त एक डोमिनेशन स्कोर (Domination Score) पेश करता है, जो पदानुक्रमित संबंधों (जैसे, हायपोनिमी/हाइपरनिमी) का पता लगाने में सक्षम है (जैसे, "dog" $\subset$ "mammal" $\subset$ "animal"), जिन्हें केवल वेक्टर दूरियों का उपयोग करके पहचानना कठिन है।

ट्रांसफॉर्मर लेयर्स का अपघटन:
लेखक इस ज्यामितीय दृष्टिकोण को मध्यवर्ती ट्रांसफॉर्मर ब्लॉक्स तक विस्तारित करते हैं। नेटवर्क को पीसवाइज-लीनियर ऑपरेटर्स (MLP ब्लॉक्स) में विघटित करके और अटेंशन मैकेनिज्म का विश्लेषण करके, वे प्रदर्शित करते हैं कि इनपुट स्पेस को पीसवाइस-लीनियर क्षेत्रों में विभाजित किया गया है।

सिंगल-इनपुट बनाम मल्टीपल-इनपुट: सिंगल-इनपुट टोकन्स के लिए, प्रक्षेपवक्र (trajectory) पीसवाइस-लीनियर फ्लो के एक स्थिर पेड़ (static tree) का अनुसरण करता है। मल्टीपल इनपुट्स के लिए, क्रॉस-अटेंशन मैकेनिज्म एक गतिशील ट्रांसपोर्ट टर्म के रूप में कार्य करता है, जो जब अटेंशन फायर होता है, तो छिपे हुए प्रक्षेपवक्र को विभिन्न पेड़ों (क्षेत्रों) के बीच "हॉप" (hop) कराता है।
क्षेत्र सहसंबंध (Region Correspondence): किसी भी लेयर के प्रत्येक लीनियर क्षेत्र को एक अर्थपूर्ण लेबल दिया जाता है, जो उस लैगर सेल के अनुरूप होता है जहाँ वह आगे के कॉन्टेक्स्टुअल इंटरफेरेंस के बिना नेटवर्क के माध्यम से प्रसारित होने पर अंततः पहुँचेगा।

ज्यामितीय लेंस और लैगर ऑटोएनकोडर:

जियोमेट्रिक लेंस (Geometric Lens): छिपे हुए वेक्टर्स को डिकोड करने के लिए एक ट्रेनिंग-फ्री, हाइपरपैरामीटर-फ्री विधि। यह बाद के कॉन्टेक्स्टुअल प्रभावों से एक छिपे हुए वेक्टर $h^{(\ell)}_i$ को अलग करता है, जहाँ सेल्फ-अटेंशन वेट्स को 1 (क्रॉस-टोकन अपडेट को शून्य करना) के रूप में सेट किया जाता है और वेक्टर को शेष पीसवाइस-लीनियर नेटवर्क के माध्यम से प्रसारित करके उसके अंतिम लैगर सेल की पहचान की जाती है।
लैगर ऑटोएनकोडर (LAE): एक 2D विज़ुअलाइज़ेशन टूल जो छिपे हुए प्रतिनिधित्व और उनके संबंधित LVD क्षेत्रों को संयुक्त रूप से रेंडर करता है। इसे एक लॉस फंक्शन के साथ प्रशिक्षित किया जाता है जो रिकंस्ट्रक्शन एरर और एक ऐसे टर्म को जोड़ता है जो यह सुनिश्चित करता है कि पुनर्निर्मित बिंदु मूल बिंदु के समान लैगर सेल के भीतर हो, जिससे निर्णय ज्यामिति (decision geometry) सुरक्षित रहती है।

प्रमुख योगदान

अवधारणाओं की पुनर्व्याख्या: यह शोध पत्र बिंदु-आधारित या दिशा-आधारित परिभाषाओं से आगे बढ़कर, अनएम्बेडिंग लेयर द्वारा प्रेरित कॉनवेक्स पॉलीहेड्रल क्षेत्रों (लैगर-वोरोनोई सेल्स) के रूप में अवधारणाओं को परिभाषित करता है।
पदानुक्रम की खोज: यह प्रदर्शित करता है कि लैगर वेट्स वैचारिक पदानुक्रम और समावेशन संबंधों को स्वाभाविक रूप से एनकोड करते हैं, जिससे पूर्व-निर्धारित एट्रिब्यूट सेट्स के बिना हायपोनिम्स और हाइपरनिम्स की अनसुपरवाइज्ड खोज संभव होती है।
जियोमेट्रिक लेंस: एक अभिनव, ट्रेनिंग-फ्री व्याख्यात्मक उपकरण जो यह प्रकट करता है कि कोई छिपा हुआ वेक्टर किसी भी लेयर में वास्तव में किस अवधारणा को एनकोड कर रहा है, जो मॉडल के आंतरिक पीसवाइस-लीनियर विभाजन के माध्यम से उसके पथ का पता लगाता है।
विज़ुअलाइज़ेशन: लैगर ऑटोएनकोडर मॉडल की निर्णय ज्यामिति और टोकन प्रतिनिधित्व के प्रक्षेपवक्र दोनों का एक एकीकृत 2D दृश्य प्रदान करता है।

प्रायोगिक परिणाम
लेखक अपने ढांचे को निम्नलिखित प्रयोगों के माध्यम से मान्य करते हैं:

रैखिक पृथकरणीयता (Linear Separability): "Animal vs. Plant" और "Event vs. Cognition" की तुलना करने वाले लीनियर प्रोबिंग कार्यों में, लैगर ज्यामिति (LVD से लिफ्टेड पॉइंट्स का उपयोग करके) ने कई मॉडलों (Phi-2, Gemma-2, Pythia) में कैटेगोरिकल ज्योमेट्री (व्हाइटनड वेक्टर्स) और लैटिस ज्योमेट्री की तुलना में कम एरर रेट प्राप्त किया।
पदानुक्रम का पता लगाना (Hierarchy Detection): प्रस्तावित डोमिनेशन स्कोर ने Phi-2 और Pythia-70M पर लैटिस ज्योमेट्री और रैंडम बेसलाइन की तुलना में काफी बेहतर सटीकता के साथ पदानुक्रमित संबंधों (जैसे, "animal" के अंतर्गत "dog") की पहचान की।
प्रक्षेपवपथ विश्लेषण (Trajectory Analysis): प्रॉम्प्ट "The capital of France is" के विज़ुअलाइज़ेशन दिखाते हैं कि जियोमेट्रिक लेंस, Logit Lens और Patchscopes की तुलना में प्रतिनिधित्व स्थान के माध्यम से अधिक जटिल और विविध पथ को ट्रैक करता है। यह मॉडल की आंतरिक परिष्करण प्रक्रिया (refinement process) को पकड़ता है, जहाँ व्याकरणिक रूप से गलत लेकिन तथ्यात्मक रूप से सही टोकन (जैसे, "Paris") मध्यवर्ती परतों में दिखाई देते हैं, इससे पहले कि मॉडल व्याकरणिक रूप से सही टोकन ("_Paris") पर स्थिर हो जाए।
इन-कॉन्टेक्स्ट इंटरफेरेंस (In-Context Interference): काल्पनिक संदर्भ में शहरों के नामों को बदलने के लिए डिज़ाइन किए गए प्रॉम्प्ट्स में, जियोमेट्रिक लेंस बेहतर मजबूती (robustness) प्रदर्शित करता है। मध्यवर्ती परतों (विशेष रूप से लेयर 20) में टोकन रैंक का परीक्षण करके, जियोमेट्रिक लेंस Logit Lens या Patchscopes की तुलना में अक्सर सही तथ्य वाले टोकन को रिकवर करता है, जो यह सुझाव देता है कि यह अंतिम-लेयर इंटरफेरेंस द्वारा ओवरराइट होने से पहले मॉडल की वास्तविक तर्क प्रक्रिया को प्रकट करता है।

महत्व और दावे
यह शोध पत्र लीनियर रिप्रजेंटेशन हाइपोथीसिस को एक औपचारिक धारणा से बदलकर मॉडल की पीसवाइस-लीनियर संरचना के एक सख्ती से परिभाषित गुण के रूप में एक कठोर ज्यामितीय आधार प्रदान करने का दावा करता है। यह स्थापित करके कि अवधारणाएं बिंदुओं के बजाय क्षेत्र (regions) हैं, लेखक तर्क देते हैं कि यह ढांचा छिपे हुए प्रतिनिधित्वों के लिए एक सिद्धांत-आधारित ग्राउंड ट्रुथ प्रदान करता है, जिससे ह्यूरिस्टिक डिकोडिंग या बाहरी प्रशिक्षण की आवश्यकता समाप्त हो जाती है।

इसका महत्व "व्याख्यात्मक ज्यामिति" (स्थिर संरचनाओं का वर्णन करना) से "क्रियाशील व्याख्यात्मकता" (actionable interpretability) की ओर बढ़ने में निहित है। जियोमेट्रिक लेंस शोधकर्ताओं को किसी भी लेयर में छिपे हुए वेक्टर द्वारा एनकोड की गई सटीक अवधारणा को पढ़ने की अनुमति देता है और जैसा कि प्रदर्शित किया गया है, यह तथ्य को रिकवर कर सकता है जब मॉडल का अंतिम आउटपुट इन-कॉन्टेक्स्ट इंटरफेरेंस द्वारा दूषित हो जाता है। लेखक इस कार्य को यह समझने की दिशा में एक मौलिक कदम के रूप में प्रस्तुत करते हैं कि निम्न-स्तरीय ज्यामितीय विभाजनों से उच्च-स्तरीय बुद्धिमत्ता कैसे उभरती है, जिसमें भविष्य के कार्यों की योजना इसे कॉज़ल इंटरवेंशन (causal intervention) और व्यवहार स्टीयरिंग (behavior steering) तक विस्तारित करने के लिए बनाई गई है।

वह मानचित्र जिसने सब कुछ बदल दिया

मशीन के भीतर झाँकना

जब मॉडल भ्रमित हो जाता है

इसका क्या अर्थ है (और क्या नहीं)

निचोड़

इसी तरह के और पेपर