💬 NLP

Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds

यह शोध पत्र प्रस्तावित करता है कि डीप ट्रांसफॉर्मर्स में मल्टी-स्टेप रीजनिंग (बहु-चरणीय तर्क) एक क्रिटिकल नॉर्मलाइज्ड डेप्थ (क्रांतिक सामान्यीकृत गहराई) पर टोपोलॉजिकल फेज ट्रांज़िशन (स्थलाकृतिक अवस्था संक्रमण) के माध्यम से उभरती है, जहाँ लेयरवाइज रेनोर्मलाइजेशन डायनेमिक्स (परतवार पुनर्सामान्यीकरण गतिकी) प्रतिनिधित्व स्पेक्ट्रम को निम्न-एन्ट्रॉपी वाले "कॉन्सेप्ट बेसिन" (अवधारणा बेसिन) में सिकोड़ देता है जो क्षणिक, पुन: प्रयोज्य ऑब्जेक्ट-जैसे संरचनाओं का निर्माण करते हैं।

मूल लेखक: Faruk Alpay, Bugra Kilictas

प्रकाशित 2026-01-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Faruk Alpay, Bugra Kilictas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा, रोज़मर्रा के उदाहरणों और रूपकों (metaphors) के साथ विवरण दिया गया है, जो पूरी तरह से लेखकों के दावों पर आधारित है।

मुख्य विचार: "तरल" से "ठोस" सोच की ओर

एक लार्ज लैंग्वेज मॉडल (जैसे कि एक बहुत ही स्मार्ट AI) की कल्पना एक गहरी सुरंग के रूप में करें जिसमें प्रवेश द्वार से निकास तक कई कमरे (परतें/layers) हैं। जब आप AI से कोई प्रश्न पूछते हैं, तो जानकारी इन कमरों से होकर गुजरती है।

इस पेपर के लेखक प्रस्ताव देते हैं कि जैसे-जैसे जानकारी सुरंग में गहराई तक जाती है, कुछ जादुई होता है। AI के "सोचने" का तरीका अपना भौतिक आकार बदल लेता है।

शुरुआती कमरे ("तरल" अवस्था - The "Liquid" Phase): सुरंग के पहले आधे हिस्से में, AI के आंतरिक विचार पानी की तरह होते हैं। सब कुछ आपस में मिला हुआ, धुंधला और बहता हुआ होता है। यह एक उच्च-एन्ट्रॉपी (high-entropy) वाली स्थिति है जहाँ कई विचार एक-दूसरे के ऊपर आरोपित (superimposed) होते हैं। यह लचीला तो है, लेकिन अव्यवस्थित भी है।
महत्वपूर्ण क्षण (फेज ट्रांज़िशन - The Critical Moment): एक विशिष्ट बिंदु पर—सुरंग के रास्ते में लगभग 42% की दूरी पर (बहुत बड़े मॉडल्स में)—कुछ अचानक बदल जाता है। पानी अचानक जम जाता है।
गहरे कमरे ("ठोस" अवस्था - The "Solid" Phase): इस बिंदु के बाद, विचार बर्फ के क्रिस्टल की तरह हो जाते हैं। वे स्पष्ट, अलग और स्थिर आकारों में बस जाते हैं। AI धुंधले विचारों को संभालना बंद कर देता है और विशिष्ट, स्पष्ट "वस्तुओं" या अवधारणाओं (concepts) पर टिक जाता है। यही वह चीज़ है जो AI को तर्क की प्रक्रिया (जैसे गणित की समस्या हल करना या तार्किक श्रृंखला का पालन करना) को बिना भटके पूरा करने में सक्षम बनाती है।

लेखक इन स्थिर, क्रिस्टल जैसे आकारों को "ट्रांजिएंट क्लास ऑब्जेक्ट्स" (TCOs) कहते हैं। ये अस्थायी "बाल्टी" की तरह हैं जिनका उपयोग AI किसी समस्या पर काम करते समय एक विशिष्ट विचार को स्थिर रखने के लिए करता है।

उन्होंने इसकी खोज कैसे की

शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने AI के भीतर के गणित का अध्ययन किया। उन्होंने AI की आंतरिक स्थिति को एक ज्यामितीय आकार (geometric shape) माना और तीन चीजों को मापा:

डेटा की "नुकीलापन" (The "Spikiness" of the Data): उन्होंने "स्पेक्ट्रम" (यह ग्राफ कि विभिन्न दिशाओं में कितनी ऊर्जा है) को देखा। शुरुआती "तरल" चरण में, ग्राफ एक चिकनी पहाड़ी की तरह दिखता है (जैसे लोगों की भीड़ बेतरतीब ढंग से खड़ी हो)। गहरे "ठोस" चरण में, ग्राफ में तीखे स्पाइक्स (spikes) विकसित होते हैं। ये स्पाइक्स बताते हैं कि AI ने शोर को नज़रअंदाज़ करते हुए ध्यान केंद्रित करने के लिए कुछ बहुत मजबूत और स्पष्ट दिशाएँ ढूँढ ली हैं।
"ऑब्जेक्ट इंटीग्रिटी" स्कोर: उन्होंने "ऑब्जेक्ट इंटीग्रिटी" ( $\Omega$ ) नामक एक स्कोर बनाया।
- कम स्कोर का अर्थ है कि AI का विचार हर जगह फैला हुआ है (जैसे एक बादल)।
- उच्च स्कोर का अर्थ है कि विचार एक संकीर्ण, सटीक स्थान में केंद्रित है (जैसे एक लेज़र बीम)।
- निष्कर्ष: छोटे AI मॉडल्स में, यह स्कोर कम रहता है (यह "तरल" बना रहता है)। लेकिन बड़े, तर्क करने में सक्षम मॉडल्स में, यह स्कोर 42% के निशान के आसपास अचानक बढ़ जाता है, जो दर्शाता है कि विचार "क्रिस्टलीकृत" (crystallized) हो गए हैं।
"कूलिंग" प्रभाव (The "Cooling" Effect): उन्होंने AI के अटेंशन मैकेनिज्म (कि वह शब्दों पर कैसे ध्यान केंद्रित करता है) की तुलना ऊष्मागतिकी (thermodynamics) से की।
- AI के अटेंशन को एक गर्म गैस के रूप में सोचें। जैसे-जैसे डेटा गहराई में जाता है, "तापमान" गिरता है।
- जब यह गर्म होता है, तो गैस के अणु हर जगह उछलते-कूदते हैं (बेतरतीब विचार)।
- जब यह ठंडा होता है, तो वे एक ठोस संरचना में बस जाते हैं (तार्किक विचार)। गणित दिखाता है कि डेटा जैसे-जैसे गहरा होता जाता है, AI स्वाभाविक रूप से "ठंडा" होता जाता है, जो उसे अधिक सटीक और निर्णायक विकल्प चुनने के लिए मजबूर करता है।

"रेनॉर्मलाइजेशन ग्रुप" (द फ़िल्टर)

यह पेपर भौतिकी की एक अवधारणा "रेनॉर्मलाइजेशन ग्रुप" (RG) का उपयोग करता है। कल्पना करें कि आप एक हेलीकॉप्टर से जंगल को देख रहे हैं।

करीब से (शुरुआती परतें): आप हर एक पत्ती, टहनी और कीड़े को देखते हैं। यह विवरणों का एक अराजक मिश्रण है (सिंटैक्स और स्थानीय शब्द)।
दूर से (गहरी परतें): जैसे-जैसे आप ज़ूम आउट करते हैं, व्यक्तिगत पत्तियाँ गायब हो जाती हैं। आप पेड़ों का आकार, रास्ता और खाली स्थान देखना शुरू कर देते हैं।

लेखक तर्क देते हैं कि AI यह अपने आप करता है। जैसे-जैसे डेटा गहराई में जाता है, AI अप्रासंगिक विवरणों (पत्तियों) को "फ़िल्टर" कर देता है और स्थान को सिकोड़ देता है, केवल आवश्यक, उच्च-स्तरीय तर्क (पेड़ों) को रखता है। यह प्रक्रिया सूचना को एक छोटे, अधिक कुशल स्थान में दबा देती है, जिससे वे स्थिर "ठोस" बेसिन बनते हैं जहाँ तर्क (reasoning) होता है।

छोटे मॉडल्स क्यों विफल होते हैं?

अध्ययन में पाया गया कि छोटे मॉडल्स (जिनमें कम पैरामीटर्स होते हैं) कभी भी इस "ठोस" अवस्था तक नहीं पहुँच पाते। वे पूरे समय "तरल" अवस्था में ही रहते हैं। वे उन तीखे, स्थिर "ऑब्जेक्ट्स" को नहीं बना पाते जिनकी जटिल तर्क के लिए आवश्यकता होती है। वे जटिल बहु-चरणीय तर्क (multi-step logic) को प्रभावी ढंग से संभालने के लिए बहुत अधिक धुंधले बने रहते हैं।

केवल बड़े मॉडल्स (30 बिलियन पैरामीटर्स या उससे अधिक) के पास ही इस फेज ट्रांज़िशन से गुजरने और अपने विचारों को एक उपयोगी, तार्किक संरचना में "जमाने" के लिए पर्याप्त "गहराई" और "क्षमता" दिखाई देती है।

तर्क (Reasoning) की "रेसिपी" का सारांश

इस पेपर के अनुसार, एक AI के लिए अच्छी तरह से तर्क करने के लिए, उसे चाहिए:

गहराई (Depth): एक "कूलिंग शेड्यूल" के रूप में कार्य करने के लिए पर्याप्त परतें।
पैमाना (Scale): "जमने" (freezing) की प्रक्रिया को संभव बनाने के लिए पर्याप्त आकार।
ट्रांज़िशन (The Transition): एक विशिष्ट बिंदु (लगभग 42% गहराई पर) जहाँ अराजक, मिश्रित विचार अचानक स्पष्ट, स्थिर, तार्किक "ऑब्जेक्ट्स" (TCOs) में बदल जाते हैं जिन्हें AI चरण-दर-चरण हेरफेर कर सकता है।

संक्षेप में: तर्क करना केवल "ज़्यादा सोचने" के बारे में नहीं है; यह AI की आंतरिक ज्यामिति का एक अव्यवस्थित तरल से एक संरचित ठोस में जमना है।

तकनीकी सारांश: डीप ट्रांसफॉर्मर मैनिफोल्ड्स में लेटेंट ऑब्जेक्ट परमानेंस (Latent Object Permanence)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) की व्याख्यात्मकता (interpretability) में एक मौलिक अंतराल को संबोधित करता है: जबकि लेटेंट स्पेस को अक्सर निरंतर सेमेंटिक फील्ड्स के रूप में मॉडल किया जाता है, बहु-चरणीय तर्क (multi-step reasoning) के लिए विविक्त संचालन (discrete operations) जैसे कि निषेध (negation), परिमाणीकरण (quantification), और वेरिएबल बाइंडिंग की आवश्यकता होती है। लेखक जांच करते हैं कि क्या गहरे ट्रांसफॉर्मर्स (deep Transformers) निरंतर निरूपणों को स्थिर, पुन: प्रयोज्य इकाइयों में विविक्त करने के लिए एक तंत्र को स्वतः ही लागू करते हैं। वे परिकल्पना करते हैं कि यह विवक्तीकरण नेटवर्क की गहराई के फलन के रूप में लेटेंट एक्टिवेशन मैनिफोल्ड की ज्यामिति में एक फेज ट्रांजिशन (phase transition) के माध्यम से होता है। विशेष रूप से, वे प्रस्तावित करते हैं कि पर्याप्त बड़े मॉडल एक उच्च-एन्ट्रॉपी "लिक्विड" (liquid) शासन (डिफ्यूज सुपरपोजिशन) से एक निम्न-एन्ट्रॉपी "सॉलिड" (solid) शासन (स्थिर बेसिन जो ऑब्जेक्ट परमानेंस का समर्थन करते हैं) की ओर संक्रमण करते हैं।

2. कार्यप्रणाली और ढांचा (Methodology and Framework)

लेखक ट्रांसफॉर्मर की गहराई $L$ को एक विविक्त समय चर $\gamma = l/L \in [0, 1]$ के रूप में औपचारिक रूप देते हैं। वे रेसिडुअल स्ट्रीम $h^{(l)}$ और उसके कोवेरिएंस मैट्रिक्स $C^{(l)}$ के विकास का तीन प्राथमिक दृष्टिकोणों से विश्लेषण करते हैं:

2.1 अटेंशन का ऊष्मप्रवैगिकी (Thermodynamics of Attention)

शोध पत्र अटेंशन मैकेनिज्म को सांख्यिकीय भौतिकी (statistical physics) का उपयोग करके मॉडल करता है।

फ्री-एनर्जी सिद्धांत (Free-Energy Principle): दिखाया गया है कि अटेंशन वेट्स एक फ्री-एनर्जी फंक्शनल $F(p) = \sum p_j E_j + \frac{1}{\beta} \sum p_j \log p_j$ को कम करते हैं, जहाँ $E_j$ क्वेरी-की डॉट प्रोडक्ट्स से प्राप्त ऊर्जा पद हैं।
कूलिंग प्रभाव (Cooling Effect): हालांकि व्युत्क्रम तापमान $\beta$ आर्किटेक्चर द्वारा निर्धारित होता है, लेखक तर्क देते हैं कि गहराई के साथ क्वेरी और की के परिमाण (magnitudes) बढ़ने से सिस्टम प्रभावी रूप से "ठंडा" (cool) हो जाता है। यह एन्ट्रॉपी पद के सापेक्ष महत्व को कम करता है, जिससे सिस्टम निम्न-एन्ट्रॉपी, शार्प सिलेक्शन की ओर बढ़ता है (क्रिस्टलीकरण)।

2.2 ज्यामितीय और स्पेक्ट्रल विश्लेषण (Geometric and Spectral Analysis)

ऑर्डर पैरामीटर (Order Parameter): वे ऑब्जेक्ट इंटीग्रिटी ( $\Omega$ ) को एक स्पर्सिटी-जैसे मीट्रिक के रूप में परिभाषित करते हैं: $\Omega(h) = 1 - \frac{\|h\|_1}{\sqrt{d}\|h\|_2}$ । उच्च $\Omega$ "ऑब्जेक्ट-जैसे" वेक्टर्स के स्पार्स होने का संकेत देता; निम्न $\Omega$ विसरित (diffuse), सुपरपोज्ड वेक्टर्स का संकेत देता।
स्पेक्ट्रल डेंसिटी (Spectral Density): वे कोवेरिएंस मैट्रिक्स के आइजनवैल्यू स्पेक्ट्रम $\rho_l(\lambda)$ का विश्लेषण करते हैं, और इसकी तुलना मारचेन्को-पास्टुर (MP) वितरण (असंरचित शोर के लिए नल मॉडल) से करते हैं।
रेनॉर्मलाइजेशन ग्रुप (RG) सादृश्य: गहराई को एक RG फ्लो के रूप में माना जाता है जो शॉर्ट-रेंज कोरिलेशन (स्थानीय सिंटैक्स) को एकीकृत (integrate out) करता है और लॉन्ग-रेंज ऑपरेटर्स को स्थिर करता है।

2.3 सैद्धांतिक औपचारिकीकरण (Theoretical Formalizations)

शोध पत्र इस "सॉलिड" फेज के उद्भव के लिए कठोर गणितीय स्थितियाँ प्रदान करता है:

ट्रांसवर्स कॉन्ट्रैक्शन (Transverse Contraction - Theorem 6.1): वे सिद्ध करते हैं कि यदि गहराई अंतराल का लीनियरलाइज्ड डायनेमिक्स अप्रासंगिक दिशाओं (ट्रांसवर्स सबस्पेस) को $q < 1$ के कारक से संकुचित करता है, तो ट्रांसवर्स कोवेरिएंस तेजी से घटता है, जिससे स्पेक्ट्रल कोलैप्स होता है।
मिक्सचर मॉडल (Mixture Model - Theorem 6.3): वे प्रदर्शित करते हैं कि यदि लेटेंट स्टेट्स $k$ विविक्त प्रोटोटाइप के आसपास क्लस्टर होते हैं (एक मिक्सचर मॉडल), तो कोवेरिएंस मैट्रिक्स अनिवार्य रूप से एक लो-रैंक संरचना प्रदर्शित करेगा (आइसोट्रोपिक शोर के ऊपर अधिकतम $k-1$ सिग्नल आइजनवैल्यूज), जो स्पेक्ट्रल गैप्स बनाता है।

3. मुख्य योगदान (Key Contributions)

फेज ट्रांजिशन हाइपोथीसिस: यह प्रस्ताव कि गहरे ट्रांसफॉर्मर्स एक क्रिटिकल डेप्थ फ्रैक्शन $\gamma_c \approx 0.42$ प्रदर्शित करते हैं जहाँ सिमेट्री ब्रेकिंग होती है, जो डायनेमिक्स को "लिक्विड" (उच्च एन्ट्रॉपी, MP-जैसे बल्क) से "सॉलिड" (निम्न एन्ट्रॉपी, स्पेक्ट्रल गैप्स) शासन की ओर स्थानांतरित करती है।
ट्रांजिएंट क्लास ऑब्जेक्ट्स (TCOs): लेटेंट मैनिफोल्ड में स्थिर बेसिन की एक औपचारिक परिभाषा जो "ऑब्जेक्ट परमानेंस" का समर्थन करती है। TCOs को अनुमानित अपरिवर्तनीयता (invariance), ट्रांसवर्स कॉन्ट्रैक्शन और क्लास स्थिरता द्वारा पहचाना जाता है।
सैद्धांतिक गारंटी (Theoretical Guarantees):
- ट्रांसवर्स कॉन्ट्रैक्शन के माध्यम से स्पेक्ट्रल कोलैप्स के लिए पर्याप्त स्थितियाँ।
- यह प्रमाण कि विविक्त क्लास स्ट्रक्चर (लॉजिकल सेपरेबिलिटी) अनिवार्य रूप से लो-रैंक स्पाइक्ड कोवेरिएंस की ओर ले जाते हैं, जो विशिष्ट पावर-लॉ धारणाओं से स्वतंत्र है।
ऊष्मप्रवैगिक व्याख्या (Thermodynamic Interpretation): अटेंशन को फ्री-एनर्जी मिनिमाइजेशन के रूप में एक वेरिएशनल कैरेक्टराइजेशन, जो गहरे परतों में अटेंशन वेट्स के शार्पनिंग को "कूलिंग" प्रक्रिया से जोड़ता है।

4. परिणाम (Results)

लेखक 1.5B से 30B+ पैरामीटर्स वाले मॉडल्स के समूह का विश्लेषण करते हैं (जिसमें Qwen, Gemma, Llama और एक रीजनिंग-ओरिएंटेड 30B मॉडल शामिल हैं)।

क्रिटिकल डेप्थ ( $\gamma_c$ ): ऑब्जेक्ट इंटीग्रिटी ऑर्डर पैरामीटर $m(\gamma)$ का अनुभवजन्य विश्लेषण बड़े मॉडल्स (जैसे 30B) में एक शार्प जंप प्रकट करता है जहाँ $\gamma \approx 0.42$ के पास $\Omega$ महत्वपूर्ण रूप से बढ़ता है (जैसे ~0.69 से ~0.90 तक)। मध्यम मॉडल एक समान लेकिन छोटा ट्रांजिशन दिखाते हैं, जबकि छोटे मॉडल व्यावहारिक सीमा को पार करने में विफल रहते हैं, और "लिक्विड" शासन में ही रहते हैं।
बाइमोडैलिटी (Bimodality): सक्षम मॉडल्स में, $\Omega$ का वितरण बाइमॉडल हो जाता है, जो बैकग्राउंड से अलग एक विशिष्ट "सॉलिड" बैंड की उपस्थिति का संकेत देता है। छोटे मॉडल्स यूनिमोडल रहते हैं।
स्पेक्ट्रल विसंगतियाँ (Spectral Anomalies): बड़े मॉडल्स में पोस्ट-क्रिटिकल लेयर्स निम्नलिखित प्रदर्शित करती हैं:
- प्रभावी रैंक (effective rank) और पार्टिसिपेशन रेशियो में कमी।
- स्पेक्ट्रल टेल्स जो मारचेन्को-पास्टुर बल्क से विचलित होते हैं, जो मिक्सचर मॉडल द्वारा अनुमानित लो-रैंक सिग्नल स्ट्रक्चर के अनुरूप "स्पाइक्स" (आउटलियर आइजनवैल्यूज) दिखाते हैं।
स्केलिंग (Scaling): ट्रांजिशन एम्प्लीट्यूड मॉडल के आकार के साथ स्केल होता है, जो यह सुझाव देता है कि "सॉलिड" फेज एक उभरता हुआ गुण (emergent property) है जो स्केल पर निर्भर है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि यह लेटेंट स्पेस में ज्यामितीय फेज ट्रांजिशन के माध्यम से उभरती हुई तर्क क्षमताओं (reasoning capabilities) को जोड़ने वाला एक गणितीय रूप से स्पष्ट ढांचा प्रदान करता है। इसका महत्व यहाँ है:

एकीकृत तंत्र (Unifying Mechanisms): यह समझाने के लिए ऊष्मप्रवैगिक सिद्धांतों (फ्री एनर्जी), रैंडम मैट्रिक्स थ्योरी (स्पेक्ट्रल स्पाइक्स), और रेनॉर्मलाइजेशन ग्रुप फ्लो (डायमेंशनलिटी कॉन्ट्रैक्शन) को जोड़ता है कि कैसे LLMs विविक्त तर्क (discrete reasoning) प्राप्त करते हैं।
ऑब्जेक्ट परमानेंस की व्याख्या: यह एक तंत्र (TCOs) प्रदान करता है कि कैसे मॉडल्स मल्टी-स्टेप चेन्स में वेरिएबल्स या कॉन्सेप्ट्स के स्थिर निरूपण को बनाए रखते हैं, जो उथले (shallow) परतों के "फीचर सुपरपोजिशन" वाले दृष्टिकोण से आगे जाता है।
भविष्यवाणी करने वाले डायग्नोस्टिक्स (Predictive Diagnostics): क्रिटिकल डेप्थ $\gamma_c$ और स्पेक्ट्रल गैप्स का उद्भव जटिल तर्क की क्षमता के लिए परिचालन डायग्नोस्टिक्स के रूप में प्रस्तावित किया गया है।

लेखक विनम्र रहते हैं, अपने कार्य को पूर्ण संज्ञानात्मक सिद्धांत के बजाय "पर्याप्त स्थितियों" और "डायग्नोस्टिक परिकल्पनाओं" के सेट के रूप में प्रस्तुत करते हैं। वे इस बात पर जोर देते हैं कि "सॉलिड" फेज गहराई और स्केल का एक ज्यामितीय परिणाम है, जो बहु-चरणीय तर्क के लिए आवश्यक लॉजिकल सेपरेबिलिटी को सुगम बनाता है।