🔬 condensed matter

Critical Percolation as a Synthetic Data Model for Interpretability

यह शोध पत्र क्रिटिकल मीन-फील्ड परकोलेशन क्लस्टर्स (critical mean-field percolation clusters) पर आधारित एक नवीन, विश्लेषणात्मक रूप से सुलभ सिंथेटिक डेटा मॉडल प्रस्तुत करता है जो पदानुक्रमित, बहु-स्तरीय संरचनाओं और पावर-लॉ सांख्यिकी को समाहित करता है ताकि न्यूरल नेटवर्क व्याख्यात्मकता विधियों के मूल्यांकन के लिए एक सिद्धांतगत परीक्षण स्थल के रूप में कार्य किया जा सके।

मूल लेखक: Aryeh Brill, Tom Ingebretsen Carlson

प्रकाशित 2026-06-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aryeh Brill, Tom Ingebretsen Carlson

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल, जटिल मशीन (जैसे कि एक आधुनिक AI) कैसे सोचती है। इसे करने के लिए, वैज्ञानिक अक्सर "टॉय मॉडल्स" (toy models)—यानी सरल, नकली डेटासेट—बनाते हैं ताकि वे अपने सिद्धांतों का परीक्षण कर सकें। हालाँकि, अधिकांश टॉय मॉडल्स सपाट, विशेषताहीन मैदानों की तरह होते हैं। वास्तविक दुनिया का डेटा (जैसे भाषा, चित्र, या मानवीय व्यवहार) एक ऊबड़-खाब oleh, पहाड़ी परिदृश्य की तरह होता है जिसमें गहरी घाटियाँ, ऊँची चोटियाँ और जटिल पैटर्न होते हैं जो हर स्तर पर दोहराए जाते हैं।

यह शोध पत्र उन टॉय मॉडल्स को बनाने का एक नया तरीका पेश करता है जो भौतिकी की एक अवधारणा क्रिटिकल परकोलेशन (Critical Percolation) का उपयोग करते हैं। यहाँ उन्होंने क्या किया और यह क्यों महत्वपूर्ण है, इसका एक सरल विवरण दिया गया है।

1. समस्या: सपाट खिलौने बनाम ऊबड़-खाबड़ वास्तविकता

वर्तमान सिंथेटिक डेटासेट्स को एक जैसे, चिकने कंचों के ढेर के रूप में सोचें। उन्हें गिनना आसान है, लेकिन वे हमें एक असली जंगल में रास्ता खोजना नहीं सिखाते। वास्तविक डेटा में संरचना (Structure) होती है:

विरलता (Sparsity): अधिकांश चीजें खाली स्थान हैं; केवल कुछ ही स्थान "सक्रिय" होते हैं।
पदानुक्रम (Hierarchy): अवधारणाएं (Concepts) अन्य अवधारणाओं के भीतर समाहित होती हैं (जैसे कि "कुत्ता" एक "जानवर" का प्रकार है, जो कि एक "जीवित प्राणी" का प्रकार है)।
स्व-समानता (Self-Similarity): यदि आप डेटा के किसी हिस्से को ज़ूम करके देखते हैं, तो वह सांख्यिकीय रूप से पूरे डेटा के समान दिखता है (जैसे कि एक फ्रैक्टल फर्न लीफ)।

लेखक एक ऐसा डेटासेट चाहते थे जिसमें बिना लाखों नॉब्स (knobs) को मैन्युअल रूप से ट्यून किए, स्वाभाविक रूप से ये सभी अव्यवस्थित, वास्तविक गुण मौजूद हों।

2. समाधान: "लीकिंग बकेट" (Leaking Bucket) की उपमा

लेखक क्रिटिकल परकोलेशन (Critical Percolation) का उपयोग करते हैं, जिसे आप छेद वाले एक बाल्टी (एक लैटिस/lattice) के रूप में कल्पना कर सकते हैं।

सेटअप: एक विशाल ग्रिड के टाइल्स की कल्पना करें। आप बेतरतीब ढंग से एक टाइल को "भरने" के लिए स्विच ऑन करते हैं।
महत्वपूर्ण क्षण (The Critical Moment): यदि आप बहुत कम टाइल्स भरते हैं, तो आपको केवल अलग-थलग पड़े पोखर मिलेंगे। यदि आप बहुत अधिक टाइल्स भर देते हैं, तो पूरी बाल्टी एक विशाल झील बन जाएगी। लेकिन एक जादुई टिपिंग पॉइंट (क्रिटिकल पॉइंट) होता है जहाँ पानी, धाराओं और द्वीपों का एक जटिल, शाखाओं वाला नेटवर्क बनाता है।
परिणाम: इस जादुई बिंदु पर, पानी फ्रैक्टल क्लस्टर्स (Fractal Clusters) बनाता है। ये क्लस्टर्स विरल होते हैं (ज्यादातर खाली स्थान), इनमें पावर-लॉ आकार वितरण (कुछ बड़े द्वीप, कई छोटे द्वीप) होता है, और आप चाहे कितना भी ज़ूम इन करें, ये हर स्तर पर एक जैसे दिखते हैं।

3. "अर्थ का वृक्ष" बनाना (Building the "Tree of Meaning")

यह शोध पत्र केवल पानी तक ही सीमित नहीं रहता; यह इसके ऊपर एक कहानी बुनता है।

लेटेंट ट्री (The Latent Tree): कल्पना करें कि जब भी दो पानी के द्वीप आपस में मिलते हैं, तो एक नया "पैरेंट" कॉन्सेप्ट जन्म लेता है। यदि एक छोटा द्वीप दूसरे से मिलता है, तो वे एक नए लेबल के साथ एक थोड़े बड़े द्वीप का निर्माण करते हैं।
पदानुक्रम (The Hierarchy): यह अवधारणाओं का एक वंश वृक्ष (बाइनरी ट्री) बनाता है। इस पेड़ की पत्तियां व्यक्तिगत डेटा बिंदु (पानी के टाइल्स) हैं, और शाखाएं वे छिपे हुए "लेटेंट वेरिएबल्स" (अवधारणाएं) हैं जो बताते हैं कि वे बिंदु एक साथ क्यों समूहबद्ध हैं।
लक्ष्य (The Target): लक्ष्य इस छिपे हुए वंश वृक्ष के आधार पर एक मान (value) की भविष्यवाणी करना है।

4. जादुई एल्गोरिदम: "साइक्लिक कोलेसेंट" (The "Cyclic Coalescent")

कंप्यूटर पर इस पानी के नेटवर्क को सिम्युलेट करना आमतौर पर धीमा और कठिन होता है। लेखकों ने एक चतुर शॉर्टकट खोजा।

उपमा: पानी के प्रवाह को सिम्युलेट करने के बजाय, उन्होंने महसूस किया कि वे इस प्रक्रिया को उलटे क्रम में सिम्युलेट कर सकते हैं। कल्पना करें कि आपके पास पेड़ों का एक जंगल है। उन्हें बढ़ने के बजाय, आप उन्हें आपस में मिलते हुए देखते हैं।
ट्रिक: उन्होंने साइक्लिक कोलेसेंट (Cyclic Coalescent) नामक एक एल्गोरिदम का आविष्कार किया। कल्पना करें कि आप अपने सभी पेड़ों को एक घेरे (circle) में व्यवस्थित करते हैं। आप एक यादृच्छिक पेड़ चुनते हैं और उसे अपने पड़ोसी के साथ मिला देते हैं। आप इसे तब तक दोहराते हैं जब तक कि सब कुछ एक विशाल पेड़ न बन जाए।
लाभ: यह विधि अविश्वसनीय रूप से तेज़ है (लगभग लीनियर टाइम), जिससे वे पूर्ण, ज्ञात "ग्राउंड ट्रुथ" (वे जानते हैं कि छिपी हुई वंश वृक्ष संरचना वास्तव में कैसी दिखती है) के साथ विशाल डेटासेट बना सकते हैं।

5. प्रयोग: क्या AI "पेड़" को देख सकता है?

लेखकों ने इस सिंथेटिक डेटा पर एक न्यूरल नेटवर्क (एक प्रकार का AI) को प्रशिक्षित किया। वे यह देखना चाहते थे कि क्या AI उस छिपे हुए वंश वृक्ष को सीख सकता है जिसे उन्होंने बनाया है।

परीक्षण: उन्होंने AI के आंतरिक सक्रियणों (internal activations) की जांच करने के लिए "प्रोब्स" (सरल लीनियर टेस्ट) का उपयोग किया।
परिणाम: AI ने सफलतापूर्वक छिपे हुए पदानुक्रम को सीख लिया। वह अपने स्वयं के आंतरिक गणित से "वंश वृक्ष" के संबंधों को लीनियर रूप से डिकोड कर सका। अवधारणा जितनी गहराई में थी, उसे ढूंढना उतना ही कठिन था, लेकिन वह निश्चित रूप से वहां मौजूद थी।

6. यह क्यों महत्वपूर्ण है

यह शोध पत्र एक सिद्धांत-आधारित परीक्षण स्थल (Principled Testbed) प्रदान करता है।

इससे पहले, शोधकर्ताओं को यह अनुमान लगाना पड़ता था कि क्या उनके इंटरप्रिटेबिलिटी टूल्स (वे उपकरण जो यह समझाने की कोशिश करते हैं कि AI कैसे काम करता है) काम कर रहे हैं या नहीं, क्योंकि डेटा बहुत सरल था।
अब, उनके पास एक ऐसा डेटासेट है जो वास्तविक डेटा की फ्रैक्टल, पदानुक्रमित और विरल प्रकृति की नकल करता है।
क्योंकि इसका "ग्राउंड ट्रुथ" गणितीय रूप से ज्ञात है, वे यह सिद्ध कर सकते हैं कि क्या उनके उपकरण वास्तव में छिपी हुई संरचनाओं को खोज रहे हैं या केवल भाग्यशाली अनुमान लगा रहे हैं।

संक्षेप में: लेखकों ने भौतिकी के सिद्धांतों (परकोलेशन) का उपयोग करके एक सिंथेटिक दुनिया बनाई ताकि एक ऐसा डेटासेट बनाया जा सके जो वास्तविक जीवन जैसा महसूस हो और दिखे। उन्होंने दिखाया कि AI इस डेटा के भीतर छिपे "वंश वृक्षों" को सीख सकता है, जो यह साबित करता है कि यह नया मॉडल यह समझने के लिए कि AI कैसे काम करता है, एक शक्तिशाली और यथार्थवादी खेल का मैदान है।

तकनीकी सारांश: व्याख्यात्मकता (Interpretability) के लिए एक सिंथेटिक डेटा मॉडल के रूप में क्रिटिकल परकोलेशन

समस्या विवरण
डीप न्यूरल नेटवर्क उन विशेषताओं (features) को सीखते हैं जो प्राकृतिक डेटा की पदानुक्रमित (hierarchical), बहु-स्तरीय संरचना को दर्शाती हैं। हालाँकि, व्याख्यात्मकता विधियों के मूल्यांकन के लिए उपयोग किए जाने वाले मौजूदा सिंथेटिक डेटासेट में इस तरह की वास्तविक संरचना का अभाव है, जो उनकी उपयोगिता को सीमित करता है। मौजूदा सिंथेटिक मॉडल अलग-अलग रूप में स्पर्सिटी (sparsity) या पदानुक्रम को कैप्चर कर सकते हैं, लेकिन वे पावर-लॉ सांख्यिकी (power-law statistics), कम अंतर्निहित आयामीता (low intrinsic dimensionality), और स्व-समानता (self-similarity) जैसे गुणों को एकीकृत करने में विफल रहते हैं, जो प्राकृतिक डेटा वितरण में पाए जाते हैं। मौजूदा व्याख्यात्मकता अनुसंधान, विशेष रूप से स्पार्स ऑटोएनकोडर्स (SAEs) के संबंध में, यह देखते हैं कि फीचर स्प्लिटिंग और एब्जॉर्प्शन जैसी घटनाएं होती हैं, जो यह सुझाव देती हैं कि सीखे गए फीचर्स में एक जटिल पदानुक्रमित संगठन होता है जिसे सरल स्पार्स मॉडल पूरी तरह से नहीं पकड़ पाते। एक सिद्धांतिक, विश्लेषणात्मक रूप से सुलभ डेटा मॉडल की आवश्यकता है जो इन संरचनात्मक गुणों को शामिल करे ताकि वह व्याख्यात्मकता अनुसंधान के लिए एक यथार्थवादी परीक्षण स्थल (testbed) के रूप में कार्य कर सके।

कार्यप्रणाली
लेखक क्रिटिकल मीन-फील्ड परकोलेशन थ्योरी पर आधारित सिंथेटिक डेटासेट के एक परिवार को प्रस्तुत करते हैं। इस मॉडल का निर्माण निम्नलिखित घटकों के माध्यम से किया गया है:

परकोलेशन के माध्यम से डेटा जनरेशन:
- स्पेस (Space): डेटा पॉइंट्स एक उच्च-आयामी हाइपरक्यूबिक लैटिस ( $\Lambda \subset \mathbb{R}^d$ ) से लिए जाते हैं।
- क्रिटिकैलिटी (Criticality): साइट्स को प्रायिकता $p = p_c$ (क्रिटिकल थ्रेशोल्ड) के साथ भरा जाता है, जो यह सुनिश्चित करता है कि सिस्टम एक क्रिटिकल रिजीम में है जहाँ क्लस्टर्स फ्रैक्टल गुण और पावर-लॉ साइज डिस्ट्रीब्यूशन ( $n_s \propto s^{-5/2}$ ) प्रदर्शित करते हैं।
- मीन-फील्ड धारणा: यह माना गया है कि आयाम $d$ पर्याप्त रूप से बड़ा है ( $d \gg 6$ ), जिससे लैटिस एक बेट लैटिस (एक पेड़/tree) की तरह व्यवहार करता है, जिससे मॉडल विश्लेषणात्मक रूप से सुलभ हो जाता है।
- ज्यामिति (Geometry): परिणामी क्लस्टर्स स्पार्स, कम-आयामी फ्रैक्टल्स हैं जिनकी अंतर्निहित विमा (intrinsic dimension) $D=4$ है।
पदानुक्रमित लक्ष्य जनरेशन (Hierarchical Target Generation):
- लक्ष्यों को एक बाइनरी ट्री संरचना (एक "लेटेंट फॉरेस्ट") में व्यवस्थित लेटेंट वेरिएबल्स द्वारा जनरेट किया जाता है।
- जैसे ही आसन्न भरी हुई साइटों के बीच बॉन्ड्स सक्रिय होते हैं, वे क्लस्टर्स को मर्ज करते हैं। प्रत्येक मर्ज के लिए एक नया लेटेंट वेरिएबल पेश किया जाता है, जो मर्ज किए गए सब-क्लस्टर्स के लेटेंट्स के लिए 'पैरेंट' के रूप में कार्य करता है।
- एक डेटा पॉइंट $x$ के लिए लक्ष्य मान $y_x$ , लीफ (पॉइंट) से लेकर उसके क्लस्टर के ट्री के रूट तक के पथ के साथ लेटेंट वेरिएबल्स का एक लीनियर फंक्शन है, जिसे डेप्थ (गहराई) द्वारा नॉर्मलाइज़ किया गया है।
साइक्लिक कोलेसेंट एल्गोरिदम (The Cyclic Coalescent Algorithm):
- उच्च-आयामी लैटिस पर सीधे परकोलेशन का अनुकरण करना कम्प्यूटेशनल रूप से महंगा है और यह स्पष्ट रूप से पदानुक्रमित अपघटन (hierarchical decomposition) प्रदान नहीं करता है।
- लेखक क्रिटिकल मीन-फील्ड परकोलेशन क्लस्टर्स, यूनिफॉर्म रैंडम लेबल वाले ट्रीज़, और एडिटिव कोलेसेंट प्रोसेस के बीच एक गणितीय समानता का लाभ उठाते हैं।
- वे एक साइक्लिक कोलेसेंट एल्गोरिदम प्रस्तावित करते हैं जो एक रैंडम ट्री और उसके पदानुक्रमित लेटेंट अपघटन को संयुक्त रूप से सैंपल करता है। नोड्स को एक रैंडम साइक्लिक ऑर्डर में व्यवस्थित करके और एक नोड को उसके उत्तराधिकारी (successor) के साथ पुनरावृत्ति से मर्ज करके, यह एल्गोरिदम लगभग लीनियर समय, $O(n \alpha(n))$ में एक यूनिफॉर्म रैंडम ट्री और संबंधित पदानुक्रम उत्पन्न करता है, जहाँ $\alpha$ इनवर्स एकमैन फंक्शन है।
प्रायोगिक सेटअप:
- दो डेटासेट जनरेट किए गए: एक "वन-क्लस्टर" डेटासेट ( $2 \times 10^5$ पॉइंट्स) और एक "मल्टी-क्लस्टर" डेटासेट ( $2 \times 10^6$ पॉइंट्स, क्लस्टर साइज $\ge 500$ के लिए फ़िल्टर किया गया)।
- एक रेसिडुअल मल्टी-लेयर पर्सपेप्ट्रॉन (MLP) को इन डेटासेट्स पर प्रशिक्षित किया गया, जिसे ट्रांसफॉर्मर फीड-फॉरवर्ड ब्लॉक के समान बनाया गया है।
- प्रोबिंग प्रयोग: न्यूरल नेटवर्क के एक्टिवेशन्स (इनपुट, हिडन लेयर्स, और रेसिडुअल स्ट्रीम) से ग्राउंड-ट्रुथ लेटेंट वेरिएबल्स को डिकोड करने के लिए लीनियर प्रोब्स को प्रशिक्षित किया गया।

प्रमुख योगदान

एक सिद्धांतिक सिंथेटिक डेटा मॉडल: यह पेपर एक ऐसा डेटा मॉडल पेश करता है जो स्पर्सिटी, टैक्सोनोमिक पदानुक्रम, पावर-लॉ सांख्यिकी, कम अंतर्निहित विमा और स्व-समानता को एकीकृत करता है, जो क्रिटिकल परकोलेशन थ्योरी से प्राप्त है।
विश्लेषणात्मक सुलभता: मॉडल ज्ञात क्रिटिकल एक्सपोनेंट्स (जैसे $\tau=5/2, D=4$ ) पर निर्भर करता है और इसके सांख्यिकीय गुणों को फिक्स करने के लिए हाइपरपैरामीटर ट्यूनिंग की आवश्यकता नहीं होती है।
कुशल सैंपलिंग एल्गोरिदम: लेखक साइक्लिक कोलेसेंट एल्गोरिदम को विकसित और सिद्ध करते हैं, जो लगभग लीनियर समय में किसी भी स्केल पर सिंथेटिक पदानुक्रमित परकोलेशन डेटासेट बनाने में सक्षम है।
प्रायोगिक सत्यापन: अध्ययन यह प्रदर्शित करता है कि ग्राउंड-ट्रुथ लेटेंट वेरिएबल्स को न्यूरल नेटवर्क के एक्टिवेशन्स से लीनियरली डिकोड किया जा सकता है, जो व्याख्यात्मकता अनुसंधान के लिए मॉडल की उपयोगिता को प्रमाणित करता है।

परिणाम

मॉडल प्रदर्शन: प्रशिक्षित MLP ने 1-नेरेस्ट-नेबर (1NN) बेसलाइन के बराबर प्रदर्शन किया और रिज रिग्रेशन (Ridge regression) से काफी बेहतर प्रदर्शन किया, जो कार्य की नॉन-लिनियरिटी और इसकी सीखने की क्षमता की पुष्टि करता है।
लीनियर डिकोडेबिलिटी: प्रोबिंग प्रयोगों से पता चला कि ग्राउंड-ट्रुथ लेटेंट वेरिएबल्स नेटवर्क के एक्टिवेशन्स में लीनियरली रिप्रेजेंटेबल हैं।
- हिडन लेयर एक्टिवेशन्स पर प्रशिक्षित प्रोब्स ने रॉ इनपुट की तुलना में लगातार कम मीन स्क्वेर्ड एरर (MSE) प्राप्त किया।
- रॉ इनपुट के सापेक्ष प्रोब प्रदर्शन का अंतर तब कम हो गया जब "फिगर ऑफ मेरिट" (FOM)—जिसे लेटेंट साइज और क्लस्टर साइज के वर्गमूल के अनुपात के रूप में परिभाषित किया गया है—बढ़ गया।
पावर-लॉ ट्रेंड्स: प्रति-लेटेंट MSE, FOM के फलन के रूप में एक पावर-लॉ ट्रेंड प्रदर्शित करता है, जो यह सुझाव देता है कि किसी लेटेंट का सांख्यिकीय महत्व (जो उसके आकार और क्लस्टर संदर्भ द्वारा निर्धारित होता है) केवल पदानुक्रम में उसकी गहराई की तुलना में डिकोडेबिलिटी का बेहतर भविष्यवक्ता है।
लेयरवाइज स्ट्रक्चर: कोई स्पष्ट लेयरवाइज प्रोग्रेशन नहीं देखा गया; सभी MLP ब्लॉक्स में प्रोब MSE समान था। यह बताता है कि नेटवर्क आवश्यक रूप से एक व्याख्यात्मक तरीके से लेयर-दर-लेयर पदानुक्रमित योग (hierarchical sum) नहीं बनाता है, या पदानुक्रम कंपोजिशनल मॉडल्स की तुलना में अलग तरह से प्रतिनिधित्व किया जाता है।

महत्व और दावे
पेपर दावा करता है कि क्रिटिकल परकोलेशन व्याख्यात्मकता अनुसंधान के लिए एक सिद्धांतिक टेस्टबेड प्रदान करता है। ज्ञात ग्राउंड-ट्रुथ पदानुक्रमित लेटेंट्स और वास्तविक संरचनात्मक गुणों (स्पर्सिटी, पावर लॉज़, फ्रैक्टल्स) के साथ एक डेटासेट प्रदान करके, यह शोधकर्ताओं को सक्षम बनाता है:

ज्ञात ग्राउंड ट्रुथ के विरुद्ध व्याख्यात्मकता उपकरणों (जैसे SAEs) को मान्य और बेहतर बनाना।
यह जांचना कि क्या SAE पैथोलॉजी (फीचर स्प्लिटिंग, एब्जॉर्प्शन) टैक्सोनोमिक पदानुक्रमों पर प्रशिक्षित होने पर उत्पन्न होती हैं।
डेटा संरचना और न्यूरल एक्टिवेशन की संरचना के बीच संबंध का अध्ययन करना।

लेखक इस कार्य को LLMs के अनुभवजन्य अध्ययनों के पूरक के रूप में देखते हैं, जो कि यह समझने के लिए एक नियंत्रित वातावरण प्रदान करता है कि न्यूरल नेटवर्क पदानुक्रमित फीचर्स कैसे सीखते हैं। वे स्पष्ट रूप से सीमाओं का उल्लेख करते हैं, जैसे कि मॉडल की रैंडम डेटा पॉपुलेशन की धारणा और वर्तमान में टोकनाइज्ड क्लासिफिकेशन के बजाय स्केलर रिग्रेशन का समर्थन, जिन्हें तत्काल समाधान के बजाय भविष्य के कार्य के रूप में फ्रेम किया गया है। यह कार्य व्याख्यात्मकता को हल करने का दावा नहीं करता है, बल्कि इस शोध को सुगम बनाने के लिए एक कठोर, गणितीय रूप से आधारित सिंथेटिक वातावरण प्रदान करता है।