📊 statistics

Classification Fields: Arbitrarily Fine Recursive Hierarchical Clustering From Few Examples

यह शोध पत्र "क्लासिफिकेशन फील्ड्स" (classification fields) को प्रस्तुत करता है, जो स्थानीय पैरेंट-टू-चाइल्ड रिफाइनमेंट नियमों का अनुमान लगाकर सीमित उदाहरणों से अनंत-गहराई वाली पदानुक्रमित क्लस्टर संरचनाओं को सीखने के लिए एक ढांचा है, और यह सिद्ध करता है कि इन नियमों को गहरे, ज्यामितीय रूप से सुसंगत पदानुक्रमों को उत्पन्न करने के लिए न्यूरल नेटवर्क द्वारा प्रभावी ढंग से अनुमानित किया जा सकता है।

मूल लेखक: Yicen Li, Ruiyang Hong, Anastasis Kratsios, Haitz Sáez de Ocáriz Borde, Paul D. McNicholas

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yicen Li, Ruiyang Hong, Anastasis Kratsios, Haitz Sáez de Ocáriz Borde, Paul D. McNicholas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक वंशावली (family tree) देख रहे हैं। आमतौर पर, जब हम "क्लस्टरिंग" (चीजों को समूहों में बांटना) करते हैं, तो हम बस उस पेड़ का चित्र बनाते हैं जो हमारे सामने मौजूद विशिष्ट लोगों के लिए है। यदि हमारे पास 100 तस्वीरें हैं, तो हम 100 पत्तियों वाला एक पेड़ बनाते हैं। बस, वहीं बात खत्म हो जाती है।

लेकिन क्या होगा अगर दुनिया केवल 100 तस्वीरों की एक निश्चित सूची नहीं है? क्या होगा अगर दुनिया एक फ्रैक्टल (fractal) की तरह हो? एक फर्न के पत्ते के बारे में सोचें: आप बड़ी पत्ती देखते हैं, फिर ज़ूम करने पर छोटी पत्तियां देखते हैं, फिर और भी छोटी पत्तियां देखते हैं, और सैद्धांतिक रूप से, आप अनंत तक ज़ूम कर सकते हैं और पैटर्न दोहराता रहेगा।

यह शोध पत्र एक बड़ा सवाल पूछता है: यदि हम एक विशाल, अनंत वंशावली की केवल ऊपरी कुछ शाखाओं को देखते हैं, तो क्या हम उस "नियम" को समझ सकते हैं जो बाकी के पेड़ को बनाता है?

यहाँ उनके विचार का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:

1. समस्या: "सीमित" बनाम "अनंत"

डेटा को समूह में बांटने वाले अधिकांश कंप्यूटर प्रोग्राम एक भीड़ की तस्वीर लेने और उन्हें समूहबद्ध करने के लिए रेखाएं खींचने वाले फोटोग्राफर की तरह होते हैं। एक बार फोटो ली गई, तो काम पूरा हो गया। वे यह नहीं जानते कि अगर 1,000 और लोग आ जाएं तो उस भीड़ की कल्पना कैसे की जाए।

लेखक कहते हैं: "रुकिए, क्या होगा अगर समूह बनाने का नियम वास्तव में एक नुस्खा (recipe) हो?"
केवल उन 100 लोगों को याद करने के बजाय जिन्हें हम देख रहे हैं, हम उस निर्देश पुस्तिका (instruction manual) को सीखना चाहते हैं जो हमें अगले स्तर के समूह बनाने का निर्देश देती है, और उसके बाद के स्तर का भी, हमेशा के लिए।

2. समाधान: "वर्गीकरण क्षेत्र" (Classification Fields)

उन्होंने एक नया विचार विकसित किया जिसे वर्गीफिकेशन फील्ड (Classification Field) कहा जाता है।

उपमा: एक जादुई स्टैम्प (मोहर) की कल्पना करें। आप इसे कागज (एक "पैरेंट" समूह) पर दबाते हैं, और यह केवल एक प्रति नहीं बनाता; यह तीन नए, छोटे स्टैम्पों ( "चिल्ड्रन" समूह) का एक विशिष्ट पैटर्न बनाता है।
नियम: मुख्य बात यह है कि इस स्टैम्प का एक नियम है: "चाहे भी मैं कहाँ भी दबाया जाऊं, मैं हमेशा मूल से एक विशिष्ट आकार और दूरी पर तीन नए स्टैम्प बनाऊंगा।"
लक्ष्य: कंप्यूटर का काम स्टैम्प के पहले कुछ स्तरों (जो डेटा हमारे पास है) को देखना है और यह पता लगाना है कि वह जादुई स्टैम्प वास्तव में कैसा दिखता है। एक बार जब वह स्टैम्प सीख लेता है, तो वह उसे बार-बार दबाकर ऐसे समूहों की परतें बना सकता है जिन्हें उसने पहले कभी नहीं देखा है।

3. उन्होंने इसे कैसे किया: "रिकर्सिव रोलआउट" (Recursive Rollout)

लेखकों ने इस "स्टैम्प" के रूप में कार्य करने के लिए एक विशेष प्रकार का AI (एक न्यूरल नेटवर्क) बनाया।

प्रशिक्षण (Training): उन्होंने AI को एक छोटा पेड़ दिखाया (मान लीजिए 3 स्तर गहरा)।
सीखना (Learning): AI ने नियम का अनुमान लगाने की कोशिश की: "यदि मेरे पास यहाँ एक समूह है, तो पाँच नए समूह कहाँ होने चाहिए?"
परीक्षण (The Test): उन्होंने AI को उत्तर दिखाए बिना स्तर 4, 5, 6 और उसके बाद स्तर 9 तक स्टैम्प दबाकर स्तर बनाने के लिए कहा।
परिणाम: AI ने केवल अनुमान नहीं लगाया। इसने पैटर्न को सुसंगत बनाए रखा। इसके द्वारा बनाए गए नए समूह ज्यामितीय रूप से सही थे और मूल डेटा के समान ही "फैमिली ट्री" संरचना का पालन करते थे।

4. तीन परीक्षण

यह सिद्ध करने के लिए कि यह काम करता है, उन्होंने इसे तीन अलग-अलग परिदृश्यों में आजमाया:

"परफेक्ट" टेस्ट (CFG): उन्होंने एक नकली दुनिया बनाई जहाँ नियम गणितीय रूप से पूर्ण थे। AI ने तुरंत नियम सीख लिया और अनंत तक पूर्ण पेड़ बनाता रहा। इससे सिद्ध हुआ कि गणित काम करता है।
"फ्रैक्टल" टेस्ट (IFS): उन्होंने प्रसिद्ध फ्रैक्टल आकृतियों (जैसे Sierpiński त्रिभुज) का उपयोग किया। ये आकृतियाँ दोहराए जाने वाले नियमों द्वारा बनाई जाती हैं, लेकिन नियम उन नियमों से थोड़े अलग थे जिन पर AI को प्रशिक्षित किया गया था। AI ने फिर भी नियम की "आत्मा" को समझ लिया और फ्रैक्टल को सही ढंग से बनाया, भले ही उसने पहले उस विशिष्ट फ्रैक्टल को कभी नहीं देखा था।
"मेसी" टेस्ट (Images): उन्होंने बिल्लियों और कुत्तों की वास्तविक तस्वीरों (CIFAR डेटासेट से) का उपयोग किया। वास्तविक जीवन अव्यवस्थित होता है; समूह पूर्ण फ्रैक्टल नहीं होते। हालाँकि, AI ने अभी भी एक "स्थानीय नियम" सीखा जो यह भविष्यवाणी कर सकता था कि यदि समूहों को और विभाजित किया गया तो वे कैसे टूटेंगे। इसने केवल तस्वीरों को याद नहीं किया; इसने उस ज्यामिति को सीखा कि तस्वीरें आपस में कैसे संबंधित थीं।

5. यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

शोध पत्र का दावा है कि सीमित अवलोकन अनंत नियमों को प्रकट कर सकते हैं।
यदि आप कंप्यूटर को किसी पैटर्न का एक छोटा सा हिस्सा दिखाते हैं, तो यह "स्थानीय परिशोधन नियम" (लोकल रिफाइनमेंट रूल - यानी स्टैम्प) को सीख सकता है और इसका उपयोग उस अधिक विस्तृत संरचना को बनाने के लिए कर सकता है जो मूल डेटा से कहीं अधिक गहरी है।

संक्षेप में: केवल मेज पर रखे पत्थरों के ढेर को छाँटने के बजाय, यह तरीका कंप्यूटर को उन पत्थरों के लिए "गुरुत्वाकर्षण के नियम" सिखाता है, ताकि वह भविष्यवाणी कर सके कि यदि आपके पास लाखों और पत्थर होते तो ढेर कैसा दिखता।

वे क्या दावा नहीं करते

वे यह दावा नहीं करते कि इससे बीमारियां ठीक हो जाएंगी या शेयर बाजार की भविष्यवाणी की जा सकेगी।
वे यह दावा नहीं करते कि यह हर प्रकार के अव्यवşık डेटा पर काम करेगा (यदि डेटा बहुत अधिक अराजक है या समूह कोई पैटर्न नहीं मानते हैं, तो यह विधि विफल हो सकती है)।
वे पूरी तरह से एक "रिकर्सिव रिफाइनमेंट रूल" सीखने और गहरे पदानुक्रम (hierarchies) उत्पन्न करने की गणितीय क्षमता पर ध्यान केंद्रित करते हैं, न कि चिकित्सा निदान जैसे विशिष्ट वास्तविक दुनिया के अनुप्रयोगों पर।

मुख्य निष्कर्ष एक दृष्टिकोण में बदलाव है: डेटा को केवल सीखें नहीं; उस नियम को सीखें जो डेटा को बनाता है, ताकि आप पेड़ के बाकी हिस्से की कल्पना कर सकें।

तकनीकी सारांश: वर्गीकरण क्षेत्र (Classification Fields): कुछ उदाहरणों से स्वैच्छिक रूप से सूक्ष्म पुनरावर्ती पदानुक्रमित क्लस्टरिंग

1. समस्या विवरण

शास्त्रीय पदानुक्रमित क्लस्टरिंग विधियाँ आमतौर पर एक निश्चित परिमित नमूने (finite sample) पर कार्य करती हैं, जो या तो डेटा का एक परिमित विभाजन (finite partition) या एक परिमित डेंड्रोग्राम (dendrogram) लौटाती हैं। यह दृष्टिकोण तब अपर्याप्त होता है जब रुचि का पदानुक्रम एक पुनरावर्ती ज्यामितीय वस्तु (recursive geometric object) हो, जिसमें सूक्ष्म-स्तरीय शोधन (fine-scale refinements) सीधे देखे गए स्तरों से परे भी विस्तृत होते हैं। ऐसे मामलों में, गुप्त क्लस्टर केंद्रों ( $k$ ) की संख्या देखे गए नोड्स ( $N$ ) की संख्या से बहुत अधिक बढ़ सकती है, और शोधन उन गहराइयों तक जारी रह सकते हैं जो प्रशिक्षण डेटा में मौजूद नहीं हैं।

इस कार्य द्वारा संबोधित केंद्रीय प्रश्न यह है: क्या हम एक पदानुक्रम के सीमित प्रेक्षित प्रिफिक्स (observed prefix) से एक स्थानीय शोधन नियम (local refinement rule) सीख सकते हैं और इसे गहराई तक जाने वाले स्तरों को उत्पन्न करने के लिए पुनरावर्ती रूप से लागू (roll out) कर सकते हैं?

पदानुक्रम के लिए वर्तमान विभेदक (differentiable) या सीखे गए दृष्टिकोण आमतौर पर एक परिमित देखे गए वृक्ष (tree) को फिट करते हैं, एक निश्चित संरचना को एम्बेड करते हैं, या एक परिमित क्लस्टरिंग उद्देश्य को अनुकूलित करते हैं। वे देखे गए पदानुक्रम से परे पुनरावर्ती रोलआउट करने में सक्षम शोधन तंत्र (refinement mechanism) को सीधे नहीं सीखते हैं।

2. कार्यप्रणाली: वर्गीकरण क्षेत्र (Classification Fields)

लेखक अनंत-गहराई वाली पदानुक्रमित क्लस्टरिंग के लिए एक मीट्रिक-ज्यामितीय मॉडल के रूप में वर्गीकरण क्षेत्रों (Classification Fields) को प्रस्तुत करते हैं।

2.1 मुख्य परिभाषाएँ

वर्गीकरण क्षेत्र जनरेटर (Classification Field Generator - CFG): एक स्थानीय नियम $r: \mathbb{R}^d \to (\mathbb{R}^d)^K$ $r : R^{d} \to (R^{d})^{K}$ जो एक पैरेंट सेंटर (parent center) को एक क्रमबद्ध, बाध्य और पृथक $K$ $K$ -टुपल चाइल्ड रेसिडुअल्स (child residuals) में मैप करता है।
- बाधायें (Constraints): किसी भी पैरेंट $x$ के लिए, चाइल्ड रेसिडुअल्स $\{r_k(x)\}$ एक यूक्लिडियन एनुलस (Euclidean annulus - बाध्य नॉर्म) में होने चाहिए और $s_{sep}$ -पृथक होने चाहिए।
- निर्माण: CFGs को एक निश्चित संदर्भ पैकिंग (reference packing) के ऑर्थोगोनल-डायगोनल-ऑर्थोगोनल विरूपण (deformations) के माध्यम से बनाया जा सकता है, जो यह सुनिश्चित करता है कि ज्यामितीय बाधाएं पूरी हों।
वर्गीकरण क्षेत्र (Classification Field): एक रूट $x_0$ $x_{0}$ और एक स्केल फैक्टर $s$ $s$ से शुरू होकर CFG को पुनरावर्ती रूप से लागू करने से प्राप्त अनंत-गहराई वाला पदानुक्रमित ढांचा।
- संरचना: क्षेत्र एक पुनरावर्ती रूप से उत्पन्न मीट्रिक डायरेक्टेड एसाइक्लिक ग्राफ (DAG) है।
- घटक: यह क्लस्टर केंद्र, संबद्ध वोरोनोई सेल (Voronoi cells), और वंशावली पते (genealogical addresses) उत्पन्न करता है।
- मीट्रिक (Metrics): पेपर में क्षेत्र पर तीन दूरी मीट्रिक परिभाषित की गई हैं:
  1. ट्री मीट्रिक (Tree Metric): कॉम्बिनेटरियल एज वेट्स (स्तर-निर्भर) पर आधारित।
  2. पॉइंट-आधारित मीट्रिक (Point-based Metric): केंद्रों के बीच यूक्लिडियन दूरी पर आधारित।
  3. सेल-आधारित मीट्रिक (Cell-based Metric): गहराई द्वारा स्केल किए गए वोरोनोई सेल्स के हॉसडॉर्फ (Hausdorff) दूरियों पर आधारित।

2.2 सीखना: वर्गीकरण क्षेत्र भविष्यवक्ता (Classification Field Predictors - CFP)

एक पदानुक्रम के परिमित प्रिफिक्स (एक गहराई $L_{train}$ तक देखा गया) को देखते हुए, एक वर्गीकरण क्षेत्र भविष्यवक्ता (CFP), जिसे $\hat{r}$ द्वारा दर्शाया गया है, सीखने का लक्ष्य है जो मूल CFG का अनुमान लगा सके।

प्रशिक्षण उद्देश्य (Training Objective): अनुमानित चाइल्ड रेसिडुअल्स और देखे गए रेसिडुअल्स के बीच वर्ग त्रुटि (squared error) को कम करना:
$\mathcal{L}(\hat{r} | \mathcal{H}_{train}) = \sum_{l=0}^{L_{train}-1} \sum_{x \in \mathcal{H}_l} \sum_{k=1}^K \| x + s^{l+1}\hat{r}(x)_k - \text{chld}(x)_k \|_2^2$
पुनरावर्ती रोलआउट (Recursive Rollout): परीक्षण समय (test time) पर, $\hat{r}$ को रूट से पुनरावर्ती रूप से लागू किया जाता है। प्रत्येक उत्पन्न चाइल्ड अगले स्तर के लिए पैरेंट बनता है। रोलआउट के दौरान अनदेखे स्तरों के लिए कोई भी ग्राउंड-ट्रुथ नोड्स उपयोग नहीं किए जाते हैं।

2.3 सैद्धांतिक गारंटी

पेपर यह स्थापित करता है कि विशिष्ट शर्तों के तहत, सीखा गया क्षेत्र अपने परिमित ट्रंकेशन (truncations) के माध्यम से पूर्ण अनंत-गहराई वाले क्षेत्र में अभिसरित (converge) होता है:

घातांकीय अभिसरण (Exponential Convergence): बाउंडेडनेस, सेपरेशन और रेगुलैरिटी धारणाओं के तहत, गहराई- $L$ ट्रंकेशन और पूर्ण क्षेत्र के बीच हॉसडॉर्फ दूरी $L$ के साथ घातांकीय रूप से घटती है।
न्यूरल रियलाइज़ेबिलिटी (Neural Realizability): CFG को अनुमानित करने के लिए आवश्यक परिमित शोधन विंडो (refinement windows) को ReLU मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) द्वारा साकार किया जा सकता है।
- जटिलता (Complexity): आवश्यक चौड़ाई $O(\varepsilon^{-\gamma})$ और गहराई $\tilde{O}(\varepsilon^{-3\gamma/2})$ है, जहाँ $\gamma = \log K / (-\log s)$ ।
- यह सिद्ध करता है कि एक परिमित न्यूरल नेटवर्क अनंत-गहराई वाले पदानुक्रमित ढांचे के लिए एक परिमित सन्निकटन तंत्र (approximation mechanism) के रूप में कार्य कर सकता है।

3. प्रयोगात्मक सत्यापन

लेखक बढ़ते हुए मिसमैच (mismatch) के तीन सेटिंग्स में CFP का मूल्यांकन करते हैं:

मैच्ड CFG-जनरेटेड पदानुक्रम (Matched CFG-Generated Hierarchies):
- सेटअप: डेटा जो थ्योरी में उपयोग किए गए समान परिवार के ज्ञात CFG से उत्पन्न हुआ है।
- परिणाम: CFP अनदेखे रोलआउट क्षितिज (unseen rollout horizons) में बेसलाइन (learnable constant, average residual, और affine predictors) की तुलना में सबसे कम स्तर-वार त्रुटि बनाए रखता है। यह पुष्टि करता है कि सीखा गया स्थानीय नियम बार-बार स्वयं के संयोजन (self-composition) के तहत सुसंगत रहता है।
आउट-ऑफ-फैमिली IFS फ्रैक्टल पदानुक्रम (Out-of-Family IFS Fractal Hierarchies):
- सेटअप: स्मूथ नॉन-लीनियर परटर्बेशन (जैसे सिर्पिंस्की ट्रायंगल, कैंटर डस्ट, कोच कर्व) के साथ इटरेटेड फंक्शन सिस्टम (IFS) द्वारा उत्पन्न पदानुक्रम। इनमें सटीक पुनरावर्ती संरचना है लेकिन वे पैरामीटराइज्ड CFG परिवार से नहीं हैं।
- परिणाम: CFP, बेसलाइन की तुलना में कम MSE, परम्यूटेशन-इनवेरिएंट चैमर डिस्टेंस (PI-CD), और डेप्थ डिस्टॉर्शन प्राप्त करता है। यह दर्शाता है कि वर्गीकरण क्षेत्र फॉर्मूलेशन जेनरेटेड क्लास से परे सामान्यीकरण (generalize) करने में सक्षम है।
इमेज-इंड्यूस्ड रिकर्सिव क्लस्टरिंग पदानुक्रम (Image-Induced Recursive Clustering Hierarchies):
- सेटअप: CIFAR-10 और CIFAR-100 छवियों के CLIP एम्बेडिंग्स का उपयोग करके एक रिकर्सिव डीप क्लस्टरिंग विधि से निर्मित पदानुक्रम। यहाँ शोधन नियम (refinement rule) अनुमानित है, और चाइल्ड स्लॉट्स के लिए PCA के माध्यम से कैनोनिकलाइजेशन (क्रमबद्ध करना) आवश्यक है।
- परिणाम: CFP अनऑर्डर्ड ज्योमेट्री (PI-CD) और पदानुक्रम-स्तर पथ मेट्रिक्स (dpt-distortion) को बनाए रखने में बेसलाइन से काफी बेहतर प्रदर्शन करता है। यह सुझाव देता है कि शोर वाले वास्तविक डेटा परिवेशों में भी, परिमित पदानुक्रमित प्रिफिक्स में सीखने योग्य शोधन तंत्र मौजूद होते हैं।

4. प्रमुख योगदान

वैचारिक ढांचा (Conceptual Framework): अनंत-गहराई वाले पदानुक्रमित क्लस्टरिंग के लिए एक मीट्रिक-ज्यामितीय मॉडल के रूप में वर्गीकरण क्षेत्रों (Classification Fields) का परिचय, जो ध्यान को एक परिमित नमूने पर पदानुक्रम सीखने से हटाकर एक पुन: उपयोग योग्य स्थानीय पैरेंट-टू-चाइल्ड शोधन नियम सीखने पर केंद्रित करता है।
मीट्रिक थ्योरी (Metric Theory): इन वस्तुओं के लिए एक कठोर मीट्रिक थ्योरी का विकास, जिसमें ट्री, पॉइंट और सेल-आधारित दूरियों की परिभाषाएं और पूर्ण क्षेत्र में परिमित ट्रंकेशन के अभिसरण के लिए मात्रात्मक सीमाएं शामिल हैं।
न्यूरल रियलाइज़ेबिलिटी (Neural Realizability): यह सिद्ध करना कि परिमित शोधन विंडो को ReLU प्रेडिक्टर्स द्वारा प्रदर्शित किया जा सकता है, जो स्पष्ट जटिलता सीमाओं के साथ अनंत-गहराई वाले पदानुक्रमित पूर्णता (hierarchical completion) के लिए एक परिमित न्यूरल रोलआउट तंत्र स्थापित करता है।

5. महत्व और दावे

यह पेपर दावा करता है कि परिमित पदानुक्रमित अवलोकन स्थानीय शोधन नियमों को प्रकट कर सकते हैं जो काफी गहरे वर्गीकरण क्षेत्रों को उत्पन्न करने में सक्षम हैं। परिणाम इस विचार का समर्थन करते हैं कि पदानुक्रमित क्लस्टरिंग को एक परिमित कॉम्बिनेटरियल सारांश बनाने के बजाय एक स्थानीय पुनरावर्ती शोधन नियम सीखने के रूप में फ्रेम किया जा सकता है।

लेखक इस कार्य को मौजूदा पदानुक्रमित क्लस्टरिंग विधियों के पूरक दृष्टिकोण के रूप में देखते हैं। वे स्पष्ट रूप से सीमाओं को स्वीकार करते हैं: यह ढांचा एक निश्चित ब्रांचिंग फैक्टर, पर्याप्त सेपरेशन और एक पुन: उपयोग योग्य शोधन प्रक्रिया को मानता है। वे स्वीकार करते हैं कि फ्रेमवर्क को शोर वाले, परिवर्तनशील-ब्रांचिंग, कमजोर रूप से संरेखित, या गैर-स्वयं-समान (non-self-similar) पदानुक्रमों तक विस्तारित करना एक महत्वपूर्ण दिशा बनी रहेगी। प्रयोगों को पूर्ण दावे के बजाय सत्यापन जांच (validation probes) के रूप में प्रस्तुत किया गया है कि क्या प्रत्येक पदानुक्रमित क्लस्टरिंग समस्या एक आदर्श वर्गीकरण क्षेत्र को स्वीकार करती है।