🤖 machine learning

Neural Field Tokenizations with Hierarchy and Spatial Locality Priors

यह शोध पत्र LH-NeF को प्रस्तुत करता है, जो एक फीड-फॉरवर्ड फ्रेमवर्क है जो निरंतर संकेतों (continuous signals) के सामान्य-उद्देश्यीय टोकेनाइज्ड निरूपण (tokenized representations) उत्पन्न करने के लिए स्थानीयता (locality) और पदानुक्रम (hierarchy) के पूर्वाग्रहों का लाभ उठाता है, जिससे विविध डेटा प्रकारों में मौजूदा मोडैलिटी-अज्ञेय (modality-agnostic) और विशिष्ट न्यूरल फील्ड बेसलाइनों के प्रदर्शन के बराबर या उससे अधिक प्रदर्शन करते हुए महत्वपूर्ण मेमोरी और बैच आकार दक्षता प्राप्त होती है।

मूल लेखक: Alonso Urbano, David W. Romero, Max Zimmer, Sebastian Pokutta

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alonso Urbano, David W. Romero, Max Zimmer, Sebastian Pokutta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास विभिन्न प्रकार के डेटा का एक विशाल पुस्तकालय है: तस्वीरें, कुर्सियों के 3D मॉडल और वैश्विक मौसम मानचित्र। पारंपरिक रूप से, यदि आप कंप्यूटर को इन सभी को समझने के लिए प्रशिक्षित करना चाहते, तो आपको प्रत्येक प्रकार के डेटा के लिए एक अलग "अनुवादक" (translator) की आवश्यकता होती। तस्वीरों के लिए अनुवादक मौसम मानचित्रों पर काम नहीं करता, और 3D कुर्सियों के लिए अनुवादक छवियों के साथ संघर्ष करता।

यह शोध पत्र एक नई विधि पेश करता है जिसे LH-NeF (Locality-preserving Hierarchical Neural Fields) कहा जाता है। इसे एक सार्वभौमिक अनुवादक (universal translator) के रूप में सोचें जो किसी भी प्रकार के डेटा—छवियों, आकृतियों या मौसम—को समान नियमों का उपयोग करके संभाल सकता है।

यह कैसे काम करता है, यहाँ सरल उपमाओं के साथ समझाया गया है:

1. समस्या: "धीमा और महंगा" तरीका

इस शोध पत्र से पहले, कंप्यूटर को इस तरह के निरंतर डेटा क्षेत्रों (continuous data fields) को समझने के लिए प्रशिक्षित करने का सबसे अच्छा तरीका एक नई भाषा को एक-एक करके हर एक वाक्य को याद करने जैसा था।

पुरानी विधि (Meta-Learning): प्रत्येक छवि या 3D आकृति के लिए, कंप्यूटर को रुकना पड़ता था, सोचना पड़ता था, और शून्य से अपनी समझ को "अनुकूलित" (optimize) करना पड़ता था। यह एक छात्र से हर बार नया शब्द पढ़ने के लिए वर्णमाला को फिर से सीखने के लिए कहने जैसा था।
लागत: यह अविश्वसनीय रूप से धीमा था और इसके लिए बहुत अधिक कंप्यूटर मेमोरी (RAM) की आवश्यकता थी। यह ऐसा था जैसे एक किताब पढ़ने के लिए अपने बैकपैक में पूरा पुस्तकालय ले जाने की कोशिश करना।

2. समाधान: "स्मार्ट टोकनाइज़र" (Smart Tokenizer)

लेखक डेटा को देखने का एक नया तरीका प्रस्तावित करते हैं। प्रत्येक बिंदु को याद करने के बजाय, वे डेटा को संरचित "टोकन" (जैसे पहेली के टुकड़े) के एक सेट में बदल देते हैं जिन्हें कंप्यूटर तुरंत प्रोसेस कर सकता है।

इसे काम करने के लिए वे दो मुख्य "सुपरपावर्स" का उपयोग करते हैं:

A. लोकैलिटी (Locality - "पड़ोस" का नियम)

कल्पना कीजिए कि आप लोगों की एक बड़ी भीड़ को व्यवस्थित कर रहे हैं।

गलत तरीका: आप उन्हें बेतरतीब ढंग से लाइन में खड़ा कर देते हैं। कमरे के सुदूर बाईं ओर का व्यक्ति कमरे के सुदूर दाईं ओर के व्यक्ति के बगल में खड़ा है। उनमें कुछ भी समान नहीं है, फिर भी उन्हें एक साथ समूह में रखा गया है। यह कंप्यूटर को भ्रमित करता है।
LH-NeF का तरीका: आप एक "लोकैलिटी-प्रिजर्विंग" (locality-preserving) नियम का उपयोग करते हैं। आप उन लोगों को समूह में रखते हैं जो कमरे में एक-दूसरे के करीब खड़े हैं। यदि आप एक फोटो देख रहे हैं, तो आप उन पिक्सेल को समूह में रखते हैं जो पड़ोसी हैं। यदि आप 3D कुर्सी देख रहे हैं, तो आप कुर्सी के उन हिस्सों को समूह में रखते हैं जो भौतिक रूप से करीब हैं।
उपमा: यह एक पुस्तकालय को यादृच्छिक क्रम में नहीं, बल्कि "कुकिंग" की किताबों को अन्य "कुकिंग" की किताबों के पास रखने और "इतिहास" को "इतिहास" के पास रखने के आधार पर व्यवस्थित करने जैसा है। यह इसे आपकी ज़रूरत खोजने में बहुत आसान बनाता है।

B. पदानुक्रम (Hierarchy - "ज़ूम-आउट" का नियम)

कल्पना कीजिए कि आप एक मानचित्र देख रहे हैं।

गलत तरीका: आप केवल सड़क स्तर को देखते हैं। आप हर एक घर को देखते हैं, लेकिन आप पूरे शहर को नहीं देख पाते।
LH-NeF का तरीका: यह एक पदानुक्रम (hierarchy) बनाता है। पहले, यह छोटे मोहल्लों को समूहबद्ध करता है। फिर, यह उन मोहल्लों को जिलों में समूहबद्ध करता है। फिर, यह जिलों को पूरे शहर में समूहबद्ध करता है।
उपमा: यह रूसी नेस्टिंग डॉल्स (Russian nesting dolls) के एक सेट जैसा है। आप सूक्ष्म विवरणों (सबसे छोटी गुड़िया) से शुरू करते हैं, फिर मध्यम समूह देखने के लिए एक कदम पीछे हटते हैं, और अंत में बड़ी तस्वीर देखते हैं। यह कंप्यूटर को सूक्ष्म विवरणों (जैसे कुर्सी के पैर की बनावट) और बड़ी संरचना (पूरी कुर्सी) दोनों को एक साथ समझने में मदद करता है।

3. यह डेटा को कैसे पढ़ता है (द रेंडरर - Renderer)

एक बार जब डेटा को इन स्मार्ट, समूहबद्ध टोकन में बदल दिया जाता है, तो कंप्यूटर को छवि या आकृति बनाने के लिए इसे वापस पढ़ने की आवश्यकता होती है।

पुराना तरीका: इसे हर एक बिंदु के लिए बार-बार जटिल गणित करना पड़ता था।
नया तरीका: जब कंप्यूटर को जानना होता है कि एक विशिष्ट बिंदु कैसा दिखता है, तो वह पूछता है: "यह बिंदु किस पड़ोस (समूह) में है?" फिर वह निकटतम कुछ पड़ोसों को देखता है, उनकी जानकारी को सुचारू रूप से मिलाता है (पेंट मिलाने की तरह), और तुरंत उत्तर जान जाता है।
परिणाम: यह एक स्थानीय गाइड से दिशा पूछने जैसा है। हर एक कदम के लिए मानचित्र की जांच करने के बजाय, गाइड पूरे पड़ोस को जानता है और आपको एक सुचारू, निरंतर पथ देता है।

4. यह क्यों मायने रखता है (परिणाम)

शोध पत्र तीन बड़ी जीत का दावा करता है:

गति और मेमोरी: क्योंकि उन्होंने "शून्य से फिर से सीखने" के चरण को रोक दिया, इसलिए नई विधि पिछली सर्वोत्तम विधियों की तुलना में 42 गुना कम मेमोरी का उपयोग करती है और एक साथ 133 गुना अधिक डेटा को प्रोसेस कर सकती है। यह साइकिल से हाई-स्पीड ट्रेन में स्विच करने जैसा है।
गुणवत्ता: तेज़ होने के बावजूद, यह छवियों, 3D आकृतियों और मौसम मानचित्रों को उतना ही अच्छा (या बेहतर) बनाता है जितना कि धीमी, पुरानी विधियाँ बनाती थीं।
सार्वभौमिकता (Universality): यह सब पर काम करता है। चाहे वह 2D फोटो हो, 3D ऑब्जेक्ट हो, या वैश्विक जलवायु मानचित्र हो, एक ही "अनुवादक" काम करता है। आपको प्रत्येक नए प्रकार के डेटा के लिए नया इंजन बनाने की आवश्यकता नहीं है।

सारांश

यह शोध पत्र कंप्यूटर को निरंतर डेटा (जैसे छवियों और आकृतियों) को समझने के लिए प्रशिक्षित करने का एक नया तरीका प्रस्तुत करता है, जिसे पड़ोसों और विवरण के स्तरों (पदानुक्रम) में व्यवस्थित किया गया है। यह कंप्यूटर को हर बार धीरे-धीरे फिर से सीखने के बजाय तुरंत डेटा को प्रोसेस करने की अनुमति देता है, जिससे उच्च गुणवत्ता बनाए रखते हुए कंप्यूटर की शक्ति की भारी बचत होती है। यह एक सार्वभौमिक, कुशल और स्मार्ट तरीका है जिसे पहले आसानी से प्रबंधित करने के लिए बहुत भारी माना जाता था।

तकनीकी सारांश: पदानुक्रम और स्थानिक स्थानीयता पूर्वधारणाओं के साथ न्यूरल फील्ड टोकनाइज़ेशन

समस्या विवरण

न्यूरल फील्ड्स डेटा को निरंतर फलनों (continuous functions) के रूप में पैरामीट्राइज़ करते हैं (जैसे, $f_\theta: [0, 1]^2 \to \mathbb{R}^3$ ), जो विभिन्न मोडैलिटीज के लिए प्रतिनिधित्व सीखने हेतु एक एकीकृत ढांचा प्रदान करते हैं। हालाँकि, मौजूदा मोडैलिटी-अज्ञेयवादी (modality-agnostic) दृष्टिकोण, जैसे कि Functa और उसके वंशज, लेटेंट रिप्रजेंटेशन को इन्फर करने के लिए प्रति-नमूना मेटा-लर्निंग (जैसे, MAML या ऑटो-डिकोडिंग) पर बहुत अधिक निर्भर करते हैं। यह प्रतिमान तीन महत्वपूर्ण सीमाओं को प्रस्तुत करता है:

स्केलेबिलिटी बाधा (Scalability Bottleneck): मेटा-लर्निंग को सेकंड-ऑर्डर ग्रेडिएंट्स की गणना करने के लिए इनर-लूप ऑप्टिमाइज़ेशन हेतु पूर्ण कम्प्यूटेशन ग्राफ को स्टोर करने की आवश्यकता होती है। यह बैच साइज और मेमोरी दक्षता को गंभीर रूप से सीमित करता है, जिससे उच्च रिज़ॉल्यूशन या बड़े डेटासेट तक स्केल करना कठिन हो जाता है।
संरचना का अभाव (Lack of Structure): ऑप्टिमाइज़ेशन-व्युत्पन्न लेटेंट स्पेस में स्पष्ट संरचनात्मक पूर्वधारणाओं (structural priors) की कमी होती है, जिससे सीखना अक्षम हो जाता है और परिणामी रिप्रजेंटेशन को वर्गीकरण जैसे डाउनस्ट्रीम कार्यों के लिए उपयोग करना कठिन होता है।
ट्रेड-ऑफ (Trade-off): उपयोगी संरचनात्मक पूर्वधारणाओं (जैसे स्थानीयता और पदानुक्रम) को पेश करने और मोडैलिटी-अज्ञेयवाद को बनाए रखने के बीच एक मौलिक तनाव है। अधिकांश विधियाँ जो संरचना (जैसे 2D ग्रिड, पॉइंट क्लाउड्स) पेश करती हैं, वे मनमाने कोऑर्डिनेट डोमेन को संभालने की क्षमता का त्याग कर देती हैं।

कार्यप्रणाली: LH-NeF

लेखक LH-NeF (Locality-preserving Hierarchical Neural Fields) प्रस्तावित करते हैं, जो एक ऐसा ढांचा है जो मोडैलिटी-अज्ञेयवाद से समझौता किए बिना निरंतर सिग्नल्स के सामान्य-उद्देश्य वाले टोकनाइज्ड रिप्रजेंटेशन सीखता है। यह विधि प्रति-नमूना ऑप्टिमाइज़ेशन के स्थान पर एक सीखे हुए एनकोडर-डिकोडर आर्किटेक्चर के माध्यम से एकल फॉरवर्ड पास का उपयोग करती है।

1. LH-NeF टोकनाइज़र (एनकोडर)
टोकनाइज़र Hierarchical Perceivers (HiP) पर आधारित है लेकिन इसे कोऑर्डिनेट-स्पेस स्थानीयता का सम्मान करने के लिए संशोधित किया गया है:

स्थानीयता-संरक्षण क्रम (Locality-Preserving Ordering): मानक HiP के विपरीत, जो एक निश्चित रस्टर स्कैन का उपयोग करता है (जो कोऑर्डिनेट स्पेस में स्थानिक स्थानीयता का उल्लंघन करता है), LH-NeF इनपुट ऑब्जर्वेशन्स $\{(x_i, v_i)\}$ को एक स्थानीयता-संरक्षण क्रम $\pi$ का उपयोग करके पुनर्व्यवस्थित करता है। यह स्पेस-फिलिंग कर्व्स (जैसे यूक्लिडियन डोमेन के लिए Morton/Z-order, गोलाकार डेटा के लिए S2 Hilbert curves) से प्राप्त किया जाता है। यह सुनिश्चित करता है कि टोकन सीक्वेंस में निरंतर समूह, कोऑर्डिनेट डोमेन में सघन स्थानिक क्षेत्रों के अनुरूप हों।
पदानुक्रमित समूहबद्ध अटेंशन (Hierarchical Grouped Attention): पुनर्व्यवस्थित सीक्वेंस को ग्रुपड अटेंशन के $L$ ब्लॉक्स के माध्यम से प्रोसेस किया जाता है। टोकन्स को सूक्ष्म-स्तरीय समूहों से लेकर मोटे-स्तरीय समूहों तक क्रमिक रूप से मर्ज किया जाता है।
स्थानिक मेटाडेटा (Spatial Metadata): अंतिम आउटपुट रूटिंग मेटाडेटा के साथ समूहों का एक सेट $Y^{(L)}$ है: सेंट्रॉइड $\mu_g$ (समूह में कोऑर्डिनेट्स का Fréchet mean) और विस्तार $\lambda_g$ (स्थानिक त्रिज्या या बाउंडिंग बॉक्स)। यह रिप्रजेंटेशन को इनपुट की सैंपलिंग डेंसिटी और ज्योमेट्री के अनुकूल होने की अनुमति देता है।

2. LH-NeF रेंडरर (डिकोडर)
टोकनाइज़ेशन और एक क्वेरी कोऑर्डिनेट $x$ दिए जाने पर, रेंडरर तीन चरणों के माध्यम से फील्ड वैल्यू $f_\theta(x)$ को पुनर्गठित करता है:

k-ग्रुप सॉफ्ट रूटिंग: क्वेरी $x$ को $x$ और ग्रुप सेंट्रॉयड्स $\mu_g$ के बीच की दूरी के आधार पर $k$ निकटतम समूहों में रूट किया जाता है। एक सीखनीय Gaussian kernel इन समूहों को सॉफ्ट वेट्स $w_g(x)$ असाइन करता है, जो निरंतरता सुनिश्चित करता है और समूहों के बीच अचानक बदलावों से बचाता है।
क्रॉस-अटेंशन एग्रीगेशन: प्रत्येक रूटेड ग्रुप के लिए, क्वेरी एम्बेडिंग और ग्रुप के टोकन्स के बीच क्रॉस-अटेंशन किया जाता है। आउटपुट्स को एक भारित योग (weighted sum) के माध्यम से एकत्रित किया जाता है।
जियोमेट्री-कंडीशनड मॉड्यूलेशन: एकत्रित फीचर वेक्टर को निकटतम समूह के भीतर क्वेरी के सापेक्ष स्थान $\tilde{x}$ (समूह के विस्तार द्वारा सामान्यीकृत) पर आधारित FiLM-शैली के तंत्र का उपयोग करके मॉड्यूलेट किया जाता है। यह ट्रांसलेशन और स्केलिंग के प्रति इनवेरिएंस प्रदान करता है, जिससे नेटवर्क स्थानीय पैटर्न सीख पाता है जो विभिन्न समूहों में सामान्यीकृत (generalize) हो सकें।

मुख्य योगदान

एक ट्रेड-ऑफ की पहचान: पेपर न्यूरल फील्ड लर्निंग में स्केलेबिलिटी, स्ट्रक्चरल प्रायर और मोडैलिटी-अज्ञेयवाद के बीच तनाव की पहचान करता है, और तर्क देता है कि मोडैलिटी-विशिष्ट धारणाओं के बिना भी पदानुक्रम और स्थानीयता को पेश किया जा सकता है।
LH-NeF फ्रेमवर्क: एक नवीन आर्किटेक्चर जो स्थानिक रूप से संरचित समूहबद्ध टोकनाइज़ेशन उत्पन्न करता है। यह एक रेंडरर को कंडीशन करता है जो सॉफ्ट ग्रुप रूटिंग और क्रॉस-अटेंशन के माध्यम से मनमाने कोऑर्डिनेट्स पर फील्ड्स को डिकोड करता है, जिससे प्रति-नमूना ऑप्टिमाइज़ेशन की आवश्यकता समाप्त हो जाती है।
दक्षता और प्रदर्शन: यह विधि मेमोरी-गहन इनर-लूप को एक सिंगल फॉरवर्ड पास से बदलकर, प्रशिक्षण दक्षता में महत्वपूर्ण लाभ प्राप्त करती है और स्टेट-ऑफ-द-आर्ट प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन करती है।

प्रयोगात्मक परिणाम

लेखकों ने इमेज (CIFAR-10, CelebA-HQ, ImageNet), 3D शेप्स (ShapeNet), और क्लाइमेट फील्ड्स (ERA5) पर LH-NeF का मूल्यांकन किया।

पुनर्गठन (Reconstruction): LH-NeF मोडैलिटी-अज्ञेयवादी विधियों में स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है। उदाहरण के लिए, CelebA-HQ (64²) पर, यह केवल 198K पैरामीटर्स के साथ 44.4 dB PSNR प्राप्त करता है, जो Functa (38.1 dB, 2.6M params) और ENF (42.2 dB, 522K params) से बेहतर है।
डाउनस्ट्रीम कार्य:
- जेनरेशन: CelebA-HQ पर, LH-NeF 9.7 का FID प्राप्त करता है, जो विशिष्ट जेनेरेटिव न्यूरल फील्ड विधियों और मोडैलिटी-अज्ञेयवादी बेसलाइन्स से बेहतर है।
- वर्गीकरण (Classification): ShapeNet16 पर, फ्रोजन टोकन्स पर एक लाइटवेट क्लासिफायर 96.8% सटीकता तक पहुँचता है, जो ENF (96.6%) और Functa (90.3%) से आगे है।
- फोरकास्टिंग (Forecasting): ERA5 पर, LH-NeF तापमान फोरकास्टिंग में Functa से बेहतर प्रदर्शन करता है, हालांकि यह ENF (जो सिमेट्री-विशिष्ट प्रायर का उपयोग करता है) से पीछे है।
दक्षता: इनर-लूप मेटा-लर्निंग को हटाकर, LH-NeF समान हार्डवेयर पर सबसे मजबूत मोडैलिटी-अज्ञेयवादी बेसलाइन (ENF) की तुलना में ~42× कम मेमोरी का उपयोग करता है और 133× बड़े बैच साइज (266 बनाम 2) का समर्थन करता है।

महत्व और दावे

पेपर दावा करता है कि LH-NeF न्यूरल फील्ड रिप्रजेंटेशन लर्निंग के लिए एक स्केलेबल, मोडैलिटी-अज्ञेयवादी फाउंडेशनल मेथड के रूप में कार्य करता है। पदानुक्रम और स्थानीयता को इंडक्टिव बायस के रूप में उपयोग करके, यह ढांचा फॉरवर्ड-पास इन्फरेंस की दक्षता और न्यूरल फील्ड्स की लचीलेपन के बीच के अंतर को सफलतापूर्वक पाटता है।

लेखक नोट करते हैं कि जबकि यह विधि समान रूप से सैम्पल किए गए डेटा (इमेज, ग्रिड्स) के लिए अत्यधिक प्रभावी है और अनियमित सैंपलिंग (पॉइंट क्लाउड्स) के अनुकूल है, अत्यधिक अनियमित डेटा (जैसे LiDAR) पर स्थानीयता का संरक्षण केवल अपेक्षा (expectation) में बना रहता है। वे यह भी सुझाव देते हैं कि भविष्य के कार्य यह सीख सकते हैं कि कौन से बायस कार्यों में सामान्य होते हैं, बजाय इसके कि उन्हें हाथ से डिज़ाइन किया जाए, और अंतिम स्तर के बजाय सभी एनकोडर स्तरों से जानकारी का लाभ उठाने के लिए कंडीशनिंग तंत्र का विस्तार किया जा सके।

यह कार्य यह दावा नहीं करता है कि यह सभी रिप्रजेंटेशन लर्निंग समस्याओं को हल कर देता है, बल्कि यह प्रदर्शित करता है कि स्ट्रक्चर्ड टोकनाइज़ेशन, मल्टी-मोडल अनुप्रयोगों के लिए आवश्यक जेनेरैलिटी से समझौता किए बिना, ऑप्टिमाइज़ेशन-आधारित लेटेंट फिटिंग की जगह ले सकता है।