🤖 machine learning

Local Hessian Spectral Filtering for Robust Intrinsic Dimension Estimation

यह शोध पत्र लोकल हेसियन स्पेक्ट्रल डायमेंशन (LHSD) प्रस्तुत करता है, जो एक स्केलेबल विधि है जो उच्च-आयामी स्थानों में लोकल इंट्रिन्सिक डायमेंशन का मजबूती से अनुमान लगाने के लिए लॉग-डेंसिटी हेसियन पर स्पेक्ट्रल फ़िल्टरिंग लागू करके स्पर्श रेखा दिशाओं (tangent directions) को शोर (noise) से अलग करती है, जिससे बड़े पैमाने के डिफ्यूजन मॉडल्स में मेमोराइजेशन (memorization) का प्रभावी ढंग से पता लगाना सक्षम होता है।

मूल लेखक: Genki Osada

प्रकाशित 2026-05-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Genki Osada

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधले कमरे में खड़े हैं जो हर दिशा में खिंचे हुए लाखों अदृश्य धागों से भरा हुआ है। इनमें से कुछ धागे उस छिपी हुई, जटिल मूर्तिकला (मैनिफोल्ड/manifold) का हिस्सा हैं जिस पर डेटा वास्तव में स्थित है। अन्य धागे उस मूर्तिकला के आसपास के खाली स्थान में तैरते हुए केवल रैंडम शोर (noise) हैं।

आपका लक्ष्य यह पता लगाना है कि उस मूर्तिकला के कितने आयाम (dimensions) हैं। क्या यह एक सपाट 2D शीट है? एक 3D क्यूब है? या कोई जटिल 100-आयामी आकार है?

यह लोकल इनट्रिन्सिक डायमेंशन (LID) अनुमान लगाने की समस्या है। लंबे समय तक, कंप्यूटरों ने इसे डेटा बिंदुओं के उनके पड़ोसियों के करीब होने के तरीके को देखकर हल करने की कोशिश की (जैसे कि भीड़ में कितने लोग आपके पास खड़े हैं, यह गिनना)। लेकिन उच्च-आयामी स्थानों में (जैसे उच्च-रिज़ॉल्यूशन वाली छवियां), यह तरीका विफल हो जाता है क्योंकि "भीड़" इतनी फैल जाती है कि हर कोई समान रूप से दूर दिखाई देने लगता है।

हाल ही में, वैज्ञानिकों ने इस समस्या को हल करने के लिए डिफ्यूजन मॉडल्स (AI जो छवियों से शोर हटाने के लिए सीखा जाता है) का उपयोग करना शुरू कर दिया है। उन्होंने महसूस किया कि यदि आप देखते हैं कि AI शोर के प्रति कैसे प्रतिक्रिया करता है, तो आप डेटा के आकार को समझ सकते हैं। हालाँकि, यह शोध पत्र तर्क देता है कि इन नई विधियों में एक घातक दोष है: वे "शोर के धागों" (noise strings) से घबरा जाते हैं।

समस्या: "शोर" "सिग्नल" को दबा देता है

डेटा को एक चिकनी, सपाट कागज की शीट (टैंजेंट स्पेस) के रूप में सोचें जो एक विशाल, 3D कमरे में तैर रही है।

सिग्नल (The Signal): यदि आप कागज को उसकी सतह के साथ धकेलते हैं, तो वह आसानी से चलता है। यह "टैंजेंट" दिशाओं (वास्तविक आकार) का प्रतिनिधित्व करता है।
शोर (The Noise): यदि आप कागज को सतह से बाहर खाली कमरे की ओर धकेलने की कोशिश करते हैं, तो वह प्रतिरोध की एक विशाल, अदृश्य दीवार से टकराता है। यह "नॉर्मल" दिशाओं का प्रतिनिधित्व करता है।

मौजूदा विधियों ने हर दिशा में प्रतिरोध को जोड़कर डेटा की "कठोरता" को मापने की कोशिश की। लेकिन उच्च-आयामी स्थानों में, सतह-से-बाहर की दिशाएं हजारों होती हैं और सतह-पर-मौजूद दिशाएं केवल कुछ ही होती हैं। बाहर-की-दिशाओं से आने वाला भारी प्रतिरोध सतह-पर-मौजूद दिशाओं की सूक्ष्म हलचल को पूरी तरह से दबा देता है। यह एक फुसफुसाहट (आकार) को सुनने की कोशिश करने जैसा है जबकि आप एक जेट इंजन के बगल में खड़े हों। परिणाम एक टूटा हुआ माप होता है।

समाधान: LHSD (लोकल हेसियन स्पेक्ट्रल डायमेंशन)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे LHSD कहा जाता है। जेट इंजन को सुनने और फुसफुसाहट को सुनने के बजाय, LHSD एक चतुर तकनीक का उपयोग करता है जो जेट इंजन को फ़िल्टर करने का काम करती है।

यह कैसे काम करता है, एक संगीत उपमा (analogy) का उपयोग करते हुए:

हेसियन (ध्वनि तरंग - The Sound Wave): AI मॉडल के पीछे का गणित प्रतिरोध की एक "ध्वनि तरंग" बनाता है। इस तरंग में कई आवृत्तियाँ (eigenvalues) होती हैं।
- कम आवृत्तियाँ (Low Frequencies): ये फुसफुसाहट हैं (डेटा की चिकनी सतह)।
- उच्च आवृत्तियाँ (High Frequencies): ये जेट इंजन हैं (शोर की तीखी दीवारें)।
स्पेक्ट्रल फ़िल्टरिंग (इक्वलाइज़र - The Equalizer): LHSD इस ध्वनि तरंग पर एक डिजिटल "इक्वलाइज़र" लागू करता है। यह विशेष रूप से उच्च आवृत्तियों (शोर) को काट देता है और कम आवृत्तियों को गुजरने देता है।
नोट्स गिनना (Counting the Notes): एक बार जब शोर शांत हो जाता है, तो यह विधि बस बचे हुए कम-आवृत्ति वाले नोट्स को गिनती है। यही काउंट डेटा का वास्तविक आयाम है।

यह एक बड़ी बात क्यों है

यह शोध पत्र LHSD की तीन मुख्य महाशक्तियों पर प्रकाश डालता है:

यह मजबूत (Robust) है: विशाल, उच्च-आयामी स्थानों (जैसे हजारों पिक्सेल वाली छवियां) में भी, यह शोर से भ्रमित नहीं होता है। यह सफलतापूर्वक "जेट इंजनों" को अनदेखा करता है और केवल "फुसफुसाहटों" को गिनता है।
यह तेज़ और स्केलेबल (Scalable) है: एक उच्च-आयामी छवि के लिए पूर्ण ध्वनि तरंग की गणना करने में बहुत समय लगता है (जैसे कि कमरे के हर इंच को मापने के बजाय पूरे आकार का अनुमान लगाने के लिए कुछ स्मार्ट सैंपल लेना)। LHSD स्टोकेस्टिक लैंकोज़ क्वाड्रैचर (SLQ) नामक एक गणितीय शॉर्टकट का उपयोग करता है। यह डेटा के आकार के साथ रैखिक रूप से बढ़ता है, जिससे यह विशाल डेटासेट को तेज़ी से संभालने में सक्षम होता है।
यह सत्यापन योग्य (Verifiable) है: अन्य विधियों के विपरीत जो "ब्लैक बॉक्स" की तरह हैं, LHSD आपको एक विजुअल डैशबोर्ड देता है। आप एक ग्राफ पर "ध्वनि तरंग" और "फ़िल्टर" देख सकते हैं। यदि फ़िल्टर तरंग के सही हिस्से को काट रहा है, तो आप जानते हैं कि उत्तर सही है। यदि नहीं, तो आप सेटिंग्स को तब तक समायोजित कर सकते हैं जब तक कि वह सही न दिखने लगे।

वास्तविक दुनिया के परीक्षण

लेखकों ने इसका परीक्षण किया:

सिंथेटिक आकृतियाँ (Synthetic Shapes): उन्होंने चंद्रमा, फनल और क्यूब के आकार का नकली डेटा बनाया। LHSD ने उच्च-आयामी स्थान में मिश्रित होने के बावजूद, प्रत्येक भाग के आयामों को सही ढंग से पहचाना।
इमेज मेमोराइजेशन (Image Memorization): उन्होंने यह पता लगाने के लिए LHSD का उपयोग किया कि क्या कोई AI मॉडल नई चीजें बनाने के बजाय प्रशिक्षण छवियों को याद करने (चीटिंग करने) की कोशिश कर रहा है।
- उपमा: यदि कोई AI किसी फोटो को याद कर लेता है, तो यह एक परफेक्ट फोटोकॉपी की तरह है। इसमें बहुत कम "स्वतंत्रता" या भिन्नता (कम आयाम) होती है। यदि यह एक नई, जटिल छवि बनाता है, तो इसमें उच्च स्वतंत्रता (उच्च आयाम) होती है।
- परिणाम: LHSD ने "फोटोकॉपी" (याद की गई छवियों) को सफलतापूर्वक पकड़ लिया क्योंकि उनके आयाम असामान्य रूप से कम थे, जिससे वे सामान्य, जटिल छवियों से अलग हो गए।

सारांश

संक्षेप में, पिछली विधियों ने एक साथ सब कुछ सुनकर डेटा के आकार को मापने की कोशिश की, जो जटिल, उच्च-आयामी वातावरण में विफल रही। LHSD एक स्मार्ट नॉइज़-कैंसलिंग हेडफ़ोन की तरह है जो भारी बैकग्राउंड शोर को शांत कर देता है, जिससे हम डेटा संरचना के वास्तविक आयामों को स्पष्ट रूप से सुन पाते हैं। यह अपने से पहले की विधियों की तुलना में अधिक तेज़, अधिक सटीक और अधिक विश्वसनीय है।

तकनीकी सारांश: सुदृढ़ अंतर्निहित आयाम अनुमान के लिए स्थानीय हेसियन स्पेक्ट्रल फ़िल्टरिंग (Local Hessian Spectral Filtering)

समस्या विवरण

लोकल इंट्रिन्सिक डायमेंशन (LID) का अनुमान लगाना उच्च-आयामी डेटा मैनिफोल्ड्स की ज्यामितीय जटिलता को समझने के लिए महत्वपूर्ण है, जिसके अनुप्रयोग एनोमली डिटेक्शन से लेकर जनरेटिव मॉडल्स में मेमोराइजेशन (memorization) के विश्लेषण तक विस्तृत हैं। जबकि मैनिफोल्ड हाइपोथीसिस यह प्रतिपादित करती है कि डेटा उच्च-आयामी एम्बिएंट स्पेस के भीतर निम्न-आयामी संरचनाओं पर केंद्रित होता है, उच्च आयामों (जैसे, $D > 1000$ ) में LID का सटीक अनुमान लगाना एक महत्वपूर्ण चुनौती बनी हुई है।

पारंपरिक $k$ -नेयरेस्ट नेबर ( $k$ NN) आधारित विधियाँ 'कर्स ऑफ डायमेंशनलिटी' (curse of dimensionality) से ग्रस्त होती हैं, जहाँ दूरी का संकेंद्रण (distance concentration) पड़ोस की जानकारी को कमज़ोर कर देता है, जिससे सटीकता में गंभीर गिरावट आती है। हाल ही में, डिफ्यूजन मॉडल-आधारित दृष्टिकोण (जैसे, LIDL, FLIPD) उभरे हैं, जो नेबरहुड सर्च से बचने के लिए स्कोर फंक्शन (लॉग-डेंसिटी का ग्रेडिएंट) का लाभ उठाते हैं। हालाँकि, ये मौजूदा डिफ्यूजन-आधारित तरीके उच्च-आयामी, उच्च को-डायमेंशन (high co-dimension) सेटिंग्स में विफल रहते हैं जो इमेज डेटा की विशेषता है। वे सभी आयामों में मानों (जैसे स्कोर नॉर्म्स या डाइवर्जेंस) को बिना किसी भेदभाव के जोड़ देते हैं। उच्च को-डायमेंशन में, विशाल नॉर्मल सबस्पेस (normal subspace) भारी कर्वेचर सिग्नल उत्पन्न करता है जो टेंगेंट सिग्नल को दबा देते हैं, जिसके परिणामस्वरूप खराब सिग्नल-टू-नॉइज़ रेशियो और महत्वपूर्ण अनुमान त्रुटियां होती हैं।

कार्यप्रणाली: लोकल हेसियन स्पेक्ट्रल डायमेंशन (LHSD)

लेखक लोकल हेसियन स्पेक्ट्रल डायमेंशन (LHSD) प्रस्तावित करते हैं, जो लॉग-डेंसिटी हेसियन पर स्पेक्ट्रल फ़िल्टरिंग का उपयोग करके टेंगेंट दिशाओं (सिग्नल) को नॉर्मल दिशाओं (नॉइज़) से स्पष्ट रूप से अलग करके LID का सुदृढ़ अनुमान लगाता है।

सैद्धांतिक आधार

मैनिफ़ोल्ड हाइपोथीसिस के तहत, $\mathbb{R}^D$ में एक $d$ -डायमेंशनल मैनिफोल्ड के पास स्थित एक बिंदु $x$ के लिए, विक्षेपित वितरण $p_t(x)$ (जो $\sigma(t)$ के स्केल वाले गॉसियन नॉइज़ द्वारा प्रेरित है) एक ध्रुवीकृत (polarized) हेसियन स्पेक्ट्रम प्रदर्शित करता है:

टेंगेंट दिशाएं (Tangent Directions): टेंगेंट स्पेस $T_x\mathcal{M}$ के अनुरूप होती हैं। आइगेनवैल्यू $\lambda_i$ छोटे होते हैं, जो $O(1)$ के रूप में स्केल करते हैं।
नॉर्मल दिशाएं (Normal Directions): नॉर्मल बंडल के अनुरूप होती हैं। आइगेनवैल्यू $\lambda_j$ बड़े होते हैं, जो $O(1/\sigma(t)^2)$ के रूप में स्केल करते हैं।

यह पृथक्करण एक स्पेक्ट्रल गैप (spectral gap) बनाता है। अंतर्निहित आयाम $d$ , निकट-शून्य आइगेनवैल्यू (हेसियन के नुल स्पेस) की बहुलता (multiplicity) के अनुरूप है।

एल्गोरिद्मिक दृष्टिकोण

LHSD, लॉग-डेंशियल हेसियन के आइगेनवैल्यू पर एक स्मूथ स्पेक्ट्रल फ़िल्टर $f(\lambda)$ लागू करके टेंगेंट दिशाओं को गिनकर LID का अनुमान लगाता है:
$\text{LID}(x) \approx \sum_{i=1}^D f(\lambda_i) = \text{tr}(f(H(x)))$
जहाँ $H(x) = -\nabla_x s_\theta(x, t)$ नेगेटिव लॉग-डेंसिटी का हेसियन है, जिसे स्कोर मॉडल $s_\theta$ से प्राप्त किया गया है।

मुख्य घटक:

स्पेक्ट्रल फ़िल्टरिंग (Spectral Filtering): लेखक एक हिल-टाइप (Hill-type) फ़िल्टर का उपयोग करते हैं:
$f(\lambda; \sigma(t)) = \frac{1}{1 + (|\lambda|/\kappa(t))^p}$
यह फ़िल्टर टेंगेंट आइगेनवैल्यू (छोटे $\lambda$ ) को $\approx 1$ में और नॉर्मल आइगेनवैल्यू (बड़े $\lambda$ ) को $\approx 0$ में मैप करता है। कटऑफ $\kappa(t) = c/\sigma(t)^2$ समय-परिवर्तनीय है ताकि नॉर्मल दिशाओं में निहित कर्वेचर स्केलिंग को सामान्य बनाया जा सके।
स्केलेबल कंप्यूटेशन (SLQ): पूर्ण $D \times D$ हेसियन का निर्माण करना कम्प्यूटेशनल रूप से निषेधजनक है ( $O(D^3)$ )। LHSD, मैट्रिक्स के स्पष्ट निर्माण के बिना $\text{tr}(f(H))$ का अनुमान लगाने के लिए स्टोकेस्टिक लैंकोस क्वाड्रैचर (Stochastic Lanczos Quadrature - SLQ) का उपयोग करता है। ऑटोमैटिक डिफरेंशिएशन के माध्यम से हेसियन-वेक्टर प्रोडक्ट्स (HVP) की गणना करके और ट्रिडायगोनल मैट्रिक्स उत्पन्न करने के लिए लैंकोस एल्गोरिदम का उपयोग करके, यह विधि $O(D)$ रैखिक जटिलता प्राप्त करती है।
सत्यापन योग्य पैरामीटर चयन (Verifiable Parameter Selection): एक डायग्नोस्टिक मीट्रिक, ट्रांजिशन मास (Transition Mass) $M(t)$ , को शोर के स्केल $t$ के लिए एक "सेफ ज़ोन" की पहचान करने के लिए पेश किया गया है। यह सुनिश्चित करता है कि फ़िल्टर कटऑफ $\kappa(t)$ , टेंगेंट और नॉर्मल क्लस्टर्स के बीच के स्पेक्ट्रल गैप के भीतर रहे, जिससे पैरामीटर की शुद्धता का दृश्य सत्यापन संभव हो सके।

मुख्य योगदान

सुदृढ़ LID एस्टिमेटर: LHSD हेसियन स्पेक्ट्रल फ़िल्टरिंग के माध्यम से टेंगेंट डायमेंशन को चुनिंदा रूप से गिनता है, जिससे नॉर्मल आइगेनवैल्यू के प्रभाव को दबा दिया जाता है। यह उच्च-आयामी और उच्च को-डायमेंशन व्यवस्था में मजबूती सुनिश्चित करता है जहाँ पिछली विधियाँ विफल हो जाती हैं।
सत्यापन योग्य हाइपरपैरामीटर चयन: विधि एक डायग्नोस्टिक इंडिकेटर (ट्रांजिशन मास) और आइगेनवैल्यू वितरण पर फ़िल्टर प्रोफाइल को ओवरले करने वाला एक विजुअल मैकेनिज्म प्रदान करती है, जिससे पैरामीटर चयन ( $c, p, t$ ) को सत्यापित किया जा सके। यह पिछले एस्टिमेटर्स की "ब्लैक बॉक्स" प्रकृति को संबोधित करता है।
स्केलेबल एल्गोरिदम: स्पेक्ट्रल फ़िल्टरिंग को SLQ के साथ एकीकृत करके, LHSD स्पष्ट हेसियन निर्माण से बचता है, जिससे $O(D)$ रैखिक जटिलता प्राप्त होती है। यह 3,000 से अधिक आयामों के लिए भी तेज़ अनुमान को सक्षम बनाता है।
व्यापक अनुभवजन्य सत्यापन: विधि का सिंथेटिक मैनिफोल्ड्स, वास्तविक दुनिया के इमेज डेटासेट और डिफ्यूजन मॉडल मेमोराइजेशन के विशिष्ट बेंचमार्क पर व्यापक परीक्षण किया गया है।

प्रयोगात्मक परिणाम

पेपर में विभिन्न सेटिंग्स में $k$ NN-आधारित विधियों (ESS, LPCA) और डिफ्यूजन-आधारित विधियों (LIDL, FLIPD, Normal Bundle) के विरुद्ध LHSD का मूल्यांकन किया गया है:

उच्च-आयामी मैनिफोल्ड्स: $D=3072$ तक के एम्बिएंट डायमेंशन और बदलते अंतर्निहित आयामों वाले प्रयोगों में, LHSD ने लगातार सबसे कम मीन एब्सोल्यूट एरर (MAE) प्राप्त किया। उदाहरण के लिए, $F10+80+200 \subset \mathbb{R}^{3072}$ डेटासेट पर, FLIPD ने 1240.89 का MAE दिया, जबकि LHSD ने 5.19 प्राप्त किया।
IDR बेंचमार्क: फैशन-MNIST स्पेस ( $D=784$ ) में 3D मैनिफोल्ड्स को एम्बेड करने वाले इंट्रिन्सिक डायमेंशन रिकवरी (IDR) बेंचमार्क पर, मौजूदा डिफ्यूजन विधियों ने नाटकीय प्रदर्शन गिरावट दिखाई। LHSD ने न्यूनतम लैंकोस रैंक ( $m=2$ ) के साथ भी न्यूनतम त्रुटि वृद्धि के साथ स्थिर व्यवहार बनाए रखा।
कम्प्यूटेशनल दक्षता: LHSD ने FLIPD की तुलना में $250\times$ से अधिक की गति वृद्धि दिखाई। जहाँ FLIPD को $D$ बैकप्रोपैगेशन की आवश्यकता होती है (क्वाड्रेटिक जटिलता), वहीं LHHS को केवल कुछ ही HVPs की आवश्यकता होती है (रैखिक जटिलता)।
मेमोरइजेशन डिटेक्शन: CIFAR-10 पर प्रशिक्षित DDPM में मेमोराइज्ड सैंपल्स का पता लगाने के प्रयोग में, LHSD ने समान विजुअल कॉम्प्लेक्सिटी वाले गैर-मेमोराइज्ड सैंपल्स से मेमोराइज्ड सैंपल्स (जो असामान्य रूप से कम LID प्रदर्शित करते हैं) को सफलतापूर्वक अलग किया। विधि ने 99.87% का AUROC प्राप्त किया, जो जनरेटिव मॉडल्स में ओवरफिटिंग की पहचान करने में इसकी उपयोगिता को दर्शाता है।

महत्व और दावे

पेपर का दावा है कि LHSD, मौजूदा डिफ्यूजन-आधारित विधियों की विशिष्ट विफलता मोड को संबोधित करके LID अनुमान में एक मौलिक प्रगति का प्रतिनिधित्व करता है: उच्च को-डायमेंशन में सिग्नल को नॉइज़ से अलग करने में असमर्थता।

सुदृढ़ता (Robustness): प्राथमिक महत्व उच्च को-डायमेंशन व्यवस्था में सटीकता बनाए रखने की विधि की क्षमता में निहित है, जो इमेज डेटा के लिए एक सामान्य परिदृश्य है।
व्याख्यात्मकता (Interpretability): पिछले तरीकों के विपरीत, LHSD अभ्यासकर्ताओं को यह दृश्य रूप से निदान और सत्यापित करने के लिए एक तंत्र प्रदान करता है कि अंतर्निहित मैनिफोल्ड संरचना को सही ढंग से कैप्चर किया जा रहा है, जो पिछले दृष्टिकोणों में अनुपस्थित व्याख्यात्मकता का स्तर प्रदान करता है।
स्केल-एबिलिटी (Scalability): आयाम के साथ रैखिक स्केलिंग के साथ, यह SVD या पूर्ण हेसियन निर्माण से जुड़ी अत्यधिक लागत के बिना उच्च-आयामी डेटा (जैसे, $D > 3000$ ) को कुशलतापूर्वक संभालने में सक्षम एकमात्र प्रस्तावित विधि है।

लेखक एक सीमा को स्वीकार करते हैं: विधि प्रशिक्षित स्कोर मॉडल की गुणवत्ता पर निर्भर करती है। हालांकि वे प्रशिक्षण निष्ठा (training fidelity) का आकलन करते हैं, जटिल वास्तविक दुनिया के डेटा पर स्कोर मॉडल्स के स्पेक्ट्रल कंसिस्टेंसी के लिए कठोर डायग्नोस्टिक्स स्थापित करना एक खुला प्रश्न बना हुआ है।