HomID : Benchmarking Intrinsic Dimension Estimators on Homogenous Manifolds with Anisotropic Embeddings

कल्पना कीजिए कि आप केवल उसकी सतह को छूकर किसी छिपी हुई वस्तु के आकार को समझने की कोशिश कर रहे हैं। मशीन लर्निंग की दुनिया में, डेटा को अक्सर बिंदुओं के एक विशाल, उच्च-आयामी (high-dimensional) बादल के रूप में माना जाता है, लेकिन शोधकर्ताओं का मानना है कि ये बिंदु वास्तव में इस बादल के भीतर छिपे एक बहुत सरल, कम-आयामी आकार पर स्थित होते हैं। यह विचार, जिसे 'मैनिफोल्ड हाइपोथेसिस' (manifold hypothesis) कहा जाता है, यह सुझाव देता है कि भले ही किसी डेटासेट में हजारों विशेषताएं हों, डेटा की वास्तविक जटिलता बहुत कम है। इस छिपी हुई जटिलता को समझने के लिए, वैज्ञानिक 'इंट्रिन्सिक डायमेंशन' (intrinsic dimension) का अनुमान लगाने के लिए उपकरणों का उपयोग करते हैं, जो अनिवार्य रूप से उन न्यूनतम निर्देशांकों (coordinates) की संख्या है जिनकी आवश्यकता बिना किसी जानकारी को खोए डेटा का वर्णन करने के लिए होती है। यदि कोई डेटासेट वास्तव में सरल है, तो ये उपकरण आसानी से उस कम संख्या को खोज लेने चाहिए। हालाँकि, जब शोधकर्ता इन उपकरणों को वास्तविक दुनिया के डेटा, जैसे कि हस्तलिखित अंकों की छवियों पर लागू करते हैं, तो परिणाम अक्सर एक अराजक मलबे की तरह होते हैं, जहाँ विभिन्न उपकरण बिल्कुल अलग-अलग उत्तर देते हैं। सहमति की इस कमी ने यह जानना कठिन बना दिया है कि क्या उपकरण खराब हैं या डेटा मापने के लिए बहुत अधिक पेचीदा है।

मैरीलैंड विश्वविद्यालय और NIST के शोधकर्ताओं की एक टीम ने एक नया प्रकार का परीक्षण मैदान बनाकर इस रहस्य को सुलझाने का निर्णय लिया। उन्होंने महसूस किया कि कई मौजूदा परीक्षणों में ऐसे आकारों का उपयोग किया गया जो बहुत अधिक आदर्श थे, जैसे कि चिकने गोले (spheres) जहाँ सतह हर दिशा में एक जैसी दिखती है। उनका संदेह था कि वास्तविक डेटा शायद इतना एकसमान नहीं होता। इसके बजाय, वास्तविक डेटा में अक्सर "एनिसोट्रॉपी" (anisotropy) होती है, जो एक फैंसी शब्द है जिसका अर्थ है एक ऐसा आकार जो देखने के नजरिए के आधार पर अलग-अलग दिशाओं में खिंचता या दबता है। इन उपकरणों द्वारा इस असमानता को कितनी अच्छी तरह से संभाला जाता है, इसका परीक्षण करने के लिए, टीम ने 'होमो-आईडी' (HomID) नामक एक नया बेंचमार्क बनाया। इस संग्रह में 'होमोजेनियस स्पेस' (homogeneous spaces) के गणितीय आकार शामिल हैं, जो अपने आंतरिक ढांचे में पूरी तरह से समान हैं, लेकिन उन्हें एक बड़े स्थान में इस तरह रखा गया है जिससे दिशात्मक खिंचाव पैदा होता है। यह एक नियंत्रित वातावरण है जहाँ शोधकर्ताओं को सटीक उत्तर पता है, जिससे वे यह देख सकते हैं कि माप उपकरण ठीक कहाँ और क्यों विफल होते हैं।

जब शोधकर्ताओं ने इन नए आकारों पर अपने मानक माप उपकरणों को चलाया, तो परिणाम चौंकाने वाले थे। जो उपकरण गोलों जैसे सरल, गोल आकारों पर पूरी तरह से काम करते थे, वे होमो-आईडी आकारों पर लड़खड़ाने और विफल होने लगे, भले ही उन्हें समान मात्रा में डेटा दिया गया हो। उपकरण व्यवस्थित रूप से गलत उत्तर दे रहे थे, अक्सर डेटा की वास्तविक जटिलता को कम या ज्यादा आंक रहे थे। शोधकर्ताओं ने पाया कि यह विफलता यादृच्छिक (random) नहीं थी; यह दिशात्मक खिंचाव का सीधा परिणाम थी। उन्होंने पाया कि उपकरण डेटा के वितरण के बारे में धारणाओं पर निर्भर करते हैं, जैसे कि यह विचार कि पड़ोसी सभी दिशाओं में समान रूप से व्यवस्थित हैं। जब डेटा खिंच जाता है, तो ये धारणाएं टूट जाती हैं, जिससे उपकरण स्थानीय पड़ोस (local neighborhood) की गलत व्याख्या करते हैं और गलत आयाम की गणना करते हैं।

यह साबित करने के लिए कि दिशात्मक खिंचाव ही असली अपराधी था, टीम ने कई 'स्ट्रेस टेस्ट' किए। उन्होंने सरल, गोल आकारों को लिया और उन्हें विशिष्ट दिशाओं में जानबूझकर विकृत किया, जिससे होमो-आईडी आकारों जैसा व्यवहार उत्पन्न हुआ। जैसे ही उन्होंने इस विकृति को पेश किया, माप उपकरणों का प्रदर्शन काफी गिर गया, जो इन अधिक जटिल बेंचमार्क पर देखी गई विफलताओं को दर्शाता है। उन्होंने डेटा में 'नॉइज़' (noise) भी जोड़ा यह देखने के लिए कि क्या यादृच्छिक त्रुटियां जिम्मेदार थीं, लेकिन पाया कि विशिष्ट प्रकार का दिशात्मक विकृति ही त्रुटियों का प्राथमिक कारण था, न कि केवल सामान्य अव्यवस्था। एक अंतिम जांच में, उन्होंने इन समान विकृतियों को कपड़ों और कारों जैसे वास्तविक दुनिया के इमेज डेटासेट पर लागू किया, और उसी पैटर्न को देखा: जब डेटा खिंचता था, तो उपकरण संघर्ष करते थे, जिससे पुष्टि हुई कि यह मुद्दा व्यावहारिक अनुप्रयोगों के लिए प्रासंगिक है।

अध्ययन निष्कर्ष निकालता है कि डेटा जटिलता को मापने वाले उपकरणों की वर्तमान पीढ़ी आश्चर्यजनक रूप से नाजुक है। वे आदर्श, पूरी तरह से गोल आकारों पर अच्छा काम करते हैं, लेकिन वास्तविक ज्यामिति में पाए जाने वाले दिशात्मक पूर्वाग्रहों का सामना करने पर तेजी से खराब हो जाते हैं। शोधकर्ताओं का सुझाव है कि इस क्षेत्र ने इन विधियों की मजबूती का अत्यधिक आकलन किया है क्योंकि पिछले परीक्षण बहुत सरल थे। HomID को पेश करके, उन्होंने इन छिपी हुई कमजोरियों को उजागर करने का एक तरीका प्रदान किया है। यह कार्य इन उपकरणों को ठीक करने का दावा नहीं करता है, बल्कि इसने स्पष्ट रूप से एक विशिष्ट ज्यामितीय गुण की पहचान की है—एनिसोट्रॉपी—जो उन्हें विफल करती है। यह अंतर्दृष्टि बेहतर तरीके विकसित करने के लिए एक स्पष्ट मार्ग प्रदान करती है जो वास्तविक दुनिया के डेटा की असमान, खिंची हुई प्रकृति को संभाल सकें, जिससे यह सुनिश्चित हो सके कि जब हम दुनिया की जटिलता को मापने की कोशिश करें, तो हमारे उपकरण उसके योग्य हों।