🤖 machine learning

IdEst: Assessing Self-Supervised Learning Representations via Intrinsic Dimension

यह शोध पत्र IdEst को प्रस्तुत करता है, जो एक मिनिमम स्पैनिंग ट्री डाइमेंशन एस्टीमेटर का उपयोग करके सेल्फ-सुपरवाइज्ड लर्निंग रिप्रजेंटेशन्स की इंट्रिन्सिक डाइमेंशन का अनुमान लगाने वाली एक गणनात्मक रूप से कुशल विधि है, जो यह प्रदर्शित करता है कि यह ज्यामितीय मीट्रिक डाउनस्ट्रीम लीनियर प्रोब प्रदर्शन के साथ दृढ़ता से सह-संबंधित है और हाइपरपैरामीटर चयन के लिए एक सिद्धांत आधारित विकल्प के रूप में कार्य करता है।

मूल लेखक: Julie Mordacq, Vicky Kalogeiton, Steve Oudot

प्रकाशित 2026-06-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Julie Mordacq, Vicky Kalogeiton, Steve Oudot

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास बिना लेबल वाली किताबों (फोटो, वीडियो आदि) का एक विशाल पुस्तकालय है। आप एक रोबोट को उन किताबों को समझने के लिए सिखाना चाहते हैं, बिना किसी लाइब्रेरियन द्वारा यह बताए कि प्रत्येक किताब किस बारे में है। इसे सेल्फ-सुपरवाइज्ड लर्निंग (SSL) कहा जाता है। रोबोट किताबों को पढ़ता है, समान किताबों को एक साथ समूहित करता है, और दुनिया का एक मानसिक मानचित्र (mental map) बनाता है।

लेकिन समस्या यह है: आप कैसे जानेंगे कि रोबोट का मानसिक मानचित्र कितना अच्छा है?

आमतौर पर, रोबोट की जाँच करने के लिए, आपको एक मानव लाइब्रेरियन को उसे टेस्ट देने के लिए नियुक्त करना पड़ता है (एक "लीनियर प्रोब")। आप रोबोट को विशिष्ट श्रेणियों (जैसे "बिल्लियाँ" बनाम "कुत्ते") में किताबें छाँटने के लिए कहते हैं। यदि वह उच्च स्कोर प्राप्त करता है, तो मानचित्र अच्छा है। लेकिन यह धीमा, महंगा और बहुत अधिक मानवीय प्रयास वाला काम है।

पेश है, IDEST।

इस शोध पत्र के लेखक रोबोट के मानचित्र को जाँचने का एक नया तरीका प्रस्तावित करते हैं, जिसमें बिना किसी लाइब्रेरियन को नियुक्त किए या लेबल देखे काम किया जा सके। वे इस विधि को IDEST कहते हैं (जो लैटिन वाक्यांश id est जैसा सुनाई देता है, जिसका अर्थ है "अर्थात")।

मुख्य विचार: "भीड़भाड़ वाला कमरा" सादृश्य (Analogy)

रोबोट के मानसिक मानचित्र की कल्पना एक ऐसे कमरे के रूप में करें जहाँ वह देखी गई हर किताब को रखता है।

एक बुरा मानचित्र: रोबोट सभी किताबों को एक विशाल, खाली गोदाम में फेंक देता है। सब कुछ बिखरा हुआ है, और कमरा अराजक और खाली महसूस होता है। पैटर्न ढूँढना कठिन है।
एक अच्छा मानचित्र: रोबोट किताबों को एक आरामदायक, अच्छी तरह से संरचित लिविंग रूम में व्यवस्थित करता है। समान किताबें पास-पास होती हैं, और स्थान का कुशलतापूर्वक उपयोग किया जाता है।

लेखकों ने एक सरल नियम खोजा: रोबोट जितनी कुशलता से अपनी मानसिक दुनिया में किताबों को पैक करेगा, वह भविष्य के कार्यों में उतना ही बेहतर होगा।

वे इस दक्षता को इंट्रिन्सिक डायमेंशन (ID) नामक चीज़ का उपयोग करके मापते हैं।

कल्पना कीजिए कि एक 3D कमरे में कागज की एक सपाट शीट (2D) तैर रही है। भले ही कमरा 3D है, लेकिन कागज को वर्णित करने के लिए केवल 2 आयामों (dimensions) की आवश्यकता है।
यदि रोबोट का मानचित्र "सपाट" और व्यवस्थित (कम आयाम वाला) है, तो यह कुशल है।
यदि मानचित्र "बुलबुलों वाला" और अव्यवस्थित है, जो कमरे के हर कोने तक फैला हुआ है (उच्च आयाम), तो यह अक्षम है।

पुराने उपकरणों के साथ समस्या

पहले, वैज्ञानिक इस "कमरे की दक्षता" को मापने के लिए TwoNN या MLE जैसे उपकरणों का उपयोग करने का प्रयास करते थे।

सादृश्य: कल्पना कीजिए कि आप फर्श पर कुछ कंचे (marbles) गिराकर और यह देखकर कि वे कैसे उछलते हैं, कमरे के आकार को मापने का प्रयास कर रहे हैं।
दोष: आधुनिक AI की अस्त-व्यस्त, उच्च-तकनीकी दुनिया में, ये उपकरण जेली से बने स्केल की तरह हैं। ये शोर (noise) से भ्रमित हो जाते हैं, यदि कंचे पूरी तरह से समान दूरी पर नहीं हैं तो टूट जाते हैं, और अक्सर गलत उत्तर देते हैं (जैसे यह कहना कि एक 1D रेखा वास्तव में अनंत है)।

नया उपकरण: "स्ट्रिंग" विधि (IDEST)

लेखकों ने एक अलग उपकरण का उपयोग किया जिसे dimMST (मिनिमम स्पैनिंग ट्री डायमेंशन एस्टिमेटर) कहा जाता है।

सादृश्य: कंचे गिराने के बजाय, कल्पना कीजिए कि आपके पास एक धागा (string) है। आप धागे से रोबोट के कमरे में मौजूद हर किताब को उसके निकटतम पड़ोसी से जोड़ते हैं, जिससे एक विशाल जाल बनता है जो बिना किसी लूप के हर किताब को छूता है।
यह क्यों काम करता है: फिर आप उस धागे की कुल लंबाई मापते हैं। यह देखकर कि अधिक किताबें जोड़ने पर धागे की लंबाई कैसे बढ़ती है, आप गणितीय रूप से कमरे के वास्तविक "आकार" का पता लगा सकते हैं।
लाभ: यह "धागा" विधि मजबूत है। इसे इससे फर्क नहीं पड़ता कि किताबें शोर भरी हैं, गुच्छों में हैं, या फैली हुई हैं। यह अव्यवस्थित स्थितियों में भी एक विश्वसनीय माप प्रदान करती है।

उन्होंने क्या पाया

लेखकों ने कई अलग-अलग AI मॉडल (जैसे DINO, CLIP, और VICReg) और कई अलग-अलग डेटासेट (जैसे ImageNet) पर IDEST का परीक्षण किया।

स्वर्ण नियम: उन्होंने एक मजबूत, सुसंगत संबंध पाया: जितना कम "इंट्रिन्सिक डायमेंशन" (जितना अधिक कुशल कमरा), उतना ही उच्च रोबोट का टेस्ट स्कोर होगा।
- यदि IDEST कहता है कि डायमेंशन कम है, तो रोबोट स्मार्ट है और काम के लिए तैयार है।
- यदि IDEST कहता है कि डायमेंशन उच्च है, तो रोबोट भ्रमित है।
- नोट: सहसंबंध इतना मजबूत था कि वे बिना कोई टेस्ट चलाए, केवल अपने मानचित्र के "धागे की लंबाई" को मापकर यह अनुमान लगा सकते थे कि मॉडल कैसा प्रदर्शन करेगा।
रोबोट को सीखते हुए देखना: उन्होंने समय के साथ रोबोट को सीखते हुए देखा। जैसे-जैसे रोबोट अपने काम में बेहतर होता गया, "धागे की लंबाई" (डायमेंशन) स्वाभाविक रूप से कम होती गई। IDEST वास्तविक समय में इस सुधार को ट्रैक कर सकता था, जो AI के मस्तिष्क के लिए एक फिटनेस ट्रैकर की तरह कार्य करता है।
समय और धन की बचत: क्योंकि IDEST को लेबल की आवश्यकता नहीं होती (यह अनसुपरवाइज्ड है), शोधकर्ता लेबल वाले डेटा के बिना अपने AI मॉडल के लिए सर्वोत्तम सेटिंग्स चुनने के लिए इसका उपयोग कर सकते हैं। यह एक मैकेनिक की तरह है जो कार कितनी तेज़ चलती है यह देखने के लिए रेस ट्रैक पर जाने के बजाय, इंजन के कंपन की जाँच करके कार को ट्यून करता है।

सारांश

यह शोध पत्र IDEST पेश करता है, जो यह तय करने का एक नया, सस्ता और तेज़ तरीका है कि एक सेल्फ-सुपरवाइज्ड AI मॉडल कितना अच्छा है। लेबल वाले डेटा के साथ मॉडल का परीक्षण करने के बजाय, IDEST यह मापता है कि AI का आंतरिक मानचित्र कितना "सघन रूप से पैक" और व्यवस्थित है।

कम डायमेंशन (सघन पैकिंग) = अच्छा मॉडल।
उच्च डायमेंशन (अव्यवस्थित पैकिंग) = बुरा मॉडल।

यह AI के मन में बिंदुओं को जोड़ने वाले एक "धागे" की तरह काम करता है, जो बिना किसी लेबल के उसके ज्ञान के वास्तविक आकार को प्रकट करता है। यह वैज्ञानिकों को बिना एक भी लेबल के बेहतर AI मॉडल तेजी से और सस्ते में बनाने की अनुमति देता है।

तकनीकी सारांश: IDEST – इंट्रिंसिक डायमेंशन के माध्यम से सेल्फ-सुपरवाइज्ड लर्निंग रिप्रेजेंटेशन्स का आकलन

समस्या विवरण (Problem Statement)

सेल्फ-सुपरवाइज्ड लर्निंग (SSL) लेबल रहित डेटा से सार्थक रिप्रेजेंटेशन्स निकालने के लिए एक प्रमुख प्रतिमान (paradigm) बन गया है। हालाँकि, इन रिप्रेजेंटेशन्स के मूल्यांकन के लिए मानक प्रोटोकॉल—लीनियर प्रोबिंग (linear probing)—महत्वपूर्ण सीमाएँ प्रस्तुत करता है। यह कम्प्यूटेशनल रूप से महंगा है, हाइपरपैरामीटर के प्रति संवेदनशील है, और रिप्रेजेंटेशन स्पेस की ज्यामितीय संरचना (geometric structure) के बारे में सीमित अंतर्दृष्टि प्रदान करता है। इसके अलावा, रिप्रेजेंटेशन की गुणवत्ता के मौजूदा ज्यामितीय प्रॉक्सी, जैसे कि स्पेक्ट्रल गुणों पर आधारित (जैसे $\alpha$ -ReQ, RankMe), अक्सर उन धारणाओं पर निर्भर करते हैं (जैसे पावर-लॉ डिके) जो रिप्रेजेंटेशन कोलैप्स के तहत विफल हो जाते हैं या विशिष्ट आर्किटेक्चर (जैसे जॉइंट-एम्बेडिंग आर्किटेक्चर) तक ही सीमित होते हैं। इसके अतिरिक्त, जबकि इंट्रिंसिक डायमेंशन (ID) को सुपरवाइज्ड कनवल्शनल नेटवर्क में सामान्यीकरण (generalization) से जोड़ा गया है, आधुनिक SSL सेटिंग्स में इसका व्यवहार और उपयोग काफी हद तक अनछुआ रहा है, विशेष रूप से SSL डेटा वितरण की अनूठी चुनौतियों को देखते हुए (गैर-एसिम्प्टोटिक रिजीम जहाँ $n \approx d$ और ऑगमेंटेड व्यूज के बीच निर्भरता होती है)।

कार्यप्रणाली: IDEST

लेखक IDEST (मिनिमम स्पैनिंग ट्री का उपयोग करके SSL रिप्रेजेंटेशन्स के लिए इंट्रिंसिक डायमेंशन एस्टीमेशन) का प्रस्ताव करते हैं, जो इंट्रिंसिक डायमेंशन का अनुमान लगाने पर आधारित एक अनसुपरवाइज्ड मानदंड है।

सैद्धांतिक आधार (Theoretical Foundation)

यह विधि सामान्यीकरण त्रुटि (generalization error) और इंट्रिंसिक डायमेंशन के बीच संबंध पर आधारित है। Konz & Mazurowski (2024) का हवाला देते हुए, एक अच्छी तरह से प्रशिक्षित मॉडल के लिए जो $N_D$ आकार के डेटासेट को इंटरपोलेट करता है, सामान्यीकरण त्रुटि $L$ का पैमाना $O(N_D^{-1/d})$ होता है, जहाँ $d$ इंट्रिंसिक डायमेंशन है। इसका तात्पर्य यह है कि एक निश्चित डेटासेट आकार के लिए, एक कम इंट्रिंसिक डायमेंशन एक अधिक कुशल रिप्रेजेंटेशन और संभावित रूप से बेहतर डाउनस्ट्रीम प्रदर्शन की ओर संकेत करता है।

एस्टीमेटर चयन: dimMST

$d$ का अनुमान लगाने के लिए, लेखक TwoNN और मैक्सिमम लाइक्लीहुड एस्टीमेशन (MLE) जैसे मानक पैरामीट्रिक एस्टीमेटर्स को खारिज करते हैं। ये विधियाँ मानती हैं कि डेटा पॉइंट्स स्थानीय रूप से स्थिर घनत्व (locally constant density) वाले वितरण से i.i.d. सैंपल किए गए हैं और अक्सर शोर (noise), सैंपलिंग डेंसिटी भिन्नता, और डेटा ऑगमेंटेशन द्वारा पेश की गई विशिष्ट निर्भरताओं के कारण SSL सेटिंग्स में विफल हो जाती हैं (जैसा कि चित्र 2 में दिखाया गया है, जहाँ TwoNN एक साधारण हेलिक्स मैनिफोल्ड पर विचलित हो जाता है)।

इसके बजाय, IDEST मिनिमम स्पैनिंग ट्री (MST) डायमेंशन एस्टीमेटर ( $\text{dimMST}$ ) का उपयोग करता है, जो यूक्लिडियन फंक्शनल्स (Costa & Hero, 2006) के सिद्धांत से व्युत्पन्न है।

तंत्र (Mechanism): एस्टीमेटर एक पॉइंट क्लाउड के MST की कुल लंबाई के एसिम्प्टोटिक ग्रोथ रेट पर निर्भर करता। इसका संबंध इस प्रकार परिभाषित है:
$\lim_{n \to \infty} n^{-\frac{d-1}{d}} \cdot L(\text{MST}(X_n)) = C'$
जहाँ $L$ कुल एज लेंथ है और $C'$ एक स्थिरांक (constant) है।
कार्यान्वयन (Implementation): $d$ का अनुमान बढ़ते आकार के सब-सैंपल्स $n_i$ पर लॉग-लॉग लीनियर रिग्रेशन के माध्यम से लगाया जाता है:
$\log(L(\text{MST}(X_{n_i}))) \approx \frac{d-1}{d} \log(n_i) + \log(C)$
ढलान (slope) $m$ से $d = 1/(1-m)$ प्राप्त होता है।
मजबूती (Robustness): $\text{dimMST}$ शोर, सैंपलिंग डेंसिटी भिन्नता और उच्च एम्बिएंट डायमेंशन के प्रति सैद्धांतिक रूप से मजबूत है, जो इसे विजन SSL में निहित $n \approx d$ रिजीम के लिए उपयुक्त बनाता है।

मूल्यांकन प्रोटोकॉल (Evaluation Protocol)

IDEST फ्रोज़न रिप्रेजेंटेशन्स (frozen representations) पर कार्य करता है जिन्हें क्लासिफायर हेड को पास किया जाता है, जो मानक लीनियर प्रोबिंग प्रोटोकॉल के अनुरूप है। बिना क्लास टोकन वाले मॉडल्स के लिए (जैसे I-JEPA), पैच टोकन्स को एवरेज-पूल किया जाता है; [CLS] टोकन वाले मॉडल्स के लिए (जैसे DINO), टोकन का सीधे उपयोग किया जाता है।

मुख्य योगदान (Key Contributions)

IDEST का प्रस्ताव: MST के माध्यम से इंट्रिंसिक डायमेंशन एस्टीमेशन के आधार पर SSL रिप्रेजेंटेशन्स का मूल्यांकन करने के लिए एक अनसुपरवाइज्ड मानदंड का प्रस्ताव।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शन करना कि IDEST विविध डेटासेट, आर्किटेक्चर और SSL प्रीट्रेनिंग ऑब्जेक्टिव्स पर डाउनस्ट्रीम लीनियर प्रोब प्रदर्शन के साथ मजबूती से सह-संबंधित (correlate) है।
हाइपरपैरामीटर चयन: प्रमाण कि IDEST कुशल, लेबल-मुक्त हाइपरपैरामीटर चयन सक्षम करता है, जो सुपरवाइज्ड विकल्पों की तुलना में काफी लागत कम करता है।

प्रयोगात्मक परिणाम (Experimental Results)

1. डाउनस्ट्रीम प्रदर्शन के साथ सहसंबंध

लेखकों ने 14 SSL विधियों (VICReg, DINO, DINOv2, I-JEPA, CLIP, SigLIP, आदि सहित) और विभिन्न आर्किटेक्चर (ResNet, ViT) के 33 मॉडल्स का मूल्यांकन किया।

इंट्रा-डेटासेट सहसंबंध (Intra-Dataset Correlation): IDEST, ImageNet, iNat-18, iNat-21 और SUN397 पर Top-1 लीनियर प्रोब सटीकता के साथ एक मजबूत नकारात्मक सहसंबंध दिखाता है। Spearman's $\rho \approx -0.8$ और Kendall's $\tau \approx -0.6$ यह दर्शाते हैं कि कम इंट्रिंसिक डायमेंशन वाले मॉडल्स लगातार उच्च सटीकता प्राप्त करते हैं।
इंटर-डेटासेट सहसंबंध (Inter-Dataset Correlation): ImageNet पर गणना किया गया IDEST अन्य डेटासेट्स (iNat-18, iNat-21, CIFAR-10, CIFAR-100) पर प्रदर्शन के लिए एक विश्वसनीय प्रॉक्सी के रूप में कार्य करता है, जो सुझाव देता है कि यह डेटासेट-विशिष्ट आर्टिफैक्ट्स के बजाय रिप्रेजेंटेशन के अंतर्निहित गुणों को कैप्चर करता है।
वैकल्पिक प्रोटोकॉल: यह सहसंबंध k-NN मूल्यांकन और ImageNet-v2 वैलिडेशन सेट पर भी बना रहता है।

2. ट्रेनिंग डायनेमिक्स (Training Dynamics)

ऑफलाइन प्रोबिंग: IDEST प्रीट्रेनिंग के दौरान रिप्रेजेंटेशन की गुणवत्ता के विकास को ट्रैक करता है। जैसे-जैसे ट्रेनिंग एपोच बढ़ते हैं और लीनियर प्रोबिंग सटीकता में सुधार होता है, अनुमानित इंट्रिंसिक डायमेंशन लगातार कम होता जाता है।
ऑनलाइन प्रोबिंग: IDEST डाउनस्ट्रीम प्रदर्शन में सुधार की निगरानी प्रभावी ढंग से करता है, भले ही प्रीट्रेनिंग के दौरान एक क्लासिफायर को संयुक्त रूप से प्रशिक्षित किया जा रहा हो (एनकोडर में बैकप्रोपेगेट किए बिना), बशर्ते कि प्रारंभिक प्रशिक्षण चरणों को पार कर लिया गया हो।

3. अनसुपरवाइज्ड हाइपरपैरामीटर चयन

लेखकों ने VICReg, DINO और I-JEPA के लिए इष्टतम हाइपरपैरामीटर (लर्निंग रेट, वेट डिके, टेम्परेचर, आदि) चुनने के लिए IDEST का उपयोग किया।

प्रदर्शन: IDEST-चयनित मॉडल्स ने अन्य अनसुपरवाइज्ड बेसलाइन्स ( $\alpha$ -ReQ, RankMe) और एक वीकली-सुपरवाइज्ड बेसलाइन (LiDAR) के मुकाबले प्रतिस्पर्धी या बेहतर प्रदर्शन हासिल किया।
दक्षता (Efficiency): IDEST के माध्यम से मॉडल्स का चयन करने से प्रत्येक हाइपरपैरामीटर कॉन्फ़िगरेशन के लिए लीनियर प्रोब्स को प्रशिक्षित करने की कम्प्यूटेशनल लागत से बचा जा सकता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि इंट्रिंसिक डायमेंशनलिटी SSL रिप्रेजेंटेशन्स का आकलन करने के लिए एक सिद्धांतगत ज्यामितीय प्रॉक्सी के रूप में कार्य करती है। MST डायमेंशन एस्टीमेटर का लाभ उठाकर, IDEST एक मजबूत, लेबल-मुक्त मीट्रिक प्रदान करता है जो:

मानक सुपरवाइज्ड प्रोबिंग प्रोटोकॉल को पूरक (complements) बनाता है, जो रिप्रेजेंटेशन स्पेस की ज्यामितीय संरचना के बारे में अंतर्दृष्टि प्रदान करता है।
विविध SSL प्रतिमानों (जॉइंट-एम्बेडिंग, जॉइंट-प्रेडिक्टिव, विजन-लैंग्वेज) और आर्किटेक्चर में सामान्य (generalizes) होता है।
लागत कम करता है क्योंकि यह लेबल वाले डेटा या महंगे लीनियर प्रोबिंग मूल्यांकन के बिना कुशल हाइपरपैरामीटर चयन को सक्षम बनाता है।

लेखक इस बात पर जोर देते हैं कि उनका कार्य यह रेखांकित करता है कि ज्यामितीय डिस्क्रिप्टर (geometric descriptors) सेल्फ-सुपरवाइज्ड लर्निंग को समझने और अनुकूलित करने के लिए एक मौलिक उपकरण के रूप में कितने महत्वपूर्ण हैं, जो केवल सेपरेबिलिटी (separability) से आगे बढ़कर इस पर विचार करते हैं कि सूचना को लो-डायमेंशनल ज्यामितीय संरचनाओं में कितनी कुशलता से संकुचित (compress) किया जाता है।