🤖 machine learning

InfoAtlas: A Foundation Model for Zero-Shot Statistical Dependence Estimate

इन्फोएटलस (InfoAtlas) एक फाउंडेशन मॉडल है जो एकल फॉरवर्ड पास में म्यूचुअल इंफॉर्मेशन का सीधे अनुमान लगाकर रीयल-टाइम, ज़ीरो-शॉट सांख्यिकीय निर्भरता अनुमान प्राप्त करता है, जो पारंपरिक पुनरावृत्ति न्यूरल अनुमानकों की तुलना में 100 गुना गति के साथ अत्याधुनिक सटीकता प्रदान करता है।

मूल लेखक: Zhengyang Hu, Yanzhi Chen, Hanxiang Ren, Qunsong Zeng, Youyi Zheng, Adrian Weller, Kaibin Huang, Yanchao Yang

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhengyang Hu, Yanzhi Chen, Hanxiang Ren, Qunsong Zeng, Youyi Zheng, Adrian Weller, Kaibin Huang, Yanchao Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि क्या एक पार्टी में दो लोग गुप्त रूप से संवाद कर रहे हैं। आपके पास उनके कार्यों की एक सूची है (उन्होंने क्या कहा, उन्होंने कहाँ देखा, उन्होंने क्या पिया)।

पुराना तरीका (पारंपरिक तरीके):
अतीत में, यह पता लगाने के लिए कि क्या ये दो लोग आपस में जुड़े हुए हैं, आपको हर नई पार्टी के लिए एक नया जासूस किराए पर लेना पड़ता। वह जासूस मेहमानों का अध्ययन करने, अंतहीन परीक्षण चलाने और अपनी थ्योरी को तब तक एडजस्ट करने में घंटों (या दिनों) तक बिता देता जब तक कि उसे कोई पैटर्न न मिल जाए। यदि आप दूसरी पार्टी की जांच करना चाहते, तो आपको एक नया जासूस किराए पर लेना पड़ता और फिर से शुरुआत करनी पड़ती। यह सटीक तो है, लेकिन अविश्वसनीय रूप से धीमा और महंगा है।

नया तरीका (InfoAtlas):
यह पेपर InfoAtlas पेश करता है, जो एक "सुपर डिटेक्टिव" को काम पर रखने जैसा है जिसने पहले ही लाखों अलग-अलग पार्टियों का अध्ययन कर लिया है, छोटी सभाओं से लेकर विशाल उत्सवों तक। इस सुपर डिटेक्टिव ने लोगों के बातचीत करने के हर संभव तरीके को देख लिया है।

अब, जब आप एक नई पार्टी से डेटा लाते हैं, तो आपको नया जासूस किराए पर लेने या उसे मेहमानों का अध्ययन करने के लिए इंतजार करने की आवश्यकता नहीं होती है। आपको बस डेटा InfoAtlas को दिखाना होता है, और वह तुरंत कहता है, "हाँ, ये दोनों निश्चित रूप से जुड़े हुए हैं," या "नहीं, वे केवल अजनबी हैं।" यह एक ही नज़र में (एक "फॉरवर्ड पास") यह कर देता है, बिना किसी अतिरिक्त होमवर्क के।

यह कैसे काम करता है (जादुई ट्रिक्स)

1. पैटर्न का "एटलस" (Atlas of Patterns)
लेखकों ने इस मॉडल को केवल वास्तविक दुनिया के डेटा पर प्रशिक्षित नहीं किया है; उन्होंने सिंथेटिक डेटा का एक विशाल "एटलस" (मानचित्र) बनाया है। कल्पना कीजिए कि लाखों नकली परिदृश्य उत्पन्न करना जहाँ चर (जैसे तापमान और आइसक्रीम की बिक्री) हर अजीब, जटिल और नॉनलीनियर तरीके से एक-दूसरे से जुड़े हुए हैं।

उपमा: यह एक शेफ को प्रशिक्षित करने जैसा है जैसे कि उन्हें वास्तविक भोजन छूने से पहले एक वर्चुअल किचन में सामग्रियों के हर संभव संयोजन को पकाने के लिए कहा जाए। क्योंकि उन्होंने जुड़ाव का हर संभव "स्वाद" देख लिया है, इसलिए वे किसी भी नए व्यंजन के स्वाद को तुरंत पहचान सकते हैं।

2. डुअल-पाथ ब्रेन (Dual-Path Brain)
InfoAtlas डेटा को दो अलग-अलग तरीकों से एक साथ देखता है, जैसे कि दो जोड़ी आँखों वाला एक जासूस:

आँख 1 (संयुक्त दृश्य - Joint View): जोड़ों को एक साथ देखती है (जैसे, "व्यक्ति A ने क्या किया जबकि व्यक्ति B ने X किया?")। यह सीधे लिंक की तलाश करती है।
आँख 2 (अलग दृश्य - Separate View): उन्हें अलग-अलग देखती है (जैसे, "व्यक्ति A आमतौर पर अकेले में क्या करता है?")। यह "रैंडम चांस" का एक बेसलाइन स्थापित करती है।
तुलना: मॉडल "संयुक्त दृश्य" की तुलना "अलग दृश्य" से करता है। यदि दो लोग साथ में होने पर अलग तरह से व्यवहार करते हैं बजाय इसके कि वे अलग हों, तो मॉडल को पता चल जाता है कि वे एक-दूसरे पर निर्भर हैं।

3. बड़े डेटा के लिए "नॉइज़" (शोर) का ट्रिक
कभी-कभी, डेटा बहुत बड़ा होता है (जैसे हजारों बिंदुओं वाला एक वीडियो)। InfoAtlas की एक सीमा है कि वह एक बार में डेटा का कितना बड़ा "निवाला" खा सकता है।

उपमा: कल्पना कीजिए कि आप एक विशाल पिज्जा खाने की कोशिश कर रहे हैं। पूरे पिज्जा को एक बार में निगलने के बजाय, InfoAtlas उसे छोटे, प्रबंधनीय टुकड़ों में काट देता है। वह कुछ स्लाइस चखता है, उनके स्वाद का औसत निकालता है, और आपको बताता है कि पूरा पिज्जा कैसा है। यह इसे बिना अभिभूत हुए विशाल, हाई-डायमेंशनल डेटा (जैसे 1,000+ डायमेंशन) को संभालने की अनुमति देता है।

यह क्यों मायने रखता है (परिणाम)

पेपर तीन मुख्य जीत का दावा करता है:

गति: यह पुराने तरीकों की तुलना में 100 गुना तेज़ है। जहाँ पारंपरिक तरीकों में एक डेटासेट का विश्लेषण करने में मिनट या घंटे लग सकते हैं, वहीं InfoAtlas इसे एक सेकंड के अंश में कर देता है।
सटीकता: तत्काल होने के बावजूद, यह धीमे और मेहनती तरीकों जितना ही सटीक है। यह उन जटिल संबंधों को सही ढंग से पहचान लेता है जिन्हें साधारण गणित (जैसे लीनियर कोरिलेशन) मिस कर देता।
बहुमुखी प्रतिभा (Versatility): यह बिना दोबारा प्रशिक्षित हुए विभिन्न आकार और प्रकार के डेटा पर काम करता है। चाहे आपके पास 100 डेटा पॉइंट्स हों या 10,000, या 5 डायमेंशन वाले 20 वेरिएबल्स हों, वही मॉडल सभी को संभाल लेता है।

पेपर से वास्तविक दुनिया के उदाहरण

लेखकों ने इस "सुपर डिटेक्टिव" का कई वास्तविक परिदृश्यों पर परीक्षण किया:

रोबोटिक्स: उन्होंने इसका उपयोग यह पता लगाने के लिए किया कि रोबोट की गति के कौन से हिस्से आपस में जुड़े हुए हैं। यदि एक रोबोट क्यूब उठा रहा है, तो मॉडल ने सही ढंग से पहचाना कि हाथ और क्यूब एक साथ चलते हैं, जिससे रोबोट को बेहतर सीखने में मदद मिली।
वीडियो विश्लेषण: उन्होंने चलती हुई वस्तुओं के वीडियो फुटेज का विश्लेषण किया। मॉडल तुरंत बता सका कि वीडियो में कौन से बिंदु एक ही वस्तु (जैसे चलता हुआ व्यक्ति) के हैं बनाम अलग-अलग वस्तुओं के बिंदु, और यह केवल उनके पथों के सांख्यिकीय जुड़ाव को देखकर कर सका।
इमेज और टेक्स्ट: उन्होंने यह जांचा कि क्या चित्र और उनके विवरण (कैप्शन) वास्तव में संबंधित हैं। मॉडल ने सफलतापूर्वक पता लगाया कि कब एक चित्र और उसके टेक्स्ट के बीच का संबंध कमजोर (शोर जोड़कर) या मजबूत था।

मुख्य निष्कर्ष (The Bottom Line)

InfoAtlas खेल को बदल देता है क्योंकि यह एक धीमी, दोहराव वाली गणितीय समस्या (हर नए डेटासेट के लिए एक मॉडल को ऑप्टिमाइज़ करना) को एक तेज़, एक-चरणीय पहचान कार्य में बदल देता है। यह एक ऐसे लाइब्रेरियन से अपग्रेड करने जैसा है जिसे आपके द्वारा पूछे गए हर किताब के लिए स्टैक्स में खोजना पड़ता है, उस लाइब्रेरियन से जिसने पूरी लाइब्रेरी याद कर ली है और तुरंत बता सकता है कि किताब कहाँ है।

नोट: पेपर स्पष्ट रूप से बताता है कि जबकि यह मध्यम सैंपल साइज (500+) के लिए अच्छा काम करता है, यह बहुत छोटे डेटासेट्स (400 से कम सैम्पल्स) के लिए संघर्ष कर सकता है, और अत्यंत उच्च-आयामी (high-dimensional) डेटा के लिए, यह कार्य करने हेतु "स्लाइसिंग" तकनीक पर निर्भर करता है।

तकनीकी सारांश: InfoAtlas

1. समस्या विवरण (Problem Statement)

उच्च-आयामी यादृच्छिक चरों (high-dimensional random variables) के बीच सांख्यिकीय निर्भरता को मापना डेटा विज्ञान में एक मौलिक कार्य है, जिसमें म्यूचुअल इंफॉर्मेशन (MI) एक सिद्धांत आधारित मीट्रिक के रूप में कार्य करता है जो रैखिक और गैर-रैखिक दोनों संबंधों को पकड़ने में सक्षम है। हालाँकि, वास्तविक समय के अनुप्रयोगों के लिए अनुभवजन्य नमूनों (empirical samples) से MI का अनुमान लगाना गणनात्मक रूप से अत्यधिक कठिन है।

मौजूदा न्यूरल MI एस्टिमेटर्स (जैसे, MINE, InfoNCE, MINDE) डॉन्स्कर-वरियाडन (Donsker-Varadhan - DV) प्रतिनिधित्व पर निर्भर करते हैं, जिसके लिए प्रत्येक नए डेटासेट के लिए इटरेटिव ग्रेडिएंट-आधारित अनुकूलन (iterative gradient-based optimization) के माध्यम से एक न्यूरल नेटवर्क (जिसे "क्रिटिक" कहा जाता है) को शून्य से प्रशिक्षित करने की आवश्यकता होती है। इस प्रक्रिया में हजारों ग्रेडिएंट स्टेप्स शामिल होते हैं, जिसके परिणामस्वरूप प्रति डेटासेट $O(T)$ कम्प्यूटेशनल जटिलता आती है। हालिया कार्य जैसे InfoNet ने प्रीट्रेनिंग के माध्यम से इसे बायपास करने का प्रयास किया, लेकिन यह लुकअप टेबल्स (lookup tables) पर अपनी निर्भरता के कारण यूनिवेरिएट इनपुट तक ही सीमित है, जो $d > 1$ आयामों के लिए अव्यवहार्य हो जाते हैं। फलस्वरूप, बदलते आयामों और नमूना आकारों वाले मल्टीवेरिएट सेटिंग्स में MI का अनुमान लगाने के लिए स्केलेबल, रियल-टाइम विधियों का अभाव है।

2. कार्यप्रणाली: InfoAtlas (Methodology: InfoAtlas)

लेखक InfoAtlas का प्रस्ताव करते हैं, जो एक फाउंडेशन मॉडल जैसी आर्किटेक्चर है जिसे बिना प्रति-डेटासेट अनुकूलन के, एक सिंगल फॉरवर्ड पास में सांख्यिकीय निर्भरता का अनुमान लगाने के लिए डिज़ाइन किया गया है। यह विधि MI अनुमान को एक अनुकूलन समस्या (optimization problem) से बदलकर एक प्रत्यक्ष अनुमान कार्य (direct inference task) में बदल देती है।

2.1. आर्किटेक्चर: अटेंटिव डुअल-पाथ हाइपरनेटवर्क (Architecture: Attentive Dual-Path Hypernetwork)

InfoAtlas एक हाइपरनेटवर्क $H$ का उपयोग करता है जो एक डेटासेट $D = \{(x_i, y_i)\}_{i=1}^n$ को सीधे DV प्रतिनिधित्व के लिए आवश्यक इष्टतम क्रिटिक नेटवर्क के पैरामीटर्स $\theta^*$ में मैप करता है। इसकी संरचना में तीन प्रमुख घटक शामिल हैं:

जॉइंट डिस्ट्रीब्यूशन पाथ (Joint Distribution Path): युग्मित नमूनों $\{(x_i, y_i)\}$ को टोकन के एक अनुक्रम के रूप में प्रोसेस करता है। एक लर्न करने योग्य क्वेरी वेक्टर के साथ क्रॉस-अटेंशन का उपयोग करके, यह जॉइंट डिस्ट्रीब्यूशन $p(x, y)$ में निहित सहसंबंध पैटर्न को कैप्चर करने के लिए फीचर्स को एकत्रित करता है। यह पाथ 16 सेल्फ-अटेंशन लेयर्स का उपयोग करता है।
मार्जिनल डिस्ट्रीब्यूशन पाथ (Marginal Distribution Path): मार्जिनल्स के गुणनफल $p(x)p(y)$ से नमूनों को प्रोसेस करता है (पेयरिंग को रैंडम परम्यूटेशन के माध्यम से तोड़कर)। यह सिमेट्रिक इंडिपेंडेंस पैटर्न को कैप्चर करने के लिए प्रोजेक्टेड $x$ और $y$ रिप्रेजेंटेशन के बीच द्विदिश क्रॉस-अटेंशन (bidirectional cross-attention) का उपयोग करता है। यह पाथ 8 सेल्फ-अटेंशन लेयर्स का उपयोग करता है।
इंटीग्रेशन और जनरेशन मॉड्यूल (Integration and Generation Module): यह जॉइंट और मार्जिनल एनकोडिंग को क्रॉस-अटेंशन के माध्यम से फ्यूज करता है (जहाँ मार्जिनल फीचर्स जॉइंट फीचर्स को क्वेरी करते हैं)। एक पैरामीटर-जनरेशन MLP इस फ्यूज्ड रिप्रेजेंटेशन को क्रिटिक नेटवर्क के फ्लैटन किए गए पैरामीटर वेक्टर $\theta$ में मैप करता है।

परिवर्तनीय आयामों को संभालना (Handling Variable Dimensions): विभिन्न आयामों $d < D_{max}$ वाले इनपुट को समायोजित करने के लिए, मॉडल एक नॉइज़ पैडिंग (noise padding) रणनीति का उपयोग करता है। वेरिएबल्स को एक निश्चित आयाम $D$ तक पहुँचने के लिए स्वतंत्र गाऊसी शोर (independent Gaussian noise) के साथ पैड किया जाता है। सैद्धांतिक रूप से, जब शोर डेटा से स्वतंत्र होता है, तो यह MI को सटीक रूप से सुरक्षित रखता है ( $I(x, y) = I([x; n_x], [y; n_y])$ )।

उच्च-आयामी स्केलिंग (Slicing): उन आयामों के लिए जो प्रीट्रेनिंग सीमा से अधिक हैं ( $d > 20$ ), InfoAtlas स्लाइस्ड म्यूचुअल इंफॉर्मेशन (Sliced Mutual Information) का उपयोग करता है। यह उच्च-आयामी डेटा को कई निम्न-आयामी सबस्पेस (slices) पर प्रोजेक्ट करता है और MI अनुमानों को एकत्रित करता है। पारंपरिक तरीकों के विपरीत, जिन्हें प्रत्येक स्लाइस के लिए अलग अनुकूलन की आवश्यकता होती है, InfoAtlas एक सिंगल बैच फॉरवर्ड पास में सभी स्सेल्स को प्रोसेस करता है, जिससे जटिलता $O(S \cdot T)$ से घटकर $O(1)$ हो जाती है।

2.2. लार्ज-स्केल सिंथेटिक प्री-ट्रेनिंग (Large-Scale Synthetic Pre-training)

InfoAtlas को एक मेटा-डिस्ट्रीब्यूशन $p(D)$ के माध्यम से उत्पन्न विशाल "एटलस" के सिंथेटिक डेटा पर प्रीट्रेन किया गया है। जनरेशन रणनीति दो आयामों में विविधता सुनिश्चित करती है:

डिपेंडेंस डायवर्सिटी (Dependence Diversity): इसे विभिन्न कोरिलेशन मैट्रिसेस और टेल डिपेंडेंसी के साथ कोपुलों (Gaussian और Student's t) के रैंडम मिश्रण के माध्यम से प्राप्त किया जाता है।
मार्जिनल डायवर्सिटी (Marginal Diversity): इसे फ्लो-आधारित रूपांतरणों और डिफरेंशिएबल कोपूला ट्रांसफॉर्मेशन (softrank) के माध्यम से प्राप्त किया जाता है ताकि मार्जिनल्स को नॉर्मलाइज़ किया जा सके, जिससे यह सुनिश्चित होता है कि मॉडल विशिष्ट मार्जिनल डिस्ट्रीब्यूशन के बजाय कोरिलेशन स्ट्रक्चर को सीखता है।

प्रीट्रेनिंग ऑब्जेक्टिव मेटा-डिस्ट्रीब्यूशन में अपेक्षित नेगेटिव एम्पिरिकल MI एस्टीमेट को कम करता है, जो प्रभावी रूप से किसी भी डेटासेट के लिए इष्टतम क्रिटिक पैरामीटर्स की भविष्यवाणी करना सीखता है।

3. मुख्य योगदान (Key Contributions)

पहला ज़ीरो-शॉट मल्टीवेरिएट MI एस्टिमेटर: InfoAtlas पहला प्रीट्रेन्ड आर्किटेक्चर है जो ग्रेडिएंट-आधारित अनुकूलन के बिना, विभिन्न आयामों और नमूना आकारों के मल्टीवेरिएट वेरिएबल्स के बीच MI का अनुमान लगाने में सक्षम है।
डुअल-पाथ हाइपरनेटवर्क डिज़ाइन: लेखक एक नया आर्किटेक्चर प्रस्तावित करते हैं जो देखे गए नमूनों से सीधे क्रिटिक पैरामीटर्स को जेनरेट करता है, जिससे इटरेटिव ट्रेनिंग की आवश्यकता समाप्त हो जाती है और AI पाइपलाइनों में एकीकरण के लिए पूर्ण डिफरेंशिएबिलिटी बनी रहती है।
स्केलेबिलिटी और एफिशिएंसी: स्लाइस्ड MI और बैच फॉरवर्ड पास का लाभ उठाकर, मॉडल उच्च-आयामी डेटा (1024D तक) तक स्केल करता है, जो स्टेट-ऑफ-द-आर्ट न्यूरल एस्टिमेटर्स की तुलना में $100\times$ की सैद्धांतिक गति बढ़ाता है।
व्यापक मूल्यांकन: विधि को ज्ञात ग्राउंड-ट्रुथ MI वाले सिंथेटिक बेंचमार्क, इंडिपेंडेंस टेस्टिंग, CLIP एम्बेडिंग विश्लेषण, मोशन ट्रजेक्टरी मॉडलिंग और रोबोटिक मैनिपुलेशन कॉन्सेप्ट डिस्कवरी पर मान्य किया गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

सटीकता बनाम गति (Accuracy vs. Speed): ज्ञात ग्राउंड ट्रुथ वाले सिंथेटिक बेंचमार्क पर, InfoAtlas स्टेट-ऑफ-द-आर्ट न्यूरल मेथड्स (MINE, InfoNCE, MINDE) के समान सटीकता प्राप्त करता है, लेकिन यह लगभग 300 $\times$ तेज़ (एक मानक कार्य के लिए MINE के 25.9s के मुकाबले 0.09s) निष्पादित होता है।
इंडिपेंडेंस टेस्टिंग: उच्च-आयामी इंडिपेंडेंस टेस्टिंग (128 आयामों तक) में, InfoAtlas मजबूत सांख्यिकीय शक्ति प्रदर्शित करता है, जो नमूना आकार 500 से अधिक होने पर ग्रेडिएंट-आधारित एस्टिमेटर्स के बराबर होता है, जबकि यह यूनिवेरिएट-लिमिटेड InfoNet की तुलना में काफी बेहतर प्रदर्शन करता है।
वास्तविक दुनिया के अनुप्रयोग:
- CLIP विश्लेषण: InfoAtlas इमेज-टेक्स्ट डिपेंडेंस में नॉइज़-प्रेरित कमी का उच्च संवेदनशीलता के साथ पता लगाने में सफल रहा, जो अपनी मल्टी-डायमेंशनल स्लिंग क्षमता के कारण सटीकता में InfoNet से बेहतर प्रदर्शन करता है।
- मोशन ट्रजेक्टरी मॉडलिंग: PointOdyssey डेटासेट पर, मॉडल ट्रैजेक्टरी कोरिलेशन के आधार पर एक ही ऑब्जेक्ट के बिंदुओं की सही पहचान करता है, जो कुछ ही सेकंड में प्रतिस्पर्धी सेगमेंटेशन सटीकता प्राप्त करता है।
- रोबोटिक्स: रोबोटिक मैनिपुलेशन (ManiSkill 2) के लिए कॉन्सेप्ट डिस्कवरी कार्यों में, InfoAtlas द्वारा पहचाने गए की-स्टेट्स का उपयोग करने वाली पॉलिसियों ने कम समय बजट के बावजूद अन्य एस्टिमेटर्स की तुलना में उच्च सफलता दर प्राप्त की।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि InfoAtlas सांख्यिकीय निर्भरता अनुमान (statistical dependence estimation) में एक पैराडाइम शिफ्ट स्थापित करता है। MI अनुमान को एक अनुकूलन समस्या के बजाय एक वन-स्टेप इन्फरेंस टास्क के रूप में पुनर्गठित करके, यह रियल-टाइम, स्केलेबल डिपेंडेंसी एनालिसिस को सक्षम बनाता है।

लेखक इस बात पर जोर देते हैं कि हालांकि उच्च आयामों के लिए स्लाइस्ड MI एक सन्निकटन (approximation) है, फिर यह उन व्यावहारिक अनुप्रयोगों के लिए एक अनुकूल सटीकता-दक्षता ट्रेड-ऑफ प्रदान करता है जहाँ सापेक्ष निर्भरता की शक्ति सटीक MI मानों की तुलना में अधिक महत्वपूर्ण होती है। यह कार्य InfoAtlas को स्वास्थ्य सेवा, स्वायत्त ड्राइविंग, जीव विज्ञान और रोबोटिक्स जैसे क्षेत्रों में रियल-टाइम अनुप्रयोगों के लिए एक बहुमुखी फाउंडेशन के रूप में स्थापित करता है, जहाँ वेरिएबल रिलेशनशिप का त्वरित मूल्यांकन आवश्यक है।

स्वीकृत सीमाएँ (Limitations Acknowledged):

छोटे नमूना आकार (Small Sample Sizes): जब नमूना आकार बहुत छोटा ( $n < 400$ ) होता है, तो प्रदर्शन गिर जाता है, क्योंकि ट्रांसफॉर्मर सीमित आबादी से सूचनात्मक सिग्नल निकालने में संघर्ष करता है।
उच्च-आयामी सन्निकटन (High-Dimensional Approximation): आयाम $d > 20$ के लिए, विधि स्लिंग (slicing) पर निर्भर करती है, जो कुछ निर्भरता संरचनाओं को मिस कर सकती है या मूल उच्च-आयामी स्पेस में स्पष्ट गैर-रैखिक निर्भरताओं को कम कर सकती है।
प्रीट्रेनिंग स्कोप (Pretraining Scope): 20 आयामों तक स्वाभाविक रूप से प्रभावी होने के बावजूद, अत्यंत उच्च आयामों तक स्केल करने के लिए स्लिंग सन्निकटन की आवश्यकता होती है, जो प्रोजेक्शन डायमेंशन $k$ और संख्या $S$ पर निर्भर बायस (bias) पेश करता है।