💻 computer science

Delving into Spectral Clustering with Vision-Language Representations

यह शोध पत्र न्यूरल टेंगेंट कर्नेल स्पेक्ट्रल क्लस्टरिंग (Neural Tangent Kernel Spectral Clustering) का प्रस्ताव करता है, जो एक नवीन बहु-मोडल दृष्टिकोण है जो उन्नत एफिनिटी मैट्रिसेस (affinity matrices) के निर्माण के लिए पूर्व-प्रशिक्षित विजन-लैंग्वेज मॉडल्स और पॉजिटिव नाउन एंकरिंग (positive noun anchoring) का लाभ उठाता है, जिससे क्लस्टर-के-भीतर के कनेक्शनों को प्रभावी ढंग से प्रवर्धित करते हुए और क्लस्टर-के-बीच के शोर को दबाते हुए 16 विविध बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Bo Peng, Yuanwei Hu, Bo Liu, Ling Chen, Jie Lu, Zhen Fang

प्रकाशित 2026-03-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bo Peng, Yuanwei Hu, Bo Liu, Ling Chen, Jie Lu, Zhen Fang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास लाखों किताबों वाला एक विशाल, अराजक पुस्तकालय है, लेकिन उनमें से किसी पर भी शीर्षक या स्पाइन (spine) पर लेबल नहीं है। आपका लक्ष्य उन्हें अलमारियों में व्यवस्थित करना है ताकि समान किताबें एक साथ आ सकें। यह कंप्यूटर विज्ञान में क्लस्टरिंग (clustering) की समस्या है।

लंबे समय तक, कंप्यूटरों ने इसे केवल कवर आर्ट (दृश्य डेटा) को देखकर हल करने की कोशिश की। वे कहते थे, "इन दोनों किताबों के कवर पर नीला रंग और एक कुत्ता है, इसलिए वे कुत्तों के बारे में ही होनी चाहिए।" लेकिन इस दृष्टिकोण में एक दोष है: एक किताब "गोल्डन रिट्रीवर" के बारे में और दूसरी किताब "गोल्डन रिट्रीवर के आकार के कुकी" के बारे में हो सकती है, जो दिखने में बिल्कुल एक जैसी हो सकती हैं, भले ही उनकी सामग्री पूरी तरह से अलग हो।

"डेल्विंग इंटू स्पेक्ट्रल क्लस्टरिंग विद विजन-लैंग्वेज रिप्रेजेंटेशन्स" नामक यह शोध पत्र, इस पुस्तकालय को व्यवस्थित करने का एक स्मार्ट तरीका प्रस्तावित करता है। केवल कवर को देखने के बजाय, कंप्यूटर को एक अनुवादक (translator) दिया जाता है जो किताब के शीर्षक और विवरण (टेक्स्ट) के साथ-साथ उसके कवर के आधार पर किताब के "भाव" (vibe) को पढ़ सकता है।

यहाँ उनके तरीके का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. पुराना तरीका: "केवल कवर आर्ट" वाला दृष्टिकोण

पारंपरिक तरीके (जैसे मानक स्पेक्ट्रल क्लस्टरिंग) एक ऐसे लाइब्रेरियन की तरह हैं जो टेक्स्ट को समझने में असमर्थ है। वे केवल इस आधार पर किताबों को समूहबद्ध करते हैं कि उनके कवर की तस्वीरें कितनी समान दिखती हैं।

समस्या: यदि आपके पास एक असली कुत्ते की फोटो है और एक कुत्ते के आकार के केक की फोटो है, तो लाइब्रेरियन उन्हें एक ही शेल्फ पर रख देता है क्योंकि वे एक जैसे दिखते हैं। इससे अव्यवस्थित और गलत समूह बनते हैं।

2. नया टूल: "विज़न-लैंग्वेज" अनुवादक

लेखक एक शक्तिशाली AI टूल का उपयोग करते हैं जिसे CLIP कहा जाता है (जिसे लाखों इमेज-टेक्स्ट जोड़ों पर प्रशिक्षित किया गया था)। CLIP को एक सुपर-लाइब्रेरियन के रूप में सोचें जो समझता है कि एक कुत्ते की तस्वीर और शब्द "फूला हुआ पालतू जानवर" (fluffy pet) एक ही मानसिक श्रेणी में आते हैं, भले ही तस्वीर दूसरी कुत्ते की तस्वीर से थोड़ी अलग दिखती हो।

हालाँकि, केवल इस अनुवादक का होना पर्याप्त नहीं है। आपको अभी भी यह तय करने का एक तरीका चाहिए कि किताबों को कैसे समूहबद्ध किया जाए।

3. सीक्रेट सॉस: "न्यूरल टेंगेंट कर्नेल" (NTK)

यही इस पेपर का मुख्य आविष्कार है। कल्पना कीजिए कि आप यह मापना चाहते हैं कि दो किताबें एक-दूसरे के कितने "करीब" हैं।

पुराना तरीका: आप शेल्फ पर उनके बीच की भौतिक दूरी को मापते हैं (विजुअल प्रॉक्सिमिटी)।
नया तरीका (NTK): लेखक एक विशेष "समानता मीटर" बनाते हैं जो एक साथ दो चीजों की जांच करता है:
1. विजुअल प्रॉक्सिमिटी (Visual Proximity): क्या कवर एक जैसे दिखते हैं?
2. सिमेंटिक ओवरलैप (Semantic Overlap): क्या उनकी "आत्मा" या अर्थ समान है?

उपमा: कल्पना कीजिए कि आप अपना जीवनसाथी खोजने की कोशिश कर रहे हैं।

विजुअल प्रॉक्सिमिटी यह पूछना है, "क्या वे आपके प्रकार के दिखते हैं?"
सिमेंटिक ओवरलैप यह पूछना है, "क्या उनके मूल्य और रुचियां आपसे मिलती हैं?"
NTK तरीका कहता है: "मैं आपको मैच तभी मानूंगा जब दोनों शर्तें पूरी हों।"
- यदि दो लोग एक जैसे दिखते हैं लेकिन उनके विचार पूरी तरह से अलग हैं, तो मीटर कहता है "कोई मैच नहीं।"
- यदि दो लोगों के विचार समान हैं लेकिन वे दिखने में बिल्कुल अलग हैं, तो मीटर कहता है "कोई मैच नहीं।"
- यदि वे एक जैसे दिखते हैं और उनके विचार भी मिलते हैं, तो मीटर चिल्लाकर कहता है "परफेक्ट मैच!"

इस "डबल-चेक" सिस्टम का उपयोग करके, कंप्यूटर डेटा का एक बहुत ही साफ मानचित्र बनाता है। यह "नकली" समानताओं (जैसे कुत्ता-केक) को अनदेखा करता है और वास्तविक कनेक्शनों पर ध्यान केंद्रित करता है।

4. "डिफ्यूजन" तंत्र: "ग्रुप कंसेंसस" (समूह सहमति)

लेखकों ने यह भी महसूस किया कि कभी-कभी यदि आप "अनुवादक" (CLIP) से अजीब तरीके से सवाल पूछते हैं, तो वह भ्रमित हो सकता है। इसे ठीक करने के लिए, वे रेगुलराइज्ड एफ़िनिटी डिफ्यूजन (Regularized Affinity Diffusion) नामक तकनीक का उपयोग करते हैं।

उपमा: कल्पना कीजिए कि आप एक पार्टी आयोजित करने की कोशिश कर रहे हैं, लेकिन आपके पास 7 अलग-अलग मेहमान हैं जो आपको यह बताने के लिए अलग-अलग सूचियाँ दे रहे हैं कि किसे साथ बैठना चाहिए।

मेहमान A कहता है: "लाल शर्ट वाले लोगों को एक साथ रखें।"
मेहमान B कहता: "लंबे लोगों को एक साथ रखें।"
मेहमान C कहता: "पिज्जा पसंद करने वाले लोगों को एक साथ रखें।"

यदि आप केवल उनकी सूचियों का औसत लेते हैं, तो आपको एक अस्त-व्यस्त परिणाम मिल सकता है। इसके बजाय, लेखकों का तरीका एक बुद्धिमान मध्यस्थ (mediator) की तरह कार्य करता है। यह सभी 7 मेहमानों की बात सुनता है, यह पता लगाता है कि किस मेहमान की सलाह सबसे सुसंगत और सहायक है, और उनकी सूचियों को एक परफेक्ट सीटिंग चार्ट में मिला देता है। यह सुनिश्चित करता है कि अंतिम समूह मजबूत है और केवल एक व्यक्ति की राय पर निर्भर नहीं है।

5. परिणाम: एक पूरी तरह से व्यवस्थित पुस्तकालय

लेखकों ने अपने तरीके का परीक्षण 16 अलग-अलग "लाइब्रेरीज" (डेटासेट्स) पर किया, जिसमें कारों और कुत्तों की साधारण तस्वीरों से लेकर जटिल वीडियो और सूक्ष्म विवरणों (जैसे बिल्लियों की विभिन्न नस्लें) तक शामिल थे।

परिणाम: उनका तरीका लगातार वर्तमान सर्वोत्तम तरीकों को पछाड़ता रहा।
क्यों? क्योंकि इसने केवल सतह (छवि) को नहीं देखा; इसने गहरे अर्थ (टेक्स्ट) को समझा और एक स्मार्ट गणितीय ट्रिक (NTK) का उपयोग किया ताकि यह सुनिश्चित हो सके कि केवल वास्तव में समान वस्तुओं को ही एक साथ समूहबद्ध किया जाए।

सारांश

संक्षेप में, यह पेपर कंप्यूटर को देखने और समझने (sight and sense) को जोड़ने के माध्यम से डेटा को व्यवस्थित करना सिखाता है। केवल यह कहने के बजाय कि, "ये दो तस्वीरें एक जैसी दिखती हैं," नया तरीका कहता है, "ये दो तस्वीरें एक जैसी दिखती हैं, और इनका अर्थ भी एक ही है।" यह बहुत अधिक स्मार्ट, अधिक सटीक समूहों की ओर ले जाता है, जिससे उन "नकली समानताओं" की समस्या हल हो जाती है जो पिछले तरीकों को भ्रमित करती थीं।

यहाँ शोध पत्र "Delving into Spectral Clustering with Vision-Language Representations" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

स्पेक्ट्रल क्लस्टरिंग (Spectral Clustering - SC) एक शक्तिशाली अनसुपरवाइज्ड तकनीक है जो क्लस्टरिंग को ग्राफ विभाजन (graph partitioning) की समस्या के रूप में पुनर्गठित करती है, जिसमें लो-डायमेंशनल एम्बेडिंग खोजने के लिए ग्राफ लैपलेसियन के स्पेक्ट्रम का उपयोग किया जाता है। हालाँकि, मौजूदा SC विधियों को दो महत्वपूर्ण सीमाओं का सामना करना पड़ता है:

सिंगल-मोडैलिटी बाधा (Single-Modality Constraint): अधिकांश दृष्टिकोण केवल विजुअल फीचर्स पर निर्भर करते हैं। जब चित्र दृश्य रूप से समान होते हैं लेकिन अर्थपूर्ण रूप से भिन्न (जैसे, कुत्तों की विभिन्न नस्लें या विभिन्न बनावट), तो विजुअल-ओनली एफिनिटी ग्राफ वास्तविक सिमेंटिक संरचना को पकड़ने में विफल रहते हैं, जिससे सब-ऑप्टिमल क्लस्टरिंग होती है।
अप्रभावी मल्टी-मोडल एकीकरण (Ineffective Multi-Modal Integration): जबकि विजन-लैंग्वेज मॉडल्स (VLMs) जैसे कि CLIP, समृद्ध सिमेंटिक रिप्रजेंटेशन प्रदान करते हैं, केवल इमेज और टेक्स्ट फीचर्स को कॉन्कैटिनेट करना या इन फीचर्स पर मानक कर्नेल (जैसे, RBF) का उपयोग करना क्रॉस-मोडल अलाइनमेंट का पर्याप्त लाभ नहीं उठा पाता है। पिछले प्रयासों (जैसे, TAC) ने दिखाया कि नैव फीचर-लेवल इनकॉरपोरेशन K-Means के समान प्रदर्शन देता है, जो प्रभावी स्पेक्ट्रल क्लस्टरिंग के लिए आवश्यक एफिनिटी ग्राफ स्ट्रक्चर को बेहतर बनाने में विफल रहता है।

मुख्य शोध प्रश्न: हम अनसुपरवाइज्ड सेटिंग में स्पेक्ट्रल क्लस्टरिंग के लिए एक उच्च-गुणवत्ता वाला एफिनिटी मैट्रिक्स बनाने के लिए टेक्स्टुअल सिमेंटिक्स को विजुअल सिमिलरिटी के साथ प्रभावी ढंग से कैसे एकीकृत कर सकते हैं?

2. कार्यप्रणाली (Methodology)

लेखक न्यूरल टेंगेंट कर्नेल स्पेक्ट्रल क्लस्टरिंग (NTK-SC) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो विजुअल प्रॉक्सिमिटी को सिमेंटिक ओवरलैप के साथ जोड़ने के लिए न्यूरल टेंगेंट कर्नेल (NTK) का लाभ उठाता है। यह विधि दो मुख्य चरणों से मिलकर बनी है:

A. NTK-आधारित एफिनिटी निर्माण (NTK-Based Affinity Construction)

मानक डिस्टेंस मेट्रिक्स के बजाय, लेखक NTK के माध्यम से "पॉजिटिव नाउन्स" (सिमेंटिक एंकर्स) के साथ उनके फीचर्स की अंतःक्रिया के आधार पर दो छवियों के बीच की एफिनिटी को परिभाषित करते हैं।

सिमेंटिक एंकर्स (Semantic Anchors): बड़े पैमाने के लेक्सिकल डेटाबेस (जैसे, WordNet) से सकारात्मक संज्ञाओं $\{\hat{c}_1, \dots, \hat{c}_N\}$ का एक सेट चुना जाता है जो डेटासेट के लिए सिमेंटिक रूप से प्रासंगिक हैं लेकिन जिनके लिए ग्राउंड-ट्रुथ क्लास लेबल की आवश्यकता नहीं होती।
प्रॉक्सी नेटवर्क और NTK (Proxy Network & NTK): एक प्रॉक्सी नेटवर्क $g_\theta$ को log-sum-exp फॉर्म का उपयोग करके परिभाषित किया गया है जो पॉजिटिव नाउन्स के आधार पर इमेज फीचर्स को एक स्केलर वैल्यू में मैप करता है। इस नेटवर्क के वेट्स को पॉजिटिव नाउन्स के टेक्स्ट एम्बेडिंग्स ( $W$ ) द्वारा एंकर किया गया है।
$g_{\theta_0}(f_X(x_i)) = \log \sum_{k=1}^N e^{w_k^\top f_X(x_i) / \tau}$
एफिनिटी फॉर्मूलेशन (Affinity Formulation): दो छवियों के बीच एफिनिटी $A_{NTK}[i, j]$ $A_{N T K} [i, j]$ को इमेज फीचर्स पर मूल्यांकित किए गए प्रॉक्सी नेटवर्क के NTK के रूप में कंप्यूट किया जाता है। सैद्धांतिक विश्लेषण से पता चलता है कि यह NTK दो टर्म्स के मल्टीप्लिकेटिव कपलिंग (multiplicative coupling) में विभाजित होता है:
- विजुअल प्रॉक्सिमिटी ( $U_{ij}$ ): CLIP स्पेस में इमेज फीचर्स का डॉट प्रोडक्ट।
- सिमेंटिक ओवरलैप ( $V_{ij}$ ): यह सॉफ्टमैक्स प्रोबेबिलिटी का उत्पाद जो दर्शाता है कि प्रत्येक इमेज पॉजिटिव नाउन्स के एक ही सबसेट के साथ कितनी मजबूती से अलाइन होती है।
  $K_{\theta_0}(f_X(x_i), f_X(x_j)) \propto U_{ij} \cdot V_{ij}$
  तंत्र (Mechanism): यह मल्टीप्लिकेटिव स्ट्रक्चर उन छवियों के लिए एफिनिटी को बढ़ाता है जो विजुअली क्लोज और सिमेंटिकली अलाइन्ड हैं (उच्च इंट्रा-क्लस्टर), जबकि उन छवियों के लिए एफिनिटी को कम करता है जो विजुअली क्लोज हैं लेकिन सिमेंटिकली डिस्टिंक्ट हैं (कम इंटर-क्लस्टर), जिससे एफिनिटी मैट्रिक्स की ब्लॉक-डायगोनल संरचना को शार्पन (sharpen) करने में मदद मिलती है।

B. रेगुलराइज्ड एफिनिटी डिफ्यूजन (Regularized Affinity Diffusion - RAD)

विभिन्न प्रॉम्प्ट टेम्पलेट्स (जैसे, "a photo of a {}", "art of a {}") को संभालने के लिए, यह विधि साधारण एवरेजिंग के बजाय एक एडेप्टिव एन्सेम्बल मैकेनिज्म का उपयोग करती है।

उद्देश्य: कई प्रॉम्प्ट-विशिष्ट एफिनिटी मैट्रिसेस $A^{(b)}_{NTK}$ के लिए इष्टतम वेट्स $\beta$ को सीखना ताकि एक मजबूत फाइनल एफिनिटी मैट्रिक्स $\hat{A}$ बनाया जा सके।
ऑप्टिमाइजेशन: इस समस्या को एन्सेम्बल वेट्स और डिफ्यूजन प्रोसेस के जॉइंट ऑप्टिमाइजेशन के रूप में तैयार किया गया है:
$\min_{\beta, \hat{A}} \sum_{b=1}^B \beta[b] \cdot \ell(\hat{A}, A^{(b)}_{NTK}) + \mu \|\hat{A} - E\|_F^2 + \frac{\lambda}{2} \|\beta\|_2^2$
जहाँ $\ell$ एफिनिटी डिफ्यूजन लॉस है, और $E$ एक रेगुलराइजेशन मैट्रिक्स (आइडेंटिटी) है ताकि ओवर-स्मूथिंग को रोका जा सके।
समाधान: इस नॉन-कॉन्वेक्स समस्या को एक अल्टरनेटिंग इटरेटिव स्कीम के माध्यम से हल किया जाता है:
1. $\beta$ को फिक्स करें, $\hat{A}$ को ऑप्टिमाइज़ करें: इसे क्रोनेकर प्रोडक्ट्स (Kronecker products) से जुड़े एक क्लोज्ड-फॉर्म सॉल्यूशन या कुशल इटरेटिव सॉल्वर के माध्यम से हल किया जाता है।
2. $\hat{A}$ को फिक्स करें, $\beta$ को ऑप्टिमाइज़ करें: इसे कोऑर्डिनेट डिसेंट मेथड (Lasso-style optimization) का उपयोग करके हल किया जाता है।

3. प्रमुख योगदान (Key Contributions)

नया फ्रेमवर्क: पहला ऐसा स्पेक्ट्रल क्लस्टरिंग मेथड पेश करता है जो विजन-लैंग्वेज रिप्रजेंटेशन को एकीकृत करने के लिए स्पष्ट रूप से न्यूरल टेंगेंट कर्नेल का लाभ उठाता है, जो सिंगल-मोडल प्रतिमानों से आगे बढ़ता है।
सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): यह प्रदर्शित करता है कि NTK-आधारित एफिनिटी फॉर्मूलेशन स्वाभाविक रूप से विजुअल और सिमेंटिक सिग्नल्स के मल्टीप्लिकेटिव कपलिंग को बनाता है, जो सैद्धांतिक रूप से स्प्यूरियस क्रॉस-क्लस्टर कनेक्शन को दबाने और ब्लॉक-डायगोनल स्ट्रक्चर को बढ़ाने की गारंटी देता है।
एडेप्टिव एन्सेम्बल (Adaptive Ensemble): कई प्रॉम्प्ट-प्रेरित एफिनिटी मैट्रिसेस को एडेप्टिवली एन्सेम्बल करने के लिए एक सिद्धांत आधारित रेगुलराइज्ड एफिनिटी डिफ्यूजन (RAD) प्रस्तावित करता है, जो नैव एवरेजिंग से बेहतर प्रदर्शन करता है।
व्यापक सत्यापन (Comprehensive Validation): 16 बेंचमार्क्स (क्लासिकल, लार्ज-स्केल, फाइन-ग्रेंड और डोमेन-शिफ्टेड डेटासेट्स सहित) पर व्यापक प्रयोग स्टेट-ऑफ-द-आर्ट प्रदर्शन प्रदर्शित करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन विविध डेटासेट्स पर 20+ बेसलाइन्स (TAC, SIC, SCAN और विभिन्न डीप क्लस्टरिंग मेथड्स सहित) के विरुद्ध किया गया।

क्लासिकल डेटासेट्स: ImageNet-Dogs पर, इस विधि ने 98.3% ACC और 84.9% ACC (NMI/ARI) प्राप्त किया, जो पिछले स्टेट-ऑफ-द-आर्ट TAC से क्रमशः 3.8% और 9.8% बेहतर है। STL-10 पर, इसने 95.8% NMI और 98.3% ACC प्राप्त किया।
चुनौतीपूर्ण डेटासेट्स: UCF-101 और ImageNet-1K पर, विधि ने TAC से महत्वपूर्ण अंतर से बढ़त बनाई (जैसे, UCF-101 पर +7.7% ACC, ImageNet-1K पर +6.3% ACC)।
फाइन-ग्रेंड और डोमेन शिफ्ट:
- फाइन-ग्राइंड (Fine-Grained): Pets डेटासेट पर TAC से 5.1% बेहतर रहा।
- डोमेन शिफ्ट (Domain Shift): ImageNet-C, ImageNet-V2, और ImageNet-S पर उत्कृष्ट मजबूती प्रदर्शित की, वितरण बदलाव (distribution shifts) के तहत बेसलाइन्स की तुलना में उच्च प्रदर्शन बनाए रखा।
एब्लेशन स्टडीज (Ablation Studies):
- NTK बनाम स्टैंडर्ड कर्नेल्स: समान फीचर्स पर NTK को RBF या लीनियर कर्नेल्स से बदलने पर प्रदर्शन में भारी गिरावट आई, जो NTK फॉर्मूलेशन की आवश्यकता को प्रमाणित करता है।
- RAD मैकेनिज्म: प्रस्तावित RAD ने नैव एवरेजिंग और सिंपल प्रॉम्प्ट एन्सेम्बलिंग (PE) दोनों से काफी बेहतर प्रदर्शन किया, जो एडेप्टिव वेट लर्निंग के महत्व की पुष्टि करता है।
- हाइपरपैरामीटर्स: विधि टेम्परेचर ( $\tau$ ) और पड़ोसी संख्या ( $q$ ) के एक विस्तृत रेंज में स्थिर रही।

5. महत्व (Significance)

यह शोध पत्र विजन-लैंग्वेज प्री-ट्रेनिंग और स्पेक्ट्रल क्लस्टरिंग के बीच की खाई को सफलतापूर्वक पाटकर अनसुपरवाइज्ड इमेज क्लस्टरिंग में एक पैराडाइम शिफ्ट का प्रतिनिधित्व करता है।

सैद्धांतिक प्रगति: यह एक कठोर गणितीय औचित्य (NTK के माध्यम से) प्रदान करता है कि क्यों विजुअल और टेक्स्टुअल मोडैलिटीज को मिलाने से क्लस्टरिंग बेहतर होती है, विशेष रूप से ग्राफ स्ट्रक्चर के ब्लॉक-डायगोनल गुणों को बढ़ाकर।
व्यावहारिक प्रभाव: यह बिना किसी लेबल वाले डेटा या क्लस्टरिंग ऑब्जेक्टिव के लिए जटिल ट्रेनिंग लूप के, स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करता है (यह प्री-ट्रेन्ड CLIP और एफिनिटी डिफ्यूजन के लिए एक लाइटवेट ऑप्टिमाइजेशन पर निर्भर करता है)।
भविष्य की दिशा: यह मल्टी-मोडल अनसुपरवाइज्ड लर्निंग के लिए एक नया बेसलाइन स्थापित करता है, जो यह सुझाव देता है कि कर्नेल मेथड्स के माध्यम से लैंग्वेज मॉडल्स के "सिमेंटिक स्ट्रक्चर" का लाभ उठाना कंप्यूटर विजन में रिप्रजेंटेशन लर्निंग को सुधारने का एक आशाजनक मार्ग है।

कोड उपलब्धता: लेखक पुनरुत्पादकता (reproducibility) सुनिश्चित करने के लिए सोर्स कोड जारी कर चुके हैं।