📊 statistics

Similarity search generalisation in contrastive learning with InfoNCE loss

यह शोध पत्र स्थापित करता है कि $k$ नकारात्मक नमूनों के साथ InfoNCE लॉस एक अपेक्षित क्रॉस-एन्ट्रॉपी का सन्निकटन करता है जो समानता खोज विचलन (similarity search deviation) को परिमाणित करता है और लिप्सचिट्ज़ एम्बेडिंग फलनों (Lipschitz embedding functions) के लिए सामान्यीकरण त्रुटि को स्थिर करने के लिए गैटो डिफरेंशिएशन (Gâteaux differentiation) के माध्यम से एक नवीन निरंतरता सीमा (continuity bound) प्रस्तुत करता है।

मूल लेखक: Nick Whiteley

प्रकाशित 2026-07-13

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nick Whiteley

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को यह समझने के लिए सिखाने की कोशिश कर रहे हैं कि "समानता" (similar) का क्या अर्थ है। आप उसे एक बिल्ली की तस्वीर (जिसे एंकर/anchor कहा जाता है) दिखाते हैं और फिर उसी बिल्ली की एक थोड़ी अलग तस्वीर (जिसे पॉजिटिव/positive कहा जाता है) दिखाते हैं। फिर आप उसे कुत्तों, कारों और केलों की बहुत सारी तस्वीरें (जिन्हें नेगेटिव/negatives कहा जाता है) दिखाते हैं। रोबोट का काम एक विशेष "एम्बेडिंग" (एक गणितीय मानचित्र) सीखना है जो उन दो बिल्ली की तस्वीरों को एक-दूसरे के करीब लाता है और कुत्तों को दूर धकेलता है।

इस सीखने के लिए रोबोट जिस उपकरण का उपयोग करता है, उसे InfoNCE कहा जाता है। यह एक खेल की तरह है जहाँ रोबोट को इस आधार पर स्कोर मिलता है कि वह बिल्लियों को शोर (noise) से कितनी अच्छी तरह अलग करता है। लेकिन यहाँ एक बड़ा सवाल है: यदि रोबोट उस खेल को उन तस्वीरों पर पूरी तरह से सीख लेता है जो आपने उसे दिखाई हैं, तो क्या वह वास्तविक दुनिया (अनदेखे डेटा) में समान चीजों को खोजने में वास्तव में अच्छा होगा जिसे उसने पहले कभी नहीं देखा है?

यह शोध पत्र, जो निक व्हाइटली द्वारा लिखा गया है, इसी प्रश्न की गहराई में जाता है। यह केवल यह नहीं कहता कि "यह काम करता है"; बल्कि यह समझाने की कोशिश करता है कि यह "क्यों" काम करता है और "शोर" की तस्वीरों (नेगेटिव सैंपल्स) की संख्या खेल को कैसे बदल देती है।

"शोर" की भीड़ का जादू

InfoNCE खेल में, आप आमतौर पर रोबोट को कुछ नेगेटिव सैंपल्स देते हैं (शायद 10 या 100)। लेकिन वास्तविक दुनिया में, अनंत संभावनाएँ हैं। क्या होगा यदि आप रोबोट को नेगेटिव सैंपल्स की एक विशाल भीड़ दे दें?

यह शोध पत्र कुछ बहुत विशिष्ट सिद्ध करता है: जैसे-जैसे आप नेगेटिव सैंपल्स ( $k$ ) की संख्या बढ़ाते हैं, रोबोट का प्रदर्शन एक आदर्श "आदर्श खोज" (perfect ideal search) के करीब पहुँचता जाता है।

इसे इस तरह समझें:

आदर्श खोज (The Ideal Search): एक जादुई लाइब्रेरियन की कल्पना करें जो जानता है कि ब्रह्मांड "पॉजिटिव" जोड़ों (जैसे बिल्ली और उसका जुड़वां) को कैसे उत्पन्न करता है। यह लाइब्रेरियन आपको तुरंत किसी भी दो चीजों के बीच की सटीक समानता बता सकता है।
रोबोट की खोज (The Robot's Search): रोबोट अपने सीखे हुए मानचित्र का उपयोग करके समानता का अनुमान लगाता है।
संबंध: शोध पत्र दिखाता है कि जैसे-जैसे आप अधिक नेगेटिव सैंपल्स जोड़ते हैं, रोबोट का अनुमान और जादुई लाइब्रेरियन के सटीक उत्तर के बीच का अंतर बहुत तेजी से कम होता जाता। विशेष रूप से, त्रुटि (error) $O(1/k)$ की दर से गिरती है।

इसका अर्थ यह है कि यदि आप नेगेटिव सैंपल्स की संख्या दोगुनी करते हैं, तो आप त्रुटि को आधा कर देते हैं। यदि आपके पास 1,000 नेगेटिव्स हैं, तो त्रुटि बहुत कम है। यह एक गणितीय तथ्य है जिसे इस शोध पत्र में सिद्ध किया गया है, न कि केवल एक अनुमान। यह एक पुराने विचार को सुधारता है जो सुझाव देता था कि त्रुटि धीमी गति से (जैसे $1/\sqrt{k}$ ) गिर सकती है। लेखक दिखाते हैं कि सही गणित के साथ, यह वास्तव में बहुत तेज़ है: $1/k$ ।

तापमान नॉब (The Temperature Knob)

इस कहानी में एक और पात्र है: तापमान पैरामीटर ( $\tau$ )। इसे रोबोट के मस्तिष्क पर एक "फोकस नॉब" की तरह समझें।

यदि तापमान कम है, तो रोबोट बहुत चयनात्मक (picky) है। यह केवल सबसे समान चीजों पर ध्यान देता है और बाकी को अनदेखा कर देता है।
यदि तापमान उच्च है, तो रोबोट अधिक सहज है और समानताओं की एक विस्तृत श्रृंखला पर विचार करता है।

शोध पत्र सिद्ध करता है कि यह नॉब एक रेगुलराइज़र (regularizer) के रूप में कार्य करता है। यदि आप तापमान बढ़ाते हैं (इसे उच्च करते हैं), तो रोबोट के मानचित्र को सभी डेटा के औसत वितरण के करीब रहने के लिए मजबूर किया जाता है, जिससे वह अजीब आउटलेयर्स (outliers) के प्रति अति-संवेदनशील (overfitting) होने से बच जाता है। शोध पत्र स्पष्ट रूप से कहता है कि तापमान जितना अधिक होगा, रोबोट का खोज व्यवहार सामान्य डेटा वितरण के उतना ही करीब रहेगा, चाहे रोबोट को किसी भी तरह से कॉन्फ़िगर किया गया हो।

"औसत निकालने" की महाशक्ति (The "Averaging" Superpower)

सबसे रोमांचक निष्कर्षों में से एक सामान्यीकरण (generalization) के बारे में है—कि रोबोट नए, अनदेखे डेटा पर कैसा प्रदर्शन करता है।

पिछले सिद्धांतों ने सुझाव दिया था कि अधिक नेगेटिव सैंपल्स जोड़ने से गणित जटिल और कठिन हो सकता है। लेकिन यह पेपर इसके विपरीत तर्क देता है। यह एक नया गणितीय उपकरण (जिसे Gâteaux differentiation कहा जाता है) पेश करता है यह दिखाने के लिए कि लॉस फंक्शन में नेगेटिव सैंपल्स का "औसत निकालने" (averaging) का प्रभाव वास्तव में रोबोट के प्रदर्शन को स्थिर (stabilize) करता है।

इसे एक पोल (मतदान) लेने जैसा समझें। यदि आप एक व्यक्ति से पूछते हैं, तो उसकी राय बहुत अजीब हो सकती है। यदि आप 10 से पूछते हैं, तो यह बेहतर है। यदि आप 1,000 से पूछते हैं, तो औसत राय बहुत स्थिर और विश्वसनीय हो जाती है। शोध पत्र सिद्ध करता है कि InfoNCE लॉस फंक्शन बिल्कुल इसी पोल की तरह काम करता है। जैसे-जैसे $k$ बढ़ता है, व्यक्तिगत खराब सैंपल्स का "शोर" औसत में निकल जाता है, और नए डेटा पर सामान्य करने की रोबोट की क्षमता स्थिर हो जाती है।

यह पेपर किन बातों को खारिज करता है

यह ध्यान देना महत्वपूर्ण है कि यह पेपर क्या नहीं कहता है:

यह इस विचार के विरुद्ध तर्क देता है कि $k$ के बड़े होने पर त्रुटि दर धीरे-धीरे (जैसे $1/\sqrt{k}$ ) गिरती है। पेपर सिद्ध करता है कि यह तेजी से ( $1/k$ ) गिरती है।
यह इस धारणा पर निर्भर नहीं है कि "पॉजिटिव" और "नेगेटिव" सैंपल एक ही वितरण से आते हैं। पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि हमें यह मानने की आवश्यकता है कि पॉजिटिव सैंपल केवल नेगेटिव्स वाले पूल से ही लिए गए हैं। वास्तविक दुनिया में, पॉजिटिव जोड़े विशिष्ट परिवर्तनों (जैसे फोटो को क्रॉप करना) द्वारा बनाए जाते हैं, और यह पेपर इस "ब्लैक बॉक्स" वास्तविकता को बिना किसी पूर्ण समरूपता (symmetry) के बल दिए संभालता है।
यह दावा नहीं करता कि रोबोट को एक विशिष्ट प्रकार के न्यूरल नेटवर्क (जैसे गहरा CNN) की आवश्यकता है। परिणाम किसी भी ऐसे एम्बेडिंग फंक्शन के लिए मान्य हैं जो "लिप्सचिट्ज़" (Lipschitz) है (जिसका अर्थ है कि यह बहुत अधिक नाटकीय रूप से नहीं बदलता), जिसमें कई प्रकार के नेटवर्क शामिल हैं, लेकिन यह प्रमाण सामान्य है।

हम कितने आश्वस्त हैं?

लेखक मुख्य तंत्रों के बारे में बहुत आश्वस्त हैं। उन्होंने गणितीय रूप से सिद्ध किया है (कठोर कैलकुलस और संभाव्यता सिद्धांत का उपयोग करके) कि:

रोबोट की खोज और आदर्श खोज के बीच की त्रुटि $O(1/k)$ है।
सामान्यीकरण त्रुटि (यह नए डेटा पर कितना अच्छा काम करता है) $k$ बढ़ने के साथ स्थिर हो जाती है क्योंकि औसत निकालने का प्रभाव काम करता है।
तापमान पैरामीटर $\tau$ खोज को नियंत्रित करने में एक विशिष्ट, पूर्वानुमेय भूमिका निभाता है।

वे इन दावों के लिए सिमुलेशन या प्रयोगों पर निर्भर नहीं हैं; वे प्रथम सिद्धांतों (first principles) से प्राप्त किए गए हैं। हालांकि, वे नोट करते हैं कि बहुत जटिल, गहरे न्यूरल नेटवर्क के लिए, यदि नेटवर्क बहुत बड़ा या डेटा बहुत विशाल नहीं है, तो सीमाएँ (bounds) "रिक्त" (vacuous - यानी उपयोग के लिए बहुत ढीली) हो सकती हैं। वे सुझाव देते हैं कि भविष्य का कार्य उन विशाल नेटवर्क को बेहतर ढंग से संभालने के लिए उनके नए गणित को अन्य तकनीकों के साथ जोड़ सकता है।

बड़ी तस्वीर (The Big Picture)

सरल शब्दों में, यह पेपर हमें बताता है कि InfoNCE लॉस फंक्शन एक बहुत ही मजबूत उपकरण है। यह केवल एक अनुमानित तरीका (heuristic) नहीं है जो "व्यवहार में अच्छा काम करता है।" इसका एक गहरा सैद्धांतिक आधार है:

यह एक आदर्श समानता खोज (ideal similarity search) का अनुमान लगाने के लिए सीखता है।
आप इसमें जितने अधिक नेगेटिव सैंपल्स डालेंगे, यह उस आदर्श तक उतनी ही तेजी से पहुँचेगा।
उन सैंपल्स का औसत निकालना स्वाभाविक रूप से मॉडल को ओवरफिटिंग से बचाता है, जिससे यह अनदेखे डेटा पर विश्वसनीय बनता है।

इसलिए, अगली बार जब आप किसी ऐसी प्रणाली को देखें जो समान छवियों या टेक्स्ट को खोजने के लिए कंट्रास्टिव लर्निंग (contrastive learning) का उपयोग कर रही है, तो याद रखें, यह अनिवार्य रूप से "समानता क्या है" के बारे में एक विशाल, गणितीय रूप से सिद्ध पोल (मतदान) चला रही है, और यह जितने अधिक लोगों (नेगेटिव सैंपल्स) से पूछती है, उत्तर उतना ही सटीक होता जाता है।

तकनीकी सारांश: इन्फोएनसीई (InfoNCE) लॉस के साथ कंट्रास्टिव लर्निंग में सिमिलैरिटी सर्च का सामान्यीकरण

समस्या विवरण
कंट्रास्टिव लर्निंग, विशेष रूप से इन्फोएनसीई (InfoNCE) लॉस का उपयोग, सिमिलैरिटी सर्च के लिए उपयोग किए जाने वाले एम्बेडिंग मॉडल्स को प्रशिक्षित करने की एक मौलिक तकनीक है। जबकि अनंत नेगेटिव सैंपल्स ( $k \to \infty$ ) की सीमा में इन्फोएनसीई की सैद्धांतिक समझ काफी उन्नत हुई है—जिसे अक्सर म्यूचुअल इंफॉर्मेशन मैक्सिमाइजेशन या एलाइनमेंट और यूनिफॉर्मिटी के संतुलन के रूप में फ्रेम किया जाता है—अनदेखे डेटा पर सिमिलैरिटी सर्च के सामान्यीकरण प्रदर्शन (generalization performance) के संबंध में 'फाइनाइट- $k$ ' (finite- $k$ ) रिजीम के बारे में समझने में एक अंतर मौजूद है। मौजूदा सामान्यीकरण विश्लेषण मुख्य रूप से डाउनस्ट्रीम क्लासिफिकेशन कार्यों पर केंद्रित रहे हैं, जहाँ बाउंड्स अक्सर $k$ पर इस तरह निर्भर करते हैं जो उन अनुभवजन्य अवलोकनों के विपरीत प्रतीत होते हैं जिनमें बड़े $k$ से प्रदर्शन में सुधार होता है। इसके अलावा, यह स्पष्ट करने की आवश्यकता है कि कैसे पॉपुलेशन रिस्क, एक आदर्श सिमिलैरिटी सर्च मेट्रिक की ओर अभिसरित (converge) होता है, और यह अभिसरण (convergence) सामान्यीकरण त्रुटि (generalization error) को कैसे स्थिर करता है।

कार्यप्रणाली (Methodology)
यह शोध पत्र एक विशिष्ट न्यूरल नेटवर्क आर्किटेक्चर या ग्रेडिएंट डिसेंट एल्गोरिदम को अनुमानित किए बिना, इन्फोएनसीई लॉस का विश्लेषण करने के लिए एक मेजर-थ्योरेटिक फ्रेमवर्क अपनाता है। मुख्य कार्यप्रणाली में शामिल हैं:

संभाव्यता सूत्रीकरण (Probabilistic Formulation): प्रशिक्षण डेटा को एक एंकर, एक पॉजिटिव सैंपल (जो मार्कोव कर्नेल $M$ द्वारा जनरेट किया गया है), और $k$ नेगेटिव सैंपल्स (जो डेटा वितरण $\pi_{data}$ से लिए गए हैं) के i.i.d. टुपल्स के रूप में मॉडल किया गया है। एम्बेडिंग फंक्शन $\phi$ इनपुट्स को यूनिट स्फीयर $S^{d-1}$ पर मैप करता है।
मार्कोव कर्नेल व्याख्या: लेखक एक मार्कोव कर्नेल $Q^\phi_\tau$ को परिभाषित करते हैं जो डेटा वितरण पर सॉफ्टमैक्स सिमिलैरिटी सर्च का प्रतिनिधित्व करता है। वे अनदेखे डेटा पर आधारित एक अनुभवजन्य समकक्ष (empirical counterpart) $\hat{Q}^\phi_{\tau, k}$ को भी परिभाषित करते हैं।
गाटो डिफरेंशिएशन (Gâteaux Differentiation) के माध्यम से निरंतरता बाउंड्स: गाटो डिफरेंशिएशन का उपयोग करके इन्फोएनसीई लॉस के लिए एक नया निरंतरता बाउंड (continuity bound) व्युत्पन्न किया गया है। अन्य दृष्टिकोणों के विपरीत, जो लॉजिस्टिक लॉस की लिप्सचिट्ज़ निरंतरता (Lipschitz continuity) पर निर्भर करते हैं (जो अक्सर नेगेटिव सैंपल्स पर मैक्सिमाइजेशन की ओर ले जाते हैं), यह बाउंड इन्फोएनसीई लॉस में निहित औसत संरचना (averaging structure) को सुरक्षित रखता है। यह एल्गोरिथमिक तापमान $\tau$ के सापेक्ष बाउंड को ट्यून करने के लिए एक "इनवर्स टेम्परेचर" पैरामीटर $\beta$ पेश करता है।
राडेमेकर कॉम्प्लेक्सिटी (Rademacher Complexity) विश्लेषण: व्युत्पन्न निरंतरता बाउंड को उन एम्बेडिंग फंक्शन्स के लिए इन्फोएनसीई लॉस की अनुभवजन्य राडेमेकर कॉम्प्लेक्सिटी को बाउंड करने के लिए लागू किया जाता है जो अपने पैरामीटर्स में लिप्सचिट्ज़ (Lipschitz) हैं। यह एक ऐसा सामान्यीकरण बाउंड प्रदान करता है जो स्पष्ट रूप से $k$ की भूमिका को ट्रैक करता है।

प्रमुख योगदान

पॉपुलेशन रिस्क के अभिसरण दर (Convergence Rate): यह शोध पत्र स्थापित करता है कि इन्फोएनसीई लॉस का पॉपुलेशन रिस्क, पॉजिटिव सैंपल जनरेटर कर्नेल $M$ और सॉफ्टमैक्स सर्च कर्नेल $Q^\phi_\tau$ के बीच क्रॉस-एन्ट्रॉपी की ओर $O(1/k)$ की दर से अभिसरित होता है। यह पिछले परिणामों को परिष्कृत करता है जिन्होंने $O(1/\sqrt{k})$ रिपोर्ट किया था।
सिमिलैरिटी सर्च सामान्यीकरण व्याख्या: एक नई व्याख्या प्रदान की गई है जहाँ दिखाया गया है कि पॉपुलेशन रिस्क, एक अनुभवजन्य सॉफ्टमैक्स कर्नेल (जो अनदेखे डेटा से बना है) और एक आदर्श अनुभवजन्य कर्नेल (जो पॉजिटिव सैंपल जनरेटर द्वारा परिभाषित निहित सिमिलैरिटी का प्रतिनिधित्व करता है) के बीच अपेक्षित क्रॉस-एन्ट्रॉपी के $O(1/k)$ करीब है। यह इन्फोएनसीई मिनिमाइजेशन को डेटा जनरेशन प्रक्रिया की निहित संरचना के सन्निकटन (approximation) के रूप में एक सिमिलैरिटी सर्च मैकेनिज्म सीखने के रूप में फ्रेम करता है।
नया निरंतरता बाउंड: लेखक एक निरंतरता बाउंड (प्रपोजिशन 4) पेश करते हैं जो नेगेटिव सैंपल्स की औसत संरचना को बनाए रखता है। यह मानक लिप्सचिट्ज़-आधारित बाउंड्स के विपरीत है जो नेगेटिव सैंपल्स पर मैक्सिमाइजेशन का सहारा लेते हैं, जो कि बाद के सामान्यीकरण विश्लेषण के लिए एक महत्वपूर्ण अंतर है।
सामान्यीकरण त्रुटि का स्थिरीकरण: लिप्सचिट्ज़ एम्बेडिंग क्लासेस पर इस नए निरंतरता बाउंड को लागू करके, यह शोध पत्र प्रदर्शित करता है कि लॉस फंक्शन में $k$ नेगेटिव सैंपल्स का औसत प्रभाव, $k$ के बढ़ने के साथ सामान्यीकरण त्रुटि (राडेमेकर कॉम्प्लेक्सिटी) के स्थिरीकरण में सीधे तौर पर अनुवादित होता है। यह उस अनुभवजन्य अवलोकन को एक सैद्धांतिक आधार प्रदान करता है कि नेगेटिव सैंपल्स की संख्या बढ़ाने से सामान्यीकरण में सुधार होता है।

परिणाम

थ्योरम 1 (संयुक्त बाउंड): शोध पत्र अपने निष्कर्षों को एक व्यापक सामान्यीकरण बाउंड में संश्लेषित करता है। यह अनदेखे डेटा पर सिमिलैरिटी सर्च के अपेक्षित क्रॉस-एन्ट्रॉपी और अनुभवजन्य जोखिम (empirical risk) के बीच के अंतर को तीन घटकों में विभाजित करता है:
1. सैंपल वेरिएबिलिटी (Sample Variability): $O(n^{-1/2})$ , जो $k$ से स्वतंत्र है।
2. कॉम्प्लेक्सिटी पेनल्टी (Complexity Penalty): $O(n^{-1/2})$ , जो बाउंड में औसत संरचना के कारण $k \to \infty$ होने पर स्थिर हो जाता है।
3. फाइनाइट $k$ बायस (Finite $k$ Bias): $O(1/k)$ , जो फाइनाइट- $k$ पॉपुलेशन रिस्क और आदर्श सिमिलैरिटी सर्च मेट्रिक के बीच विचलन का प्रतिनिधित्व करता है।
तापमान संवेदनशीलता (Temperature Sensitivity): विश्लेषण इस बात पर प्रकाश डालता है कि जब तापमान $\tau$ शून्य की ओर बढ़ता है, तो सामान्यीकरण बाउंड नेगेटिव सैंपल्स के नॉर्म्स (norms) के प्रति अधिक संवेदनशील हो जाता है, जो यह सुझाव देता है कि यदि नेगेटिव सैंपल नॉर्म्स बड़े हैं, तो कम तापमान बड़े सामान्यीकरण एरर की ओर ले जा सकता है।
डायमेंशन इंडिपेंडेंस (Dimension Independence): $S^{d-1}$ पर एम्बेडिंग फंक्शन्स के लिए व्युत्पन्न बाउंड्स स्पष्ट रूप से एम्बेडिंग डायमेंशन $d$ पर निर्भर नहीं करते हैं, जो अनकन्स्ट्रेंड (unconstrained) एम्बेडिंग्स के बाउंड्स के विपरीत है।

महत्व
यह शोध पत्र दावा करता है कि यह डाउनस्ट्रीम क्लासिफिकेशन के बजाय सिमिलैरिटी सर्च के प्राथमिक अनुप्रयोग पर ध्यान केंद्रित करके इन्फोएनसीई की स्पष्ट सैद्धांतिक समझ प्रदान करता है। $O(1/k)$ अभिसरण दर स्थापित करके और यह प्रदर्शित करके कि नेगेटिव सैंपल्स पर औसत लेना सामान्यीकरण त्रुटि को स्थिर करता है, यह कार्य कंट्रास्टिव लर्निंग में नेगेटिव सैंपल्स की बड़ी संख्या की व्यावहारिक आवश्यकता के लिए एक सैद्धांतिक आधार प्रदान करता है। गाटो डिफरेंशिएशन के माध्यम से व्युत्पन्न नया निरंतरता बाउंड, एक तकनीकी उपकरण के रूप में प्रस्तुत किया गया है जो इन्फोएनसीई लॉस के संरचनात्मक गुणों को सुरक्षित रखता है, जिससे पिछले लिप्सचिट्ज़-आधारित तरीकों की तुलना में अधिक सटीक सामान्यीकरण विश्लेषण संभव हो पाता है। परिणाम एल्गोरिदम-अज्ञेय (algorithm-agnostic) के रूप में फ्रेम किए गए हैं, जो निर्दिष्ट फंक्शन क्लासेस के भीतर अनुभवजन्य जोखिम न्यूनीकरण (empirical risk minimization) के माध्यम से प्राप्त किसी भी एम्बेडिंग फंक्शन पर लागू होते हैं।