← नवीनतम पेपर
🤖 machine learning

Three Necessary Principles for Self-Supervised Visual Representation Learning

यह शोध पत्र तर्क देता है कि प्रभावी स्व-पर्यवेक्षित दृश्य प्रतिनिधित्व शिक्षण (self-supervised visual representation learning) के लिए तीन गैर-अतिव्यापी सिद्धांतों—सिमेंटिक इनवेरिएंस (अवलोकन), पैच-स्तरीय स्थानिक भविष्यवाणी, और प्रतिनिधित्व संबंधी गैर-अपभ्रंशता (नियमितीकरण)—का एक साथ एकीकरण आवश्यक है, ताकि मॉडल कोलैप्स को रोका जा सके और प्रमुख विधियों को एक एकल ऊर्जा अपघटन ढांचे के तहत एकीकृत किया जा सके।

मूल लेखक: Nikos Giakoumoglou, Paschalis Giakoumoglou, Tania Stathaki

प्रकाशित 2026-08-11
📖 10 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Nikos Giakoumoglou, Paschalis Giakoumoglou, Tania Stathaki

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखा रहे हैं, लेकिन आपके पास एक सख्त नियम है: आप उसे कोई लेबल नहीं दिखा सकते। आप यह नहीं कह सकते, "यह एक बिल्ली है," या "वह एक कार है।" अध्ययन का यह क्षेत्र सेल्फ-सुपरवाइज्ड लर्निंग (स्व-पर्यवेक्षित शिक्षण) कहलाता है। रोबोट को बिना किसी शिक्षक के यह बताए कि क्या क्या है, दुनिया की तस्वीरों को देखकर और पैटर्न को खुद समझकर सीखना होगा।

ऐसा करने के लिए, रोबोट को जो वह देखता है उसका एक मानसिक मानचित्र, या एक "प्रतिनिधित्व" (representation) बनाने की आवश्यकता है। इसे एक पुस्तकालय की तरह समझें। यदि रोबोट हर फोटो के हर एक पिक्सेल को बस रट लेता है, तो पुस्तकालय धूल और कागज का एक अराजक ढेर बन जाएगा। लेकिन यदि वह अर्थ के आधार पर चीजों को समूहबद्ध करना सीख जाता है—जैसे सभी "बिल्लियों" को एक शेल्फ पर और सभी "कारों" को दूसरे शेल्फ पर रखना—तो उसने एक उपयोगी प्रतिनिधित्व सीख लिया है। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं, वह यह है: रोबोट को इस लाइब्रेरी को सही ढंग से बनाने के लिए नियमों का वह न्यूनतम सेट क्या चाहिए, जिससे वह भ्रमित न हो या हार न मान जाए?

लंबे समय तक, शोधकर्ताओं ने अलग-अलग तरकीबें आजमाईं। कुछ ने रोबोट को एक ही चीज़ की दो अलग-अलग तस्वीरें देखने के लिए कहा और सुनिश्चित करने को कहा कि वे समान दिखें (जैसे कि बिल्ली चाहे सो रही हो या खेल रही हो, उसे पहचानना)। दूसरों ने रोबोट को एक फोटो का एक हिस्सा दिखाने और यह अनुमान लगाने के लिए कहा कि गायब हिस्सा कैसा दिखेगा (जैसे एक पहेली)। लेकिन अक्सर, रोबोट अटक जाता था। वह एक "शॉर्टकट" सीख जाता था जहाँ वह हर तस्वीर के लिए बिल्कुल एक जैसा उबाऊ उत्तर देता है, प्रभावी रूप से यह कहता है, "मुझे परवाह नहीं, सब कुछ एक जैसा है।" इसे कोलैप्स (collapse - पतन) कहा जाता है, और यह इस क्षेत्र में विफलता का सबसे बड़ा कारण है। आप जिस पेपर को पढ़ने जा रहे हैं, वह गहराई से बताता है कि ये विफलताएं क्यों होती हैं और उन्हें रोकने के लिए एक नया, तीन-भाग वाला नियम पुस्तिका प्रस्तावित करता है।


एक स्मार्ट रोबोट के लिए तीन-सामग्री वाला नुस्खा

इस पेपर के लेखक, निकोस, पास्कैलिस और टानिया का तर्क है कि एक रोबोट को बिना लेबल के देखना सिखाने के लिए, आप केवल एक या दो तरकीबों पर निर्भर नहीं रह सकते। आपको तीन अलग-अलग सामग्रियों को एक साथ काम करते हुए चाहिए। यदि आप एक को भी छोड़ देते हैं, तो रोबोट का दिमाग या तो टूट जाएगा, बहुत सरल हो जाएगा, या अपनी स्थानिक समझ खो देगा। वे इन तीन सिद्धांतों को ऑब्जर्वेशन (अवलोकन), प्रेडिक्शन (पूर्वानुमान) और रेगुलराइजेशन (नियमितीकरण) कहते हैं।

एक रोबोट को प्रशिक्षित करने को एक जासूस को रहस्य सुलझाने के लिए प्रशिक्षित करने जैसा समझें।

1. ऑब्जर्वेशन (अवलोकन): "एक जैसी चीज़" का नियम

पहला सिद्धांत ऑब्जर्वेशन है। यह रोबोट को यह सिखाने के बारे में है कि एक ही वस्तु की दो अलग-अलग तस्वीरें वास्तव में एक ही चीज़ हैं। यदि आप सुबह कुत्ते की एक फोटो लेते हैं और दोपहर में दूसरी, तो रोबोट को यह समझने की आवश्यकता है, "अरे, यह वही कुत्ता है!"

पेपर की भाषा में, यह सिमेंटिक इनवेरिएंस (अर्थगत अपरिवर्तनीयता) के बारे में है। कल्पना कीजिए कि आप एक दोस्त को कैलीडोस्कोप (kaleidoscope) के माध्यम से देख रहे हैं। रंग बदलते हैं, आकार मुड़ते हैं, फिर भी आप जानते हैं कि वह आपका दोस्त है। रोबोट को एक "प्रोजेक्टर" (उसके मस्तिष्क में एक उपकरण) की आवश्यकता होती है जो भ्रमित करने वाले घुमावों को हटा दे और मुख्य पहचान पर ध्यान केंद्रित करे। यदि आपके पास केवल यह नियम है, तो रोबोट यह पहचानने में अच्छा हो जाता है कि चीजें क्या हैं, लेकिन वह भूल जाता है कि वे कहाँ हैं। यह यह जानने जैसा है कि एक कुत्ता कुत्ता है, लेकिन यह नहीं पता कि कुत्ता कमरे के बाईं ओर बैठा है या दाईं ओर।

2. प्रेडिक्शन (पूर्वानुमान): "गायब हिस्सा" का खेल

दूसरा सिद्धांत प्रेडिक्शन है। यह स्थानिक संरचना (spatial structure) के बारे में है। कल्पना कीजिए कि आप एक फोटो के एक हिस्से को काले बॉक्स से ढक देते हैं। रोबोट को बाकी तस्वीर के आधार पर अनुमान लगाना होगा कि उस बॉक्स के अंदर क्या है।

यह प्रेडिक्शन प्रिंसिपल है। यह रोबोट को यह समझने के लिए मजबूर करता है कि चीजें स्थान में कैसे फिट होती हैं। यदि आपके पास केवल यह नियम है, तो रोबोट एक एकल छवि के लिए एक महान पहेली सुलझाने वाला बन जाता है, लेकिन यदि आप उसे किसी वस्तु को अलग कोण से दिखाते हैं, तो वह भ्रमित हो जाता है। वह एक विशिष्ट फोटो के "मानचित्र" को तो सीख लेता है लेकिन यह नहीं सीख पाता कि यदि आप फोटो को घुमाते हैं तो भी मानचित्र वही रहता है।

3. रेगुलराइजेशन (नियमितीकरण): "चीटिंग रोकने" का नियम

तीसरा सिद्धांत रेगुलराइजेशन है। यह सबसे महत्वपूर्ण हिस्सा है जो रोबोट को शॉर्टकट का उपयोग करने से रोकने के लिए है। याद है वह "अटक जाने वाला रोबोट" जो हर चीज़ के लिए एक ही उत्तर देता था? उसे कोलैप्स कहा जाता है।

लेखक सिद्ध करते हैं कि एक विशिष्ट नियम के बिना, रोबोट शॉर्टकट खोजने का तरीका ढूंढ ही लेगा। कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है जिसे एहसास होता है कि यदि वह हर उत्तर के लिए "42" लिख देता है, तो उसे पूर्ण अंक मिलते हैं क्योंकि शिक्षक की ग्रेडिंग कुंजी (grading key) खराब है। रोबोट भी ऐसा ही करता है: वह एक शॉर्टकट खोज लेता है जहाँ वह सीखना बंद कर देता है और बस एक स्थिर संख्या आउटपुट करता है।

रेगुलराइजेशन प्रिंसिपल एक सख्त निरीक्षक (proctor) की तरह है जो छात्र के काम की जांच करता है ताकि यह सुनिश्चित हो सके कि वह केवल एक ही उत्तर नहीं दे रहा है। यह सुनिश्चित करता है कि रोबोट का आंतरिक "पुस्तकालय" भरा हुआ और विविध हो। यह सुनिश्चित करता है कि रोबोट अपने पूरे मस्तिष्क की शक्ति का उपयोग करे और एक उबाऊ, सपाट रेखा में ढह (collapse) न जाए। पेपर दिखाता है कि यदि आप इस शॉर्टकट को रोकने के लिए "नेगेटिव उदाहरणों" (रोबोट को यह दिखाना कि क्या नहीं मिलाना है) का उपयोग करते हैं, तो यह एक लीक को बैंड-एड से रोकने की कोशिश करने जैसा है; यह थोड़ा मदद करता है, लेकिन अंततः रोबोट इसके चारों ओर से निकलने का रास्ता खोज ही लेता है। वास्तव में इसे रोकने के लिए आपको एक मजबूत, स्पष्ट नियम (ज्यामितीय बाधा) की आवश्यकता है।

बड़ी खोज: आपको तीनों की आवश्यकता है

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने एक गणितीय ढांचा (एक "एनर्जी डिकंपोजिशन") बनाया जो इन तीन नियमों को एक समीकरण में जोड़ता है। फिर उन्होंने प्रयोग चलाए यह देखने के लिए कि एक बार में एक सामग्री हटाने पर क्या होता है।

यहाँ उन्होंने क्या पाया:

  • यदि आप ऑब्जर्वेशन को हटा देते हैं: रोबोट अपनी उस क्षमता को खो देता है जिससे वह पहचान सके कि एक ही वस्तु अलग-अलग रोशनी या कोणों में अलग दिखती है। वह एक स्थानिक जीनियस तो बन जाता है लेकिन एक अर्थगत मूर्ख (semantic idiot) बन जाता है।
  • यदि आप प्रेडिक्शन को हटा देते हैं: रोबोट अपनी स्थानिक समझ खो देता है। वह जानता है कि चीजें क्या हैं, लेकिन वह नहीं बता सकता कि वे कहाँ हैं या वे एक-दूसरे के साथ कैसे संबंधित हैं। उनके परीक्षणों में, रोबोट एक छवि के विशिष्ट पैच (जैसे पेड़ की एक विशिष्ट पत्ती) को खोजने में बहुत खराब हो गया।
  • यदि आप रेगुलराइजेशन को हटा देते हैं: रोबोट ढह (collapse) जाता है। वह सीखना पूरी तरह से बंद कर देता है। लेखकों ने गणितीय रूप से सिद्ध किया कि इस नियम के बिना, रोबोट हर इमेज के लिए एक ही उबाऊ नंबर आउटपुट करके एक "परफेक्ट" स्कोर प्राप्त कर सकता है। यह एक वैश्विक विफलता (global failure) है।

उन्होंने एक लोकप्रिय तकनीक को भी देखा जिसे कई आधुनिक AI मॉडल में मोमेंटम एनकोडर (Momentum Encoder) कहा जाता है। यह एक ऐसी तकनीक है जहाँ रोबोट सीखने में मदद के लिए अपने ही एक "धीमी गति वाले" संस्करण का उपयोग करता है। लेखकों ने दिखाया कि जबकि यह तकनीक शुरुआत में रोबole को तेजी से सीखने में मदद करती है, यह वास्तव में लंबे समय में रोबोट को ढहने (collapse) से नहीं रोकती है। एक बार जब रोबोट स्थिर हो जाता है, तो मोमेंटम एनकोडर बस मुख्य रोबोट जो कर रहा है उसकी नकल करता है। यदि मुख्य रोबोट ढह गया है, तो मोमेंटम वाला भी ढह जाएगा। एकमात्र चीज़ जो गारंटी देती है कि रोबोट स्मार्ट बना रहेगा, वह है स्पष्ट रेगुलराइजेशन नियम।

यह क्यों मायने रखता है

यह पेपर लगभग हर प्रमुख सेल्फ-सुपरवाइज्ड लर्निंग पद्धति को एकीकृत करता है। चाहे पद्धति को "कॉन्ट्रास्टिव" (जैसे SimCLR) या "प्रेडिक्टिव" (जैसे JEPA) कहा जाए, लेखक दिखाते हैं कि वे सभी इन तीन सामग्रियों को मिलाने के अलग-अलग तरीके हैं। कुछ विधियाँ ऑब्जर्वेशन और रेगुलराइजेशन को मिलाती हैं लेकिन प्रेडिक्शन को छोड़ देती हैं। अन्य प्रेडिक्शन और रेगुलराइजेशन को मिलाती हैं लेकिन ऑब्जर्वेशन को छोड़ देती हैं।

STL-10 के एक छोटे डेटासेट और ViT-Tiny मॉडल पर किए गए लेखकों के प्रयोगों ने दिखाया कि जब आप तीनों को मिलाते हैं, तो आपको सबसे अच्छे परिणाम मिलते हैं। विशेष रूप से, जिस मॉडल में तीनों सिद्धांत थे, उसने एक मानक परीक्षण में 55.0% सटीकता हासिल की, जबकि एक सिद्धांत की कमी वाले मॉडल में सटीकता काफी गिर गई (उदाहरण के लिए, ऑब्जर्वेशन की कमी से सटीकता 13.4 अंक कम हो गई)।

उन्होंने यह भी सिद्ध किया कि ये तीन नियम एक-दूसरे से लड़ते नहीं हैं। "ऑब्जर्वेशन" नियम पूरी इमेज में एक समान सिग्नल भेजता है, जबकि "प्रेडिक्शन" नियम केवल इमेज के उन हिस्सों तक एक विशिष्ट सिग्नल भेजता है जिनका अनुमान लगाया जा रहा है। वे एक टीम की तरह काम करते हैं, न कि खींचतान की तरह।

निष्कर्ष

मुख्य संदेश सरल लेकिन शक्तिशाली है: आप केवल एक प्रकार की तरकीब पर भरोसा करके एक मजबूत, स्मार्ट विजुअल AI नहीं बना सकते। आपको एक ऐसी प्रणाली चाहिए जो समानता को देखती (observe) है, गायब हिस्सों की भविष्यवाणी (predict) करती है, और शॉर्टकट को रोकने के लिए कड़ाई से नियमित (regularize) की जाती है।

लेखक सुझाव देते हैं कि भविष्य के AI डिजाइनरों को अपने मॉडल्स को ढहने से रोकने के लिए जटिल, छिपी हुई तरकीबों को आविष्कार करने के बजाय, उन्हें स्पष्ट रूप से इन तीन सिद्धांतों को अपने सिस्टम में बनाना चाहिए। यह घर बनाने जैसा है: आपको एक नींव (रेगुलराइजेशन), दीवारें (ऑब्जर्वेशन), और एक छत (प्रेडिक्शन) की आवश्यकता है। यदि आप नींव छोड़ देते हैं, तो सब कुछ गिर जाता है। यदि आप छत छोड़ देते हैं, तो अंदर गीला हो जाता है। और यदि आप दीवारें छोड़ देते हैं, तो आपके पास घर ही नहीं होता।

यह पेपर यह दावा नहीं करता कि इसने अब तक का सबसे बड़ा या सबसे तेज़ AI बनाया है। इसके बजाय, यह एक स्पष्ट, गणितीय मानचित्र प्रदान करता है कि AI वास्तव में कैसे काम करता है, यह सिद्ध करते हुए कि ये तीन सिद्धांत केवल मददगार सुझाव नहीं हैं, बल्कि एक रोबोट के लिए बिना शिक्षक के दुनिया को देखने के लिए आवश्यक शर्तें हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →