PEIRA: Learning Predictive Encoders through Inter-View Regressor Alignment

एक बड़ी तस्वीर: बिना शिक्षक के कंप्यूटर को देखना सिखाना

कल्पना कीजिए कि आप एक बच्चे को वस्तुओं को पहचानना सिखाने की कोशिश कर रहे हैं, लेकिन आपके पास कोई शिक्षक नहीं है जो यह कह सके, "वह एक बिल्ली है" या "वह एक कुत्ता है।" इसके बजाय, आप बच्चे को उसी वस्तु की दो अलग-अलग तस्वीरें दिखाते हैं: एक बिल्ली की फोटो है, और दूसरी उसी बिल्ली का एक रेखाचित्र (sketch) है।

सेल्फ-सुपरवाइज्ड लर्निंग (Self-Supervised Learning - SSL) का लक्ष्य यह समझना है कि ये दो अलग-अलग दृश्य एक ही चीज़ से संबंधित हैं, केवल उनकी तुलना करके। कंप्यूटर प्रत्येक दृश्य के लिए एक "मानसिक मानचित्र" (encoder) बनाता है। यदि फोटो और रेखाचित्र दोनों के लिए मानचित्र समान हैं, तो कंप्यूटर ने कुछ उपयोगी सीखा है।

हालाँकि, यहाँ एक जाल है। कंप्यूटर आलसी होते हैं। यदि आप उन्हें बस यह कहते हैं, "इन दोनों मानचित्रों को समान बनाओ," तो वे आसान रास्ता चुन सकते हैं: वे दोनों मानचित्रों को एक खाली, शून्य पन्ने (एक स्थिर संख्या) में बदल सकते हैं। इसे कोलैप्स (collapse) कहा जाता है। कंप्यूटर ने "सीख" लिया है कि मानचित्र समान हैं, लेकिन उसने वास्तविक बिल्ली के बारे में कुछ भी नहीं सीखा है।

वर्तमान विधियों के साथ समस्या

वर्तमान लोकप्रिय विधियाँ (जैसे SimSiam या BYOL) इस तरह के 'कोलैप्स' से बचने के लिए चालाक तरकीबों का उपयोग करती हैं, जैसे "स्टॉप-ग्रेडिएंट" (यह मान लेना कि शिक्षक बदल नहीं रहा है) या "मूविंग एवरेज" (समय के साथ बदलावों को सुचारू बनाना)। ये तरकीबें व्यवहार में अच्छा काम करती हैं, लेकिन वैज्ञानिक पूरी तरह से नहीं समझते कि वे क्यों काम करती हैं या वे कब विफल हो सकती हैं। यह एक ऐसी कार चलाने जैसा है जिसका इंजन बहुत जटिल है और वह बेहतरीन चलता है, लेकिन किसी को नहीं पता कि उसके पिस्टन वास्तव में कैसे चलते हैं।

नया समाधान: PEIRA

लेखक एक नई विधि पेश करते हैं जिसे PEIRA (Predictive Encoders through Inter-View Regressor Alignment) कहा जाता है। कंप्यूटर को आलसी होने से रोकने के लिए चालाक अनुमानों (heuristics) पर निर्भर रहने के बजाय, उन्होंने एक गणितीय रूप से सटीक ऑब्जेक्टिव फंक्शन (सफलता का नियम) बनाया है जो कंप्यूटर के लिए 'कोलैप्स' होना असंभव बना देता है।

यहाँ उन्होंने इसे एक उपमा (analogy) के माध्यम से समझाया है:

1. "अनुवादक" और "सिग्नल-टू-नॉइज़" अनुपात

कल्पना कीजिए कि दो लोग अलग-अलग भाषाएँ बोल रहे हैं (डेटा के दो दृश्य)। आप एक अनुवादक (regressor) बनाना चाहते हैं जो व्यक्ति A की भाषा को व्यक्ति B की भाषा में अनुवाद कर सके।

• पुराना तरीका: आप अनुवाद की त्रुटि (error) को कम करने की कोशिश करते हैं। लेकिन कभी-कभी, त्रुटि को कम करने का सबसे आसान तरीका यह होता है कि दोनों लोग बोलना बंद कर दें और बस बार-बार "नमस्ते" कहें। त्रुटि शून्य है, लेकिन कोई जानकारी साझा नहीं की गई है।
• PEIRA का तरीका: लेखकों ने महसूस किया कि अनुवादक की गुणवत्ता सिग्नल-टू-नॉइज़ रेशियो (Signal-to-Noise Ratio - SNR) पर निर्भर करती है।
  • सिग्नल (Signal): वे हिस्से जो वास्तव में अर्थपूर्ण हैं और दोनों लोगों के बीच साझा किए जाते हैं (जैसे "बिल्ली" के फीचर्स)।
  • शोर (Noise): वे यादृच्छिक (random) हिस्से जो केवल एक व्यक्ति के विशिष्ट हैं (जैसे बैकग्राउंड शोर, विशिष्ट लहजे की विचित्रताएँ)।

PEIRA केवल त्रुटि को कम करने की कोशिश नहीं करता है। यह इष्टतम अनुवादक के ट्रेस (trace of the optimal translator) को अधिकतम करने की कोशिश करता है। सरल शब्दोंत, यह पूछता है: "यह अनुवादक वास्तविक सिग्नल को शोर की तुलना में कितना कैप्चर कर सकता है?"

यदि कंप्यूटर 'कोलैप्स' करने की कोशिश करता है (जैसे हमेशा "नमस्ते" कहना), तो "सिग्नल" गायब हो जाता है, और PEIRA द्वारा दिया गया स्कोर गिर जाता है। कंप्यूटर को अच्छा स्कोर पाने के लिए सिग्नल को जीवित रखने के लिए मजबूर किया जाता है।

2. "मछली पकड़ने का जाल" वाली उपमा

सोचिए कि डेटा एक झील है जो मछलियों से भरी है। मछलियाँ छवियों में विभिन्न पैटर्न या फीचर्स का प्रतिनिधित्व करती हैं।

• कुछ मछलियाँ बड़ी और आसानी से पकड़ी जाने वाली हैं (मजबूत, स्पष्ट पैटर्न)।
• कुछ मछलियाँ छोटी और देखने में कठिन हैं (कमजोर पैटर्न)।
• कुछ केवल कचरा (शोर) हैं।

कंप्यूटर के पास एक जाल (encoder) है जो केवल एक निश्चित संख्या में मछलियाँ पकड़ सकता है (इसके आकार या आयाम $k$ द्वारा सीमित)।

• पिछली विधियाँ कभी-कभी गलती से जाल को तल पर बैठने देती हैं जिससे कुछ भी नहीं पकड़ा जाता (कोलैप्स), या केवल कुछ छोटी मछलियाँ ही पकड़ पाती हैं।
• PEIRA एक स्मार्ट मछुआरे की तरह काम करता है। इसका एक नियम है: "आपको सबसे बड़ी, सबसे मूल्यवान मछलियों को पहले पकड़ना होगा।"
  • गणित यह सिद्ध करता है कि एकमात्र स्थिर स्थान जहाँ कंप्यूटर बस सकता है, वह है शीर्ष $r$ मछलियों (सबसे महत्वपूर्ण पैटर्न) को पकड़ना और बाकी को छोड़ देना।
  • यह कुछ भी न पकड़ने (कोलैप्स) के लिए नहीं बैठ सकता क्योंकि यह एक बहुत बुरा स्कोर होगा।
  • यह केवल रैंडम छोटी मछलियाँ पकड़ने के लिए भी नहीं बैठ सकता क्योंकि गणित इसे सबसे बड़ी मछलियों को प्राथमिकता देने के लिए मजबूर करता है।

यह पेपर क्या सिद्ध करता है

लेखकों ने केवल एक उपकरण नहीं बनाया; उन्होंने इंजन के लिए निर्देश पुस्तिका लिखी है। उन्होंने तीन मुख्य बातें सिद्ध कीं:

1. मानचित्र स्पष्ट है: उन्होंने दिखाया कि जब आप इन सिस्टमों को प्रशिक्षित करते हैं तो वास्तव में क्या होता है। कंप्यूटर स्वाभाविक रूप से डेटा के "कैनोनिकल कोरिलेशन" (Canonical Correlation) के साथ संरेखित (align) होना सीख जाता है। यह एक तकनीकी शब्द है जिसका अर्थ है "वे दिशाएँ जहाँ दोनों दृश्य सबसे अधिक जानकारी साझा करते हैं।"
2. कोई और कोलैप्स नहीं: उन्होंने सिद्ध किया कि उनके नए तरीके (PEIRA) के लिए, "आलसी" समाधान (कोलैप्स) अस्थिर है। यह एक सुई की नोक पर गेंद को संतुलित करने जैसा है; जरा सा धक्का (ट्रेनिंग स्टेप) उसे एक बेहतर स्थान की ओर धकेल देगा। एकमात्र स्थिर स्थान वे हैं जहाँ कंप्यूटर ने वास्तव में कुछ उपयोगी सीखा है।
3. "नॉब" (Knob) काम करता है: उन्होंने एक "रेगुलराइजेशन" नॉब पेश किया (एक पैरामीटर जिसे $\lambda$ कहा जाता है)। इस नॉब को घुमाने से यह नियंत्रित होता है कि जाल कितनी मछलियाँ पकड़ता है।
   • यदि आप इसे एक तरफ घुमाते हैं, तो कंप्यूटर कुछ बहुत मजबूत पैटर्न सीखता है।
   • यदि आप इसे दूसरी तरफ घुमाते हैं, तो यह अधिक, थोड़े कमजोर पैटर्न सीखता है।
   • यह उपयोगकर्ता को सीखे गए प्रतिनिधित्व (representation) की जटिलता पर सटीक नियंत्रण देता है।

परिणाम

लेखकों ने मानक इमेज डेटासेट (ImageNet और CIFAR-10) पर PEIRA का परीक्षण किया।

• प्रदर्शन: इसने मौजूदा सर्वोत्तम विधियों (जैसे VICReg और LeJEPA) के समान ही प्रदर्शन किया।
• सिद्धांत का मिलान: जब उन्होंने प्रशिक्षण के दौरान कंप्यूटर के "मस्तिष्क" को देखा, तो उन्होंने ठीक वही देखा जो उनके गणित ने भविष्यवाणी की थी: कंप्यूटर अपने आंतरिक प्रतिनिधित्व को डेटा के सबसे मजबूत साझा सिग्नलों के साथ संरेखित कर रहा था, जैसा कि सिद्धांत ने कहा था।

सारांश

संक्षेप में, यह पेपर कंप्यूटर को सिखाने के एक लोकप्रिय लेकिन रहस्यमय तरीके (सेल्फ-सुपरवाइज्ड लर्निंग) को लेता है और उसे "ब्लैक बॉक्स" की तरकीबों के बजाय एक स्पष्ट, गणितीय रूप से गारंटीकृत नियम से बदल देता है।

यह कहने के बजाय कि, "इस ट्रिक को आजमाएं और उम्मीद करें कि यह कोलैप्स नहीं होगा," PEIRA कहता है, "यहाँ एक नियम है जो गणितीय रूप से कंप्यूटर को सबसे महत्वपूर्ण साझा पैटर्न खोजने और शोर को अनदेखा करने के लिए मजबूर करता है, जिससे कोलैप्स होना असंभव हो जाता है।" यह एक ऐसी कार को बदलने जैसा है जो अंदाजों पर चलती है और उसे एक ऐसी कार में बदलना है जो एक पूरी तरह से इंजीनियर इंजन द्वारा चलती है।