CAST: Closed-form Analytic Semantic Transfer for Zero-Shot Classifier Extension
यह शोध पत्र CAST को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free), छवि-मुक्त (image-free) ढांचा है जो वेट इंजेक्शन (weight injection) के माध्यम से पूर्व-प्रशिक्षित क्लासिफायर को अनदेखी श्रेणियों तक विस्तारित करता है, जिसे एक सैद्धांतिक त्रुटि विश्लेषण द्वारा समर्थित किया गया है और यह प्रदर्शित किया गया है कि यह लक्षित वितरण उदाहरणों की आवश्यकता के बिना मौजूदा ज़ीरो-शॉट विधियों के बराबर या उनसे बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बिना देखे सिखाने का जादू
कल्पना कीजिए कि आप एक मास्टर शेफ हैं जिसने हजारों व्यंजनों के लिए रेसिपी को सिद्ध करने में वर्षों बिताए हैं। आप जानते हैं कि स्टेक, सूफ़ले या एक मसालेदार करी कैसे बनाई जाती है। लेकिन एक दिन, एक ग्राहक आपसे एक ऐसा व्यंजन बनाने के लिए कहता है जिसे आपने पहले कभी नहीं देखा है: एक "मून-फ्लेवर्ड जेलेटिन" (चंद्र-स्वाद वाला जेलेटिन)। आपके पास अपने भंडार में कोई मून-फ्लेवर्ड जेलेटिन नहीं है, और आप अभ्यास करने के लिए उसे खरीदने भी नहीं जा सकते। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह एक बहुत बड़ी समस्या है। कंप्यूटर उन शेफ की तरह होते हैं; वे उन चीजों को पहचानने में अविश्वसनीय रूप से स्मार्ट होते हैं जिन्हें उन्हें प्रशिक्षित किया गया है, जैसे बिल्लियाँ या कारें, लेकिन जब उन्हें कुछ पूरी तरह से नया पहचानने के लिए कहा जाता है, जैसे कि किसी दुर्लभ कीट का एक विशिष्ट प्रकार या स्मार्टफोन का एक नया मॉडल, तो वे आमतौर पर विफल हो जाते हैं, जब तक कि उन्हें इसके हजारों फोटो न दिखाए जाएं।
यहीं पर जीरो-शॉट लर्निंग (Zero-Shot Learning) नामक एक क्षेत्र आता है। यह कंप्यूटर को चित्रों के बजाय विवरणों का उपयोग करके कुछ ऐसा पहचानना सिखाने की कला है जो उसने पहले कभी नहीं देखा है। इसे ऐसे समझें जैसे शेफ को भोजन की फोटो देने के बजाय शब्दों में लिखी गई एक विस्तृत रेसिपी कार्ड देना। यदि शेफ जानता है कि "जेलेटिन" क्या है और "मून" (शायद "ठंडा", "चांदी जैसा" और "दूर" के रूप में वर्णित) क्या है, तो वह व्यंजन बनाने का अनुमान लगा सकता है। लंबे समय तक, कंप्यूटर इसमें संघर्ष करते रहे क्योंकि उन्हें शब्दों और दृश्य वस्तु के बीच संबंध को समझने के लिए छवियों के साथ "अभ्यास" करने की आवश्यकता थी। उन्हें यह समझने के लिए कि "उड़ान न भरने वाला पक्षी" और "काले और सफेद" का वास्तव में पेंगुइन से क्या अर्थ है, पेंगुइन की एक तस्वीर देखने की आवश्यकता थी।
CAST समाधान: बिना अभ्यास के एक शॉर्टकट
यहाँ CAST (क्लोज्ड-फॉर्म एनालिटिक सिमेंटिक ट्रांसफर) नामक एक नई विधि आती है, जो एक चतुर तरकीब है जो कंप्यूटर को बिना एक भी तस्वीर देखे और बिना किसी धीमी, दोहराव वाली प्रैक्टिस के नई श्रेणियों को सीखने देती है। CAST के पीछे के शोधकर्ताओं, विलियम हेडेन और उनकी टीम ने महसूस किया कि जिस तरह से कंप्यूटर छवियों के बारे में "सोचते" हैं और जिस तरह से वे शब्दों के बारे में "सोचते" हैं, वे वास्तव में एक बहुत ही अनुमानित, गणितीय तरीके से जुड़े हुए हैं।
कल्पना कीजिए कि कंप्यूटर का मस्तिष्क एक विशाल, बहु-आयामी मानचित्र है। मानचित्र के एक तरफ, "वेट वेक्टर्स" (weight vectors) हैं—ये कंप्यूटर की आंतरिक "मांसपेशियों की स्मृति" (muscle memory) की तरह हैं जो विशिष्ट चीजों को पहचानने के लिए होती है। दूसरी ओर, "टेक्स्ट एम्बेडिंग्स" (text embeddings) हैं, जो कंप्यूटर का शब्दों जैसे "पेंगुइन" या "डॉल्फिन" को उसी मानचित्र पर निर्देशांकों (coordinates) में बदलने का तरीका है। आमतौर पर, कंप्यूटर को एक नई चीज़ सिखाने के लिए, आपको शब्द "पेंगुइन" को सही मांसपेशी स्मृति स्थान से जोड़ने के लिए मैन्युअल रूप से एक रेखा खींचनी पड़ती है, जो बहुत अधिक परीक्षण और त्रुटि (trial and error) और बहुत सारे फोटो की प्रक्रिया है।
CAST इस परीक्षण और त्रुटि को पूरी तरह से छोड़ देता है। लेखकों ने खोजा कि आप एक सीधी, गणितीय रेखा (एक "क्लोज्ड-फॉर्म सॉल्यूशन") खींच सकते है जो शब्द वाले मानचित्र को मांसपेशी-स्मृति वाले मानचित्र से जोड़ती है। यह एक सार्वभौमिक अनुवादक होने जैसा है जो तुरंत जानता है: "ओह, यदि शब्द 'पेंगुइन' यहाँ है, तो पेंगुइन के लिए कंप्यूटर की पहचान मांसपेशी वहाँ होनी चाहिए।" उन्होंने एक फॉर्मूला बनाया जो एक नए जानवर के टेक्स्ट विवरण को लेता है, उसे एक भाषा मॉडल (जिसे CLIP कहा जाता है) के माध्यम से चलाता है, और तुरंत सही पहचान वजन (recognition weight) को कंप्यूटर के मस्तिष्क में "छाप" देता है। कोई फोटो नहीं, कोई पुन: प्रशिक्षण नहीं, कोई प्रतीक्षा नहीं। बस एक त्वरित गणना।
यह कैसे काम करता है: पुल और ब्लाइंड स्पॉट
यह जादू कुछ प्रमुख विचारों पर निर्भर करता है। सबसे पहले, शोधकर्ताओं ने देखा कि जब कंप्यूटर चीजों को पहचानने में बहुत अच्छा होता है, तो जिस तरह से वह एक क्लास (जैसे बिल्ली) के लिए "मांसपेशियों की स्मृति" संग्रहीत करता है, वह उन सभी बिल्लियों के औसत गुणों के साथ पूरी तरह मेल खाता है जिन्हें उसने देखा है। दूसरा, उन्होंने पाया कि भाषा मॉडल (CLIP) पहले से ही शब्दों को इस तरह व्यवस्थित करता है जो ज्यामितीय रूप से समान है जैसे कि इमेज मॉडल चित्रों को व्यवस्थित करता है। इस कारण से, आपको हर एक नए जानवर के लिए नया नियम सीखने की आवश्यकता नहीं है; आपको बस उस गणितीय "पुल" को खोजने की आवश्यकता है जो भाषा मानचित्र को इमेज मानचित्र में अनुवादित करता है जिसका उपयोग आप उन जानवरों के लिए करते हैं जिन्हें आप पहले से जानते हैं।
एक बार जब उन्होंने उन जानवरों का उपयोग करके यह पुल बना लिया जिन्हें वे जानते थे, तो वे बस अज्ञात जानवरों की ओर इस पुल पर चल सकते थे। वे एक नए जानवर के टेक्स्ट विवरण को लेते हैं, पुल पार करते हैं, और बस—कंप्यूटर के पास अब उस जानवर के लिए "मांसपेशियों की स्मृति" है, भले ही उसने कभी उसकी तस्वीर नहीं देखी हो।
हालाँकि, यह पेपर इस जादू की सीमाओं के बारे में बहुत ईमानदार है। शोधकर्ताओं ने पाया कि यह पुल तब सबसे अच्छा काम करता है जब नया जानवर उन चीजों के समान हो जिन्हें कंप्यूटर पहले से जानता है। यदि आप कंप्यूटर को कुछ ऐसा सिखाने की कोशिश करते हैं जो पूरी तरह से पराया है और जिसका किसी भी चीज़ के साथ कोई संबंध नहीं है जिसे उसने देखा है, तो पुल को अज्ञात में खिंचना पड़ता है। वे इसे "सिमेंटिक एक्सट्रपलेशन रेसिडुअल" (semantic extrapolation residual) कहते हैं। इसे ऐसे समझें जैसे कि किसी ऐसे फल के स्वाद का अनुमान लगाने की कोशिश करना जो आधा ग्रह और आधा सूप है। यदि विवरण उस चीज़ से बहुत दूर है जिसे कंप्यूटर जानता है, तो अनुमान थोड़ा डगमगाया हुआ हो सकता है। पेपर वास्तव में यह मापने का एक तरीका प्रदान करता है कि अनुमान कितना "डगमगाया हुआ" होगा, इससे पहले कि आप इसे करें, जो एक चेतावनी संकेत की तरह कार्य करता है कि, "हे, यह नया शब्द हमारे मानचित्र से बहुत दूर है; कंप्यूटर यहाँ संघर्ष कर सकता है।"
परिणाम: तेज़, मुफ्त और आश्चर्यजनक रूप से अच्छा
टीम ने कई मानक पहेलियों पर CAST का परीक्षण किया जहाँ कंप्यूटर ने उन्हें देखे बिना नए जानवरों या वस्तुओं को पहचानना होता है। परिणाम प्रभावशाली थे। CAST ने उन अन्य तरीकों के समान या कभी-कभी उनसे भी बेहतर प्रदर्शन किया जो इन संबंधों को सीखने की कोशिश करते हैं। सबसे अच्छी बात? इसने इन नई श्रेणियों की एक भी छवि देखे बिना और मॉडल को प्रशिक्षित करने में घंटों या दिनों को खर्च किए बिना यह सब किया। यह एक "वन-शॉट" गणना है जो काम को तुरंत पूरा करती है।
पेपर सुझाव देता है कि यह दृष्टिकोण उन स्थितियों के लिए एक शक्तिशाली उपकरण है जहाँ फोटो प्राप्त करना असंभव या बहुत महंगा है, जैसे कि दुर्लभ प्रजातियों के लिए वैज्ञानिक अनुसंधान में या औद्योगिक सेटिंग्स में जहाँ नए उत्पाद आपकी फोटो लेने की क्षमता से भी तेज़ी से आते हैं। हालाँकि यह कोई जादुई छड़ी नहीं है जो हर समस्या को हल कर देती है (विशेष रूप से उन चीजों के लिए जो हमारे ज्ञान से पूरी तरह से असंबंधित हैं), यह साबित करता है कि हम कंप्यूटर को केवल उनसे बात करके, एक सरल, सुरुचिपूर्ण गणितीय शॉर्टकट का उपयोग करके, अनदेखी चीजों को पहचानना सिखा सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।