COLIP-2: Olfaction-Vision-Language Embeddings
यह शोध पत्र COLIP-2 को प्रस्तुत करता है, जो एक मल्टीमॉडल एम्बेडिंग मॉडल है जो घ्राण (सूंघने की शक्ति), दृष्टि और भाषा को एकीकृत करता है ताकि रोबोट्स को वस्तुओं के स्थान पर गंध का संभाव्य रूप से पता लगाने में सक्षम बनाया जा सके, साथ ही यह ओपन-सोर्स डेटा की वर्तमान सीमाओं और घ्राण संबंधी धारणा को आगे बढ़ाने के लिए नए डेटासेट्स की आवश्यकता पर प्रकाश डालता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आपका स्मार्टफोन न केवल वह देखता है जो आप देखते हैं या वह सुनता है जो आप कहते हैं, बल्कि वह भी सूंघ सकता है कि हवा में क्या है। दशकों से, कंप्यूटर तस्वीरों में चेहरों को पहचानने और किताबों में वाक्यों को समझने में बहुत कुशल रहे हैं, लेकिन वे पूरी तरह से 'घ्राण शक्ति' (सूंघने की क्षमता) से वंचित रहे हैं। वे एक ताज़ा बेक किए गए कुकी और जलते हुए टायर के बीच अंतर नहीं कर सकते, भले ही वे उन्हें देख रहे हों। यह शोध पत्र घ्राण (सूंघने की इंद्रिय) की विचित्र, अदृश्य दुनिया में उतरता है और एक कंप्यूटर को यह सिखाने की कोशिश करता है कि किसी गंध को उस वस्तु से कैसे जोड़ा जाए जिसने उसे पैदा किया है।
यह समझने के लिए कि यह कैसे काम करता है, कंप्यूटर के "मस्तिष्क" को एक विशाल पुस्तकालय के रूप में सोचें जहाँ हर विचार का एक विशिष्ट स्थान होता है। आमतौर पर, कुत्तों की तस्वीरें "कुत्ता" शब्द के पास होती हैं, और बिल्लियों की तस्वीरें "बिल्ली" के पास होती हैं। इसे साझा स्थान (shared space) कहा जाता है। वैज्ञानिकों ने दृष्टि और शब्दों के लिए विशाल पुस्तकालय बनाए हैं, लेकिन उनके पास गंध के लिए समान खंड बनाने के लिए पर्याप्त किताबें कभी नहीं थीं। बड़ा सवाल यह है: क्या हम एक रोबोट को सिखा सकते हैं कि वह एक गंध को सूंघे, एक कमरे को देखे, और अनुमान लगाए, "आह, वह गंध कॉफी मशीन से आ रही है, टोस्टर से नहीं," बिना यह देखे कि पहले कभी कॉफी मशीन से कॉफी की खुशबू आती हुई देखी गई हो? यह शोध पत्र ठीक यही करने की कोशिश करते हुए, एक अणु की रासायनिक संरचना, गैस सेंसर जो इसे पहचानते हैं, और हमारे कैमरों से ली गई तस्वीरों के बीच के अंतर को पाटने का प्रयास करता है।
"स्मेल-साइट" ब्रिज: COLIP-2 का परिचय
COLIP-2 (कॉन्ट्रास्टिव ओल्फैक्शन-लैंग्वेज-इमेज प्री-ट्रेनिंग 2) से मिलिए, जो Scentience, Inc. द्वारा बनाया गया एक नया प्रकार का कंप्यूटर मस्तिष्क है। इसे एक सार्वभौमिक अनुवादक के रूप में समझें जो एक साथ चार भाषाएँ बोलता है: अणु (छोटे रासायनिक निर्माण खंड), सेंसर (इलेक्ट्रॉनिक नाक जो हवा को सूंघते हैं), शब्द (जैसे "खट्टा" या "धुआं जैसा") और छवियां (जो आपका कैमरा देखता है)।
इससे पहले, यदि आप चाहते थे कि कोई रोबोट किसी गंध को खोजे, तो आपको उसे एक समय में एक विशिष्ट गंध सिखानी पड़ती, जैसे कि एक कुत्ता किसी विशिष्ट ड्रग को खोजने के लिए सीखता है। COLIP-2 अलग है। यह गंध के अवधारणा (concept) को सीखने की कोशिश करता है। यह एक अणु की रासायनिक संरचना, गैस सेंसर की रीडिंग और एक टेक्स्ट विवरण लेता है, और उन सभी को उसके मस्तिष्क के उसी अदृश्य "शेल्फ" में सिकोड़ देता है जहाँ वह पहले से ही दुनिया की तस्वीरें रखता है।
यह कैसे काम करता है: "नो-फोटो" ट्रिक
यहाँ चतुर हिस्सा है: शोधकर्ताओं के पास मॉडल को प्रशिक्षित करने के लिए "महकती वस्तुओं" की लाखों तस्वीरें नहीं थीं। वह डेटा अभी मौजूद नहीं है। इसलिए, उन्होंने एक चतुर शॉर्टकट का उपयोग किया। उन्होंने महसूस किया कि "फूलों जैसा" या "जला हुआ" जैसे शब्द पहले से ही कंप्यूटर के मस्तिष्क में रहते हैं क्योंकि यह चित्रों और टेक्स्ट को समझने के तरीके से जुड़ा हुआ है।
कल्पना कीजिए कि आपके पास दुनिया का एक नक्शा है जहाँ "फूल" "बगीचों" के पास हैं और "आग" "धुएं" के पास है। COLIP-2 एक गंध (जैसे एक अणु) लेता है और पूछता है, "इसकी व्याख्या करने वाले शब्द क्या हैं?" यदि गंध "खट्टी/साइट्रस" है, तो मॉडल उस गंध को मानचित्र पर "साइट्रस" शब्द के ठीक बगल में रख देता है। चूंकि कंप्यूटर पहले से ही जानता है कि "साइट्रस" शब्द नींबू और संतरे की तस्वीरों के पास है, इसलिए वह गंध अचानक "जान" जाती है कि नींबू कहाँ है, भले ही उसने पहले कभी नींबू देखा न हो! यह ऐसा है जैसे यह सीखना कि एक नया स्वाद "नींबू" जैसा है, और अचानक, आपका मस्तिष्क जानता है कि उस जंगल में नींबू का पेड़ कहाँ है जिसे आपने पहले कभी नहीं देखा।
दो संस्करण: क्लाउड बनाम एज
यह शोध पत्र इस मस्तिष्क के दो संस्करणों का वर्णन करता है:
- क्लाउड जाइंट (The Cloud Giant): एक विशाल, अत्यंत सटीक संस्करण (1.15 बिलियन पैरामीटर्स) जो शक्तिशाली सर्वरों पर रहता है। यह एक मास्टर शेफ की तरह है जो एक व्यंजन का स्वाद ले सकता है और उसमें मौजूद हर एक मसाले का वर्णन कर सकता है।
- एज पॉकेट (The Edge Pocket): एक छोटा, हल्का संस्करण (101 मिलियन पैरामीटर्स) जिसे एक रोबोट के मस्तिष्क या मोबाइल फोन पर चलाने के लिए डिज़ाइन किया गया है। यह थोड़ा कम सटीक है लेकिन ऑफलाइन चलने के लिए पर्याप्त तेज़ है, जिससे एक रोबोट वास्तविक समय में हवा को सूंघ सकता है और गंध की ओर इशारा कर सकता है।
यह वास्तव में क्या कर सकता है
जब आप इस मॉडल को एक अस्त-व्यस्त रसोई की तस्वीर और "अल्कोहल" की सेंसर रीडिंग देते हैं, तो यह केवल "अल्कोहल का पता चला" नहीं कहता। यह छवि के ऊपर एक हीट मैप (heat map) बनाता है। यह वोदका की बोतल को एक गर्म, चमकते रंग के साथ हाइलाइट करता है, जिससे रोबोट को ठीक पता चलता है कि गंध कहाँ से आ रही है।
शोध पत्र दिखाता है कि लगभग 90% अणुओं के लिए, जिस पर इसका परीक्षण किया गया था, मॉडल अपने शीर्ष पांच अनुमानों में सही गंध विवरण ढूंढ सका। जब बात चित्र में गंध के स्रोत की पहचान करने की आती है, तो यह सटीक मिलान के लिए लगभग 72% बार और सामान्य श्रेणी (जैसे "फल" के बजाय "विशिष्ट सेब") के लिए पूछने पर 90% बार सही वस्तु की पहचान करता है।
सीमाएं: जहाँ यह लड़खड़ाता है
लेखक इस बारे में बहुत ईमानदार हैं कि यह मॉडल क्या नहीं कर सकता। यह कोई जादू की छड़ी नहीं है।
- यह एक "परिवार" खोजने वाला है, जासूस नहीं: मॉडल यह कहने में माहिर है कि "यह साइट्रस जैसी गंध है," लेकिन इसे यह कहने में कठिनाई होती है कि "यह विशेष रूप से एक नींबू है, संतरा नहीं।" यह "परिवार" स्तर (जैसे "धुआं जैसा," "फूलों जैसा") पर सबसे अच्छा काम करता है, न कि किसी एकल, अद्वितीय अणु की पहचान करने में।
- नई चीजों के लिए कोई जादू नहीं: यदि आप इसे एक पूरी तरह से नया रसायन देते हैं जिसे इसने पहले कभी नहीं देखा है, तो यह इसका नाम पूरी तरह से नहीं बता पाएगा। यह अनुमान लगाएगा कि यह किस "परिवार" से संबंधित है, लेकिन यह इसकी सटीक पहचान नहीं जान पाएगा।
- सुरक्षा के लिए नहीं: शोध पत्र स्पष्ट चेतावनी देता है: इसका उपयोग जहरीली गैस के रिसाव का पता लगाने या भोजन सुरक्षित है या नहीं, यह जांचने के लिए न करें। मॉडल रैंकिंग और संभावनाएँ देता है, सटीक माप नहीं। यदि कोई रोबमा को लगता है कि गंध "संभवतः" गैस का रिसाव है, तो वह गलत हो सकता है, और यह खतरनाक हो सकता है। यह एक अनुसंधान उपकरण है, सुरक्षा उपकरण नहीं।
भविष्य: मिलकर सीखना
शोध पत्र सुझाव देता है कि सबसे बड़ी बाधा कंप्यूटर की बुद्धिमत्ता नहीं है, बल्कि डेटा की कमी है। हमारे पास मॉडल को पूरी तरह से सिखाने के लिए पर्याप्त "गंध-और-देखना" के उदाहरण नहीं हैं। इसे ठीक करने के लिए, टीम फेडरेटेड लर्निंग (Federated Learning) नामक विधि का उपयोग कर रही है। कल्पना कीजिए कि दुनिया भर में हजारों रोबोट और सेंसर चीजों को सूंघ रहे हैं और एक-दूसरे से सीख रहे हैं, बिना अपनी निजी तस्वीरों या कच्चे डेटा को साझा किए। वे केवल "पाठ" भेजते हैं जो उन्होंने सीखा है, जो फिर एक केंद्रीय मस्तिष्क को भेजा जाता है, जो फिर वापस सभी को एक स्मार्ट संस्करण भेजता है। इस तरह, पूरा बेड़ा अपनी गोपनीयता बनाए रखते हुए एक साथ स्मार्ट होता जाता है।
निष्कर्ष
COLIP-2 एक महत्वपूर्ण कदम है, जो यह सिद्ध करता है कि हम कंप्यूटर को उन शब्दों से जोड़ना सिखा सकते हैं जिन्हें हम पहले से जानते हैं। यह सुझाव देता है कि सही आर्किटेक्चर के साथ, एक रोबोट किसी दृश्य को देख सकता है और कह सकता है, "मुझे उस ग्रिल से कुछ धुएं जैसी गंध आ रही है।" हालाँकि, लेखक इस बात पर जोर देते हैं कि यह तो बस शुरुआत है। यह मॉडल एक प्रोटोटाइप है जो हमें दिखाता है कि आज के ओपन डेटा के साथ क्या संभव है। पूर्ण 'गंध-दृष्टि' रोबोट प्राप्त करने के लिए, हमें नए डेटासेट बनाने और गंध के साथ जुड़ी लाखों अधिक छवियों के उदाहरण एकत्र करने की आवश्यकता है। तब तक, COLIP-2 शोधकर्ताओं के लिए रोबोटिक नाक के भविष्य को बनाने के लिए एक शक्तिशाली, खेलपूर्ण उपकरण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।