Ultra-low-light computer vision using trained photon correlations
यह शोध पत्र कोरिलेशन-अवेयर ट्रेनिंग (CAT) नामक एक हाइब्रिड ऑप्टिकल-इलेक्ट्रॉनिक कंप्यूटर विजन फ्रेमवर्क प्रस्तुत करता है, जो पारंपरिक अनकोरिलेटेड इल्यूमिनेशन की तुलना में अल्ट्रा-लो-लाइट और नॉइज़ी स्थितियों में ऑब्जेक्ट रिकग्निशन सटीकता में 15 प्रतिशत अंक तक के सुधार को प्राप्त करने के लिए एक ट्रेन करने योग्य कोरिलेटेड-फोटोन इल्यूमिनेशन सोर्स और एक ट्रांसफार्मर बैकएंड को संयुक्त रूप से अनुकूलित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक भीड़भाड़ वाले, घने अंधेरे कमरे में अपने किसी दोस्त को पहचानने की कोशिश कर रहे हैं। आप केवल एक पल के लिए उन्हें एक छोटी सी, टिमटिमाती हुई टॉर्च की रोशनी दिखा सकते हैं।
समस्या:
एक सामान्य कैमरा सेटअप में (जिसे "पारंपरिक दृष्टिकोण" कहा जाता है), आप बस रोशनी चमकाते हैं और उम्मीद करते हैं कि कैमरा आपके दोस्त का चेहरा देखने के लिए पर्याप्त फोटॉन (प्रकाश के कण) पकड़ लेगा। लेकिन इस अत्यधिक अंधेरे, शोर वाले कमरे में, कैमरा ज्यादातर केवल स्टेटिक (static) और रैंडम चिंगारियां ही देखता है (शोर)। एक स्पष्ट तस्वीर पाने के लिए, आमतौर पर आपको रोशनी को हजारों बार चमकाना होगा और उन्हें औसत (average) निकालना होगा। लेकिन क्या होगा अगर आपके पास केवल कुछ ही फ्लैश बचे हों? तो आप केवल अनुमान लगाने में ही फंसे रह जाएंगे।
पुराना "क्वांटम" समाधान:
वैज्ञानिकों को काफी समय से पता है कि यदि आप "एंटैंगल्ड" (entangled) या "कोरिलेटेड" (correlated) फोटॉन का उपयोग करते हैं—जो फोटॉन के जोड़े हैं जो जादुई रूप से जुड़े हुए हैं, जैसे कि पासे की एक जोड़ी जो हमेशा एक ही नंबर पर गिरती है—तो आप शोर को बाहर निकाल सकते हैं। यदि कैमरा बाईं ओर एक "क्लिक" देखता है, तो वह जानता है कि दाईं ओर एक साथी "क्लिक" होना चाहिए। रैंडम शोर का कोई साथी नहीं होता, इसलिए आप उसे अनदेखा कर सकते हैं।
हालाँकि, इसमें एक पेंच है: पारंपरिक क्वांटम तरीके आमतौर पर पहले छवि को पुनर्गठित (reconstruct) करने की कोशिश करते हैं (जैसे शोर से एक आदर्श चित्र बनाने की कोशिश करना) और फिर वस्तु की पहचान करते हैं। यह धीमा है और इसके लिए बहुत अधिक डेटा की आवश्यकता होती है।
नया "स्मार्ट" समाधान (यह शोध पत्र):
शोधकर्ताओं ने एक अलग सवाल पूछा: हमें पूरे चित्र को बनाने की क्या आवश्यकता है यदि हम केवल यह जानना चाहते हैं कि "क्या यह मेरा दोस्त है?"
उन्होंने एक प्रणाली बनाई जिसे कोरिलेशन-अवेयर ट्रेनिंग (CAT) कहा जाता है। यह कैसे काम करता है, इसके लिए एक सरल उपमा देखें:
1. "जादुई टॉर्च" (प्रशिक्षण योग्य इल्यूमिनेशन)
एक मानक टॉर्च या एक निश्चित क्वांटम प्रकाश स्रोत के बजाय, उन्होंने एक प्रोग्राम करने योग्य, "स्मार्ट" टॉर्च बनाई है।
- उपमा: कल्पना कीजिए कि एक टॉर्च जो केवल रोशनी की किरण नहीं फैलाती; वह प्रकाश के पैटर्न को बदल सकती है। वह तय कर सकती है कि, "ठीक है, इस विशिष्ट दोस्त के लिए, मैं रोशनी को एक ज़िग-ज़ैग पैटर्न में चमकाऊँगी जो उनकी नाक को उभारता है लेकिन बैकग्राउंड के शोर को अनदेखा करता है।"
- उन्होंने इसे कैसे किया: उन्होंने एक विशेष क्रिस्टल (SPD) का उपयोग किया जो फोटॉन के जोड़े बनाता है। एक स्पेशल लाइट मॉड्यूलेटर (SLM) नामक उपकरण के माध्यम से उस लेजर को आकार देकर जो क्रिस्टल को पंप करता है, वे इन फोटॉन जोड़ों के बीच के संबंध को "प्रोग्राम" कर सके।
2. "सुपर-ब्रेन" (द ट्रांसफार्मर)
दूसरी ओर, उन्होंने एक शक्तिशाली AI का उपयोग किया जिसे सेट ट्रांसफार्मर (Set Transformer) कहा जाता है।
- उपमा: इस AI को एक ऐसे जासूस के रूप में सोचें जो धुंधली तस्वीरों को देखने में बुरा है लेकिन सुरागों के ढेर में पैटर्न खोजने में उत्कृष्ट है। इसे "चेहरे" की परवाह नहीं है; इसे प्रकाश के बिंदुओं के बीच के संबंधों की परवाह है।
- ट्रिक: AI को फोटॉन जोड़ों के बीच के विशिष्ट "हैंडशेक" (हाथ मिलाने) को खोजने के लिए प्रशिक्षित किया गया है। यदि प्रकाश किसी वस्तु से एक विशिष्ट तरीके से टकराता है, तो फोटॉन जोड़े कैमरे में एक विशिष्ट, कोरिलेटेड पैटर्न में पहुंचेंगे जिसे AI "दोस्त" के रूप में पहचान लेगा।
3. "टीम-अप" (एंड-टू-एंड ऑप्टिमाइज़ेशन)
यह असली जादू है। आमतौर पर, आप प्रकाश को डिजाइन करते हैं, फिर AI को डिजाइन करते हैं। यहाँ, उन्होंने उन्हें एक साथ प्रशिक्षित किया।
- उपमा: एक डांस इंस्ट्रक्टर (AI) और एक डांसर (प्रकाश स्रोत) की कल्पना करें। इंस्ट्रक्टर द्वारा डांसर को क्या करना है यह बताने के बजाय, वे एक साथ अभ्यास करते हैं। इंस्ट्रक्टर कहता है, "उस मूव ने मुझे तुम्हें स्पष्ट रूप से देखने में मदद नहीं की। अपने हाथ को थोड़ा अलग तरीके से हिलाकर देखो।" डांसर खुद को समायोजित करता है, और इंस्ट्रक्टर नए मूव को बेहतर ढंग से समझने के लिए सीखता है।
- परिणाम: प्रकाश स्रोत ठीक उसी तरह से चमकना सीख जाता है जो AI के काम को सबसे आसान बनाता है, भले ही वह प्रकाश पैटर्न अजीब दिखे या वह वस्तु की "तस्वीर" जैसा बिल्कुल न लगे।
परिणाम: अंधेरे में देखना
उन्होंने परीक्षण किया कि वे अत्यधिक कम रोशनी और बहुत अधिक बैकग्राउंड शोर के साथ 25 विभिन्न आकृतियों (जैसे अक्षर या प्रतीक) को कैसे पहचान सकते हैं।
- पारंपरिक प्रकाश: सही होने के लिए बहुत अधिक फोटॉन और कई "फ्लैश" (शॉट्स) की आवश्यकता थी।
- अनट्रेन्ड क्वांटम लाइट: बेहतर थी, लेकिन पूर्ण नहीं थी क्योंकि प्रकाश का पैटर्न विशिष्ट कार्य के लिए अनुकूलित (optimized) नहीं था।
- उनका "ट्रेन्ड" सिस्टम: उन्होंने पारंपरिक तरीकों की तुलना में 15% तक अधिक सटीकता हासिल की।
- बड़ी जीत: वे एक मानक कैमरे की तुलना में 6 गुना कम फोटॉन और 6 गुना कम फ्लैश के साथ वस्तुओं की पहचान कर सके।
यह क्यों मायने रखता है
इसे इस तरह सोचें:
- पुराना तरीका: तूफान में चिल्लाकर फुसफुसाहट सुनने की कोशिश करना (अधिक रोशनी का उपयोग करना)।
- नया तरीका: फुसफुसाने वाले को एक गुप्त कोड में बोलने के लिए सिखाना जो हवा को चीर सके, और सुनने वाले को उस कोड को तुरंत समझने के लिए सिखाना।
यह शोध साबित करता है कि भविष्य में, हमें केवल बेहतर कैमरों या उज्जवल रोशनी की आवश्यकता नहीं होगी। हम स्वयं प्रकाश को स्मार्ट बना सकते हैं, जो AI के साथ मिलकर काम करेगा, ताकि उन चीजों को देखा जा सके जिन्हें पहले पता लगाना असंभव था, जैसे कि तेज रोशनी से नाजुक जीवित कोशिकाओं को नुकसान पहुँचाए बिना उन्हें देखना, या पूर्ण अंधकार में नेविगेट करना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।