VisionAssist: An Open-Source Smartphone Assistant for AI-Based Visual Accessibility
VisionAssist एक ओपन-सोर्स, AI-संचालित स्मार्टफोन एप्लिकेशन है जो ऑब्जेक्ट डिटेक्शन, इमेज डिस्क्रिप्शन और इमरजेंसी/रिमाइंडर फीचर्स को एक एकल, हैंड-फ्री, वॉयस-कंट्रोल्ड इंटरफेस में एकीकृत करके कम दृष्टि वाले उपयोगकर्ताओं के लिए स्वतंत्रता को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए एक ऐसी दुनिया की जहाँ आपका स्मार्टफोन सिर्फ एक स्क्रीन नहीं है जिसे आप देखते हैं, बल्कि एक मददगार साथी है जो आपके लिए "देख" सकता है। यह सहायक तकनीक (assistive technology) का क्षेत्र है, जो उन उपकरणों को बनाने के लिए समर्पित विज्ञान की एक शाखा है जो दृष्टिबाधित लोगों को उनके दैनिक जीवन में नेविगेट करने में मदद करते हैं। इस शोध पत्र के केंद्र में एक अवधारणा है जिसे आर्टिफिशियल इंटेलिजेंस (AI) कहा जाता है, विशेष रूप से एक प्रकार जिसे विज़न-लैंग्वेज मॉडल (Vision-Language Models) कहते हैं। इन मॉडलों को ऐसे सुपर-स्मार्ट दिमाग के रूप में समझें जिन्होंने लाखों किताबें पढ़ी हैं और लाखों तस्वीरें देखी हैं; वे एक फोटो को देख सकते हैं और बिल्कुल सटीक वर्णन कर सकते हैं कि उसमें क्या हो रहा है, या उसके बारे में सवाल भी पूछ सकते हैं, ठीक वैसे ही जैसे कोई मानवीय मित्र करेगा। हालाँकि स्मार्टफोन अविश्वसनीय रूप से शक्तिशाली हो गए हैं, फिर भी कई ऐप्स दृष्टिहीन और कम दृष्टि वाले उपयोगकर्ताओं को एक उपेक्षित विषय की तरह मानते हैं, जिससे उन्हें विभिन्न कार्यों के लिए अलग-अलग उपकरणों का उपयोग करने के लिए मजबूर होना पड़ता है। यह शोध पत्र एक सरल लेकिन महत्वपूर्ण प्रश्न पूछता है: क्या हम एक एकल, ओपन-सोर्स ऐप बना सकते हैं जो दृश्य सुलभता के लिए एक 'स्विस आर्मी नाइफ' (बहुउद्देशीय उपकरण) के रूप में कार्य करे, जो वस्तुओं को "देखने" की क्षमता को आपके व्यक्तिगत जीवन को प्रबंधित करने की क्षमता के साथ जोड़ सके, और यह सब केवल आपकी आवाज़ द्वारा नियंत्रित हो?
इस शोध पत्र के लेखक, आयसे ओज़लेम कालिसकान (Ayşe Özlem Çalıskan) और जोर्डी सांचेज़-रिएरा (Jordi Sanchez-Riera), VisionAssist प्रस्तुत करते हैं, जो एक नया मोबाइल एप्लिकेशन है जिसे उस 'ऑल-इन-वन' समाधान के रूप में डिज़ाइन किया गया है। उपयोगकर्ताओं को अपनी चाबियाँ खोजने के लिए एक ऐप, मेनू पढ़ने के लिए दूसरा और दोस्त को कॉल करने के लिए तीसरे ऐप के बीच स्विच करने के लिए मजबूर करने के बजाय, VisionAssist इन क्षमताओं को एक एकल, वॉयस-ड्रिवन (आवाज़ से संचालित) इंटरफ़ेस में समाहित करता है। टीम ने इस ऐप को "स्पीच-फर्स्ट" दर्शन के साथ बनाया है, जिसका अर्थ है कि आपको कभी भी स्क्रीन देखने की आवश्यकता नहीं है। आप बस एक कमांड बोलते हैं, ऐप सुनता है, आपके अनुरोध को प्रोसेस करता है, और आपसे बात करता है।
यह ऐप संचालन के तीन मुख्य "मोड" प्रदान करता है, जिनमें से प्रत्येक एक अलग सुपरपावर की तरह कार्य करता है। पहला है फाइंड मोड (Find Mode), जो एक डिजिटल जासूस की तरह काम करता है। यदि आप पूछते हैं, "मेरी चाबियाँ कहाँ हैं?" तो ऐप लाइव कैमरा फीड का विश्लेषण करता है और आपको बताता है कि कमरे में वस्तु ठीक कहाँ है, जैसे कि "फ्रेम के ऊपरी-दाएँ भाग में।" दूसरा है डिस्क्राइब मोड (Describe Mode), जो एक कहानीकार की तरह काम करता है। यह आपके सामने के दृश्य को देखता है—चाहे वह लिविंग रूम हो या सड़क का साइन बोर्ड—और आपको कि वह क्या हो रहा है, इसका एक संक्षिप्त और स्पष्ट सारांश देता है। तीसरा है रीड मोड (Read Mode), जो एक जादुई 'डिकोडर रिंग' की तरह कार्य करता है। यह किसी उत्पाद के लेबल, दस्तावेज़ या मेनू को स्कैन कर सकता है और टेक्स्ट को आपको बोलकर सुना सकता है। केवल "देखने" के अलावा, ऐप में एक पर्सनल असिस्टेंट मोड (Personal Assistant Mode) भी शामिल है। यह हिस्सा दुनिया को देखने की आवश्यकता नहीं रखता है; इसके बजाय, यह आपके फोन के आंतरिक सिस्टम से सीधे जुड़ता है ताकि आपको फोन कॉल करने या आपका कैलेंडर चेक करने में मदद मिल सके, और यह सब वॉयस कमांड के माध्यम से होता है।
इसे सफल बनाने के लिए, शोधकर्ताओं को एक कठिन पहेली सुलझानी थी: इन शक्तिशाली AI दिमागों को फोन पर बिना क्रैश हुए या बैटरी खत्म किए कैसे चलाया जाए। उन्होंने कई "ऑन-डिवाइस" AI मॉडलों (वे मॉडल जो पूरी तरह से फोन के हार्डवेयर पर चलते हैं) का परीक्षण किया लेकिन पाया कि वे अविश्वसनीय थे। उनके प्रयोगों में, ये स्थानीय मॉडल अक्सर मेमोरी की सीमाओं के कारण क्रैश हो जाते थे या "मैं छवि की पहचान नहीं कर सका" जैसे सामान्य और अनुपयोगी उत्तर देते थे। फलस्वरूप, शोध पत्र इन विशिष्ट ऑन-डिवाइस मॉडलों का उपयोग करने के विचार को स्पष्ट रूप से खारिज करता है। इसके बजाय, लेखकों ने एक हाइब्रिड दृष्टिकोण चुना: ऐप इमेज को एक शक्तिशाली क्लाउड-आधारित AI (विशेष रूप से जेमिनी विज़न API) को भेजता है ताकि भारी काम किया जा सके, और फिर उत्तर को बोलने के लिए फोन पर वापस भेजता है। यह तरीका बहुत अधिक स्थिर साबित हुआ, जिसमें वाई-फाई पर प्रतिक्रिया देने में लगभग 2 से 4 सेकंड का समय लगा।
टीम ने घरों और कार्यालयों जैसे वास्तविक परिदृश्यों में अपने निर्माण का सत्यापन किया। उन्होंने पाया कि ऐप फोन और रिमोट कंट्रोल जैसी सामान्य वस्तुओं को 100% बार सफलतापूर्वक ढूंढ सकता है, और कप और किताबों जैसी अन्य वस्तुओं को लगभग 80% बार। यह टेक्स्ट पढ़ने में भी काफी अच्छा था, जो 10 में से 9 परीक्षणों में सफल रहा, हालांकि यह कभी-कभी फैंसी, हस्तलिखित लेबल के साथ संघर्ष करता था। पर्सनल असिस्टेंट फीचर्स और भी अधिक विश्वसनीय थे; ऐप ने उनके परीक्षणों में 100% बार संपर्कों (contacts) को सही ढंग से खोजा और कैलेंडर इवेंट्स को पढ़ा।
इस परियोजना का सबसे रोमांचक हिस्सा यह है कि यह ओपन-सोर्स है। लेखकों ने केवल एक बंद डिब्बा नहीं बनाया है; उन्होंने कोड को जनता के लिए जारी किया है, जिससे अन्य डेवलपर्स को इसमें सुधार करने, बदलाव करने और नई सुविधाएँ जोड़ने के लिए आमंत्रित किया गया है। हालांकि वर्तमान संस्करण "देखने" के लिए इंटरनेट कनेक्शन पर निर्भर है, लेखक सुझाव देते हैं कि जैसे-जैसे मोबाइल तकनीक में सुधार होगा, वे अंततः इनमें से कुछ स्मार्ट फीचर्स को सीधे फोन पर ले जाने की आशा करते हैं। फिलहाल के लिए, VisionAssist एक एकीकृत, चंचल और व्यावहारिक कदम के रूप में खड़ा है, जो यह सिद्ध करता है कि सही AI और वॉयस कंट्रोल के मिश्रण के साथ, एक स्मार्टफोन वास्तव में उन लोगों के लिए आँखों की एक जोड़ी बन सकता है जिन्हें उनकी आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।