Egocentric Co-Pilot: Web-Native Smart-Glasses Agents for Assistive Egocentric AI
यह शोधपत्र एर्गोसेंट्रिक को-पायलट (Egocentric Co-Pilot) का परिचय देता है, जो स्मार्ट ग्लासेस के लिए एक वेब-नेटिव न्यूरो-सिंबोलिक फ्रेमवर्क है जो नेविगेशन और दैनिक कार्यों के लिए अत्याधुनिक, 'ऑल्स-ऑन' सहायक एआई प्रदान करने के लिए उन्नत टेम्पोरल रीजनिंग और मल्टीमॉडल इंटेंट मैपिंग के साथ एक एलएलएम-ऑर्केस्ट्रेटेड टूलसेट को जोड़ता है, जो क्लाउड और लोकल डिप्लॉयमेंट मूल्यांकन के माध्यम से वाणिज्यिक बेसलाइनों की तुलना में बेहतर प्रदर्शन और उपयोगकर्ता संतुष्टि प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास स्मार्ट चश्मे की एक ऐसी जोड़ी है जो न केवल आपको नोटिफिकेशन दिखाती है, बल्कि आपके पूरे दिन के लिए एक सुपर-स्मार्ट, अदृश्य को-पायलट (सह-पायलट) की तरह काम करती है। यह पेपर, "एगोसेंट्रिक को-पायलट" (Egocentric Co-Pilot), इसी के बारे में है।
यहाँ बताया गया है कि यह कैसे काम करता है, कुछ रोज़मर्रा के उदाहरणों का उपयोग करते हुए:
1. समस्या: "सब कुछ जानने वाला" बनाम "विशेषज्ञ"
कल्पना कीजिए कि आप एक व्यस्त सड़क पर चलते समय शतरंज का खेल खेलने के लिए एक विशाल AI (जैसे कि एक सुपर-इंटेलिजेंट लेकिन थोड़ा भ्रमित लाइब्रेरियन) से मदद मांगते हैं।
- विशाल लाइब्रेरियन (मोनोलिथिक AI): यह एक साथ सब कुछ करने की कोशिश कर सकता है। यह सड़क, शतरंज की बिसात और आपकी आवाज़ को एक साथ देख लेता है। यह अभिभूत हो जाता है, और आपको "शायद मोहरा हिलाएं?" जैसे अस्पष्ट उत्तर देता है, या इस बात को लेकर भ्रमित हो जाता है कि आप किस मोहरे की ओर इशारा कर रहे हैं। यह ऐसा है जैसे ब्रेन सर्जरी करने के लिए स्विस आर्मी नाइफ का उपयोग करना—इसमें उपकरण तो हैं, लेकिन यह सही उपकरण नहीं है।
- एगोसेंट्रिक को-पायलट: एक विशाल मस्तिष्क होने के बजाय, यह सिस्टम एक अत्यधिक कुशल प्रोजेक्ट मैनेजर की तरह है। यह खुद गणित या विज़न (देखने का काम) करने की कोशिश नहीं करता। इसके बजाय, इसे पता होता है कि किसे बुलाना है।
2. समाधान: "कंडक्टर" और "ऑर्केस्ट्रा"
लेखकों ने एक ऐसा सिस्टम बनाया है जहाँ एक केंद्रीय LLM (लार्ज लैंग्वेज मॉडल) एक कंडक्टर (संचालक) के रूप में कार्य करता है।
- कंडक्टर: यह वह हिस्सा है जो आपकी बात सुनता है। यदि आप कहते हैं, "मुझे यह मोहरा हिलाने में मदद करो," तो कंडक्टर खुद शतरंज की चाल की गणना करने की कोशिश नहीं करता। इसके बजाय, वह कहता है, "ठीक है, मुझे पहले यह जानने की ज़रूरत है कि बोर्ड कैसा दिखता है।"
- ऑर्केस्ट्रा (टूलबॉक्स): कंडक्टर फिर विशिष्ट विशेषज्ञों को बुलाता है:
- आंखें (The Eyes): एक विज़न मॉड्यूल जो आपके चश्मे के कैमरा फीड को देखता है और कहता है, "मैं E4 स्क्वायर पर एक काला नाइट (घोड़ा) देख रहा हूँ।"
- कैलकुलेटर (The Calculator): एक समर्पित शतरंज इंजन (एक सख्त नियम मानने वाला) जो कहता है, "नियमों के आधार पर, नाइट को F6 पर ले जाने से जीतने की 90% संभावना है।"
- अनुवादक (The Translator): कंडक्टर उस कच्चे डेटा को लेता है और आपसे कहता है, "हे, अपने नाइट को F6 पर ले जाएं! यह एक बेहतरीन चाल है।"
उपमा (Analogy): इसे एक रेस्टोरेंट की रसोई की तरह समझें। आप नहीं चाहते कि हेड शेफ (AI) बर्तन भी धोए, प्याज भी काटे और स्टेक भी ग्रिल करे। आप चाहते हैं कि हेड शेफ आपके भोजन को पूरी तरह से तैयार करने के लिए सस शेफ (विज़न), ग्रिल मास्टर (शतरंज इंजन) और सर्वर (स्पीच) के बीच समन्वय स्थापित करे।
3. "मेमोरी" की समस्या: आपका दिन याद रखना
स्मार्ट चश्मे 24/7 वीडियो रिकॉर्ड करते हैं। लेकिन AI मॉडल की एक "शॉर्ट-टर्म मेमोरी" की सीमा होती है (जैसे कि एक गोल्डफिश जो कुछ सेकंड बाद चीजें भूल जाती है)।
- चुनौती: यदि आप पूछते हैं, "मैंने तीन दिन पहले नाश्ते में क्या खाया था?" तो एक सामान्य AI भूल सकता है।
- समाधान (HCC और T-CoT): यह पेपर एक चतुर मेमोरी सिस्टम पेश करता है।
- T-CoT (टेम्पोरल चेन-ऑफ-थॉट): यह एक फिल्म के महत्वपूर्ण हिस्सों को हाइलाइट करने जैसा है। जब आप अभी के बारे में कोई सवाल पूछते हैं, तो सिस्टम जवाब खोजने के लिए पिछले कुछ मिनटों के वीडियो पर ज़ूम करता है।
- HCC (हाइरार्किकल कॉन्टेक्स्ट कम्प्रेशन): यह एक पूरी किताब को कुछ बुलेट पॉइंट्स में सारांशित करने जैसा है। उन चीजों के लिए जो घंटों या दिनों पहले हुई थीं, सिस्टम आपके दिन का एक "चीट शीट" सारांश बनाता है। यह मुख्य घटनाओं को रखता है (जैसे, "आपने सुबह 8 बजे कॉफी पी थी") ताकि यह हर सेकंड के वीडियो से अभिभूत हुए बिना लंबे समय के सवालों के जवाब दे सके।
4. "भ्रमित उपयोगकर्ता" की समस्या: "यह क्या है?"
कभी-कभी आप किसी चीज़ की ओर इशारा करते हैं और कहते हैं, "वह क्या है?" लेकिन हो सकता है कि आप पेड़, पक्षी या साइन बोर्ड की ओर इशारा कर रहे हों।
- सुरक्षा जाल (Safety Net): सिस्टम को विनम्र और सतर्क रहने के लिए डिज़ाइन किया गया है। यदि यह 100% सुनिश्चित नहीं है कि आप किस ओर इशारा कर रहे हैं, तो यह अनुमान नहीं लगाएगा। इसके बजाय, यह पूछेगा, "क्या आपका मतलब पक्षी से था या साइन बोर्ड से?"
- उपमा: यह एक मददगार टूर गाइड की तरह है जो, यदि आप किसी इमारत की ओर अस्पष्ट रूप रूप से इशारा करते हैं, तो गलत अनुमान लगाने और आपको शर्मिंदा करने के बजाय पूछता है, "क्या आप संग्रहालय के इतिहास के बारे में पूछ रहे हैं या छत की वास्तुकला के बारे में?"
5. "वेब-नेटिव" जादू: इंटरनेट क्यों महत्वपूर्ण है
अधिकांश स्मार्ट चश्मे सब कुछ डिवाइस पर ही करने की कोशिश करते हैं (जो छोटा है और जिसकी बैटरी कम है)। यह पेपर एक क्लाउड-फर्स्ट अप्रोच का समर्थन करता है।
- उपमा: इन चश्मों को एक रिमोट कंट्रोल और क्लाउड को एक विशाल सुपरकंप्यूटर के रूप में सोचें। चश्मे बस एक सिग्नल भेजते हैं ("मैं एक शतरंज की बिसात देख रहा हूँ") और क्लाउड भारी काम करता है, फिर जवाब वापस भेजता है।
- क्यों? इसका मतलब है कि चश्मे हल्के, सस्ते और लंबी बैटरी लाइफ वाले हो सकते हैं क्योंकि उन्हें अपने फ्रेम में सुपरकंप्यूटर ढोने की ज़रूरत नहीं है। यह मानक वेब तकनीकों (जैसे WebRTC) का भी उपयोग करता है, जिसका अर्थ है कि एक ही सिस्टम आपके चश्मे, आपके फोन या वेब ब्राउज़र पर काम कर सकता है।
परिणाम: उन्होंने क्या साबित किया?
उन्होंने वास्तविक लोगों पर स्मार्ट चश्मा पहनकर इस सिस्टम का परीक्षण किया।
- शतरंज: यह वास्तविक जीवन के शतरंज के खेल को देख सकता है और आपको सबसे अच्छी चाल बता सकता है।
- दैनिक जीवन: यह रेसिपी में सामग्री खोजने या मौसम की जांच करने में आपकी मदद कर सकता है।
- निष्कर्ष: परीक्षणों में, यह "कंडक्टर" सिस्टम वर्तमान व्यावसायिक स्मार्ट चश्मों (जैसे रे-बैन मेटा या एप्पल विजन प्रो) की तुलना में बहुत बेहतर था, जो अक्सर केवल सामान्य उत्तर देते हैं या अटक जाते हैं।
सारांश
एगोसेंट्रिक को-पायलट एक स्मार्ट ग्लास असिस्टेंट है जो "एक अकेला योद्धा" बनने की कोशिश करने के बजाय एक टीम लीडर के रूप में कार्य करना शुरू करता है। यह आपकी आंखों (चश्मे) को विशिष्ट विशेषज्ञों (विज़न AI, शतरंज इंजन, कैलेंडर) से जोड़ने के लिए इंटरनेट का उपयोग करता है ताकि आपको वास्तविक समय में सटीक और सहायक उत्तर मिल सकें, और यह सब करते हुए यह आपके दिन को याद रखता है ताकि आपको इसकी चिंता न करनी पड़े। यह केवल आपको डेटा दिखाने के बारे में नहीं है; यह आपको चीज़ें करने में मदद करने के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।