JoyAI-VL-Interaction: Real-Time Vision-Language Interaction Intelligence
यह शोध पत्र JoyAI-VL-Interaction को प्रस्तुत करता है, जो एक ओपन-सोर्स, 8B-स्केल विजन-लैंग्वेज मॉडल है जो पारंपरिक टर्न-आधारित प्रतिक्रियाओं से हटकर वास्तविक समय की स्वायत्त अंतःक्रिया की ओर बढ़ता है, जो यह निर्णय लेने के लिए निरंतर विजुअल इनपुट की निगरानी करता है कि कब बोलना है या कार्य सौंपना है, जिसके साथ एक पूर्ण रूप से तैनात करने योग्य सिस्टम और प्रशिक्षण रेसिपी भी है जो मानव मूल्यांकन में मौजूदा वीडियो-कॉल सहायकों से बेहतर प्रदर्शन करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक लाइव स्पोर्ट्स गेम देख रहे हैं। इस समय, अधिकांश AI असिस्टेंट एक बहुत तेज़ लेकिन बहुत शर्मीले रेफरी की तरह हैं। वे साइडलाइन पर बैठे रहते हैं, और आपके सीटी बजाने (सवाल पूछने) का इंतज़ार करते हैं ताकि वे कुछ कह सकें। भले ही कोई खिलाड़ी घायल हो जाए या कोई गोल हो जाए, AI तब तक चुप रहता है जब तक आप चिल्लाकर नहीं पूछते, "क्या आपने वह देखा?" जब तक आप पूछते हैं, तब तक वह क्षण बीत चुका होता है।
JoyAI-VL-Interaction अलग है। यह एक स्मार्ट, प्रोएक्टिव कोच की तरह है जो आपके ठीक बगल में बैठा है। यह आपके बोलने का इंतज़ार नहीं करता। यह खेल को देखता है, और यदि इसे कुछ महत्वपूर्ण दिखता है—जैसे आग लगना, किसी खिलाड़ी का गिरना, या कोई मज़ेदार पल—तो यह तुरंत बोल उठता है। यह खुद तय करता है कि उसे कब बोलना है, कब चुप रहना है, और कब मदद के लिए किसी "बड़े दिमाग" वाले विशेषज्ञ को बुलाना है।
यहाँ यह पेपर इस नए तरीके के सोचने के ढंग को सरल अवधारणाओं में तोड़कर समझाता है:
1. समस्या: "टर्न-बेस्ड" (बारी वाला) जाल
आजकल के अधिकांश AI टेनिस के खेल की तरह काम करते हैं। आप गेंद मारते हैं (सवाल पूछते हैं), और AI गेंद वापस मारता है (जवाब देता है)। फिर वह आपके दोबारा गेंद मारने का इंतज़ार करता है।
- समस्या: वास्तविक दुनिया बारीओं का इंतज़ार नहीं करती। आग लग जाती है, एक बच्चा गर्म चूल्हे की ओर बढ़ने लगता है, या आपकी पसंद का कोई उत्पाद स्क्रीन पर चमकता है। यदि AI आपके पूछने का इंतज़ार कर रहा है, तो वह उस क्षण को पूरी तरह से खो देता है।
- पेपर का दावा: वर्तमान "रियल-टाइम" वीडियो असिस्टेंट (जैसे Doubao या Gemini ऐप्स में) अभी भी गुप्त रूप से टेनिस खेल रहे हैं। वे बस खुद से पूछते हैं, "क्या मुझे स्क्रीन को चेक करना चाहिए?" हर कुछ सेकंड में। यदि वे चेक करने के बीच के क्षण को चूक जाते हैं, तो वे उसे हमेशा के लिए खो देते हैं।
2. समाधान: "वॉच-एंड-डू" (देखो और करो) कोच
लेखकों ने एक नए प्रकार का AI बनाया है जो हमेशा देखता रहता है। बारी का इंतज़ार करने के बजाय, यह हर एक सेकंड में एक निर्णय लेता है:
- शांत रहना: यदि कुछ भी दिलचस्प नहीं हो रहा है, तो यह चुप रहता है ताकि आपको परेशान न करे।
- बोल उठना: यदि यह कुछ महत्वपूर्ण देखता है (जैसे आग या दृश्य में बदलाव), तो यह तुरंत बोल उठता है।
- डेलीगेट करना (सौंपना): यदि यह कुछ ऐसा देखता है जिसे तुरंत हल करना बहुत कठिन है (जैसे फोन की स्क्रीन के आधार पर जटिल कंप्यूटर कोड लिखना), तो यह कहता है, "रुकिए, मुझे विशेषज्ञ से पूछने दें," और एक बैकग्राउंड कंप्यूटर को कार्य भेज देता है जबकि वह वीडियो पर नज़र बनाए रखता है।
3. यह कैसे सीखता है: AI को "समय को महसूस करना" सिखाना
आप केवल AI को बात करना नहीं सिखा सकते; आपको यह भी सिखाना होगा कि कब बात करनी है।
- प्रशिक्षण: शोधकर्ताओं ने एक विशाल डेटासेट बनाया जहाँ AI ने वीडियो देखते हुए अभ्यास किया और सेकंड-दर-सेकंड यह तय किया कि बोलना है या चुप रहना है।
- उपमा: एक कुत्ते को सिखाने की कल्पना करें। आप उसे केवल "बैठना" नहीं सिखाते। आप उसे सिखाते हैं कि डोरबेल बजने पर ही बैठे, और डाकिया आने पर शांत रहे। इस AI ने सीखा कि जब कुछ नहीं हो रहा हो तो "बैठना" (शांत रहना) और जब कोई घटना घटे तो ठीक उसी समय "भोंकना" (बोलना)।
- परिणाम: AI ने "प्रोएक्टिव" होना सीख लिया। इसे देखने के लिए आपको इसे बताने की ज़रूरत नहीं है; यह बस देखता है और प्रतिक्रिया देता है।
4. सिस्टम: एक संपूर्ण टूलकिट
पेपर केवल "दिमाग" जारी नहीं करता; वे पूरा "शरीर" भी जारी करते हैं ताकि कोई भी इसे बना सके।
- आंखें: यह किसी भी कैमरा, लाइवस्ट्रीम या सुरक्षा फीड से जुड़ सकता है।
- आवाज़: यह अपने विचारों को बोलने (या टेक्स्ट में बदलने) के लिए मानक उपकरणों का उपयोग करता है।
- याददाश्त: इसके पास एक विशेष मेमोरी सिस्टम है जो इसे घंटों पहले की चीज़ों को बिना भ्रमित हुए या जगह खत्म किए याद रखने की अनुमति देता है।
- "डेलीगेट" बटन: यदि कार्य बहुत कठिन है, तो यह इसे एक शक्तिशाली बैकग्राउंड कंप्यूटर को सौंप देता है और उत्तर की प्रतीक्षा करते हुए वीडियो को देखता रहता है।
5. प्रमाण: दिग्गजों को हराना
लेखकों ने अपने 8-बिलियन-पैरामीटर मॉडल (जो अपेक्षाकृत छोटा और कुशल है) का परीक्षण Doubao और Gemini (जो बहुत बड़े, अधिक शक्तिशाली मॉडल का उपयोग करते हैं) जैसे वीडियो-कॉल असिस्टेंट के खिलाफ किया।
- परीक्षण: उन्होंने दोनों सिस्टमों को 58 विभिन्न वास्तविक जीवन के परिदृश्य दिखाए, जैसे आग का पता लगाना, वस्तुओं की गिनती करना, या रियल-टाइम में सबटाइटल्स का अनुवाद करना।
- स्कोर: JoyAI ने Doubao के मुकाबले 77.6% बार और Gemini के मुकाबले 87.9% बार जीत हासिल की।
- क्यों? बड़े मॉडल प्रतिक्रिया देने में बहुत धीमे थे क्योंकि वे एक "बारी" का इंतज़ार कर रहे थे। JoyAI ने घटना को देखा और तुरंत बोला। "फायर डिटेक्शन" टेस्ट में, JoyAI ने 100% बार जीत हासिल की, जबकि अन्य या तो बहुत देर से पहुंचे या उन्होंने ध्यान ही नहीं दिया।
6. "जादुई" आश्चर्य
सबसे आश्चर्यजनक हिस्सा यह है कि AI ने ऐसे कौशल विकसित किए जो शोधकर्ताओं ने उसे स्पष्ट रूप से नहीं सिखाए थे।
- उदाहरण: AI को वीडियो देखने के लिए प्रशिक्षित किया गया था, लेकिन इसने स्क्रीन के बदलने के आधार पर उपयोगकर्ता को शॉपिंग ऐप के माध्यम से मार्गदर्शन करने का तरीका ढूंढ लिया। इसने स्लाइड डेक से एक लेक्चर को भी इम्प्रोवाइज (तत्काल तैयार) करना सीख लिया।
- पेपर का दृष्टिकोण: यह दर्शाता है कि AI केवल उत्तर रट नहीं रहा है; यह "देखने और बातचीत करने" का एक सामान्य कौशल सीख रहा है जिसे वह उन नई स्थितियों में लागू कर सकता है जिन्हें उसने पहले कभी नहीं देखा।
सारांश
पेपर का तर्क है कि हमें AI को एक ऐसे उपकरण के रूप में मानना बंद करना चाहिए जो आदेशों का इंतज़ार करता है, और इसे एक ऐसे साथी के रूप में मानना शुरू करना चाहिए जो दुनिया में मौजूद है। मॉडल, प्रशिक्षण डेटा और पूर्ण सिस्टम कोड जारी करके, लेखक दुनिया को "पूछो और प्रतीक्षा करो" से "देखो और करो" की ओर बढ़ने में मदद करना चाहते हैं, जिससे AI एक सच्चा साथी बन सके जो आपके पूछने से पहले ही चीज़ों को नोटिस कर लेता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।