StepX-Edge: An On-Device UI Vision-Language Model via Architecture-Training-Deployment Co-Design
StepX-Edge एक 0.9B-पैरामीटर वाला ऑन-डिवाइस विजन-लैंग्वेज मॉडल है जो UI-जागरूक आर्किटेक्चर, एक सहक्रियात्मक पांच-चरणीय प्रशिक्षण पाठ्यक्रम और एक उच्च-परिशुद्धता क्वांटाइजेशन रणनीति के नवीन सह-डिज़ाइन के माध्यम से अत्याधुनिक UI समझ और मोबाइल चिप्स पर कुशल वास्तविक समय पर तैनाती प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट दिमाग है जो किताबें पढ़ सकता है, चित्रों को देख सकता है और उनके बारे में सवालों के जवाब दे सकता है। यह विज़न-लैंग्वेज मॉडल्स (VLMs) की दुनिया है। लंबे समय तक, ये दिमाग विशाल, क्लाउड-आधारित डेटा सेंटरों में रहते थे जहाँ भारी सर्वर होते थे, क्योंकि उन्हें सोचने के लिए बहुत अधिक शक्ति और मेमोरी की आवश्यकता होती थी। लेकिन क्या होगा अगर आप उस दिमाग को सिकोड़कर अपने स्मार्टफोन के अंदर फिट कर सकें? यही सपना है: एक ऐसा AI होना जो आपकी फोन स्क्रीन को देख सके, समझ सके कि आप क्या कर रहे हैं, और बिना इंटरनेट कनेक्शन के सही बटन दबाने में आपकी मदद कर सके।
समस्या एक क्लासिक ट्रेड-ऑफ (समझौता) है। स्क्रीन पर छोटे टेक्स्ट को पढ़ने या किसी विशिष्ट आइकन को खोजने के लिए पर्याप्त स्मार्ट बनने के लिए, आपको आमतौर पर बहुत सारे "न्यूरॉन्स" (पैरामीटर्स) की आवश्यकता होती है, जो इसे भारी और धीमा बना देता है। लेकिन आपके फोन में बैटरी, मेमोरी और प्रोसेसिंग पावर की सख्त सीमाएं हैं। यदि आप दिमाग को बहुत अधिक सिकोड़ देते हैं, तो यह बेवकूफ हो जाता है और गलतियाँ करने लगता है, जैसे कि "क्लोज" बटन को "सेव" बटन समझ लेना। यदि आप इसे बड़ा रखते हैं, तो यह मिनटों में आपकी बैटरी खत्म कर देता है। वैज्ञानिक अक्सर इस "सटीकता बनाम दक्षता" की पहेली को सुलझाने की कोशिश करते रहे हैं, जिसमें उन्हें अक्सर एक स्मार्ट-लेकिन-धीमे मॉडल या एक तेज़-लेकिन-बेवकूफ मॉडल के बीच चुनाव करना पड़ता है।
यहाँ StepX-Edge आता है, एक नया प्रोजेक्ट जो दावा करता है कि उसने इस कोड को क्रैक कर लिया है। शोधकर्ताओं ने एक बहुत छोटा AI मॉडल बनाया जिसमें केवल 0.9 बिलियन पैरामीटर्स हैं (इस तरह के कार्य के लिए एक बहुत छोटा आकार) जो सीधे मोबाइल फोन पर चलता है। उन्होंने केवल एक मौजूदा विशाल मॉडल को सिकोड़ा नहीं है; उन्होंने इसे पूरी तरह से नए सिरे से डिजाइन किया है। इसे एक ट्रक में छोटा इंजन लगाने के बजाय एक कस्टम रेस कार बनाने की तरह समझें।
सबसे पहले, उन्होंने आर्किटेक्चर (कार का फ्रेम) को फिर से डिजाइन किया। उन्होंने मॉडल के लिए एक विशेष "आँख" बनाई जो फोन स्क्रीन के अजीब आकारों (जो अक्सर चौकोर फोटो के विपरीत, लंबे और पतले होते हैं) के प्रति जुनूनी है और एक "पुल" बनाया जो मॉडल की आँखों द्वारा देखे गए दृश्य को मस्तिष्क के भाषाई कौशल से जोड़ता है ताकि कोई भी विवरण कम न हो। उन्होंने उन फैंसी, जटिल हिस्सों से परहेज किया जिन्हें फोन अच्छी तरह से हैंडल नहीं कर पाते, और मानक, विश्वसनीय हिस्सों पर टिके रहे जो मोबाइल चिप्स पर सुचारू रूप से काम करते हैं।
दूसरा, उन्होंने ट्रेनिंग (ड्राइवर के स्कूल) को बदला। मॉडल को हर प्रकार के डेटा के अराजक मिश्रण में फेंकने के बजाय, उन्होंने एक "करिकुलम" (पाठ्यचर्या) दृष्टिकोण का उपयोग किया। उन्होंने पाया कि मॉडल को एक साथ चार कौशल सिखाना—टेक्स्ट पढ़ना (OCR), स्क्रीन लेआउट को समझना, सवालों के जवाब देना और विशिष्ट बटनों की ओर इशारा करना—वास्तव में उन सभी को एक साथ बेहतर बनाने में मदद करता है। यह एक छात्र के पियानो और शतरंज सीखने जैसा है; एक के लिए आवश्यक फोकस दूसरे में भी मदद करता है। उन्होंने मॉडल को पांच चरणों में प्रशिक्षित किया, जिसमें सरल संरेखण (alignment) से शुरू होकर धीरे-धीरे जटिल, वास्तविक दुनिया के स्क्रीन इंटरैक्शन तक पहुँचा, जिससे यह सुनिश्चित हुआ कि चारों कौशल एक-दूसरे को मजबूत करें न कि एक-दूसरे के काम में बाधा डालें।
अंत में, उन्होंने डिप्लॉयमेंट (इंजन ट्यूनिंग) में महारत हासिल की। मॉडल को फोन में फिट करने के लिए, उन्हें इसे भारी रूप से कंप्रेस करना पड़ा, जो आमतौर पर इसकी बुद्धिमत्ता को खराब कर देता है। टीम ने एक चतुर दो-चरणीय कंप्रेशन तकनीक का उपयोग किया। उन्होंने "आँख" (विज़न भाग) और "मस्तिष्क" (भाषा भाग) के साथ अलग-अलग व्यवहार किया, मस्तिष्क को एक बहुत छोटे 4-बिट आकार में कंप्रेस किया जबकि आँख की सटीकता को उच्च स्तर पर रखा। फिर उन्होंने एक विशेष प्रशिक्षण पद्धति का उपयोग किया ताकि कंप्रेस किए गए मस्तिष्क को विवरण के नुकसान की भरपाई करना सिखाया जा सके, जिससे सटीकता का नुकसान 1% से भी कम रहा।
परिणाम क्या रहा? एक हाई-एंड फोन चिप (Snapdragon 8 Gen 5) पर, यह छोटा मॉडल स्थिरता से चलता है। यह एक स्क्रीनशॉट देख सकता है, उसे समझ सकता है और लगभग 0.84 सेकंड में सवालों के जवाब देना शुरू कर सकता है, और 98 टोकन प्रति सेकंड की गति से टेक्स्ट जेनरेट कर सकता है, जबकि यह केवल 1.4 GB मेमोरी का उपयोग करता है। परीक्षणों में, इस 0.9B मॉडल ने स्क्रीन पर चीनी टेक्स्ट पढ़ने और डिस्प्ले पर मौजूद चीज़ों के बारे में सवालों के जवाब देने जैसे कार्यों में बहुत बड़े मॉडलों (कुछ 2 से 2.3 बिलियन पैरामीटर्स वाले) को मात दी या उनके बराबर प्रदर्शन किया। लेखकों का सुझाव है कि आर्किटेक्चर, ट्रेनिंग और डिप्लॉयमेंट को सावधानीपूर्वक सह-डिज़ाइन करके, यह संभव है कि एक अत्यधिक सक्षम, ऑन-डिवाइस AI प्राप्त किया जाए जो गति के लिए सटीकता का त्याग नहीं करता है, जो पूरी तरह से आपके फोन पर रहने वाले स्मार्ट सहायकों के द्वार खोलता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।