StepX-Edge: An On-Device UI Vision-Language Model via Architecture-Training-Deployment Co-Design
يُعد StepX-Edge نموذجاً لغوياً بصرياً يعمل على الأجهزة بـ 0.9 مليار معلمة، ويحقق فهماً فائقاً لواجهات المستخدم (UI) ونشراً فعالاً في الوقت الفعلي على شرائح الهواتف المحمولة من خلال تصميم مشترك مبتكر يجمع بين بنية مدركة لواجهات المستخدم، ومنهج تدريب تآزري مكون من خمس مراحل، واستراتيجية تكميم عالية الدقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك عقل روبوت فائق الذكاء يمكنه قراءة الكتب، والنظر إلى الصور، والإجابة عن أسئلة حولها. هذا هو عالم نماذج الرؤية واللغة (VLMs). لفترة طويلة، عاشت هذه العقول في مراكز بيانات ضخمة سحابية ذات خوادم هائلة، لأنها كانت تحتاج إلى كميات هائلة من الطاقة والذاكرة لكي تفكر. ولكن ماذا لو استطعت تقليص ذلك العقل ليناسب هاتفك الذكي؟ هذا هو الحلم: امتلاك ذكاء اصطناعي يمكنه النظر إلى شاشة هاتفك، وفهم ما تفعله، ومساعدتك في الضغط على الزر الصحيح، وكل ذلك دون الحاجة إلى اتصال بالإنترنت.
المشكلة هي مقايضة كلاسيكية. لكي تجعل العقل ذكياً بما يكفي لقراءة نص صغير على الشاشة أو العثور على أيقونة محددة، فإنك تحتاج عادةً إلى الكثير من "الخلايا العصبية" (المعلمات/Parameters)، مما يجعله ثقيلاً وبطيئاً. لكن هاتفك لديه قيود صارمة على البطارية، والذاكرة، وقوة المعالجة. إذا قلصت العقل كثيراً، فسيصبح غبياً ويبدأ في ارتكاب الأخطاء، مثل الاعتقاد بأن زر "إغلاق" هو زر "حفظ". وإذا أبقيته كبيراً، فسيستنزف بطاريتك في دقائق. لقد حاول العلماء حل لغز "الدقة مقابل الكفاءة" هذا، وغالباً ما كان عليهم الاختيار بين نموذج ذكي ولكن بطيء، أو نموذج سريع ولكن غبي.
هنا يأتي مشروع StepX-Edge، وهو مشروع جديد يزعم أنه نجح في فك هذه الشفرة. فقد بنى الباحثون نموذج ذكاء اصطناعي صغيراً يحتوي على 0.9 مليار معلمة فقط (حجم صغير جداً لهذا النوع من المهام) يعمل مباشرة على الهاتف المحمول. لم يكتفوا بمجرد تقليص نموذج ضخم موجود بالفعل؛ بل أعادوا تصميم الشيء برمته من الصفر. فكر في الأمر كبناء سيارة سباق مخصصة بدلاً من مجرد وضع محرك أصغر في شاحنة.
أولاً، أعادوا تصميم البنية (هيكل السيارة). فقد أنشأوا "عيناً" خاصة للنموذج مهووسة بالأشكال الغريبة لشاشات الهواتف (التي غالباً ما تكون طويلة ونحيفة، على عكس الصور المربعة) و"جسراً" يربط ما تراه العين بمهارات اللغة لدى العقل دون فقدان أي تفاصيل. وتجنبوا الأجزاء المعقدة والمبهرجة التي لا تستطيع الهواتف التعامل معها جيداً، ملتزمين بأجزاء قياسية وموثوقة تعمل بسلاسة على شرائح الهواتف.
ثانياً، غيروا طريقة التدريب (مدرسة السائق). فبدلاً من إلقاء النموذج في مزيج فوضوي من كل أنواع البيانات، استخدموا نهج "المنهج الدراسي". اكتشفوا أن تعليم النموذج أربع مهارات في وقت واحد — قراءة النصوص (OCR)، وفهم تخطيط الشاشة، والإجابة عن الأسئلة، والإشارة إلى أزرار محددة — يساعد في الواقع في جعلها جميعاً تتحسن معاً. الأمر يشبه طالباً يتعلم عزف البيانو ولعب الشطرنج؛ فالتركيز المطلوب لأحدهما يساعد الآخر. لقد دربوا النموذج في خمس مراحل، بدءاً من المحاذاة البسيطة وصولاً إلى التفاعلات المعقدة في العالم الحقيقي مع الشاشة، مما ضمن أن المهارات الأربع تعزز بعضها البعض بدلاً من أن تتصارع على الاهتمام.
أخيراً، أتقنوا عملية النشر (ضبط المحرك). لجعل النموذج يناسب الهاتف، كان عليهم ضغطه بشدة، وهو أمر يؤدي عادةً إلى تدمير ذكائه. استخدم الفريق تقنية ضغط من خطوتين ذكية؛ حيث عاملوا "العين" (الجزء البصري) و"العقل" (الجزء اللغوي) بشكل مختلف، فقاموا بضغط العقل إلى حجم 4 بت صغير جداً مع الحفاظ على دقة أعلى للعين. ثم استخدموا طريقة تدريب خاصة لـ "تعليم" العقل المضغوط كيفية التعويض عن فقدان التفاصيل، مما حافظ على خسارة الدقة عند أقل من 1%.
ما هي النتيجة؟ على شريحة هاتف عالية الأداء (Snapdragon 8 Gen5)، يعمل هذا النموذج الصغير باستقرار. يمكنه النظر إلى لقطة شاشة، وفهمها، والبدء في الإجابة عن الأسئلة في حوالي 0.84 ثانية، مع توليد نصوص بسرعة 98 توكن في الثانية، بينما يستخدم 1.4 جيجابايت فقط من الذاكرة. وفي الاختبارات، تفوق هذا النموذج (0.9B) أو عادل نماذج أكبر بكثير (بعضها يحتوي على 2 إلى 2.3 مليار معلمة) في مهام مثل قراءة النص الصيني على الشاشات والإجابة عن أسئلة حول ما يعرض على الشاشة. ويشير المؤلفون إلى أنه من خلال التصميم المشترك بعناية للبنية، والتدريب، والنشر، فمن الممكن الحصول على ذكاء اصطناعي عالي القدرة يعمل على الجهاز، دون التضحية بالدقة من أجل السرعة، مما يفتح الباب أمام مساعدين أذكياء يعيشون بالكامل داخل هاتفك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.