MobileExplorer: Accelerating On-Device Inference for Mobile GUI Agents via Online Exploration
يُعد MobileExplorer إطار عمل مبتكرًا يسرع عملية الاستنتاج على الأجهزة لوكلاء واجهة المستخدم الرسومية للهواتف المحمولة من خلال استغلال وقت التفكير الخاص بالنموذج لإجراء استكشاف متوازٍ عبر الإنترنت لعناصر واجهة المستخدم، مما يولد تلميحات سياقية لتقليل خطوات التفكير وزمن الاستجابة مع الحفاظ على معدلات نجاح عالية للمهام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً شخصياً ذكياً جداً، ولكنه بطيء نوعاً ما، يعيش داخل هاتفك. مهمة هذا المساعد هي النظر إلى شاشتك، وفهم ما تريد فعله (مثل "إرسال رسالة نصية" أو "البحث عن وصفة طعام")، ثم الضغط على الأزرار الصحيحة لتنفيذ ذلك.
المشكلة هي أن هذا المساعد هو "نموذج لغوي بصري" (Vision-Language Model). إنه ذكي للغاية في فهم الصور والنصوص، لكنه يستغرق وقتاً طويلاً في التفكير. فكر في الأمر كأنه بروفيسور عبقري يحتاج إلى 30 ثانية لحل مسألة رياضية واحدة، بينما عملية الضغط على زر في هاتفك لا تستغرق سوى جزء من الثانية.
في الطريقة القديمة، كان المساعد يحدق في الشاشة، ويستغرق 30 ثانية في التفكير، ثم يضغط أخيراً على زر ما. وخلال هذه الثلاثين ثانية، يظل الهاتف دون القيام بأي شيء. إذا كانت المهمة تتطلب 20 ضغطة، فستكون فترة الانتظار طويلة جداً.
إليك "MobileExplorer".
أدرك الباحثون وراء MobileExplorer أنه يمكنهم استغلال "وقت التفكير" هذا للقيام بشيء آخر. إليك كيف يعمل ذلك، باستخدام بعض التشبيهات البسيطة:
1. استراتيجية "بينما تنتظر"
تخيل أنك تنتظر نضوج البيتزا في الفرن (وقت التفكير البالغ 30 ثانية). بدلاً من الوقوف هناك تحدق في الفرن فقط، تستغل ذلك الوقت للتحقق سريعاً من الثلاجة، وإحضار المشروبات، وتجهيز الطاولة. أنت لا تؤخر نضوج البيتزا؛ أنت فقط تستعد للخطوة التالية أثناء عمل الفرن.
يفعل MobileExplorer الشيء نفسه تماماً. فبينما "يفكر" الذكاء الاصطناعي فيما يجب فعله تالياً، يقوم النظام بهدوء وسرعة بالضغط على بعض الأزرار المختلفة على الشاشة ليرى ماذا سيحدث. الأمر يشبه طرق بعض الأبواب في ممر ما لترى أي منها سيفتح، وذلك فقط لجمع المعلومات.
2. "المحقق الذكي" (صلة المهمة)
النظام لا يضغط على أزرار عشوائية؛ لأن ذلك سيكون فوضوياً. بدلاً من ذلك، يعمل كالمحقق الذي يعرف الهدف.
- الهدف: "أريد العثور على فيلم."
- الإجراء: ينظر النظام إلى الشاشة ويسأل نفسه: "أي الأزرار قد تؤدي إلى الأفلام؟" يتجاهل أزرار "الحاسبة" أو "الطقس" ويركز على أزرار مثل "Netflix" أو "البحث".
- النتيجة: يتحقق بسرعة من تلك المناطق المحددة، ويرى ما هي الشاشات الجديدة التي ستظهر، ثم يدون ملاحظة صغيرة: "آه، زر 'الأفلام' يؤدي إلى قائمة التصنيفات."
3. زر "التراجع السحري" (التراجع على مستويين)
هذا هو الجزء الصعب: إذا استمررت في التجربة والخطأ، فقد تضل الطريق. قد تفتح عن طريق الخطأ قائمة لم تكن تقصدها، والآن لن تجد طريق العودة إلى الشاشة الأصلية.
يمتلك MobileExplorer نظام "تراجع" قوياً للغاية يتكون من مستويين:
- المستوى 1 (التراجع السريع): يحاول الضغط على زر "الرجوع" (Back) عدة مرات للعودة إلى حيث بدأ. ويتحقق مما إذا كانت الشاشة تبدو كما كانت قبل ذلك (باستخدام بصمة رقمية تسمى "الهاش الإدراكي" أو Perceptual Hash).
- المستوى 2 (زر إعادة الضبط): إذا فشل زر "الرجوع" (ربداً بسبب ظهور نافذة منبثقة منعت الطريق)، فإنه لا يصاب بالذعر. بل يعود فوراً إلى "الشاشة الرئيسية" للهاتف، ثم يعيد تشغيل الخطوات الدقيقة التي اتخذها للوصول إلى المكان الأصلي. الأمر يشبه قول: "حسناً، لنبدأ من جديد من الشاشة الرئيسية، ولكن هذه المرة سأسير في المسار نفسه ولكن بشكل أسرع."
يضمن هذا أن عملية "الاستكشاف" لا تفسد المهمة الأساسية أبداً. سيعود الهاتف دائماً إلى الحالة الدقيقة التي كان عليها قبل بدء الاستكشاف.
4. "ورقة الغش" (تلميحات السياق)
بمجرد أن يجمع النظام كل هذه المعلومات الإضافية (مثل "قائمة الأفلام موجودة تحت تبويب 'الترفيه'")، فإنه يلخصها في ملاحظة صغيرة سهلة القراءة. ويقدم هذه الملاحظة إلى الذكاء الاصطناعي قبل أن ينهي الذكاء الاصطناعي قراره النهائي.
لذا، بدلاً من أن يخمن الذكاء الاصطناعي، أصبح لديه الآن "ورقة غش": "مهلاً، لقد تحققتُ من ذلك سابقاً، قائمة الأفلام موجودة هنا تماماً." يساعد هذا الذكاء الاصطناعي على اتخاذ القرار الصحيح بشكل أسرع، مما يعني أنه يحتاج إلى خطوات إجمالية أقل لإتمام المهمة.
النتائج
اختبر الباحثون هذا النظام على هواتف وتطبيقات حقيقية، ووجدوا ما يلي:
- إنه أسرع: استغرقت العملية برمتها وقتاً أقل بنسبة 23% تقريباً لأن الذكاء الاصطناعي لم يعد بحاجة للتخمين كثيراً.
- إنه أذكى: نجح الذكاء الاصطناعي في إتمام المهمة بنسبة أفضل قليلاً (بزيادة تصل إلى 5%) لأنه امتلك معلومات أكثر.
- إنه يحافظ على الخصوصية: كل شيء يحدث مباشرة على الهاتف. لا يتم إرسال أي بيانات إلى السحابة (Cloud)، لذا تظل نشاطات شاشتك خاصة بك.
باختصار، يحول MobileExplorer "وقت الانتظار" الخاص بالذكاء الاصطناعي (البطيء والذكي) إلى "وقت إنتاجي"، مما يسمح للهاتف باستكشاف الواجهة بأمان وكفاءة حتى يتمكن الذكاء الاصطناعي من إنهاء مهامك بشكل أسرع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.