🤖 AI

OpenMobile: Building Open Mobile Agents with Task and Trajectory Synthesis

تُعد OpenMobile إطار عمل مفتوح المصدر يعمل على توليد تعليمات مهام ومسارات وكلاء عالية الجودة من خلال خط أنابيب استكشاف قابل للتوسع واستراتيجية تبديل السياسات، مما يمكّن الوكلاء الذين يتم تدريبهم على بياناتها من تحقيق أداء تنافسي في الاختبارات المعيارية للهواتف المحمولة مع ضمان استناد النتائج إلى وظائف واسعة النطاق بدلاً من الإفراط في التخصيص.

المؤلفون الأصليون: Kanzhi Cheng, Zehao Li, Zheng Ma, Nuo Chen, Jialin Cao, Qiushi Sun, Zichen Ding, Fangzhi Xu, Hang Yan, Jiajun Chen, Anh Tuan Luu, Jianbing Zhang, Lewei Lu, Dahua Lin

نُشر 2026-04-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kanzhi Cheng, Zehao Li, Zheng Ma, Nuo Chen, Jialin Cao, Qiushi Sun, Zichen Ding, Fangzhi Xu, Hang Yan, Jiajun Chen, Anh Tuan Luu, Jianbing Zhang, Lewei Lu, Dahua Lin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تريد تعليم روبوت خادم كيفية استخدام هاتفك الذكي للقيام بأمور مثل "حجز رحلة طيران"، أو "ضبط تذكير"، أو "البحث عن صورة محددة".

في الوقت الحالي، الروبوتات المساعدة الأكثر تقدمًا (مثل تلك التي تنتجها شركات التكنولوجيا الكبرى) ذكية للغاية؛ حيث يمكنها تنفيذ هذه المهام بنسبة نجاح تصل إلى 70% تقريبًا. لكن هناك مشكلة: فهي عبارة عن "صناديق سوداء". نحن لا نعرف بالضبط كيف تم تعليمها، فقد تعلمت من بيانات سرية وخاصة لا يستطيع أحد غيرهم رؤيتها.

من ناح أخرى، يعاني مجتمع "المصدر المفتوح" (الهواة والباحثون الذين يشاركون أعمالهم)؛ فهم يحاولون تعليم روبوتاتهم باستخدام كتب مدرسية قديمة وغير منظمة (مجموعات بيانات عامة)، ولا تنجح روبوتاتهم إلا بنسبة 30% تقريبًا. إنهم عالقون في الظلام، يحاولون تخمين الطريقة التي اتبعها المحترفون.

إليك "OpenMobile".

فكر في "OpenMobile" كأنه "مدرسة روبوتات" مفتوحة المصدر وشفافة يمكن لأي شخص الانضمام إليها. إنه إطار عمل جديد مصمم لتعليم الوكلاء المتنقلين (الروبوتات التي تستخدم الهواتف) عبر إنشاء مواد تدريبية عالية الجودة خاصة به من الصفر.

إليك كيف يعمل، باستخدام بعض التشبيهات البسيطة:

1. "مكتبة كل شيء" (توليد المهام)

المشكلة: حاولت الطرق القديمة تعليم الروبوت من خلال مراقبته وهو يتجول داخل تطبيق ما لمرة واحدة، ثم التخمين: "أوه، ربما يحاول القيام بـ هذا؟". هذا يشبه محاولة تعلم خريطة مدينة كاملة عبر المشي في شارع واحد فقط وتخمين ما يوجد في الأحياء الأخرى. ستفقد الكثير من التفاصيل.

حل OpenMobile:
بدلاً من التخمين، يرسل OpenMobile الروبوت في رحلة بحث عن الكنز أولاً.

الخطوة 1: يتجول الروبوت عبر 20 تطبيق أندرويد مختلفًا، ينقر على الأزرار ويتنقل بين الشاشات لمجرد معرفة ما هو ممكن. يقوم ببناء "ذاكرة عالمية" ضخمة (مثل فهرس مكتبة عملاق) لكل ميزة في كل تطبيق.
الخطوة 2: بمجرد بناء المكتبة، ينظر "معلم" (ذكاء اصطناعي) إلى الفهرس ويكتب واجبات منزلية جديدة ومبتكرة.
- التشبيه: بدلاً من قول "انقر على الزر الأحمر"، يقول المعلم: "ابحث عن وصفة 'التاكو الحار' في تطبيق الطبخ، ثم أرسل المكونات في رسالة نصية إلى والدتك، وأخيرًا اضبط مؤقتًا لمدة 20 دقيقة".
- ولأن المعلم يمتلك المكتبة بأكملها، يمكنه إنشاء مهام معقدة ومتعددة الخطوات مبنية على الواقع، وليس مجرد تخمينات عشوائية.

2. "المدرب والطالب" (توليد المسارات)

المشكلة: عادةً، أنت تعلم الروبوت من خلال إظهار مثال مثالي ("خبير") يقوم بالمهمة بشكل مثالي. يقوم الروبوت بتقليد الخبير. ولكن ماذا يحدث عندما يرتكب الروبوت خطأً؟ إذا رأى أمثلة مثالية فقط، فلن يعرف كيفية إصلاح الخطأ. سيصاب بالذعر ويفشل.

حل OpenMobile:
يستخدم OpenMobile استراتيجية "تبديل السياسة" (Policy-Switching). تخيل طالبًا (المتعلم) ومدربًا بارعًا (الخبير) يعملان معًا.

يحاول الطالب القيام بالمهمة.
يراقبه المدرب عن كثب. وطالما أن الطالب يسير بشكل جيد، يستمر الطالب في العمل.
اللحظة السحرية: في اللحظة التي يبدأ فيها الطالب بالخروج عن المسار الصحيح (على سبيل المثال، نقر الزر الخطأ)، يتدخل المدرب فورًا، ويصلح الخطأ، ويوجه الطالب للعودة إلى المسار الصحيح.
النتيجة: يتعلم الروبوت ليس فقط كيفية النجاح، بل كيفية التعافي من الفشل. يتعلم أن ارتكاب خطأ ليس نهاية العالم، بل هو مجرد فرصة لتصحيح المسار. هذا هو "السر" الذي تفتقده معظم طرق المصدر المفتوح الأخرى.

3. النتائج: سد الفجوة

استخدم الفريق هذه الطريقة لإنشاء مجموعة بيانات تضم 2,800 مهمة معقدة و34,000 خطوة إجرائية. قاموا بتدريب روبوتاتهم على هذه البيانات واختبروها في ثلاثة اختبارات رئيسية (مثل "الأولمبياد" للروبوتات المتنقلة).

قبل: كانت روبوتات المصدر المفتوح تسجل حوالي 30%.
بعد: سجلت روبوتاتهم 51.7% وحتى 64.get% في أصعب الاختبارات.
الحكم النهائي: لقد أصبحوا الآن منافسين للعمالقة ذوي المصادر المغلقة من شركات التكنولوجيا الكبرى، مما يثبت أنك لست بحاجة إلى "صندوق أسود" لبناء روبوت فائق الذكاء.

لماذا هذا مهم؟

تناولت الورقة البحثية أيضًا مخاوف كبيرة: "هل غشوا من خلال حفظ أسئلة الاختبار؟".
لقد أجروا "فحصًا للسرقة الأدبية" ووجدوا أنه بينما كانت بيانات التدريب الخاصة بهم مرتبطة بتطبيقات الاختبار، إلا أنها لم تكن تنسخ أسئلة الاختبار المحددة. لقد تحسنت الروبوتات لأنها تعلمت كيف تفكر وكيف تصحح الأخطاء، وليس لأنها حفظت الإجابات.

باختًا، OpenMobile هو مجموعة أدوات تتيح لأي شخص بناء روبوت خادم ذكي، وقابل للتكيف، ويعرف كيفية التعافي عندما تسوء الأمور، وكل ذلك دون الحاجة إلى الوصول إلى بيانات الشركات السرية. إنه يشبه إعطاء الجميع وصفة الكعكة المثالية، بدلاً من مجرد بيع الكعكة لهم.

إليك ملخص تقني مفصل لورقة البحث بعنوان "OpenMobile: بناء وكلاء هاتف محمول مفتوحين عبر تركيب المهام والمسارات".

1. بيان المشكلة

على الرغم من التقدم الكبير في وكلاء الهاتف المحمول المدعومين بنماذج الرؤية واللغة (VLMs)، إلا أن هناك فجوة حرجة بين الأنظمة المملوكة (مثل Step-GUI وMAI-UI) والنهج مفتوحة المصدر.

الفجوة: تحقق الأنظمة المملوكة الرائدة نسبة نجاح تبلغ حوالي 70% في اختبارات مثل AndroidWorld، لكنها تعتمد على بيانات تدريب ووصفات تركيب مغلقة وغير معلنة. في المق المقابل، تظل النماذج مفتوحة المصدر المدربة على مجموعات بيانات عامة (مثل AndroidControl وAMEX) عند مستوى ثابت تقريباً يبلغ 30%.
محدودية الأساليب المفتوحة الحالية:
- تركيب المهام (Task Synthesis): غالباً ما تربط الأساليب المفتوحة الحالية بين استكشاف البيئة وتوليد التعليمات، مما يحد من تنوع المهام بما يتوافق مع ما يكشفه مسار واحد محلي فقط.
- جمع المسارات (Trajectory Collection): يفشل أسلوب "تقطير الخبير" (Expert Distillation) القياسي (الذي يحاكي المسارات المثالية) في تعليم الوكلاء كيفية التعافي من الأخطاء. وعلى العكس من ذلك، فإن "التطور الذاتي" (Self-evolution) (التعلم من النجاحات الخاصة بالوكيل) يعاني من بطء التقارب وسقف محدود للقدرات.
- ندرة البيانات: هناك نقص في مجموعات البيانات واسعة النطلة وعالية الجودة ومفتوحة المصدر التي تتضمن كلاً من تعليمات المهام المتنوعة وإشارات التعافي من الخطأ.

2. المنهجية: إطار عمل OpenMobile

OpenMobile هو إطار عمل مفتوح المصدر مصمم لتركيب تعليمات مهام ومسارات عالية الجودة. وهو يعالج التحديين الأساسيين من خلال مكونين مبتكرين:

أ. تركيب المهام القابل للتوسع (نموذج منفصل)

بدلاً من توليد المهام من مسار واحد، يقوم OpenMobile بفصل الاستكشاف عن التوليد لبناء ذاكرة بيئية عالمية ( $M$ ).

استكشاف البيئة: يقوم الوكيل بعمليات استكشاف (مثل المشي العشوائي) عبر التطبيقات المستهدفة لجمع انتقالات الشاشة والإجراءات.
بناء الذاكرة العالمية:
- إزالة تكرار الشاشات: يتم تجميع الشاشات المتشابهة بصرياً باستخدام التجزئة الإدراكية (Perceptual Hashing) لتحديد الشاشات الفريدة ( $S$ ).
- استخراج الوظائف: يستخرج نموذج رؤية ولغة (VLM) قوي أوصافاً باللغة الطبيعية لوظائف واجهة المستخدم ( $F$ ) لكل شاشة فريدة.
- الجوار والفهرسة: يتم بناء هيكل رسومي ( $N$ ) يربط الشاشات ببعضها، ويتم إنشاء تضمينات دلالية (Semantic Embeddings) لتمكين الاسترجاع عبر الشاشات.
توليد التعليمات المعزز بالذاكرة: بالنسبة لشاشة مستهدفة، يقوم النظام ببناء سياق ( $C$ $C$ ) يتكون من:
- الذاكرة قصيرة المدى: وظائف الشاشات المجاورة (الممكن الوصول إليها محلياً).
- الذاكرة طويلة المدى: الوظائف ذات الصلة دلالياً من الشاشات البعيدة داخل نفس التطبيق.
- التوليد: يستخدم نموذج VLM هذا السياق الغني لتركيب تعليمات معقدة ومتعددة الخطوات ومبنية على الواقع، مما يشجع على تركيب الميزات المتداخلة.

ب. تشغيل تبديل السياسات (تركيب التعافي من الخطأ)

لجمع مسارات التدريب التي تعلم التعافي من الخطأ، يقدم OpenMobile استراتيجية تبديل السياسات التي تتناوب بين المتعلم ( $\pi_l$ ) والخبير ( $\pi_e$ ).

المشكلة في البدائل: يفتقر تقطير الخبير الصرف إلى إشارات الخطأ؛ بينما يعاني التطور الذاتي الصرف من البطء والمحدودية بقدرة المتعلم الحالية.
الحل (تبديل التدخل الخبير):
1. يقوم المتعلم بتنفيذ المهمة.
2. يقوم المراقب (نموذج الخبير) بمراقبة التفاعل في الوقت الفعلي.
3. إذا اكتشف المراقب انحراف المتعلم عن التقدم المنتج، فإنه يفعل عملية التبديل إلى الخبير للتدخل والتصحيح.
4. ينفذ الخبير بضع خطوات للتعافي، ثم تعود السيطرة إلى المتعلم.
النتيجة: ينتج هذا مسارات تحتوي على نماذج نادرة للتعافي من الخطأ (خطأ $\leftarrow$ تصحيح) مع ضمان إكمال المهمة في النهاية.

3. المساهمات الرئيسية

إطار عمل ومجموعة بيانات OpenMobile: إصدار إطار عمل مفتوح المصدر ومجموعة بيانات تحتوي على 2,800 تعليمات مهمة و34,000 خطوة إجراء عبر 20 تطبيق أندرويد.
تقنيات تركيب مبتكرة:
- تركيب المهام المنفصل: استخدام الذاكرة البيئية العالمية لتوليد تعليمات متنوعة ومعقدة تتجاوز قيود المسار المحلي.
- تشغيل تبديل السياسات: استراتيجية تلتقط بفعالية إشارات التعافي من الخطأ، وهي مكون حاسم مفقود في التعلم بالتقليد القياسي.
تحليل شفاف: قام المؤلفون بتحليل صارم للتداخل بين البيانات التركيبية ومجموعات الاختبار المرجعية، مما أثبت أن مكاسب الأداء ناتجة عن تغطية الوظائف الواسعة وتعزيز قدرات التعافي من الخطأ وليس تسرب البيانات أو الإفراط في ملاءمة الاختبار (Overfitting).

4. النتائج التجريبية

قام المؤلفون بضبط نماذج Qwen2.5-VL-7B و Qwen3-VL-8B بدقة باستخدام مجموعة بيانات OpenMobile، وقاموا بتقييمها على ثلاثة اختبارات مرجعية ديناميكية: AndroidWorld و AndroidLab و MobileWorld.

قفزة في الأداء:
- AndroidWorld: حقق نموذج Qwen2.5-VL-7B الذي تم ضبطه بدقة نسبة نجاح 51.7% (ارتفاعاً من الأساس ~25%)، ووصل نموذج Qwen3-VL-8B إلى 64.7%. وهذا يتفوق بشكل كبير على النهج المفتوحة الحالية (التي تحوم حول 30%) وينافس الأنظمة الصناعية المملوكة الرائدة (مثل MAI-UI بنسبة 70.7%).
- التعميم: أظهرت النماذج قدرة قوية على التعميم على MobileWorld (وهو اختبار مرجعي أصعب يتضمن مهاماً عبر تطبيقات متعددة وطويلة الأمد)، حيث تحسنت النسبة من 9.4% إلى 17.7% (لنموذج Qwen3-VL-8B).
دراسات الاستئصال (Ablation Studies):
- تركيب المهام: حقق نهج الذاكرة المنفصلة (Decoupled memory-based approach) تعقيداً وصحة أعلى في المهام مقارنة بالنماذج المزدوجة (OS-Genesis).
- استراتيجية التشغيل: أنتجت استراتيجية تبديل التدخل الخبير أعلى أداء لاحق (48.3% Pass@1) وأعلى كثافة لحالات التعافي من الخطأ (1.56 لكل مسار) مقارنة بالتبديل العشوائي أو التقطير الصرف.
فحص تلوث البيانات: أظهر تحليل التشابه الدلالي أن 3.5% فقط من التعليمات التركيبية لديها تشابه عالٍ (>0.7) مع تعليمات الاختبار. أدى حذف هذه العينات عالية التشابه إلى انخفاض طفيف فقط في الأداء، مما يؤكد أن المكاسب ناتجة عن تحسين القدرات العامة، وليس الإفراط في ملاءمة الاختبار.

5. الأهمية

سد الفجوة: يثبت OpenMobile أن وكلاء المصادر المفتوحة يمكنهم منافسة الأنظمة المملوكة إذا تم تزويدهم ببيانات تركيبية عالية الجودة تغطي وظائف متنوعة وتتضمن إشارات التعافي من الخطأ.
قابلية التكرار: من خلال إصدار الكود، والبيانات، ووصفات التركيب، تتيح الورقة البحثية للمجتمع البحثي إعادة إنتاج هذه النتائج والبناء عليها، مما يعالج طبيعة "الصندوق الأسود" التي يتسم بها قادة الصناعة الحاليون.
الاتجاه المستقبلي: يسلط العمل الضوء على أن تغطية الوظائف وتدريب التعافي من الخطأ أكثر أهمية لأداء وكيل الهاتف المحمول من مجرد زيادة حجم النموذج أو استخدام مجموعات بيانات ثابتة. إنه يضع معياراً جديداً لتركيب البيانات المفتوحة في مجال وكلاء واجهات المستخدم الرسومية (GUI agents).