Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents
يُعد Qwen-UI-Agent وكيل واجهة مستخدم رسومية (GUI) تأسيسيًا متمحورًا حول العالم الحقيقي، يوحّد بيئات الهاتف المحمول، والكمبيوتر، والويب، والبحث العميق (DeepSearch) مع مساحة عمل هجينة وحلقة بيانات طيار (data flywheel) بأسلوب AutoResearch لتحقيق أداء رائد في اختبارات قياس الأداء للهواتف المحمولة مع تقديم نتائج تنافسية عبر المهام الرقمية الأوسع نطاقًا.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صديقًا آليًا فائق الذكاء يمكنه معالجة سياقك الرقمي والقيام بأي شيء تطلبه منه. لكن في الوقت الحالي، هذا الروبوت يشبه طالبًا لم يدرس أبدًا إلا في فصل دراسي مثالي وهادئ لا توجد به أي مشتتات. هو يعرف كيف يحل المسائل الرياضية على الورق، ولكن إذا وضعته في مطبخ حقيقي فوضوي، به موقد لزج، وكلب ينبح، وباب يعلق عند فتحه، فقد يرتبك ويسقط قطعة التوست. هذه هي الحالة الراهنة لـ "وكلاء واجهة المستخدم الرسومية" (GUI agents) — وهي برامج حاسوبية مصممة للنظر إلى الشاشات والنقر على الأزرار تمامًا كما يفعل البشر. إنهم بارعون في اتباع التعليمات في ألعاب الفيديو المحاكية والآمنة، لكنهم غالبًا ما يتعثرون عندما يواجهون الواقع الفوضوي وغير المتوقع للهواتف والحواسيب الفعلية.
السؤال الكبير الذي يسأله العلماء هو: كيف نعلم هؤلاء المساعدين الرقميين التوقف عن كونهم طلابًا في فصل دراسي والبدء في كونهم خبراء في العالم الحقيقي؟ نحن بحاجة إليهم ليس فقط للنقر على الأزرار، بل لفهم متى يحجب إعلان منبثق رؤيتهم، وللانتقال بين هاتفك وحاسوبك المحمول دون فقدان حبل أفكارهم، وحتى لملاحظة متى يحدث خطأ ما (مثل إلغاء رحلة طيران) وتقديم حل قبل أن تطلبه حتى. إذا تمكنا من فك هذه الشفرة، يمكن لهؤلاء الوكلاء أن يصبحوا المساعدين المثاليين، حيث يتولون كل شيء من حجز السفر إلى تنظيم حياتك الرقمية، مما يجعل التكنولوجيا تبدو أقل كأداة تقاتلها وأكثر كشريك يفهمك حقًا.
تعرف على Qwen-UI-Agent: الروبوت الذي تعلم العيش في العالم الحقيقي
إليك Qwen-UI-Agent، نوع جديد من المساعدين الرقميين الذي طوره فريق MAI-UI في شركة Alibaba. فكر في الأمر كفرق بين روبوت يتدرب على دمية تدريب وروبوت خاض معركة حقيقية في الحلبة. بينما كان الوكلاء الآخرون مشغولين بالحصول على درجات مثالية في محاكاة ألعاب الفيديو، تم إرسال Qwen-UI-Agent إلى البرية، ليتعلم التنقل عبر أكثر من 100 هاتف فعلي بتطبيقات حقيقية، واتصالات إنترنت حقيقية، وانقطاعات من الحياة الواقعية.
أدرك الفريق أنه لجعل الوكيل مفيدًا حقًا، لم يكن بإمكانهم جعل "الدماغ" أذكى فحسب؛ بل كان عليهم تغيير "الجسد" بالكامل والبيئة التي يعيش فيها. إليك كيف فعلوا ذلك، باستخدام بعض التشبيهات الممتعة لشرح السحر:
1. "صالة الألعاب الرياضية الواقعية" مقابل "لعبة الفيديو"
تتدرب معظم وكلاء الذكاء الاصطنا-عي في "صناديق رملية" (sandboxes) — غرف رقمية حيث يتم إعادة ضبط كل شيء بشكل مثالي بعد كل محاولة. الأمر يشبه ممارسة كرة السلة في صالة رياضية حيث لا تتحرك السلة أبدًا ولا ترتد الكرة بشكل خاطئ. لكن الحياة الواقعية فوضوية. الهواتف بها إعلانات منبثقة، والتطبيقات تنهار، وقد تواجه طلب إذن لم تكن تتوقعه.
تم تدريب Qwen-UI-Agent في بيئة تشغيل متنقلة للأجهزة الحقيقية (Real-Device Mobile Runtime). تخيل مستودعًا ضخمًا يحتوي على أكثر من 100 هاتف فعلي، جميعها تعمل بتطبيقات حقيقية مثل التي أستخدمها أنا وأنت. النظام ذكي جدًا بحيث يمكنه رصد هاتف "مريض" (يعاني من خلل) واستبدال المهمة فورًا بهاتف سليم، تمامًا مثل المدرب الذي يستبدل اللاعبين أثناء المباراة. سمح هذا للوكيل بتعلم كيفية التعامل مع فوضى العالم الحقيقي، من النوافذ المنبثقة الغريبة إلى أعطال الشبكة، بدلًا من مجرد حفظ مسارات مثالية في لعبة فيديو.
2. "السكين السويسري" لمساحة العمل
في السابق، كان الوكلاء مثل الأشخاص الذين يمكنهم استخدام أيديهم فقط (النقر والنقر). إذا احتاجوا إلى نقل ملف أو إجراء عملية حسابية معقدة، كان عليهم النقر عبر القوائم لساعات. حصل Qwen-UI-Agent على "سكين سويسري".
لقد تعلم دمج أفعال واجهة المستخدم الرسومية (GUI actions) (النقر، الكتابة، التمرير) مع أفعال واجهة السطر البرمجي (CLI actions) (كتابة الأوامر في نافذة الأوامر، مثل عباقرة الكمبيوتر).
- التشبيه: تخيل أنك بحاجة لتنظيم 100 صورة. الوكيل العادي سينقر على "فتح"، "تحديد"، "نقل"، "تكرار" 100 مرة. أما Qwen-UI-Agent فيمكنه القول: "مهلًا، سأكتب أمرًا لنقل كل هذه الملفات دفعة واحدة!". يمكنه أيضًا تنفيذ أفعال مجمعة (batching)، مما يعني أنه يمكنه التخطيط لتسلسل كامل من التحركات في خطوة واحدة، مثل لاعب الشطرنج الذي يفكر ثلاث خطوات للأمام، بدلًا من تحريك قطعة واحدة في كل مرة. جعل هذا منه سريعًا وفعالًا للغاية.
3. "المدرب الآلي" لتدفق البيانات
عادةً، يتطلب تعليم الروبوت الكثير من المعلمين البشريين الذين يضعون أسئلة الاختبار ويقيمون الإجابات. هذا بطيء وممل. يستخدم Qwen-UI-Agent "تدفق بيانات بأسلوب البحث التلقائي" (AutoResearch-style Data Flywheel).
فكر في هذا كمدرب آلي يراقب الروبوت وهو يلعب، يكتشف أين أخطأ، ويقوم فورًا بإنشاء تمرين تدريبي جديد وأصعب لإصلاح ذلك الخطأ تحديدًا. يساعد الوكيل نفسه في تصميم المهام، ويجد أخطاءه الخاصة، ويخطط للجولة التالية من التدريب. إنه حلقة تحسين ذاتي حيث يصبح الروبوت أفضل من خلال تعليم نفسه، مع تدخل البشر فقط لتقديم توجيهات رفيعة المستوى.
4. "الخادم الاستباقي"
معظم الروبوتات تنتظر أن تقول لها: "هيا، افعلي هذا". لكن Qwen-UI-Agent لديه "طبقة ربط" (Harness Layer) تسمح له بأن يكون استباقيًا.
- التشبيه: تخيل أنك تتلقى إشعارًا يفيد بإلغاء رحلتك الجوية. الروبوت العادي ينتظر منك أن تطلب منه البحث عن رحلة جديدة. أما Qwen-UI-Agent فيكتشف الإشعار، ويستنتج الحدث القابل للتنفيذ، ويتحقق من تقويمك، ويبحث في جداول القطارات، ويقارن الأسعار، ويقدم لك خطة تعافي كاملة قبل أن تستيقظ حتى. هو لا ينتظر الأوامر فحسب؛ بل يحدد اللحظات القابلة للتنفيذ من إشاراتك الرقمية ويقترح الخطوات المناسبة التالية.
النتائج: هل نجح الأمر؟
وضع الفريق Qwen-UI-Agent تحت الاختبار في ساحات صعبة للغاية، وكانت النتائج مبهرة.
- على الهواتف الحقيقية: في اختبار يسمى MobileWorld-Real، والذي يستخدم هواتف حقيقية وتطبيقات حقيقية، نجح Qwen-UI-Agent بنسبة 92.2% من المرات. لقد تفوق على أفضل النماذج مغلقة المصدر (مثل Opus 4.8 و GPT-5.6 Sol) بفارق كبير. وفي اختبار آخر يسمى AndroidDaily، حقق نسبة تقارب الكمال بلغت 97.5%.
- على الحواسيب: عند اختباره في مهام حاسوبية معقدة (OSWorld-Verified)، حقق نسبة 79.5%، محتلًا المركز الثاني إجمالاً ومتفوقًا على العديد من النماذج الرائدة الأخرى. كما أظهر قدرته على التعامل مع المهام الطويلة والمعقدة، حيث حقق درجة تقدم جزئي بنسبة 40.0% في اختبار OSWorld-v2 الأكثر صعوبة، مما يعني أنه يمكنه إنجاز معظم الخطوات في الوظائف الصعبة حتى لو لم يكمل كل خطوة بدقة مطلقة.
- على الويب: سجل 73.6% في WebArena، وهو اختبار للتنقل في المواقع الإلكترونية المعقدة، و 81.5% في ScreenSpot-Pro، مما يثبت قدرته على العثور على الزر الصحيح على الشاشة حتى لو كان صغيرًا جدًا أو يصعب رؤيته.
ماذا يعني هذا؟
تشير الورقة البحثية إلى أنه لبناء وكلاء ذكاء اصطناعي مفيدين حقًا، لا يمكننا فقط جعل "الدماغ" أكبر؛ بل يجب علينا تغيير كيفية تعلمهم وأين يمارسون تدريباتهم. من خلال التدريب على أجهزة حقيقية، ودمج طرق مختلفة من العمل (النقر والبرمجة)، والسماح للوكيل بالمساعدة في تصميم تدريبه الخاص، أظهر Qwen-UI-Agent أنه من الممكن سد الفجوة بين "روبوت في لعبة فيديو" و"روبوت يمكنه مساعدتك حقًا في الحياة الواقعية".
إنه ليس حلاً مثاليًا بعد — إذ يعترف المؤلفون بوجود تحديات تتعلق بالسلامة والأتمتة الكاملة للعملية بأكملها — ولكنه خطوة هائلة للأمام. إنه يوضح أنه مع المزيج الصحيح من الممارسة في العالم الحقيقي وحلقات التدريب الذكية، أصبح مساعدونا الرقميون جاهزين أخيرًا لترك الفصل الدراسي والانضمام إلينا في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.