← أحدث الأبحاث
🤖 AI

UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations

تقدم الورقة البحثية UI-Mate، وهو وكيل واجهة مستخدم رسومية (GUI) ذو أوزان مفتوحة يستفيد من حزمة تدريب قابلة للتوسع ومرتبطة بالبيئة، ومن تعلم العروض التوضيحية في السياق، لتحقيق أداء رائد في مهام استخدام الكمبيوتر طويلة المدى، مما يحسن بشكل كبير من الموثوقية ومعدلات النجاح مقارنة بنموذجه الأساسي.

المؤلفون الأصليون: Zihan Ding, Longxu Dou, Qi Gao, Xiangwu Guo, Shengchao Hu, Zilong Huang, Zihang Jiang, Lei Ke, Mengcheng Lan, Weixian Lei, Hanxuan Li, Honglin Li, Xiyun Li, Zaitang Li, Leowei Liang, Xin Luo, Haozhe M
نُشر 2026-08-18
📖 7 دقيقة قراءة🧠 قراءة متعمّقة

المؤلفون الأصليون: Zihan Ding, Longxu Dou, Qi Gao, Xiangwu Guo, Shengchao Hu, Zilong Huang, Zihang Jiang, Lei Ke, Mengcheng Lan, Weixian Lei, Hanxuan Li, Honglin Li, Xiyun Li, Zaitang Li, Leowei Liang, Xin Luo, Haozhe Ma, Jiayi Mao, Zhoujie Pan, Can Qin, Tianyuan Qu, Weiqi Wang, Wenkai Wang, Yonglin Wang, Yuxin Wang, Chenxu Wu, Yingchen Yu, Chenyu Zhang, Yuhao Zheng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

لقد أصبحت الحواسيب أدوات قوية للتعامل مع المعلومات المعقدة، ومع ذلك، فإن طلب تنفيذ وظيفة مكتبية متعددة الخطوات من آلة غالباً ما يشبه محاولة تعليم طفل القيادة من خلال وصف الوجهة فقط. لسنوات، حاول الباحثون بناء وكلاء ذكاء اصطناعي يمكنهم النظر إلى الشاشة، وفهم ما يجب القيام به، والنقر على الأزرار الصحيحة للوصول إلى هناك. هذه الأنظمة، المعروفة باسم وكلاء واجهة المستخدم الرسومية (GUI agents)، حققت تقدماً، لكنها تعاني من مشكلتين مستمرتين. أولاً، تفتقر إلى قدر كافٍ من بيانات الممارسة عالية الجودة لتعلم القواعد الضمنية غير المنطوقة لكيفية استخدام البشر للبرامج فعلياً. ثانياً، غالباً ما تكون جامدة للغاية؛ فإذا أعطى الإنسان تعليمات غامضة، قد ينجح الجهاز مرة واحدة بالصدفة ولكنه سيفشل في المرة التالية لأنه لا يستطيع التكيف مع التغييرات الطفيفة في الشاشة أو عادات المستخدم الخاصة. كان الهدف هو إنشاء عامل رقمي ليس ذكياً بما يكفي لاتباع نص برمجي فحسب، بل موثوقاً بما يكفي للتعامل مع الواقع الفوضوي لسطح المكتب الحقيقي.

قدم فريق من شركة تينسنت (Tencent) نظاماً جديداً يسمى UI-Mate يعالج هذه المشكلات من خلال تغيير كيفية تعلم الوكيل وكيفية تلقيه للمساعدة. بدلاً من مجرد حفظ قائمة من النقرات، يتم تدريب النظام في بيئة محاكاة حيث يمكنه ممارسة آلاف المهام، من تنظيم جداول البيانات إلى إدارة البريد الإلكتروني، بينما يقوم محرك متخصص بفحص عمله في الوقت الفلي. تسمح هذه العملية للنظام بتعلم ليس فقط كيف يجب أن تبدو النتيجة النهائية، بل أيضاً كيف يتعافى عندما يرتكب خطأً. وجد الباحثون أنه من خلال تدريب الوكيل بهذه الطريقة الصارمة ذات الحلقة المغلقة، استطاعوا إنشاء نموذج يؤدي بشكل أفضل بكثير من الأنظمة مفتوحة المصدر السابقة، بل ويضاهي قدرات النماذج المملوكة الكبيرة جداً.

يكمن جوهر هذا التحسن في طريقة يسميها الباحثون "التدريب المرتكز على البيئة". تخيل طالباً يتعلم الطبخ ليس فقط من خلال قراءة وصفة، بل من خلال الوقوف فعلياً في المطبخ، وتقطيع الخضروات، ووجود معلم يشير إليه فوراً إذا انزلقت السكين أو كانت الحرارة مرتفعة جداً. وبالمثل، يتم تدريب UI-Mate في بيئة رقمية حيث يتم اختبار كل إجراء يتخذه مقابل شاشة كمبيوتر حقيقية وعاملة. إذا حاول الوكيل حفظ ملف في مكان خاطئ، فإن النظام يعرف ذلك فوراً ويسجل هذا الفشل. وتتكرر دورة المحاولة والفشل والتصحيح هذه ملايين المرات عبر تطبيقات مختلفة، مما يسمح للوكيل ببناء فهم عميق لكيفية سلوك البرامج. لقد بنى الباحثون مكتبة ضخمة من مهام الممارسة هذه، تغطي كل شيء من إدارة الملفات البسيطة إلى سير العمل المعقد الذي يتطلب نقل المعلومات بين التقويم، وعميل البريد الإلكتروني، وأداة إدارة المشاريع. ومن خلال الموازنة بعناية بين أنواع المهام التي يراها الوكيل، ضمنوا أنه تعلم التعامل مع الوظائف القصيرة والبسيطة وكذلك التسلسلات الطويلة والمعقدة دون ارتباك.

ومع ذلك، حتى الوكيل المدرب جيداً قد يواجه صعوبة عندما يعطيه إنسان تعليمات غامضة، مثل "عالج عرض العمل الخاص بهذا المرشح". قد لا يعرف الوكيل أي ملفات محددة يجب فتحها أو أي أزرار بالضبط يجب النقر عليها لأن التعليمات تفتقر إلى التفاصيل اللازمة. ولحل هذه المشكلة، طور الباحثون طريقة جديدة لتعلم الوكيل من خلال العرض التوضيحي. بدلاً من إجبار الوكيل على نسخ تسلسل نقرات الماوس المسجلة بشكل أعمى، يقوم النظام بتفكيك العرض التوضيحي إلى خطة مرنة من المهام الفرعية. إنه ينظر إلى فيديو لإنسان أو ذكاء اصطناعي أقوى يكمل وظيفة مماثلة ويستخرج الأهداف: "ابحث عن العرض"، "تحقق من الراتب"، "أرسل البريد الإلكتروني". أثناء العمل الفعلي، يستخدم الوكيل هذه الخطة كدليل، لكنه لا يزال ينظر إلى الشاشة المباشرة ليقرر بالضبط كيفية تحريك الماوس أو كتابة النص. وهذا يعني أنه إذا بدا شكل الشاشة مختلفاً قليلاً عن الفيديو، يمكن للوكيل تعديل أفعاله بدلاً من التعثر.

نتائج هذا النهج مذهلة. فعند اختباره على مجموعة معيارية من تحديات استخدام الكمبيوتر، حقق النظام الجديد، وتحديداً نسخة الـ 27 مليار بارامتر، معدل نجاح بلغ 77.0 بالمائة، متفوقاً على النماذج مفتوحة المصدر الأخرى ومقترباً جداً من أفضل الأنظمة مغلقة المصدر المتاحة. والأهم من ذلك، أن الباحثين أنشأوا اختباراً جديداً يسمى OSWorkerBench، يحاكي العمل المكتبي الواقعي عبر عشرات التطبيقات المختلفة. وفي هذا الاختبار، حسن النظام أداءه بنسبة تقارب 18 نقطة مئوية مقارنة بنموذجه الأساسي. ومع ذلك، فإن الاكتشاف الأكثر أهمية جاء عندما أضافوا عرضاً توضيحياً واحداً إلى تعليمات الوكيل. فبالنسبة لمجموعة من 33 مهمة طويلة ومعقدة، أدى تقديم مثال واحد فقط لكيفية القيام بالوظيفة إلى رفع معدل نجاح الوكيل من 17.2 بالمائة إلى 35.4 بالمائة. وهذا يظهر أن النظام لا يحفظ المثال فحسب، بل يفهم المنطق الكامن وراءه ويمكنه تطبيقه على مواقف جديدة، مما يجعله أكثر موثوقية للاستخدام في العالم الحقيقي.

اكتشف الباحثون أيضاً أن قدرة الوكيل على التعامل مع المهام الطويلة لا تتعلق فقط بقوة الحوسبة الخام. فقد اختبروا نماذج بأحجام مختلفة ووجدوا أنه بينما تؤدي النماذج الأكبر عموماً بشكل أفضل، فإن طريقة التدريب المحددة كانت أكثر أهمية من الحجم وحده. فقد تفوق نموذج أصغر تم تدريبه باستخدام نهجهم المرتكز على البيئة الصارم على نموذج أكبر بكثير لم يتلقَ نفس التدريب. وهذا يشير إلى أن جودة بيانات الممارسة وحلقة التغذية الراجعة أكثر أهمية من مجرد جعل "دماغ" الوكيل أكبر. كما أثبت النظام قدرته على التعامل مع المهام التي تتطلب تذكر المعلومات من بداية سير العمل واستخدامها في نهايته، وهو ما يمثل نقطة فشل شائعة للوكلاء السابقين من الذكاء الاصطناعي.

ولضمان أن هذه النتائج لم تكن مجرد ضربة حظ، بنى الفريق معياراً يتضمن 100 مهمة مكتبية متميزة، تتراوح من الموارد البشرية إلى المبيعات والهندسة. وقيموا النظام على قدرته على إكمال هذه المهام دون أي مساعدة، ثم مرة أخرى مع عرض توضيحي. وأظهرت البيانات أن الوكيل يحسن أداءه باستمرار عند إعطائه دليلاً مرئياً، لكنه لم يصبح معتمداً عليه. فقد ظل قادراً على العمل من التعليمات وحدها، مما يثبت أن العرض التوضيحي عمل كخريطة مفيدة وليس كمجموعة من القواعد الجامدة. هذا التوازن أمر بالغ الأهمية للنشر العملي، لأنه يعني أنه يمكن استخدام النظام في المواقف التي لا يوجد فيها مثال مسبق، مع القدرة أيضاً على التعلم بسرعة عند توفير واحد من قبل المستخدم.

إن تداعيات هذا العمل تمتد إلى ما هو أبعد من مجرد درجات اختبار أفضل. فمن خلال إثبات أن الوكيل يمكنه تعلم التنقل عبر سير عمل معقد ومتعدد التطبيقات بموثوقية عالية، يكون الباحثون قد اتخذوا خطوة كبيرة نحو جعل الأتمتة الرقمية حقيقة عملية للعمل المكتبي اليومي. لا يتطلب النظام من الإنسان الإدارة الدقيقة لكل نقرة؛ بدلاً من ذلك، يمكنه أخذ هدف رفيع المستوى وتحديد الخطوات اللازمة، وتصحيح مساره عند مواجهة تخطيطات شاشة غير متوقعة أو معلومات مفقودة. إن القدرة على التعلم من عرض توضيحي واحد تشير إلى أنه يمكن في النهاية تعليم هؤلاء الوكلاء إجراءات شركة محددة وجديدة في دقائق بدلاً من أشهر.

كما تسلط الدراسة الضوء على أهمية كيفية تقييمنا لهذه الأنظمة. فقد وجد الباحثون أن مجرد عد ما إذا كانت المهمة قد اكتملت أم لا غالباً ما يخفي حقيقة أن الوكيل قد حقق تقدماً كبيراً قبل الفشل في الخطوة الأخيرة تماماً. ومن خلال قياس التقدم الجزئي، تمكنوا من رؤية أن الوكيل كان غالباً في 80 بالمائة من طريق إكمال مهمة معقدة، حتى لو لم ينهها. هذه الدقة مهمة لفهم أين تقف التكنولوجيا اليوم وأين تحتاج إلى التحسين. حدد الفريق أن حالات الفشل الأكثر شيوعاً المتبقية لم تكن في المراحل الأولى من المهمة، بل في الخطوات النهائية، مثل نسيان إرسال بريد إلكتروني للتأكيد أو إغفال حقل معين في نموذج.

في النهاية، يقدم هذا العمل مساراً واضحاً للمضي قدماً في بناء وكلاء حاسوب أكثر قدرة. فهو يظهر أن الجمع بين التدريب المحاكى الصارم والقدرة على التعلم من الأمثلة المرئية يخلق نظاماً قوياً وقابلاً للتكيف في آن واحد. لقد جعل الباحثون بيانات التدريب والمعايير الخاصة بهم متاحة للمجتمع، مما يسمح للآخرين بالبناء على هذه النتائج. ومع استمرار تطور هذه الأنظمة، فإنها تقترب من مستقبل يمكن فيه للذكاء الاصطناعي التعامل مع المهام الرقمية الروتينية والمتكررة والمعقدة التي تستهلك حالياً جزءاً كبيراً من يوم العمل البشري، مما يترك الناس أحراراً للتركيز على القرارات التي تتطلب حقاً حكماً بشرياً.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →