UI-MOPD: Multi-Platform On-Policy Distillation for Unified GUI Agents
تقدم هذه الورقة UI-MOPD، وهو إطار عمل مبتكر يستفيد من التقطير متعدد المعلمين في السياسة الموحدة (multi-teacher on-policy distillation) ومن مجموعة بيانات Uni-GUI التي تم إنشاؤها حديثاً لتدريب وكيل واجهة مستخدم رسومية موحد وعابر للمنصات، مما يدمج بفعالية الخبرات المتخصصة في أجهزة المكتب والهواتف المحمولة مع التغلب على التحديات المتعلقة بندرة البيانات واختلاف تقاليد التفاعل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً يكون فيه مساعدك الرقمي طباخاً ماهراً. لكن إليك المفاجأة: على هذا الطباخ أن يطبخ في مطبخين مختلفين تماماً في نفس الوقت. أحد المطبخين هو جهاز كمبيوتر مكتبي عالي التقنية بشاشة ضخمة، وفأرة، ولوحة مفاتيح. والمطبخ الآخر هو هاتف محمول أنيق بحجم الجيب، ذو شاشة تعمل باللمس ولا يحتوي على أزرار فعلية. في مطبخ الكمبيوتر، قد يعني "الرجوع إلى الوراء" إغلاق نافذة. أما في مطبخ الهاتف، فيعني النقر على سهم "رجوع" صغير. إذا حاولت تعليم الطباخ الطبخ في كلا المكانين عبر مجرد خلط جميع الوصفات معاً والأمل في تحقيق أفضل نتيجة، فستكون النتيجة كارثية: سيصاب الطباخ بالارتباك، وينسى كيفية استخدام الفأرة، ويحاول بالخطأ التمرير (swipe) على لوحة مفاتيح. هذه هي المشكلة ذاتها التي يواجهها العلماء مع "وكلاء واجهة المستخدم الرسومية" (GUI agents) — وهي برامج حاسوبية ذكية مصممة للنقر، والكتابة، والتمرير عبر حياتنا الرقمية لإنجاز المهام من أجلنا.
لفترة طويلة، كان هؤلاء الوكلاء مثل المتخصصين: أحدهم بارع في أجهزة الكمبيوتر، والآخر في الهواتف، لكنهم لم يستطيعوا التعامل مع كليهما. حاول الباحثون إصلاح ذلك ببساطة عن طريق دمج هذين المتخصصين معاً، آملين أن يخلق مزيج معرفتهما "وكيلًا خارقًا". ولكن كما يشير هذا البحث الجديد، فإن نهج "الخلط والمطابقة" هذا غالباً ما يؤدي إلى طمس الحدود، مما يجعل الوكيل أسوأ في كلا العملين. السؤال الذي يشغل بال الجميع هو: كيف نبني وكيلاً واحداً موحداً يمكنه الانتقال بسلاسة بين سطح المكتب والهاتف المحمول دون أن يفقد عقله أو مهاراته؟
هنا يأتي دور UI-MOPD، وهو أسلوب جديد ذكي اقترحه باحثون من جامعة تسينغهوا، وشياومي، ومؤسسات رائدة أخرى. فكر في UI-MOPD ليس كخلاط، بل كمدرب بارع يمتلك استراتيجية تدريب فريدة. فبدلاً من إجبار الطالب (الوكيل الموحد الجديد) على حفظ مزيج مشوش من التعليمات، يقوم المدرب بإعداد معسكر تدريبي ديناميكي يضم اثنين من الموجهين الخبراء: "خبير سطح المكتب" و"خبير الهاتف المحمول".
إليك كيف يحدث السحر. يخرج الوكيل الطالب ويحاول حل المهام بمفرده، مولداً "عمليات تشغيل" (rollouts) خاصة به (محاولات لإتمام مهمة ما). عندما يعمل الطالب على مهمة كمبيوتر، يستدعي المدرب فوراً "خبير سطح المكتب" لتقديم نصيحة محددة وعالية الجودة. وعندما ينتقل الطالب إلى مهمة هاتف، يقوم المدب بتبديل المدرب بـ "خبير الهاتف المحمول". تسمى هذه العملية "التقطير متعدد المنصات أثناء التشغيل" (Multi-Platform On-Policy Distillation). المفتاح هو أن الطالب يتعلم من الخبير الصحيح في الوقت الصحيح، بدلاً من محاولة متوسط فروقاتهما. فخبير سطح المكتب لا يحاول تعليم الطالب كيفية التمرير (swipe)، وخبير الهاتف لا يحاول تعليمه كيفية استخدام الفأرة. إنهما يعملان كـ "مرتكزات سلوكية"، مما يبقي أفعال الطالب وفية للقواعد المحددة للبيئة التي يتواجد فيها حالياً.
لقد بنى الباحثون مجموعة بيانات ضخمة وعالية الجودة تسمى Uni-GUI لجعل هذا ممكناً. لقد أنشأوا أداة خاصة لجمع ما يقرب من 10,000 مثال عالي الجودة لمهام يتم تنفيذها بنجاح على كل من أجهزة الكمبيوتر والهواتف. وقاموا بتصفية المحاولات السيئة واحتفظوا فقط بالنماذج التي نجحت بالفعل، لضمان أن المعلمين لديهم أمثلة مثالية لعرضها على الطالب.
وعندما اختبروا هذا النهج الجديد، كانت النتائج واعدة. في اختبار معقد لأجهزة الكمبيوتر يسمى OSWorld، نجح الوكيل الجديد بنسبة 38.2% من المرات. وفي اختبار للهواتف المحمولة يسمى MobileWorld، نجح بنسبة 12.0% من المرات. تشير هذه الأرقام إلى أن UI-MOPD أفضل بكثير من الطرق السابقة التي حاولت مجرد خلط البيانات أو دمج النماذج. فعلى سبيل المثال، بينما قد تحسن الطرق الأخرى منصة واحدة ولكنها تفسد الأخرى، تمكن UI-MOPD من تعزيز الأداء في كلا الجانبين في وقت واحد. وتوضح الدراسة أن منهج "المدرب المتخصص" هذا يساعد الوكيل على الاحتفاظ بذكائه العام مع تعلم كيفية التنقل في الخصائص الفريدة لمختلف الأجهزة، متجنباً فخ "المتوسط الحسابي" الذي أربك النماذج السابقة.
باختصار، تقترح الورقة البحثية أنه إذا كنت تريد وكيلاً ذكياً يمكنه التعامل مع حاسوبك المحمول وهاتفك أيضاً، فلا تكتفِ بمجرد دمج الاثنين معاً. بدلاً من ذلك، امنحه نظاماً ذكياً يعرف بالضبط أي خبير يجب أن يستمع إليه، اعتماداً على الشاشة التي ينظر إليها. إنها خطوة نحو مستقبل يكون فيه مساعدك الرقمي سيداً حقيقياً لجميع المجالات الرقمية، وليس مجالاً واحداً فقط.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.