💬 NLP

GUI-CIDER: Mid-training GUI Agents via Causal Internalization and Density-aware Exemplar Reselection

تقترح الورقة البحثية إطار عمل GUI-CIDER، وهو إطار عمل للتدريب المتوسط يعزز أداء وكلاء واجهة المستخدم الرسومية (GUI) متعددي الوسائط في المهام الواقعية من خلال استيعاب المعرفة بالعالم بشكل صريح عبر عملية ثلاثية المراحل تشمل تقطير المعرفة السببية، وإعادة اختيار الأمثلة المدركة للكثافة، والتدريب المنقح للنموذج.

المؤلفون الأصليون: Zheng Wu, Chengcheng Han, Zhengxi Lu, Tianjie Ju, Yanyu Chen, Qi Gu, Xunliang Cai, Zhuosheng Zhang

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zheng Wu, Chengcheng Han, Zhengxi Lu, Tianjie Ju, Yanyu Chen, Qi Gu, Xunliang Cai, Zhuosheng Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية استخدام هاتف ذكي أو جهاز كمبيوتر. تريد من الروبوت أن يكون قادرًا على النقر على الأزرار الصحيحة، والتمرير عبر القوائم، وفتح التطبيقات تمامًا كما يفعل البشر.

تجادل الورقة البحثية بأن الأساليب الحالية لتعليم هذه الروبوتات تشبه إلى حد ما الحفظ الصم. إذا أظهرت للروبوت فيديو لشخص ينقر على زر "زائد" (+) لإضافة مهمة، سيتعلم الروبوت: "أوه، عندما أرى علامة زائد، سأنقر عليها". ولكن إذا واجه الروبوت شاشة مختلفة قليلاً أو تطبيقًا جديدًا، فسيصاب بالجمود لأنه لا يفهم في الواقع معنى زر "الزائد" في العالم الحقيقي؛ لقد حفظ النمط فحسب.

يقترح المؤلفون طريقة جديدة تسمى GUI-CIDER لإصلاح ذلك. فكر في الأمر كأنك تعطي الروبوت "كتابًا مدرسيًا" حول كيفية عمل عالم الشاشات، بدلاً من مجرد عرض فيديو لشخص يقوم بمهمة ما.

إليك كيف تعمل تقنية GUI-CIDER، مقسمة إلى ثلاث خطوات بسيطة:

1. تحويل الأفعال إلى قصص (توليد البيانات - Data Synthesis)

عادةً ما تكون بيانات تدريب الروبوت عبارة عن قائمة من الأفعال الخام: "انقر هنا"، "مرر للأعلى"، "اكتب هذا". إنها جافة وآلية.

تقوم تقنية GUI-CIDER بأخذ سجلات الأفعال الخام هذه وتستخدم ذكاءً اصطناعيًا ذكيًا لإعادة كتابتها في شكل قصص.

التشبيه: تخيل معلقًا رياضيًا يشاهد مباراة. بدلاً من مجرد قول "اللاعب (أ) ركل الكرة"، يشرح المعلق لماذا: "اللاعب (أ) ركل الكرة لأن الدفاع كان مفتوحًا، وهذه الحركة مصممة لتسجيل هدف".
ما تفعله الورقة البحثية: تأخذ تفاعل الشاشة الخام وتضيف طبقتين من "القصة":
- الخطة: ما هو الهدف الكبير؟ (مثال: "نحتاج إلى إضافة مهمة جديدة").
- السبب: لماذا حدثت هذه النقرة تحديدًا؟ (مثال: "نقرتُ على علامة الزائد لأن الواجهة تتطلب ذلك لإنشاء إدخال جديد، وهذا الإجراء سيؤدي إلى فتح قائمة 'إضافة المهمة'").
  هذا يحول قائمة مملة من النقرات إلى شرح سببي غني لكيفية عمل الواجهة ولماذا تعمل بهذا الشكل.

2. اختيار أفضل القصص (إعادة اختيار النماذج - Exemplar Reselection)

الآن، تخيل أن لديك مكتبة تحتوي على ملايين من هذه "القصص". بعضها رائع، لكن الكثير منها مكرر أو مربك. إذا قمت بتغذية الروبوت بكل هذه القصص، فقد يصاب بالارتباك بسبب الضجيج.

تعمل تقنية GUI-CIDER مثل أمين مكتبة صارم لا يحتفظ إلا بأفضل الكتب.

التشبيه: تخيل أنك تحاول تعلم كيفية الطبخ. لديك كومة من 10,000 وصفة. بعضها مثالي، لكن 5,000 منها هي مجرد "غلي الماء" مكررة مرارًا وتكرارًا، و2,000 منها مكتوبة بلغة لا تفهمها. أنت تريد الاحتفاظ بالوصفات التي تشرح منطق الطبخ (مثل: "إذا كان الماء يغلي، أضف المعكرونة") ورمي الوصفات المملة والمكررة.
ما تفعله الورقة البحثية: تستخدم صيغة رياضية لتصفية البيانات. فهي تكافئ القصص التي تمتلك منطقًا قويًا "للسبب والنتيجة" (مثل شرح الطبخ) وتعاقب القصص التي هي مجرد نسخ مكررة من بعضها البعض. يترك هذا للروبوت "كتابًا مدرسيًا" عالي الجودة وغير مكرر.

3. "التدريب المتوسط" (استيعاب المعرفة - The "Mid-Training")

أخيرًا، يقرأ الروبوت هذا الكتاب المدرسي المصفى وعالي الجودة.

التشبيه: بدلاً من مجرد مشاهدة فيديو لطاهٍ (وهو ما يشبه التدريب القياسي)، يجلس الروبوت ويقرأ كتاب طهي يشرح مبادئ الطبخ. يتعلم أن "الحرارة تغير الأشياء" وأن "المكونات تتفاعل مع بعضها البعض".
ما تفعله الورقة البحثية: يقومون بتدريب الروبوت على هذه البيانات الجديدة قبل أن يعلموه مهام محددة. يسمى هذا "التدريب المتوسط" (Mid-training). الهدف هو "استيعاب" المعرفة. يتوقف الروبوت عن مجرد حفظ "انقر هنا" ويبدأ في فهم "هذا الزر موجود للقيام بـ (س)، لذا يجب أن أنقر عليه عندما أحتاج إلى (س)".

النتائج

اختبر المؤلفون هذه الطريقة على عدة معايم (مثل حل المهام على هواتف أندرويد أو التنقل في تطبيقات مختلفة).

النتيجة: الروبوتات المدربة بهذه الطريقة أصبحت أفضل بكثير في فهم ما تفعله. لم تكن مجرد تخمين؛ بل كانت تفهم الواجهة بالفعل.
المفاجأة: روبوت أصغر (4 مليارات بارامتر) تم تدريبه بهذه الطريقة حقق أداءً أفضل من روبوت أكبر بكثير (8 مليارات بارامتر) تم تدريبه باستخدام الطرق التقليدية المعتادة. هذا يشير إلى أن امتلاك معرفة أفضل أهم من مجرد امتلاك دماغ أكبر.

الملخص

تدعي الورقة البحثية أنه لجعل وكلاء واجهة المستخدم الرسومية (GUI agents) أفضل، لا ينبغي لنا فقط تغذيتهم بمزيد من البيانات الخام. بدلاً من ذلك، يجب علينا:

ترجمة الأفعال الخام إلى قصص منطقية وسببية.
تصفية القصص المملة والمكررة.
تعليم الروبوت هذه القصص حتى يفهم قواعد الواجهة، وليس فقط الحركات.

هذا النهج، GUI-CIDER، يساعد الروبوتات على الانتقال من كونها "ببغاوات" تكرر الأفعال إلى كونها "طلابًا" يفهمون كيفية عمل الواجهات الرقمية.

ملخص تقني: GUI-CIDER

بيان المشكلة

على الرغم من التقدم السريع في نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) للوكلاء ذوي واجهات المستخدم الرسومية (GUI)، إلا أن إكمال المهام في العالم الحقيقي لا يزال يواجه عقبة تتمثل في نقص المعرفة بالعالم (world knowledge) فيما يتعلق بعمليات واجهة المستخدم الرسومية. تعتمد الحلول الحالية عادةً على هياكل معقدة متعددة الوكلاء (multi-agent scaffolding) أو نماذج التدريب اللاحق التقليدية مثل الضبط الدقيق الخاضع للإشراف (SFT) والتعلم التعزيزي (RL). ومع ذلك، يرى المؤلفون أن التدريب اللاحق يسمح للوكلاء فقط بـ امتصاص المعرفة ضمنياً من خلال تعليقات الإجراءات أو إشارات المكافأة. يؤدي هذا إلى "حفظ المسارات" (trajectory memorization) بشكل غير فعال بدلاً من الفهم الحقيقي للمنطق الكامن والعلاقات السببية داخل بيئات واجهة المستخدم الرسومية. وبناءً على ذلك، هناك حاجة ماسة لنهج يتيح التعلم الصريح لهذه المعرفة.

المنهجية: GUI-CIDER

يقترح المؤلفون GUI-CIDER (الاستيعاب الداخلي السببي وإعادة اختيار النماذج المثالية القائم على الكثافة)، وهو إطار عمل للتدريب المتوسط (mid-training) مصمم لاستيعاب معرفة عالم واجهة المستخدم الرسومية في الوكلاء بشكل صريح. يتكون خط العمل من ثلاث مراحل متميزة:

1. تخليق البيانات (Data Synthesis)

يقوم النظام بتخليق عينات نصية غنية بالمعرفة من مسارات واجهة المستخدم الرسومية الخام (التي تتكون من تعليمات المهمة، ولقطات الشاشة، والإجراءات). تستخرج هذه العملية بُعدين أساسيين للمعرفة:

معرفة التخطيط الثابت (Static Planning Knowledge): يعمل نموذج لغوي كبير عالي القدرة كسابقة كامنة للقيام بالاستدلال الصفري (zero-shot reasoning)، حيث يقوم بتفكيك نوايا المستخدم المجردة إلى تسلسل هرمي من الأهداف الفرعية ( $S$ ).
المعرفة السببية الديناميكية (Dynamic Causal Knowledge): يعيد النظام صياغة استخراج المعرفة كعملية استقراء دلالي وسببي قائمة على النص. ويستخدم:
- التأسيس السلوكي الدلالي (Semantic Behavioral Grounding): رسم خرائط للبدائيات الإجرائية منخفضة المستوى والبيانات الوصفية لواجهة المستخدم إلى أوصاف دلالية قابلة للتفسير البشري.
- تجريد الحالة النصية والاستقراء المنطقي السببي (Textual State Abstraction and Causal Logic Induction): تحويل لقطات الشاشة المرئية إلى أوصاف حالة باللغة الطبيعية واستخدام محلل سببي لاستخراج منطق الانتقال الكامن. ينتج عن ذلك مبرر نصي مكتفٍ ذاتياً ( $R_t$ ) يحتوي على محفز الإجراء، وآلية واجهة المستخدم، وسلسلة من التفكير المنطقي (chain-of-thought)، مما يلغي الحاجة إلى لقطات الشاشة الخام في بيانات التدريب النهائية.

2. إعادة اختيار النماذج المثالية (Exemplar Reselection)

لتنقية مجموعة البيانات المخلقة، يستخدم المؤلفون استراتيجية إعادة اختيار النماذج المثالية القائمة على الكثافة. تقوم هذه المرحلة بتصفية البيانات للاحتفاظ بالعينات ذات الهياكل الاستدلالية القوية مع معاقبة التكرار الدلالي.

البروز السببي ( $f(x)$ ): دالة تعتمد على عدد الرموز (tokens) الخاصة بالمنطق السببي (مثل "بسبب"، "إذا"، "نتيجة لـ") في المبرر.
تقدير الكثافة النسبية ( $d(x)$ ): يتم حسابه باستخدام مسافات أقرب جار (K-nearest neighbor) في فضاء التضمين بالنسبة للمسافة المتوسطة العالمية.
احتمالية الاحتفاظ ( $g(x)$ ): مزيج غير خطي من الكثافة والبروز السببي. تم تصميم الدالة لتكون متزايدة رتيباً مع البروز السببي ومتناقصة رتيباً مع الكثافة. ومن الضروري أنها تحقق خاصية التآزر بين الكثافة والسببية (density-causal synergy)، مما يضمن أنه في المناطق شديدة التكرار (الكثيفة)، تُعطى الأولوية للعينات ذات الصرامة السببية الأعلى.

3. التدريب المتوسط (Mid-Training)

تُستخدم المجموعة المنقحة عالية الجودة لتدريب وكيل واجهة المستخدم الرسومية عبر التدريب المتوسط. هدف التدريب هو نمذجة اللغة السببية القياسية (التنبؤ بالرمز التالي) عبر المجموعات النصية المتسلسلة. تعمل هذه العملية على دمج معرفة العالم وديناميكيات الانتقال التي تم اكتسابها مباشرة في الذاكرة البارامترية للنموذج، مما يمكن الوكيل من استيعاب العلاقات السببية دون الحاجة إلى هياكل خارجية أثناء التشغيل.

المساهمات الرئيسية

إطار عمل GUI-CIDER: طريقة تدريب متوسط مبتكرة تستوعب معرفة عالم واجهة المستخدم الرسومية صراحةً من خلال الاستيعاب الداخلي السببي وإعادة اختيار النماذج المثالية القائمة على الكثافة.
المجموعة النصية المخلقة: توليد مجموعة عالية الجودة تضم حوالي 100 مليون رمز مستمدة من مرحلة تخليق البيانات، وهي متاحة لمجتمع البحث.
التحقق التجريبي: تجارب مكثفة تثبت أن GUI-CIDER يحسن فهم الوكيل لعمليات واجهة المستخدم الرسومية وأداء إكمال المهام.

النتائج التجريبية

قيم المؤلفون GUI-CIDER في ثلاثة اختبارات لإكمال المهام (AITZ، AndroidControl، GUI-Odyssey) واختبارين لمعرفة واجهة المستخدم الرسومية (MMBench-GUI L1، GUI Knowledge Bench).

إكمال المهام: حقق GUI-CIDER متوسط تحسن نسبي قدره 9.70% في معدل نجاح المهام مقارنة بنماذج التدريب اللاحق الأساسية. والجدير بالذكر أن وكيلاً بمقياس 4B تم تدريبه باستخدام GUI-CIDER والتدريب اللاحق قد تفوق على نظيره بمقياس 8B، مما يشير إلى أن توسيع المعرفة (knowledge scaling) قد يكون أكثر أهمية من توسيع المعلمات (parameter scaling) لوكلاء واجهة المستخدم الرسومية.
معرفة واجهة المستخدم الرسومية: في اختبار GUI Knowledge Bench، وصل نموذج GUI-CIDER-8B إلى مستويات أداء قريبة من Claude-Sonnet-4.5 (66.51 مقابل 66.53 إجمالاً)، متفوقاً بشكل كبير على النماذج الأخرى من فئة 8B وحتى على نماذج أكبر (مثل o3 وGemini-2.5-Pro) في المجموعات الفرعية الموضوعية التي تقيم إكمال المهام الحقيقي.
تحليل النموذج الأساسي: وجدت الدراسة أن التدريب المتوسط يكون أكثر فعالية عند تطبيقه على الوكلاء العامين بدلاً من النماذج التي خضعت بالفعل لتدريب لاحق كثيف في مجال واجهة المستخدم الرسومية. أظهرت النماذج المتخصصة للغاية في مهام واجهة المستخدم الرسومية انخفاضاً في الأداء عند تعرضها للتدريب المتوسط على معرفة العالم، مما يشير إلى أن قدرة التمثيل اللغوي الأصلية لديها قد تضررت.
دراسات الاستئصال (Ablation Studies): أدى إزالة مرحلة إعادة اختيار النماذج المثالية إلى انخفاض كبير في معدلات النجاح، مما يؤكد أن التصفية من أجل الهيكل السببي وانخفاض التكرار ضرورية لمنع النموذج من تعلم سلوكيات ضوضائية أو مختصرة (shortcut behaviors).

الأهمية والادعاءات

يزعم البحث أن GUI-CIDER يقدم بديلاً أكثر كفاءة للهياكل متعددة الوكلاء والتدريب اللاحق التقليدي من خلال تمكين الوكلاء من استيعاب معرفة العالم صراحةً. يرى المؤلفون أن العائق الحالي لوكلاء واجهة المستخدم الرسومية ليس مجرد نقص في حجم البيانات، بل هو نقص في الفهم الهيكلي والسببي لعمليات واجهة المستخدم الرسومية. من خلال تحويل النموذج من حفظ المسارات الضمني إلى الاستيعاب السببي الصريح عبر التدريب المتوسط، يسد هذا النهج الفجوة المعرفية بين النماذج اللغوية العامة ووكلاء واجهة المستخدم الرسومية المتخصصين. تشير النت النتائج إلى أن توسيع المعرفة — وتحديداً جودة وهيكل المعرفة المستوعبة — هو مسار واعد نحو وكلاء واجهة مستخدم رسومية أكثر قدرة، مما قد يقلل من الاعتماد على أعداد المعلمات الضخمة أو الأنظمة متعددة الوكلاء المعقدة.