💻 computer science

POINTS-GUI-G: GUI-Grounding Journey

تقدم هذه الورقة نموذج POINTS-GUI-G-8B، وهو نموذج متطور لتحديد عناصر واجهة المستخدم الرسومية (GUI grounding) تم تدريبه من نموذج أساسي ذي وعي مكاني ضئيل عبر الاستفادة من هندسة بيانات دقيقة، واستراتيجيات تدريب محسنة، وتعلم تعزيزي بمكافآت قابلة للتحقق لتحقيق أداء فائق عبر معايير قياسية متعددة.

المؤلفون الأصليون: Zhongyin Zhao, Yuan Liu, Yikun Liu, Haicheng Wang, Le Tian, Xiao Zhou, Yangxiu You, Zilin Yu, Yang Yu, Jie Zhou

نُشر 2026-02-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhongyin Zhao, Yuan Liu, Yikun Liu, Haicheng Wang, Le Tian, Xiao Zhou, Yangxiu You, Zilin Yu, Yang Yu, Jie Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعد روبوت ذكي للغاية يمكنه قراءة النصوص والنظر إلى الصور. تريد تعليمه كيفية استخدام حاسوبك أو هاتفك، تماماً كما تفعل أنت. لكن هناك مشكلة: الروبوت يمكنه قراءة التعليمات ("انقر على الزر الأحمر")، لكنه لا يعرف أين يوجد الزر الأحمر فعلياً على الشاشة. الأمر يشبه إعطاء شخص ما خريطة لمدينة ولكن دون إخباره في أي شارع يقف حالياً.

تقدم هذه الورقة البحثية POINTS-GUI-G، وهي نسخة جديدة من ذلك المساعد الروبوتي الذي تعلم أخيراً كيف ينظر إلى الشاشة ويقول: "آه، لقد رأيت الزر! إنه هناك تماماً عند هذه الإحداثيات الدقيقة".

إليك كيف علم الباحثون هذا الروبوت ليصبح سيد الشاشة، مشروحاً عبر تشبيهات بسيطة:

1. نقطة البداية: لوحة بيضاء فارغة

أخذ معظم الباحثين الآخرين روبوتاً كان بارعاً بالفعل في العثور على الأشياء (مثل محقق متمرس) وقاموا فقط بإعطائه بعض الأدلة الإضافية. قرر مؤلفو هذه الورقة البدء بروبوت كان سيئاً في العثور على الأشياء. أرادوا بناء المهارة من الصفر، مثل تعليم طفل القراءة بدلاً من مجرد تصحيح إملاء مراهق. بدأوا بنموذج أساسي يسمى "POINTS-1.5" لم يكن لديه أي قدرة تقريباً على الإشارة إلى الأشياء على الشاشة.

2. ركائز النجوى الثلاث

لتحويل هذا الروبوت "الأعمى" إلى روبوت "بصير"، استخدموا ثلاث استراتيجيات رئيسية:

أ. تنظيف وتنظيم الكتب المدرسية (هندسة البيانات المنقحة)

تخيل أنك تحاول تعليم طالب باستخدام مجموعة من الكتب المدرسية. بعض الكتب تستخدم البوصة، وبعضها يستخدم السنتيمتر، وبعضها مكتوب بالإنجليزية، والبعض الآخر بالفرنسية. بعض الصفحات ممزقة وبعضها عليه خربشات في كل مكان. سيكون التعلم منها كابوساً.

قام الباحثون بثلاثة أشياء لإصلاح ذلك:

التوحيد القياسي: أخذوا جميع مجموعات البيانات الفوضوية والمختلفة وأجبرواهم على اتخاذ تنسيق واحد موحد. الآن، يتم قياس كل "إحداثي" (موقع) بنفس الطريقة، مثل تحويل كل شيء إلى مسطرة قياسية واحدة.
تقليل الضجيج: عملوا كمحررين صارمين. استخدموا أداة خاصة (تسمى OmniParser-v2) للتحقق من الكتب المدرسية. إذا قال الكتاب "الزر موجود هنا" بينما تظهر الصورة بوضوح أن الزر كان في مكان آخر، فإنهم يستبعدون تلك الصفحة. لقد احتفظوا فقط بالأمثلة المثالية.
رفع مستوى الصعوبة: بمجرد أن أصبح الروبوت جيداً في العثور على الأزرار الكبيرة والواضحة، بدأ الباحثون في تغذيته بألغاز "الوضع الصعب". أنشأوا شاشات بها أزرار صغيرة ومزدحمة وتخطيطات مربكة (مثل مكتب فوضوي مليء بالأوراق في كل مكان) لإجبار الروبوت على أن يصبح أكثر دقة وحدة.

ب. ضبط العيون (استراتيجيات التدريب المحسنة)

عادةً، عند تدريب نماذج الذكاء الاصطناعي هذه، تكون "العيون" (الجزء من الكمبيوتر الذي يعالج الصور) ثابتة في مكانها. أدرك الباحثون أنه بالنسبة للعثور على الأزرار على الشاشة، يجب أن تكون العيون مرنة.

إلغاء تجميد الرؤية: سمحوا لـ "العيون" بالتعلم والتكيف أثناء تعلم بقية الدماغ. سمح هذا للروبوت بأن يصبح أفضل في رصد التفاصيل الصغيرة.
اتساق الدقة: تخيل أنك تتدرب على مباراة كرة سلة عبر تسديد الكرات من مسافة 5 أقدام، ثم تذهب للمباراة الحقيقية حيث تبلغ المسافة 10 أقداء. ستخطئ الهدف. لاحظ الباحثون أن الروبوت يتدرب على صور صغيرة ومنخفضة الدقة، بينما يتم اختباره على شاشات ضخمة وعالية الدقة. قاموا بإصلاح ذلك بتدريب الروبوت على صور أكبر وأوضح حتى تصبح "رؤيته" جاهزة للواقع.

ج. نظام مكافأة ألعاب الفيديو (التعلم المعزز)

هذا هو الجزء الأكثر تميزاً. عادةً، يُستخدم التعلم المعزز (RL) لتعليم الروبوتات كيفية التفكير أو حل الألغاز المنطقية. هنا، استخدموه لتعليم الروبوت كيف يرى.

فكر في الأمر كأنه لعبة فيديو:

الروبوت يخمن مكان الزر.
الكمبيوتر يتحقق: "هل أصبت الزر؟"
نعم؟ +100 نقطة.
لا؟ 0 نقطة.

لأن الإجابة هي إما صح أو خطأ (لا يوجد "ربما")، يحصل الروبوت على ردود فعل واضحة جداً. وجد الباحثون أن حلقة "جرب، احصل على درجة، حاول مرة أخرى" جعلت الروبوت أكثر دقة بكثير من مجرد عرض الأمثلة له والقول "هذا صحيح".

النتيجة

من خلال الجمع بين هذه الطرق الثلاث، أصبح نموذج POINTS-GUI-G بطلاً في العثور على الأشياء على الشاشات.

تفوق على العديد من النماذج الأخرى التي كانت أكبر بكثير وأكثر تكلفة.
سجل درجات عالية للغاية في الاختبارات التي تقيس مدى قدرة الروبوت على العثور على الأزرار، والنصوص، والأيقونات على الهواتف، والحواسيب، والمواقع الإلكترونية.

باختصار: تظهر الورقة البحثية أنه إذا قمت بتنظيف بيانات التدريب الخاصة بك، وتركت "عيون" النموذج تتعلم بحرية، واستخدمت نظام مكافأة صارم يعتمد على "الصح أو الخطأ"، يمكنك بناء روبوت صغير وفعال يتفوق في التنقل عبر شاشة حاسوبك على العديد من البدائل الضخمة والمكلفة.

ملخص تقني: POINTS-GUI-G: رحلة التمركز في واجهة المستخدم الرسومية (GUI Grounding)

بيان المشكلة

أدى التقدم السريع في نماذج الرؤية واللغة (VLMs) إلى ظهور وكلاء واجهة المستخدم الرسومية (GUI agents) القادرين على أتمتة سير العمل الرقمي المعقد، من التسوق عبر الإنترنت إلى حجز الرحلات الجوية. وتعد القدرة على "التمركز في واجهة المستخدم" (GUI grounding) شرطاً أساسياً لهذه الوكلاء، وهي القدرة على تحديد عناصر الواجهة بدقة (النصوص، الأيقونات، الأزرار) داخل لقطة الشاشة لتنفيذ عمليات مثل النقر أو الكتابة.

بينما تعتمد الأبحاث الحالية غالباً على نماذج تمتلك وعياً مكانياً قوياً مسبقاً (مثل Qwen3-VL) للتركيز على تنفيذ المهام من البداية إلى النهاية، إلا أن هذا النهج قد يحجب الرؤى التقنية الحرجة اللازمة للتطوير التكراري. علاوة على ذلك، تتجاهل النهج الحالية غالباً التحديات المحددة للتمركز، مثل تباين البيانات، وعدم تطابق الدقة بين التدريب والاستدلال، وإمكانات التعلم التعزيزي في المهام التي تعتمد بكثافة على الإدراك. تعالج هذه الورقة هذه الفجوات من خلال السعي لإتقان خط الإنتاج التقني الكامل للتمركز في واجهة المستخدم، بدءاً من نموذج أساسي ذو قدرات تمركز أصلية ضئيلة (POINTS-1.5) بدلاً من نموذج مُحسّن مسبقاً.

المنهجية

قدم المؤلفون نموذج POINTS-GUI-G-8B، وهو نموذج تم تطويره من خلال نهج "كامل الحزمة" (full-stack) يتكون من ثلاث ركائز أساسية:

1. هندسة البيانات المنقحة

نفذ المؤلفون خط إنتاج متعدد المراحل لمعاليز قيود مجموعات بيانات التمركز في واجهة المستخدم مفتوحة المصدر:

التوحيد القياسي: تم توحيد مجموعات البيانات المتنوعة عن طريق تطبيع جميع الإحداثيات إلى نطاق $[0, 1]$ بدقة ثلاثة أرقام عشرية، وإعادة صياغة المهام في تنسيقات متسقة لتحديد عناصر واجهة المستخدم (التنبؤ بصندوق الإحاطة أو تحديد نقطة المركز).
تقليل الضجيج: تم استخدام خط معالجة آلي لتصفية البيانات باستخدام OmniParser-v2 لاستبعاد التوصيفات غير الدقيقة. بالنسبة لتوصيف النقاط، تم حساب درجة التغطية مقابل عناصر واجهة المستخدم المكتشفة؛ حيث تم الاحتفاظ فقط بالعينات ذات التداخل العالي ( $S \ge \tau$ ) للقضاء على الإحداثيات الوهمية.
تعزيز التعقيد: لدفع سقف الأداء، تم استبعاد العينات "البسيطة" (التخطيطات المتفرقة، المناطق الكبيرة جداً) باستخدام مقاييس الاعتلاج التخطيطي (1D projection و 2D grid entropy). بالإضافة إلى ذلك، تم تخليق بيانات تحدي عبر:
- GUI-CodeGen: رندرة واجهات برمجيات احترافية (مثل VS Code) ذات مكونات وظيفية عالية الكثافة.
- GUI-Overlay: وضع طبقات من نوافذ تطبيقات متعددة فوق خلفيات سطح المكتب لإدخال مشتتات وعوائق واقعية.

2. استراتيجيات التدريب المحسنة

تم إجراء تعديلين حاسمين على خط تدريب النموذج لتعزيز دقة الإدراك:

مشفر الرؤية غير المجمد (Unfrozen Vision Encoder): على عكس الإصدارات السابقة حيث كان مشفر الرؤية مجمداً، قام المؤلفون بإلغاء تجميد المشفر بالكامل (المبني على Qwen2-VL-NaViD) أثناء التدريب. سمح هذا للنموذج بتكييف استخراج الميزات خصيصاً لنطاق واجهة المستخدم، مما حقق مكاسب كبيرة في الأداء.
اتساق الدقة (Resolution Consistency): للتخفيف من تدهور الأداء في اختبارات الدقة العالية (مثل ScreenSpot-Pro) الناتج عن التدريب على بيانات منخفضة الدقة، رفع المؤلفون الحد الأقصى لدقة التدريب إلى 3072 × 3072 بكسل وقيدوا دقة الاستدلال لتكون أقل من 2000 × 2000 بكسل. أدى هذا التوافق إلى زيادة الأداء بأكثر من 10 نقاط في اختبارات الدقة العالية.

3. التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR)

توضح الورقة تطبيق التعلم التعزيزي (RL) على التمركز في واجهة المستخدم، وهي مهمة يهيمن عليها تقليدياً الضبط الدقيق الخاضع للإشراف (SFT).

المكافآت القابلة للتحقق: تسمح مساحة المخرجات (النقاط أو صناديق الإحاطة) بوظائف مكافأة موضوعية ودقيقة. تكون المكافأة ثنائية (1 أو 0) بناءً على ما إذا كان الإحداثي المتوقع يقع ضمن صندوق الإحاطة الموصوف.
الخوارزمية: استخدم المؤلفون خوارزمية تحسين السياسة النسبي المجموعاتي (GRPO).
التعلم المنهجي (Curriculum Learning): تم استخدام استراتيجية قائمة على المنهج لزيادة صعوبة عينات التدريب تدريجياً، مما أدى إلى استقرار عملية التعلم.
غياب تتبع الاستدلال: اتباعاً لـ GTA1، لا يقوم النموذج بتوليد تتبع للاستدلال قبل إخراج الإحداثيات، بل يركز بحت على رسم الخرائط من الإدراك إلى الفعل.

النتائج الرئيسية

يحقق نموذج POINTS-GUI-G-8B أداءً رائداً (SOTA) عبر خمسة اختبارات رئيسية، متفوقاً في كثير من الأحيان على نماذج أكبر بكثير (مثل النماذج ذات 32 مليار و72 مليار معلمة):

ScreenSpot-Pro: سجل 59.9، متفوقاً على GTA1-7B بمقدار 9.8 نقطة وعلى GUI-Owl-7B بمقدار 5 نقاط.
OSWorld-G: حقق 66.0، محتلاً المركز الأول بين نماذج SOTA ومتفوقاً على MAI-UI-8B بنحو 6 نقاط.
ScreenSpot-v2: حقق 95.7.
UI-Vision: سجل 49.9، متجاوزاً المنافسين غالباً بفوارق تزيد عن 10 نقاط.
MMBench-GUI-L2: حقق 87.0، مظهرًا أداءً قوياً عبر بيئات الهاتف المحمول، وسطح المكتب، والويب.

تؤكد دراسات الاستئصال (الشكل 7) أن هندسة البيانات (DE)، ومشفر الرؤية غير المجمد (UVE)، واتساق دقة الصورة (IR)، والتعلم التعزيزي (RL) يساهم كل منها بشكل تراكمي في الأداء النهائي، حيث يوفر التعلم التعزيزي تحسينات مستمرة مقارنة بالأساس الخاضع للإشراف.

الأهمية والادعاءات

تدعي الورقة أن POINTS-GUI-G يعمل كقاعدة قوية لتطوير وكلاء واجهة المستخدم المستقبليين. تكمن أهميته في:

إتقان الحزمة الكاملة: إثبات أن البدء من نموذج أساسي بقدرات تمركز ضئيلة والبناء من خلال استراتيجيات بيانات وتدريب منقحة يمكن أن يؤدي إلى نتائج رائدة، مما يقدم بديلاً شاملاً للاعتماد فقط على النماذج الكبيرة المحسنة مسبقاً.
التعلم التعزيزي في الإدراك: إثبات أن التعلم التعزيزي مع المكافآت القابلة للتحقق فعال للغاية للمهام كثيفة الإدراك مثل التمركز في واجهة المستخدم، حيث تكون المكافآت سهلة التحقق ودقيقة، مما يتحدى الفكرة القائلة بأن التعلم التعزيزي مخصص فقط لمهام الاستدلال.
الدقة التقنية: تسليط الضوء على العوامل التي غالباً ما يتم تجاهلها مثل اتساق الدقة وضرورة إلغاء تجميد مشفرات الرؤية للمجالات المتخصصة.

لقد أتاح المؤلفون النموذج ومجموعة التقييم مفتوحة المصدر لدعم مجتمع البحث ومعالجة معايير التقييم غير المتسقة، بهدف تحفيز التقدم في تنفيذ وكلاء واجهة المستخدم من البداية إلى النهاية.