💻 computer science

Enhancing Trustworthy GUI Grounding via Self-Critiqued Reinforcement Learning

يقدم البحث HyperClick، وهو إطار عمل مبتكر يستفيد من التعلم التعزيزي ذاتي النقد لتحسين دقة تحديد عناصر واجهة المستخدم الرسومية (GUI grounding) ومواءمة الثقة في آن واحد، مما يتيح وكلاء واجهة مستخدم رسومية ذاتية أكثر موثوقية وطمأنينة.

المؤلفون الأصليون: Shaojie Zhang, Pei Fu, Ruoceng Zhang, Jiahui Yang, Anan Du, Xiuwen Xi, Shaokang Wang, Ying Huang, Bin Qin, Zhenbo Luo, Jian Luan

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shaojie Zhang, Pei Fu, Ruoceng Zhang, Jiahui Yang, Anan Du, Xiuwen Xi, Shaokang Wang, Ying Huang, Bin Qin, Zhenbo Luo, Jian Luan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً جداً، ولكنه مغرور قليلاً. مهمته هي النظر إلى شاشة هاتفك أو حاسوبك والنقر بالضبط حيث تطلب منه ذلك. إذا قلت له: "انقر على زر الخصوصية"، فعلى الروبوت أن يجد ذلك الزر ويضغط عليه.

المشكلة هي أن هذا الروبوت غالباً ما يعتقد أنه عبقري حتى عندما يكون مخطئاً. قد ينقر في المكان الخطأ، لكنه سيقول لك بثقة: "أنا متأكد بنسبة 99% أن هذا هو الزر الصحيح!". وهذا أمر خطير، لأنه إذا كان الروبوت مخطئاً ولكنه واثق من نفسه، فقد ينقر على الشيء الخطأ، مما يتسبب في خطأ يفسد مهمتك بالكامل.

تقدم هذه الورقة البحثية طريقة تدريب جديدة تسمى HyperClick لإصلاح هذا الأمر. وإليك كيف تعمل، باستخدام بعض التشبيهات البسيطة:

المشكلة: "الطالب المغرور"

فكر في نماذج الذكاء الاصطناعي الحالية كأنها طالب يؤدي امتحاناً. إنه يجيب على كل الأسئلة، ولكنه غالباً ما يقدم إجابة خاطئة وهو يصرخ: "أنا متأكد تماماً أنني على صواب!".

المشكلة: وجد الباحثون أن نماذج الذكاء الاصطناعي هذه سيئة جداً في معرفة متى تكون غير متأكدة. إنها "مغرورة بالثقة". إذا كانت مخطئة، فإنها لا تزال تقول إنها متأكدة بنسبة 90%. وهذا يجعل من الصعب على البشر الوثوق بها أو معرفة متى يتدخلون للمساعدة.

الحل: "النقد الذاتي" مع مكافأة مزدوجة

ابتكر المؤلفون نظاماً جديداً يسمى HyperClick يعلم الروبوت أن يكون صادقاً بشأن ثقته بنفسه. لقد استخدموا تقنية تسمى التعلم التعزيزي ذاتي النقد (SCRL).

تخيل معلماً يدرب طالباً باستخدام قاعدتين محددتين (للمكافأة):

مكافأة "هل أصبت الهدف؟":
- إذا نقر الروبوت على الزر الصحيح، يحصل على نقطة. إذا نقر على زر خاطئ، يحصل على صفر. هذه هي الطريقة القياسية لتدريب الروبوتات.
- التشبيه: هذا يشبه مدرب كرة السلة الذي يقول: "إذا دخلت الكرة في السلة، ستحصل على نقطة".
مكافأة "الأمانة" (الجزء الجديد):
- هذا هو المكون السحري. يجب على الروبوت الآن أن يحدد مدى تأكده قبل أن ينقر.
- إذا نقر الروبوت في المكان الصحيح، يجب أن يقول: "أنا متأكد جداً (ثقة عالية)".
- إذا نقر في المكان الخاطئ، يجب أن يقول: "لست متأكداً جداً (ثقة منخفضة)".
- التحول: إذا نقر في المكان الخطأ وقال: "أنا متأكد بنسبة 100%!"، فسيتم عقابه. وإذا نقر في المكان الصحيح وقال: "أنا أخمن فقط"، فسيحصل أيضاً على درجة أقل.
- التشبيه: المعلم الآن يقول: "لن تحصل على الدرجة الكاملة إلا إذا تطابقت ثقتك مع أدائك. إذا أخطأت في التصويب، يجب أن تعترف بأنك كنت تخمن. وإذا أصبت الهدف، يمكنك القول إنك كنت متأكداً".

كيف يعمل الأمر في الواقع

ينشئ النظام "خريطة ثقة" لكل شاشة.

الهدف: تخيل أن الزر الصحيح هو مركز الهدف (Bullseye). مركز الهدف هو "ثقة 100%". وكلما ابتعدت عن المركز، تنخفض درجة الثقة.
التدريب: يتعلم الروبوت مراقبة نقرته الخاصة. إذا نقر بالقرب من المركز، فإنه يتعلم أن يقول: "ثقة عالية!". إذا نقر بعيداً، فإنه يتعلم أن يقول: "ثقة منخفضة".

النتائج

اختبر الباحثون هذا النظام على العديد من الشاشات الصعبة (مثل واجهات الكمبيوتر عالية الدقة وتطبيقات الهاتف المحمول).

الدقة: لا يزال الروبوت يحصل على الإجابات الصحيحة بنفس وتيرة أفضل الروبوتات الموجودة حالياً.
الأمانة: كان الفوز الكبير هو أن الروبوت أصبح أفضل بكثير في مطابقة ثقته مع أدائه الفعلي.
- قبل: كان يخطئ ولكنه يقول إنه متأكد بنسبة 90%.
- بعد: عندما يخطئ، يعترف قائلاً: "أنا متأكد بنسبة 40% فقط". وعندما يصيب، يقول: "أنا متأكد بنسبة 90%".

لماذا هذا مهم

هذا لا يعني أن الروبوت مثالي بعد، ولكنه يجعله موثوقاً.

ميزة "الامتناع": لأن الروبوت يمكنه الآن أن يقول: "أنا لست متأكداً بشأن هذه النقرة"، يمكن للإنسان (أو لنظام السلامة) التدخل وقول: "حسناً، لا تنقر على ذلك بعد، دعني أتحقق".
لا مزيد من الثقة العمياء: بدلاً من الثقة العمياء في روبوت قد يكون مخطئاً ولكنه واثق من نفسه، يمكنك الآن الوثوق بـ عدم تأكده. إذا قال إنه غير متأكد، فأنت تعلم أن عليك توخي الحذر.

الملخص

تقترح الورقة البحثية HyperClick، وهي طريقة تدريب تعلم أدوات النقر على الشاشات بالذكاء الاصطناعي أن تكون صادقة. إنها تجبر الذكاء الاصطناعي ليس فقط على إيجاد الزر الصحيح، بل وأيضاً على الإبلاغ بدقة عن مدى تأكده. هذا يمنع الذكاء الاصطناعي من ارتكاب الأخطاء بثقة، مما يجعله مساعداً أكثر أماناً وموثوقية لأتمتة مهام الحاسوب والهاتف الخاصة بك.

ملخص تقني: HyperClick – تعزيز موثوقية التوجيه في واجهات المستخدم الرسومية عبر التعلم المعزز بالتقييم الذاتي

بيان المشكلة

تعتمد الوكلاء المستقلون لواجهات المستخدم الرسومية (GUI) على التوجيه (Grounding) — أي القدرة على ربط تعليمات اللغة الطبيعية بإحداثيات بكسل دقيقة للعناصر الموجودة على الشاشة — لتنفيذ أوامر المستخدم. وبينما أدت التطورات الأخيرة في الضبط الدقيق تحت الإشراف (SFT) والتعلم المعزز (RL) إلى تحسين دقة التوجيه، لا تزال هناك فجوة موثوقية حرجة: غالبًا ما تُظهر النماذج الحالية ثقة مفرطة. فإشارات الثقة الخاصة بها (سواء كانت احتمالات ظهور الرموز (tokens) أو التقييمات اللفظية الذاتية) تفتقر إلى التوافق مع صحة التوجيه الفعلية. يؤدي هذا عدم التوافق إلى ارتكاب الوكلاء لأخطاء بـثقة عالية، وهو أمر خطير للغاية في الأتمتة الواقعية حيث يمكن لخطأ وسيط واحد أن يتسبب في فشل المهمة بالكامل. تركز الطرق الحالية بشكل أساسي على دقة التحديد المكاني، لكنها تتجاهل إلى حد كبير ما إذا كانت ثقة النموذج تعكس بدقة جودة تنبؤاته.

المنهجية: إطار عمل HyperClick

لمعالجة مشكلة الثقة المفرطة، يقترح المؤلفون HyperClick، وهو إطار عمل يعزز موثوقية توجيه واجهة المستخدم الرسومية من خلال التعلم المعزز بالتقييم الذاتي (SCRL). وخلافًا للنهج السابقة التي تعامل التوجيه كمهمة تصنيف ثنائية، يدمج HyperClick صراحةً تقدير الثقة في عملية اتخاذ القرار.

1. صياغة المشكلة

تتم صياغة المهمة كـ صيغة نقرة (click formulation)، حيث يتنبأ نموذج السياسة بنقطة واحدة $\hat{p} = (\hat{x}, \hat{y})$ تمثل مركز عنصر واجهة المستخدم المستهدف. يتم تدريب النموذج على إخراج كل من الإحداثيات ودرجة ثقة لفظية.

2. نمذجة الثقة (هدف الثقة المكانية)

بدلاً من الاعتماد على احتمالات الرموز (التي قد تختلط بسبب عملية التجزئة/tokenization)، يبني HyperClick هدف ثقة مكاني محدود بناءً على تحليل الخطأ الغاوسي (Gaussian error analysis).

بناء الهدف: بالنسبة لصندوق الإحاطة الحقيقي (ground-truth bounding box) $b$ بمركز $\mu$ ، يقوم نواة غاوسية (Gaussian kernel) بتوليد قيمة ثقة $C(\hat{p})$ لأي نقطة متوقعة $\hat{p}$ .
القيود: يتم ضبط الثقة لتكون 0 إذا وقعت النقطة خارج صندوق الإحاطة. داخل الصندوق، تتلاشى القيمة بناءً على المسافة من المركز.
التباين التكيفي: للتعامل مع أحجام العناصر المتفاوتة، يتم قياس الانحراف المعياري ( $\sigma$ ) للنموذج الغاوسي بواسطة أبعاد الصندوق ( $\sigma = \alpha \cdot \text{size}$ ). يضمن هذا أن العناصر الأصغر تتطلب دقة أعلى (قمم أكثر حدة)، بينما تسمح العناصر الأكبر بمناطق ثقة عالية أوسع.

3. هدف التدريب والمكافآت

يتم تحسين السياسة باستخدام تحسين السياسة النسبي للمجموعات (GRPO) مع دالة مكافأة مركبة $R = R_{format} + R_{correctness} + R_{confidence}$ :

مكافأة التنسيق ( $R_{format}$ ): تفرض قالب مخرجات صارم <point>[x,y]</point><confidence>conf</confidence>، مما يضمن قابلية التحليل ويمنع المخرجات الطويلة جدًا.
مكافأة الصحة ( $R_{correctness}$ ): مكافأة ثنائية (1 أو 0) تشير إلى ما إذا كانت النقطة المتوقعة تقع داخل صندوق الإحاطة الحقيقي.
مكافأة توافق الثقة ( $R_{confidence}$ ): قيد $L_2$ يعمل على مواءمة الثقة اللفظية المولدة من النموذج $\hat{c}$ مع هدف الثقة المكاني $C(\hat{x}, \hat{y})$ . هذا يكافئ النموذج على تخصيص ثقة عالية للنقرات الصحيحة والدقيقة، وثقة منخفضة للنقرات غير الصحيحة أو غير الدقيقة.

المساهمات الرئيسية

التحليل المنهجي للثقة المفرطة: يقيم المؤلفون النماذج العامة ونماذج واجهة المستخدم الرسومية الحالية بشكل منهجي على معيار ScreenSpot-Pro، ليكشفوا أن الوكلاء الحاليين يظهرون ثقة مفرطة بشكل كبير في تنبؤاتهم، حيث تتجاوز درجات الثقة دقة التوجيه الفعلية بكثير.
إطار عمل HyperClick: قدموا إطار عمل SCRL مبتكرًا يحسن دقة التوجاء وتوافق الثقة بشكل مشترك. من خلال تدريب النموذج على كشف عدم اليقين بجانب تنبؤ النقرة، يتيح HyperClick الامتناع القائم على الثقة، مما يسمح للوكلاء بالتوقف عن العمل عند عدم اليقين.
آلية المكافأة المزدوجة: يقترح البحث آلية مكافأة مزدوجة محددة تجمع بين الصحة الثنائية وهدف الثقة المكاني المحدود، مما يثبت أن هذا النهج يقلل بفعالية من أخطاء الثقة المفرطة دون التضحية بأداء التوجيه.

النتائج التجريبية

قيم المؤلفون HyperClick على أربعة معايير تحدي: ScreenSpot، و ScreenSpot-V2، و ScreenSpot-Pro، و MMBench-GUI.

الأداء: يحافظ HyperClick (المعتمد على Qwen2.5-VL-3B و 7B) على دقة توجيه تنافسية أو متفوقة مقارنة بنماذج SFT و RL الأساسية في منصات الجوال، وسطح المكتب، والويب. ومن الملاحظ أنه يظهر مكاسب كبيرة في المعايير عالية الدقة والمعقدة مثل ScreenSpot-Pro.
توافق الثقة: تُظهر مخططات الموثوقية (Reliability diagrams) في ScreenSpot-Pro انخفاضًا هائلاً في خطأ المعايرة المتوقع (ECE). بينما تُظهر النماذج الأساسية (مثل UI-TARS و Qwen2.5-VL) قيم ECE تتراوح بين 0.48 و 0.63 (مما يشير إلى ثقة مفرطة شديدة)، نجح HyperClick-7B في خفض ECE إلى 0.249.
دراسات الاستئصال (Ablation Studies):
- الجمع بين جميع مكونات المكافأة الثلاثة (التنسيق، الصحة، الثقة) يعطي أفضل النتائج (دقة 93.7% على ScreenSpot-V2)، بينما يؤدي استخدام توافق الثقة وحده إلى "اختطاف المكافأة" (reward hacking).
- يعد معامل التباين التكيفي $\alpha$ حاسمًا؛ حيث يوفر $\alpha = 1/4$ التوازن الأمثل بين التركيز والانتشار.
- يتعمم إطار العمل بشكل جيد، حيث يحسن الأداء عند تطبيقه على نماذج أساسية أخرى مثل MiMo-VL.

الأهمية والادعاءات

يزعم البحث أن توجيه واجهة المستخدم الرسومية الموثوق هو شرط أساسي للوكلاء المستقلين الموثوقين. من خلال الانتقال لما وراء مقاييس الدقة البسيطة لتشمل توافق جودة الثقة، يعالج HyperClick قصورًا جوهريًا في وكلاء واجهة المستخدم الحاليين: عدم القدرة على التمييز بين الإجراءات الموثوقة وغير الموثوقة.

يضع المؤلفون هذا العمل كخطوة نحو أتمتة أكثر أمانًا لواجهات المستخدم الرسومية. ومن خلال تمكين الوكلاء من "معرفة ما لا يعرفونه" عبر الثقة اللفظية المعايرة، يدعم إطار العمل الامتناع الانتقائي، مما يمنع انتشار الأخطاء في المهام متعددة الخطوات. ويخلص البحث إلى أنه بينما يركز العمل الحالي على التوجيه، فإن مبادئ توافق الثقة ضرورية للتوسعات المستقبلية في تخطيط واجهة المستخدم الرسومية (GUI planning)، حيث يمكن أن تؤدي القرارات غير الموثوقة إلى آثار سلبية متتالية. ويؤكد المؤلفون أن نهجهم مستقل عن النموذج فيما يتعلق بإشارة الثقة وقابل للتوسع عبر مختلف بنيات النماذج البصرية اللغوية الكبيرة (VLMs).