Beyond Binary: Reframing GUI Critique as Continuous Semantic Alignment

ملخص تقني: ما وراء الثنائية: إعادة صياغة نقد واجهة المستخدم الرسومية (GUI) كتحاذٍ دلالي مستمر

بيان المشكلة
برزت عملية "توسيع وقت الاختبار" (Test-Time Scaling - TTS) كنموذج حاسم لوكلاء واجهات المستخدم الرسومية (GUI) العامين، حيث تعتمد على "نموذج ناقد" (Critic Model) لأخذ عينات وتصنيف عدة إجراءات مرشحة لتقليل تتابع الأخطاء في المهام طويلة الأمد. ومع ذلك، تصيغ نماذج النقد الحالية لـ GUI المهمة التقييمية بشكل موحد كـ تصنيف ثنائي (صالح مقابل غير صالح). ويرى المؤلفون أن هذه الصيغة الثنائية غير متوافقة بنيوياً مع طبيعة تفاعلات واجهة المستخدم الرسومية، مما يؤدي إلى عيبين رئيسيين:

1. انهيار الإمكانات (Affordance Collapse): تضغط الإشرافات الثنائية فضاء الإمكانات الهرمي (الذي يتراوح من الأمثل إلى دون الأمثل، إلى المشتتات الدلالية الممكنة، إلى الأخطاء غير ذات الصلة) في تسميات جامدة (0/1). ويتسبب هذا في فقدان النموذج للقدرة على التمييز بين الإجراءات الصالحة ولكن الزائدة عن الحاجة، وبين المشتتات الدلالية الممكنة ولكن الخاطئة.
2. الحساسية للضجيج: غالباً ما تكون الحدود بين "الصحيح" و"الخاطئ" في واجهات المستخدم الرسومية ضبابية. وتؤدي المصنفات الثنائية، التي تفرض عقوبات مطلقة، إلى الإفراط في التخصيص (Overfitting) لضجيج التسميات وتفشل في استيعاب "المناطق الرمادية" الدلالية المتأصلة في اتخاذ القرار داخل الواجهة.

يكشف التحليل التجريبي أن النقاد الثنائيين ينتجون درجات غير متمايزة للإجراءات دون المثالية والمشتتات الدلالية، مما يخلق تشابكاً توزيعياً شديداً يقوض موثوقية عملية توسيع وقت الاختبار (TTS).

المنهجية: BBCritic
لمعالجة هذه القيود، يقدم البحث BBCritic (الناقد لما وراء الثنائية)، وهو تحول جذري من التمييز الثنائي إلى التحاذي الدلالي المستمر القائم على فرضية التكافؤ الوظيفي. تفترض هذه الفرضية أن تعليمات المستخدم اللغوية والإجراء الأمثل لواجهة المستخدم هما تعبيران عن نفس الإمكانية الوظيفية الكامنة.

تستخدم المنهجية إطار تعلم تبايني ثنائي المرحلة:

1. الإسقاط الكامن الموحد: يقوم مشفر نموذج لغوي بصري (VLM) مشترك برسم كل من تعليمات المستخدم (المدمجة مع لقطة الشاشة) والإجراءات المرشحة (المدمجة مع لقطة الشاشة والعلامات البصرية) في فضاء إمكانات مشترك.
2. مقياس التحاذي المستمر: بدلاً من الاحتمالات (logits) الثنائية، يتم حساب درجة الناقد كتشابه جيب التمام (cosine similarity) الموزون بدرجة الحرارة بين تضمين التعليمات وتضمين الإجراء.
3. التحسين الواعي بالطوبولوجيا: يتم تدريب النموذج باستخدام فقد InfoNCE بدلاً من فقد التقاطع الثنائي (BCE). يقدم InfoNCE اعتماداً توزيعياً عبر فضاء الإجراءات الكثيف، مما يسمح للنموذج بإجراء استخراج ضمني للعينات السالبة الصعبة (hard negative mining). وهذا يجبر النموذج على الحفاظ على هيكل التصنيف النسبي (الأمثل > دون الأمثل > المشتت > غير ذي صلة) بدلاً من معاملة جميع السلبيات بالتساوي.
4. منهج تعليمي ثنائي المرحلة:
   • المرحلة الأولى (خشنة المدى): تستخدم السلبيات التي تم تحليل تخطيطها (layout-parsed) لإنشاء فهم عالمي لمساحة التفاعل، والتمييز بين الإجراءات المثلى وعناصر الخلفية غير ذات الصلة.
   • المرحلة الثانية (دقيقة المدى): تستخدم عمليات التشغيل (rollouts) المولدة بواسطة النموذج اللغوي البصري لحصد "المشتتات الدلالية الصعبة" (المحاولات الممكنة ولكنها خاطئة)، مما يشحذ حدود القرار بين الإجراءات دون المثالية والمشتتات.

وعلى نحو حاسم، تعمل العملية بأكملها تحت إعداد الإشراف الضعيف، باستخدام مسارات التنقل الموجودة وعمليات التشغيل المولدة ذاتياً دون الحاجة إلى أي تسميات بشرية متعددة المستويات إضافية للتدريب.

المساهمات الرئيسية

1. تحول النموذج: يقترح المؤلفون نمذجة نقد واجهة المستخدم الرسومية كمسألة تعلم مقاييس (التحاذي الدلالي المستمر) بدلاً من كونها مسألة تصنيف. وهذا يستعيد الطوبولوجيا الهرمية لفضاء الإجراءات ويعالج انهيار الإمكانات الملاحظ في النماذج الثنائية الأساسية.
2. BBBench (اختبار ما وراء الثنائية): يقدم البحث أول اختبار مرجعي لناقد واجهة المستخدم الرسومية مصمم لتقييم قدرات التصنيف الدقيقة. يتميز BBBench بـ:
   • فضاء إجراءات كثيف (بمتوسط ~30 مرشحاً لكل صفحة).
   • تصنيف هرمي رباعي المستويات: أمثل، دون مثالي، مشتت دلالي، وخطأ غير ذي صلة.
   • 18,192 عينة تم التحقق منها بشرياً مع تسميات قائمة على التنفيذ.
3. التحقق من الأداء: تُظهر النتائج التجريبية أن BBCritic-3B (الذي تم تدريبه دون تسميات إضافية) يتفوق على نماذج ثنائية أخرى ذات 7 مليارات معلمة (7B) عبر اختبارات متنوعة.

النتائج

• النمذجة الدلالية (BBBench): يحقق BBCric-3B تفوقاً في مقاييس NDCG وPPA مقارنة بالنقاد الثنائيين (مثل GAIA وGUI-Critic-R1) والنماذج اللغوية البصرية العامة. ومن المثير للاهتمام أن النقاد الثنائيين الذين تم ضبطهم بدقة على نفس الهيكل الأساسي غالباً ما يؤدون بشكل أسوأ من النموذج الأساسي على BBBench، مما يؤكد فرضية "انهيار الإمكانات".
• توسيع وقت الاختبار (TTS): في إعدادات TTS غير المتصلة (AndroidControl وGUI Odyssey)، يحسن BBCric-3B معدلات النجاح (SR) ومعدلات الرموز (TR) بشكل كبير مقارنة بالنماذج المرجعية. على سبيل المثال، في AndroidControl-High، يحقق زيادة مطلقة قدرها 8.6% عن النموذج المرجعي، متفوقاً على النماذج الثنائية الأكبر حجماً (7B).
• التعميم: يظهر النموذج قدرة قوية على النقل بدون تدريب مسبق (zero-shot transferability) إلى بيئات سطح المكتب والويب (ScreenSpotV2) والتعميم عبر المهام (Mind2Web)، رغم تدريبه حصرياً على بيانات الهاتف المحمول. وهذا يشير إلى أن النموذج يتعلم دلالات الإجراء الثابتة بدلاً من الأنماط البصرية الخاصة بالمنصة.
• المتانة: تظهر دراسات الاستبعاد أن BBCric يحافظ على هوامش قرار مستقرة حتى في ظل وجود ضجيج في التسميات، بينما تعاني النماذج الثنائية من انهيار سريع في الأداء.

الأهمية والادعاءات
يزعم البحث أن نقد واجهة المستخدم الرسومية هو في الأساس مسألة تعلم مقاييس، وليس مسألة تصنيف. ومن خلال إعادة صياغة المهمة عبر منظور التكافؤ الوظيفي والتحاذي الدلالي المستمر، يوضح المؤلفون أنه من الممكن استعادة الهيكل الدقيق لإمكانات واجهة المستخدم الرسومية دون الحاجة إلى إشراف متعدد المستويات مكلف. ويشير العمل إلى أن قيود وكلاء TTS الحاليين لا تعود إلى نقص في قدرة النموذج، بل إلى عدم التطابق الهيكلي بين الأهداف الثنائية والطبيعة المستمرة لاتخاذ القرار في واجهات المستخدم الرسومية. إن تقديم BBBench يوفر البنية التحتية اللازمة لتقييم هذا الهيكل الأكثر دقة، مما ينقل المجال إلى ما وراء مجرد الصحة الثنائية البسيطة.