💻 computer science

FineState-Bench: Benchmarking State-Conditioned Grounding for Fine-grained GUI State Setting

تقدم هذه الورقة FineState-Bench، وهو معيار مرجعي شامل يضم ٢٢٠٩ حالة ومسار تشخيص مبتكر مكون من أربع مراحل يكشف عن قصور كبير في قدرة النماذج اللغوية البصرية الكبيرة (LVLMs) الحالية على تحقيق تفاعلات واجهة مستخدم رسومية (GUI) دقيقة ومشروطة بالحالة، مع إثبات أن تحسين التأسيس البصري يمكن أن يعزز الأداء بشكل كبير.

المؤلفون الأصليون: Fengxian Ji, Jingpu Yang, Zirui Song, Yuanxi Wang, Zhexuan Cui, Yuke Li, Qian Jiang, Xiuying Chen

نُشر 2026-05-01

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Fengxian Ji, Jingpu Yang, Zirui Song, Yuanxi Wang, Zhexuan Cui, Yuke Li, Qian Jiang, Xiuying Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية استخدام جهاز كمبيوتر. في الماضي، كنا نختبر في الغالب ما إذا كان الروبوت يستطيع العثور على زر والنقر عليه. إذا وجد الروبوت الزر الصحيح، كنا نقول له: "عمل رائع!".

لكن هذه الورقة البحثية الجديدة، FineState-Bench، تجادل بأن مجرد العثور على الزر ليس كافياً. الأمر يشبه قولك للروبوت: "أدر مقبض الصوت إلى 75% بالضبط". إذا وجد الروبوت مقبض الصوت ولكنه نقر على المكان الخاطئ فيه، فقد ينتهي الأمر بمستوى صوت 60% أو 90%. بالنسبة للروبوت، هو قد "نقر على المقبض"، ولكن بالنسبة لك، المهمة فشلت لأن الحالة (مستوى الصوت) لم تكن دقيقة تماماً كما هو مطلوب.

إليك تفصيل بسيط لما قام به الباحثون وما وجدوه:

1. المشكلة: "القريب من الهدف" ليس جيداً بما يكفي

اختبارات الذكاء الاصطنا『الوكلاء (الروبوتات التي تستخدم الشاشات) الحالية تشبه لعبة "ساخن أو بارد". فهي تتحقق مما إذا كان الذكاء الاصطناعي قد وجد المنطقة الصحيحة. لكن في الحياة الواقعية، نحتاج إلى الدقة.

الطريقة القديمة: هل نقر الروبوت على شريط "الصوت"؟ نعم؟ إذن لقد نجح.
الطريقة الجديدة (FineState-Bench): هل نقر الروبوت على المكان المحدد بالضبط على الشريط الذي يجعل مستوى الصوت 75%؟ إذا نقر على 74% أو 76%، فإنه يفشل.

يقول المؤلفون إن نماذج الذكاء الاصطناعي الحالية سيئة جداً في هذا الأمر. فحتى أذكى النماذج لا تنجح في ضبط "الحالة الدقيقة" إلا بنسبة 23% في المتوسط. إنهم جيدون في العثور على المنطقة العامة، لكنهم سيئون جداً في إصابة الهدف الصغير والدقيق المطلوب لتغيير الإعداد بدقة.

2. الحل: "صالة تدريب" جديدة للروبوتات

لإصلاح ذلك، بنى الفريق FineState-Bench، وهو ميدان اختبار ضخم يحتوي على أكثر من 2,200 مهمة مختلفة.

الملعب: يغطي أجهزة الكمبيوتر، والهواتف، والمواقع الإلكترونية.
المهام: بدلاً من مجرد "انقر هنا"، المهام محددة للغاية: "اضبط التاريخ على 25 ديسمبر"، "اسحب هذا الشريط إلى 77.7%"، أو "اختر درجة اللون الأحمر بدقة".
الخريطة: لكل مهمة، أنشأوا خريطة فائقة الدقة. لم يرسموا مجرد مربع حول الشريط بأكمله؛ بل رسموا مربعاً صغيراً جداً حول الجزء المحدد الذي تحتاج إلى لمسه للحصول على النتيجة المطلوبة بالضبط.

3. الأداة التشخيصية: "المحقق البصري"

أدرك الباحثون أنه عندما تفشل الروبوتات، فنحن لا نعرف لماذا. هل لم يفهموا التعليمات؟ هل وجدوا الزر الخطأ؟ أم أنهم وجدوا الزر الصحيح ولكن أخطأوا الهدف الصغير؟

لحل هذه المشكلة، أنشأوا مساعد التشخيص البصري (VDA). تخيل هذا كمدرب بشري متعاون يقف بجانب الروبوت.

بدون المدرب: ينظر الروبوت إلى الشاشة ويخمن. (معدل النجاح: منخفض).
مع المدرب: يهمس المدرب: "مهلاً، الزر الأحمر الذي تحتاجه موجود في هذا المربع الصغير هنا تماماً"، ويشير إليه.
النتيجة: عندما يحصل الروبوت على هذه التلميحات الإضافية، يرتفع معدل نجاحه بشكل ملحو-ظر (بنسبة 15% تقريباً).

ما يخبرنا به هذا: الروبوتات ليست بالضرورة "غبية" أو غير قادرة على فهم الهدف. مشكلتهم الرئيسية هي العمى البصري. لا يمكنهم رؤية النقطة الصغيرة والدقيقة التي يحتاجون للنقر عليها. إذا منحناهم تلميحات بصرية أفضل، فسيصبحون أفضل بكثير في أداء المهمة.

4. الخلاصة الأساسية

تخلص الورقة البحثية إلى أنه بينما يتحسن وكلاء الذكاء الاصطناعي في التنقل عبر الشاشات، إلا أنهم لا يزالون يعانون مع الدقة المتناهية.

إنهم مثل شخص يحاول تمرير خيط في إبرة: يمكنه العثة على الإبرة (الزر)، لكنه لا يستطيع تمرير الخيط عبر ثقبها (الحالة الدقيقة).
الاختبارات الحالية سهلة للغاية لأنها تقبل بـ "القريب من الهدف".
لبناء روبوتات موثوقة حقاً يمكنها القيام بمهام معقدة (مثل ضبط إعدادات محرر فيديو محترف أو ملء نموذج طبي دقيق)، نحتاج لاختبارهم على الدقة المتناهية، وليس فقط الموقع العام.

باختصار: الروبوتات تتحسن في العثور على الباب، لكنها لا تزال بحاجة إلى مساعدة لتدوير المفتاح في القفل بشكل مثالي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "FineState-Bench: تقييم القدرة على التمركز المشروط بالحالة للضبط الدقيق لحالة واجهة المستخدم الرسومية (GUI)."

1. تعريف المشكلة

على الرغم من التقدم السريع في نماذج الرؤية واللغة الكبيرة (LVLMs) لوكلاء واجهات المستخدم الرسومية (GUI agents)، لا يزال الضبط الدقيق للحالة المشروطة بالحالة (state-conditioned interaction) يمثل عقبة كبيرة. غالبًا ما تواجه الوكلاء الحالية صعوبة في ضبط عنصر تحكم في الواجهة إلى حالة مستهدفة دقيقة (على سبيل المثال، ضبط منزلق (slider) عند نسبة 74% بدقة، أو اختيار تاريخ محدد، أو اختيار لون معين) بناءً على نقطة تفاعل واحدة متوقعة.

محدودية المعايير الحالية:

التقييم العام (Coarse Evaluation): تركز معظم المعايات الحالية (مثل ScreenSpot وAITW) على إتمام المهام من البداية إلى النهاية أو التمركز البسيط على مستوى "النقر". وهي تفتقر غالبًا إلى تعريفات دقيقة للحالة المستهدفة.
التحقق الغامض (Ambiguous Verification): نادرًا ما تميز بين النجاح في تحديد موقع عنصر التحكم وبين النجاح في إصابة "اللب القابل للتفاعل" (interactable core) المطلوب لتغيير الحالة.
الافتقار إلى التشخيص (Lack of Diagnostics): تحجب معدلات النجاح الإجمالية أين ولماذا يفشل الوكلاء (على سبيل المثال، هل أخطأ الوكيل في تحديد عنصر التحكم، أم أنه نقر على الجزء الخطأ من عنصر التحكم الصحيح؟).

2. المنهجية

أ. مجموعة بيانات FineState-Bench

قدم المؤلفون FineState-Bench، وهو معيار عابر للمنصات يتكون من 2,209 حالة عبر منصات سطح المكتب (Desktop)، والويب (Web)، والموبايل (Mobile).

النطاق: يغطي 4 عائلات من التفاعلات و23 نوعًا محددًا من مكونات واجهة المستخدم (مثل المنزلقات، ومختاري التاريخ، وعروض الأشجار، ومختاري الألوان).
بروتوكول الخطوة الواحدة: على عكس المعايات القائمة على المسارات (trajectory-based)، تعزل FineState-Bench المشكلة في تفاعل واحد يعتمد على النقطة. يجب على الوكيل توقع نقطتين:
1. $p_0$ : موقع عنصر التحكم المستهدف في واجهة المستخدم الحالية.
2. $p_1$ : نقطة العملية المحددة المطلوبة للوصول إلى حالة الهدف الدقيقة.
التعليق المزدوج للمناطق (Dual-Region Annotation): توفر كل حالة أربعة تعليقات هندسية:
- صندوق التحديد ( $B_{loc}$ ): الامتداد المرئي لعنصر التحكم.
- صندوق التفاعل ( $B_{int}$ ): منطقة "اللب القابل للتفاعل" المحددة التي تطلق تغيير الحالة.
- يتم التعليق على كليهما لكل من التكوينات الحالية والمستهدفة لمراعاة تغيرات التخطيط (layout shifts).
تسميات حالة الهدف الدقيقة: تتضمن كل حالة تسمية دقيقة وقابلة للقياس لحالة الهدف ( $s_{goal}$ )، مثل قيمة عددية محددة أو حالة تبديل ثنائية (binary toggle).

ب. مقاييس FineState (FineState-Metrics)

للانتقال لما هو أبعد من النجاح أو الفشل الثنائي، اقترح المؤلفون خط تشخيص مكون من أربع مراحل:

SR@Loc (معدل نجاح التحديد): يقيس ما إذا كانت $p_0$ تقع ضمن الامتداد المرئي لعنصر التحكم ( $B^0_{loc}$ ).
SR@Int (معدل نجاح التفاعل): يقيس ما إذا كانت $p_1$ تقع ضمن لب تغيير الحالة ( $B^0_{int}$ ).
ES-SR@Loc (نجاح الحالة الدقيقة عند التحديد): يقيس تحقيق الحالة الدقيقة مشروطًا بالتحديد الصحيح ( $p_0 \in B^1_{loc}$ ).
ES-SR@Int (نجاح الحالة الدقيقة عند التفاعل): يقيس تحقيق الحالة الدقيقة مشروطًا بالتفاعل الصحيح ( $p_1 \in B^1_{int}$ ).

يسمح هذا التفكيك للباحثين بنسب الفشل تحديدًا إلى الإدراك (إيجاد عنصر التحكم)، أو الدقة (إصابة اللب)، أو منطق ضبط الحالة (الفشل في تحقيق الهدف حتى بعد إصابة اللب).

ج. المساعد التشخيصي البصري (VDA)

لقياس تأثير أخطاء التمركز البصري، قدم المؤلفون مساعدًا VDA يعمل بنظام "التوصيل والتشغيل" (plug-and-play).

الوظيفة: يقوم VDA بتوليد وصف مهيكل للعنصر المستهدف وتلميح تحديد (صندوق إحاطة) بناءً على التعليمات ولقطة الشاشة.
المقارنة المنضبطة: يتم تقييم الوكلاء مع هذه التلميحات ومع بدونها. الفجوة في الأداء ( $\Delta_{vis}$ ) تعزل الجزء من الأخطاء الناتج تحديدًا عن عدم كفاية التمركز البصري مقابل العوامل الأخرى.

3. المساهمات الرئيسية

FineState-Bench: أول معيار مصمم خصيصًا لـ التحقق من حالة الهدف الدقيقة في وكلاء واجهات المستخدم الرسومية، ويتميز بالإشراف الهندسي مزدوج المناطق وتسميات الحالة الدقيقة عبر 23 نوعًا من المكونات.
FineState-Metrics: إطار تشخيصي مرحلي يفك الارتباط بين دقة التحديد، ودقة مستوى النقطة، وتحقيق الحالة الدقيقة، مما يسمح بنسب الفشل بشكل دقيق.
المساعد التشخيصي البصري (VDA): أداة لدراسات الاستئصال المنضبطة (controlled ablation studies) التي تقيس مقدار الأداء الذي يمكن استعادته من خلال تحسين التمركز البصري، مما يكشف أن أخطاء التمركز هي العائق الأساسي.
التقييم الشامل: تقييم 8 وكلاء ممثلين (بما في ذلك GPT-4o، وClaude-3.5، وGemini-2.5-Flash، ونماذج مفتوحة المصدر مثل OS-Atlas وCogAgent) مما كشف عن فجوات كبيرة في الأداء.

4. النتائج التجريبية

الأداء العام

معدلات نجاح منخفضة: حتى أقوى النماذج تعاني في ضبط الحالة الدقيقة. النموذج الأفضل أداءً، UGround-7B، حقق 32.8% فقط على الويب و22.8% في المتوسط عبر المنصات للمقياس الأساسي (ES-SR@Int).
تباين المنصات: يختلف الأداء بشكل كبير؛ فعلى سبيل المثال، سجل Gemini-2.5-Flash نسبة 17.6% على الموبايل لكنه انخفض إلى 0.7% على سطح المكتب.

الرؤى التشخيصية

عقبة "اللب القابل للتفاعل": أكبر انخفاض في الأداء يحدث بين SR@Loc (التحديد العام) و SR@Int (التفاعل الدقيق). تحدد الوكلاء بشكل صحيح التحكم العام ولكنها تفشل في النقر على المنطقة الدقيقة اللازمة لتغيير الحالة.
حساسية المكونات: تظهر عناصر التحكم المستمرة (المنزلقات، أشرطة البحث، مقابض الضبط) أكبر الفجوات بين نجاح التحديد ونجاح التفاعل. أما عناصر التحكم المنفصلة (المفاتيح، مجموعات الراديو) فتؤدي بشكل أفضل ولكنها لا تزال تعاني في التحقق من الحالة الدقيقة.
تأثير VDA: أدى تقديم تلميحات التحديد من VDA إلى تحسين الأداء بشكل ملحوظ. حقق Gemini-2.5-Flash زيادة قدرها +14.9% في ES-SR@Int عند تزويده بتلميحات VDA. وهذا يشير إلى أن جزءًا كبيرًا من الإخفاقات ناتج عن عدم دقة التمركز البصري وليس عن قصور في التفكير أو التخطيط.

5. الأهمية والتوجهات المستقبلية

إعادة تعريف التقييم: تجادل الورقة بأن "إتمام المهمة" ليس كافيًا لوكلاء واجهات المستخدم الرسومية. فالأتمتة الموثوقة تتطلب التحقق من الحالة الدقيقة، وهو ما تفشل المعايات الحالية في التقاطه.
تحديد العائق: تُظهر الدراسة بشكل قاطع أن الحاجز الرئيسي أمام التفاعل الدقيق والموثوق لواجهات المستخدم الرسومية هو دقة التمركز البصري، وليس التفكير عالي المستوى.
خارطة طريق للتحسين: من خلال توفير إطار تشخيصي، يُمكّن المؤلفون المجتمع من استهداف أوضاع فشل محددة (مثل تحسين توقع النقاط للمنزلقات) بدلاً من الاعتماد على المقاييس الإجمالية.
القيود: تركز FineState-Bench الحالية على لقطات الشاشة الثابتة والتفاعلات ذات الخطوة الواحدة. ويظل توسيع هذه القدرات التشخيصية لتشمل البيئات التفاعلية طويلة الأمد ومتعددة الخطوات والوقت الفعلي تحديًا مفتوحًا.

باختصار، توفر FineState-Bench الصرامة اللازمة لتقييم وتحسين الجيل القادم من وكلاء واجهات المستخدم الرسومية، من خلال نقل التركيز من "هل يستطيع الوكيل النقر على شيء ما؟" إلى "هل يستطيع الوكيل ضبط الواجهة على الحالة الدقيقة المطلوبة؟"