💬 NLP

Learning GUI Grounding with Spatial Reasoning from Visual Feedback

تقدم هذه الورقة البحثية نموذج GUI-Cursor، الذي يعيد صياغة عملية تحديد المواقع في واجهات المستخدم الرسومية (GUI grounding) كمهة بحث تفاعلية باستخدام التغذية الراجعة البصرية من مؤشر (cursor) مُصوَّر والتعلم التعزيزي للتغلب على قيود التنبؤ بالإحداثيات في النماذج اللغوية البصرية (Vision Language Models)، محققاً بذلك أداءً فائقاً في مهام الاستدلال المكاني والمهام الوكيلية (agentic tasks) ببيانات تدريب أقل.

المؤلفون الأصليون: Yu Zhao, Wei-Ning Chen, Huseyin Atahan Inan, Samuel Kessler, Lu Wang, Lukas Wutschitz, Fangkai Yang, Chaoyun Zhang, Pasquale Minervini, Saravan Rajmohan, Robert Sim

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yu Zhao, Wei-Ning Chen, Huseyin Atahan Inan, Samuel Kessler, Lu Wang, Lukas Wutschitz, Fangkai Yang, Chaoyun Zhang, Pasquale Minervini, Saravan Rajmohan, Robert Sim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "Learning GUI Grounding with Spatial Reasoning from Visual Feedback" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: "المهندس الأعمى"

تخيل أنك مهندس معماري تحاول إخبار روبوت بمكان وضع طوبة محددة على جدار ضخم ومعقد (شاشة الكمبيوتر). الجدار ضخم، والطوب صغير جداً.

لفترة طويلة، حاول الباحثون تعليم الروبوتات القيام بذلك من خلال مطالبتها بتخمين الإحداثيات الدقيقة (مثل "الصف 45، العمود 12") في محاولة واحدة فقط. تجادل الورقة بأن هذا يشبه مطالبة المهندس بتخمين الموقع دون أن يرى الجدار أو الطوبة أبداً. حتى أكثر نماذج الذكاء الاصطناعي ذكاءً تفشل هنا، لأنها بارعة في التعرف على ماهية الأشياء، لكنها سيئة جداً في تحديد أين توجد بالضبط على شاشة عالية الدقة. إنها "عمياء مكانياً".

الحل: "البحث عن الكنز" (GUI-CURSOR)

قرر المؤلفان، يو تشاو وفريقه، التوقف عن مطالبة الذكاء الاصطناعي بتخمين الإجابة فوراً. بدلاً من ذلك، حولوا المهمة إلى "بحث عن كنز".

لقد قدموا طريقة جديدة تسمى GUI-CURSOR. بدلاً من مجرد قول "الزر موجود عند (500، 500)"، يتم منح الذكاء الاصطناعي مؤشر ماوس افتراضي. يجب عليه تحريك هذا المؤشر حول الشاشة، خطوة بخطوة، حتى يجد الهدف.

إليك كيف يعمل "البحث عن الكنز":

الحركة: ينظر الذكاء الاصطناعي إلى الشاشة ويقول: "أعتقد أن الهدف هناك"، ثم يحرك المؤشر.
التغذية الراجعة: يُظهر الكمبيوتر للذكاء الاصطناعي صورة جديدة حيث يستقر المؤشر الآن في مكانه الجديد.
التحقق: ينظر الذكاء الاصطناعي إلى الصورة الجديدة ويسأل نفسه: "هل المؤشر على الزر الصحيح؟ لا؟ حسناً، أحتاج للتحرك يساراً".
التكرار: يستمر في التحرك والتحقق حتى يقول: "نعم، لقد وصلت!" ويتوقف.

السر الخفي: التعلم من الأخطاء

تشرح الورقة أن هذه العملية مدعومة بـ التعلم التعزيزي (Reinforcement Learning). فكر في هذا الأمر مثل تدريب كلب.

إذا حرك الكلب المؤشر مقترباً من الهدف، فإنه يحصل على "مكافأة" (Treat).
إذا تحرك في الاتجاه الخاطئ، أو توقف مبكراً، أو استمر في التحرك في دوائر، فإنه يحصل على "لا" (عقوبة).

أنشأ المؤلفون مجموعة خاصة من القواعد (دالة المكافأة) لتعليم الذكاء الاصطناعي كيفية البحث بكفاءة:

لا تستسلم مبكراً جداً: إذا توقفت وأنت لم تصل بعد، فهذه عقوبة.
لا تتحرك في دوائر: إذا انتقلت إلى مكان كنت فيه بالفعل، فهذه عقوبة.
لا تبتعد عن الهدف: إذا تحركت بعيداً عن الهدف، فهذه عقوبة.

لماذا يعمل هذا بشكل أفضل؟

تدعي الورقة أن هذه الطريقة تتفوق لسببين رئيسيين:

حلقة التغذية الراجعة البصرية: في الطريقة القديمة، كان الذكاء الاصطناعي يخمن رقماً ولا يرى أبداً ما إذا كان صحيحاً أم لا. في هذه الطريقة الجديدة، يرى الذكاء الاصطناعي أين استقر تخمينه. إنه الفرق بين تخمين موقع على خريطة وبين السير فعلياً إلى هناك لرؤية ما إذا كنت قد وجدت الكنز. هذا يساعد الذكاء الاصطناعي على تعلم الربط بين "الأرقام" و"المواقع البصرية".
تفكير مكاني أفضل: اختبر المؤلفون الذكاء الاصطناعي في لعبة بسيطة: "هل النقطة السوداء داخل الصندوق الأحمر؟" وجدوا أن نماذج الذكاء الاصطناعي القياسية سيئة بشكل مفاجئ في هذه المهمة البسيطة، وغالباً ما تفشل ما لم يكن الصندوق في منتصف الشاشة تماماً. ومع ذلك، أصبح الذكاء الاصطناعي المدرب بطريقة "البحث عن الكنز" أفضل بكثير، رغم أنهم لم يعلموه اللعبة صراحة. يبدو أن تعلم تحريك المؤشر يعلم الذكاء الاصطناعي كيفية فهم المساحة والمسافة بشكل أفضل.

النتائج: أسرع، أذكى، وأقل تكلفة

اختبر الفريق نموذجهم الجديد (GUI-CURSOR) مقابل أفضل النماذج الأخرى.

الدقة: تفوق على النماذج الأفضل سابقاً في الشاشات الصعبة وعالية الدقة.
الكفاءة: تعلم حل 95% من المشكلات في حركتين فقط.
توفير البيانات: حقق هذه النتائج باستخدام 8,000 مثال تدريبي فقط، بينما كان القائد السابق يحتاج إلى 64,000. إنه يشبه تعلم قيادة السيارة من خلال التدرب على مضمار صغير لبضع ساعات، بدلاً من القيادة لأيام.

الملخص

تقترح الورقة أنه بدلاً من إجبار الذكاء الاصطناعي على أن يكون "مخمناً من محاولة واحدة" لإحداثيات الكمبيوتر، يجب أن نتركه "مستكشفاً فضولياً". من خلال منح الذكاء الاصطناعي ماوس افتراضي وتركه يتحرك، وينظر، ويصحح مساره، يتعلم الذكاء الاصطناستيعاب تخطيط الشاشة بشكل أفضل بكثير. وهذا يجعله أكثر ذكاءً في العثيد على الأزرار والأيقونات، ويجعله أيضاً، وبشكل مفاجئ، أفضل في فهم العلاقات المكانية الأساسية بشكل عام.

ملخص تقني: تعلم تحديد المواقع في واجهة المستخدم الرسومية (GUI) عبر الاستدلال المكاني من التغذية الراجعة البصرية

بيان المشكلة

تتمثل مهمة تحديد المواقع في واجهة المستخدم الرسومية (GUI grounding) في ربط تعليمات اللغة الطبيعية بإحداثيات بكسل محددة على الشاشة لتنفيذ إجراء ما (مثل النقر). ورغم التقدم الذي أحرزته نماذج الرؤية واللغة (VLMs) مؤخرًا، إلا أنها غالبًا ما تفشل في التنبؤ بالإحداثيات العددية الدقيقة في واجهات المستخدم ذات الدقة العالية والتخطيطات المعقدة. وينبع هذا الفشل من غياب المحاذاة الدلالية المكانية: حيث تجد النماذج صعوبة في ربط فهمها لعنصر مرئي ما برموز الإحداثيات المنفصلة بشكل ضمني.

عادةً ما تتبع النهج الحالية إطار عمل يعامل تحديد المواقع في الواجهة كـ مشكلة تنبؤ بخطوة واحدة، حيث يقوم النموذج بتوليد الإحداثيات مباشرة من لقطة الشاشة. ويتمثل القصور الحرج في هذا النموذج في غياب حلقة التغذية الراجعة البصرية. فالنموذج يخضع للإشراف فقط بناءً على المخرج العددي النهائي ولا يتلقى أي معلومات حول الموقع الذي استقرت فيه تنبؤاته فعليًا على الشاشة. ونتيجة لذلك، يفشل النموذج في تطوير محاذاة قوية بين تنبؤاته العددية ومواقعها المقابلة على الشاشة، مما يؤدي إلى ضعف في قدرات الاستدلال المكاني.

المنهجية: GUI-CURSOR

لمعالجة هذه القيود، يقترح المؤلفون GUI-CURSOR، الذي يعيد صياغة تحديد المواقع في الواجهة من مهمة ثابتة ذات خطوة واحدة إلى مهمة بحث ديناميكية تفاعلية.

1. بيئة البحث التفاعلية

بدلاً من التنبؤ بالإحداثيات النهائية فورًا، يتحكم النموذج في مؤشر (cursor) افتراضي على صورة واجهة المستخدم. وتعمل العملية كسلسلة من الخطوات:

الملاحظة: في كل خطوة $t$ ، يلاحظ النموذج لقطة شاشة الواجهة مع وجود المؤشر في موقعه الحالي $(x_t, y_t)$ .
الاستدلال والإجراء: يولد النموذج استجابة تحتوي على عملية تفكير (تحليل الهدف، موقع المؤشر الحالي، والعلاقات المكانية) متبوعة بـ إجراء. يكون الإجراء إما إحداثيات جديدة $(x_{t+1}, y_{t+1})$ لتحريك المؤشر أو أمر STOP إذا كان المؤشر في الموضع الصحيح.
التغذية الراجعة البصرية: تقوم البيئة برسم المؤشر في الموضع الجديد وتوفر لقطة شاشة محدثة للخطوة التالية. تسمح هذه التغذية الراجعة البصرية الصريحة للنموذج بالتحقق من تنبؤاته وتحسين فهمه المكاني تدريجيًا.

2. التدريب باستخدام التعلم التعزيزي

يتم تدريب النموذج باستخدام تحسين السياسة النسبي للمجموعات (GRPO) ضمن هذه البيئة التفاعلية. ويعتمد هدف التدريب على دالة مكافأة قائمة على المسار ( $R_T$ ) مصممة لتوجيه كل من الدقة النهائية وسلوك البحث.

تتكون دالة المكافأة من:

مكافأة الموضع ( $r_p$ ): مكافأة كثيفة تعتمد على المسافة بين موضع المؤشر النهائي وصندوق الإحداثيات المستهدف، مع مراعاة القرب من الحافة والمركزية داخل الصندوق.
عقوبات المسار: لمنع الاستراتيجيات الهدامة (مثل التوقف فورًا دون تحرك، أو التحرك ذهابًا وإيابًا، أو التحرك بعيدًا عن الهدف)، قدم المؤلفون أربع عقوبات محددة:
- عقوبة التوقف الخاطئ ( $r_{FS}$ ): تعاقب التوقف عندما يكون المؤشر خارج الهدف.
- عقوبة التحرك الخاطئ ( $r_{FM}$ ): تعاقب الاستمرار في التحرك بعد دخول المؤشر بالفعل إلى صندوق الهدف.
- عقوبة الاتجاه الخاطئ ( $r_{FD}$ ): تعاقب التحركات التي تزيد المسافة إلى الهدف مقارنة بالتنبؤ الأولي.
- عقوبة الموضع المتكرر ( $r_{RP}$ ): تعاقب التنبؤ بنفس الإحداثيات أكثر من مرة.

3. التركيز المتمحور حول المؤشر (CCF)

للتعامل مع الصور عالية الدقة بكفاءة دون تكاليف حوسبية باهظة، قدم المؤلفون استراتيجية من مرحلتين:

التدريب: يتم تصغير حجم الصور إلى دقة يمكن إدارتها (مثل 1920×1080).
الاستنتاج: بالنسبة للصور الأكبر من دقة التدريب، يقوم النموذج أولاً بتنبؤ أولي عام على الصورة الكاملة. ثم يقوم بقص منطقة متمركزة حول هذا التنبؤ (مع الحفاظ على دقة التدريب) ويقوم بعملية تحرك دقيقة داخل هذا المنظر المركز. يوازن هذا بين كفاءة التدريب ودقة الاستنتاج.

المساهمات الرئيسية

إعادة صياغة تحديد المواقع في الواجهة: تنقل الورقة البحثية النموذج من التنبؤ الثابت بالإحداثيات إلى عملية تفاعلية ديناميكية حيث يتعلم النموذج المحاذاة بين الإحداثيات والمكان عبر التغذية الراجعة البصرية.
نموذج GUI-CURSOR: تقديم نموذج لتحديد المواقع في الواجهة يتم تدريبه عبر التعلم التعزيزي في بيئة تفاعلية، باستخدام دالة مكافأة كثيفة مدركة للمسار تفرض سلوكيات بحث عقلانية.
تعزيز الاستدلال المكاني: يظهر التقييم الشامل أن تعلم تحديد المواقع في الواجهة عبر تحريك المؤشر لا يحسن دقة تحديد المواقع فحسب، بل يحسن أيضًا قدرات الاستدلال المكاني العامة، والتي تنتقل إلى نطاقات خارج نطاق البيانات الأصلية.

النتائج التجريبية

قيم المؤلفون GUI-CURSOR على عدة اختبارات مرجعية، بما في ذلك ScreenSpot-Pro و OSWorld-G و UI-Vision و ScreenSpot-v2، باستخدام النماذج الأساسية Qwen2.5-VL-7B و UI-TARS-1.5-7B.

أداء تحديد المواقع: تفوق GUI-CURSOR باستمرار على النماذج المرجعية القوية (بما في ذلك طرق الضبط الدقيق الخاضعة للإشراف مثل SeeClick و UGround والطرق القائمة على التعلم التعزيزي مثل GTA1). ومن الجدير بالذكر أنه في اختبار ScreenSpot-Pro الصعب، تجاوز GUI-CURSOR (المبني على UI-TARS-1.5-7B) النموذج الرائد GTA1 بنسبة 8.1%، رغم استخدامه لعينات تدريب أقل بكثير (8 آلاف مقابل 64 ألفًا).
المهام الوكيلية (Agentic Tasks): في التقييمات الوكيلية عبر الإنترنت على OSWorld، حقق GUI-CURSOR معدلات نجاح أعلى بعدد خطوات إجراء أقل مقارنة بـ GTA1، مما يدل على فعاليته في السيناريوهات الواقعية والمتنوعة.
الاستدلال المكاني:
- اختبار المؤشر داخل الصندوق: كشف اختبار مخصص أن نماذج VLMs القياسية (حتى تلك التي خضعت للضبط الدقيق) تعاني في التصنيف المكاني البسيط (تحديد ما إذا كان المؤشر داخل صندوق أم لا) وتظهر انحيازًا قويًا نحو المركز. حقق GUI-CURSOR، دون تدريب صريح على مهمة التصنيف هذه، درجات F1 أعلى بكثير، مما يشير إلى أن قدرته على تحديد المواقع قائمة على فهم مكاني أكثر قوة.
- التعميم: في اختبارات مثل SPHERE و SpatialMQA، أظهر GUI-CURSOR تحسنًا في مهارات الاستدلال والدمج، مما يشير إلى أن منهج التدريب التفاعلي يعزز قدرات الاستدلال المكاني بما يتجاوز نطاق واجهات المستخدم.
الكفاءة: يتعلم النموذج إجراء المزيد من الخطوات بشكل تكيفي فقط في الأمثلة الصعبة (مثل الأهداف الصغيرة)، حيث يحل 95% من الحالات خلال خطوتين.

الأهمية والادعاءات

تكمن الأهمية الأساسية لهذا العمل في إثبات أن حلقات التغذية الراجعة البصرية ضرورية لمواءمة التنبؤات العددية مع الواقع المكاني في نماذج VLMs. ومن خلال إعادة صياغة تحديد المواقع كمهمة بحث، يتعلم النموذج "التفكير" في العلاقات المكانية وتصحيح مساره، بدلاً من الاعتماد على تخمين الخطوة الواحدة.

يؤكد المؤلفون أن هذا النهج:

يحل مشكلة المحاذاة الدلالية المكانية المتأصلة في التنبؤ بخطوة واحدة.
يحسن كفاءة البيانات، محققًا نتائج رائدة باستخدام عينات تدريب أقل.
ينمي قدرة استدلال مكاني أكثر قوة وتعميمًا على المهام الخارجة عن نطاق البيانات، مما يشير إلى أن القدرة على البحث التفاعلي عن الأهداف هي مكون أساسي للفهم المكاني في الوكلاء متعددي الوسائط.

تخلص الورقة إلى أن تعلم تحديد المواقع في الواجهة عبر تحريك المؤشر هو استراتيجية متفوقة لتطوير وكلاء يمكنهم التنقل والتفاعل بفعالية مع واجهات رقمية معقدة.