🤖 AI

Towards GUI Agents: Vision-Language Diffusion Models for GUI Grounding

تُثبت هذه الورقة أن نماذج الرؤية واللغة ذات الانتشار المنفصل، وتحديداً عند تكييفها بجدول قناع هجين مبتكر وبيانات تدريب موسعة، تُعد بديلاً واعداً وتنافسياً للنماذج ذات التوليد الذاتي لمهام تحديد العناصر في واجهات المستخدم الرسومية عبر واجهات الويب وسطح المكتب والهاتف المحمول.

المؤلفون الأصليون: Shrinidhi Kumbhar, Haofu Liao, Srikar Appalaraju, Kunwar Yashraj Singh

نُشر 2026-03-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shrinidhi Kumbhar, Haofu Liao, Srikar Appalaraju, Kunwar Yashraj Singh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية استخدام جهاز كمبيوتر أو هاتف ذكي. تريد من الروبوت أن ينظر إلى الشاشة، ويقرأ تعليماتك (مثل "انقر على زر الإرسال")، ثم يشير بإصبعه فعلياً إلى المكان الصحيح تماماً على الشاشة للقيền بذلك.

هذه الورقة البحثية تتحدث عن تعليم نوع جديد من "عقل الروبوت" للقيام بهذه المهمة، وهي تحاول تجربة استراتيجية مختلفة تماماً عن الاستراتيجيات التي تهيمن حالياً على هذا المجال.

إليك التفاصيل باستخدام تشبيهات بسيطة:

1. الطريقة القديمة مقابل الطريقة الجديدة

الطريقة القديمة (النماذج ذات الترتيب الذاتي - Autoregressive Models):
فكر في نماذج الذكاء الاصطي الذروة الحالية مثل كاتب سريع وصارم. هو يقرأ تعليماتك ويكتب الإجابة حرفاً بحرف، من اليسار إلى اليمين. لا يمكنه العودة لتغيير حرف كتبه للتو دون البدء من جديد أو استخدام حيل معقدة. هم رائعون، لكنهم خطيون وجامدون.

الطريقة الجديدة (نماذج الانتشار - Diffusion Models):
المرجعون يختبرون نحاتاً. بدلاً من الكتابة، تخيل أن الذكاء الاصطناعي يبدأ بكتلة من الطين مغطاة بالكامل بالطين (ضجيج عشوائي). هو لا يعرف الإجابة بعد.

ينظر إلى التعليمات والشاشة.
يقوم بمسح الطين ببطء، خطوة بخطوة، لتنقية الشكل.
مع كل مسحة، تصبح الإجابة أكثر وضوحاً.
إذا ارتكب خطأً في البداية، يمكنه "إعادة نحت" ذلك الجزء لاحقاً لأنه ينظر إلى الصورة الكاملة دفعة واحدة، وليس فقط إلى آخر حرف كتبه.

تسأل الورقة البحثية: هل يمكن لهذا "النحات" (نموذج الانتشار) أن يتعلم إيجاد الأزرار والأيقونات على الشاشة ببراعة تضاهي "الكاتب" (نموذج الترتيب الذاتي)؟

2. المشكلة: إيجاد "الصندوق"

عندما يحتاج الروبوت للنقر على زر، فإنه لا يكتفي بقول "انقر" فقط. بل يحتاج إلى رسم صندوق حول الزر: الزاوية العليا اليسرى، والزاوية السفلى اليمنى.

التحد تحدي: الزاوية "العليا اليسرى" والزاوية "السفلى اليمنى" مرتبطان ببعضهما. إذا عرفت أين تقع الزاوية العليا اليسرى، فيجب أن تكون الزاوية السفلى اليمنى في مكان محدد بالنسبة لها.
الخطأ: طريقة "النحات" القياسية تعامل كل جزء من الإجابة كضجيج عشوائي. قد يقوم النموذج بمسح الزاوية العليا اليسرى والزاوية السفلى اليمنى في نفس الوقت، مما يجعل من الصعب على الذكاء الاصطناعي تعلم كيفية ملاءمتهما معاً.

3. الحل: استراتيجية "القناع الهجين" (Hybrid Masking)

أدرك المؤلفون أنه لتعليم النحات رسم صندوق مثالي، كانوا بحاجة إلى عملية تدريب من خطوتين. أطلقوا عليها اسم "القناع الهجين".

المرحلة 1 (المرتكز): أولاً، يتركون الذكاء الاصطناعي يخمن الإجراء (مثل "نقر") ونقطة المرتكز (الزاوية العليا اليسرى). يتركون الذكاء الاصطناعي "ينحت" هذا الجزء عشوائياً، تماماً مثل الطريقة القديمة. هذا يعطي الذكاء الاصطناعي نقطة انطلاق.
المرحلة 2 (التنقيح): بمجرد حصول الذكاء الاصطناعي على نقطة البداية، يجبرونه على معرفة بقية الصندوق (الزاوية السفلى اليمنى) بناءً فقط على تلك النقطة. يغطون بقية الإجابة تماماً ويقولون له: "حسناً، بما أنك عرفت أين هي الزاوية العليا اليسرى، أخبرنا أين هي الزاوية السفلى اليمنى".

التشبيه:
تخيل أنك تحاول تخمين حجم غرفة.

الطريقة القديمة: تخمن حجم الغرفة بالكامل دفعة واحدة، على أمل ضبط الزوايا بشكل صحيح.
الطريقة الهجينة: أولاً، تخمن أين يقع الباب الأمامي (المرتكز). ثم، تُجبر على تخمين مدى عمق الغرفة بناءً على موقع الباب. هذا يجعل التخمين النهائي أكثر دقة بكثير.

4. النتائج: هل نجح الأمر؟

اختبر الفريق هذا "النحات" الجديد على أربعة أنواع مختلفة من الشاشات: المواقع الإلكترونية، أجهزة الكمبيوتر المكتبية، والهواتف المحمولة.

لقد نجح: يمكن للنموذج الجديد إيجاد الأزرار والأيقونات بشكل جيد جداً، ويكاد يقترب من أداء أفضل نماذج "الكاتب".
الدفعة النوعية: باستخدام "القناع الهجين" (عملية الخطوتين)، أصبح النموذج أفضل بكثير في تحديد المكان الدقيق للنقر. لقد حسن معدل نجاحه بنحو 6% مقارنة بالنسخة القياسية.
المقايضة: عملية النحت تستغرق وقتاً أطول قليلاً من الكتابة. النموذج أبطأ قليلاً (زمن استجابة أعلى) لأنه يحتاج إلى القيام بالمزيد من "المسحات" لتنظيف الطين عن الصلصال. ومع ذلك، وجد المؤلفون نقطة توازن تجعل العملية سريعة بما يكفي لتكون مفيدة.
المزيد من البيانات يساعد: تماماً كما يتعلم الطالب بشكل أفضل مع المزيد من الكتب الدراسية، أصبح الذكاء الاصطناعي أسرع وأكثر دقة عندما غذيناه ببيانات من أنواع مختلفة من الشاشات (ليس فقط موقعاً واحداً).

5. لماذا يجب أن نهتم؟

هذا أمر بالغ الأهمية لأنه يثبت وجود مسار جديد للمضي قدماً في بناء وكلاء الذكاء الاصطناعي.

حالياً، يحاول الجميع تقريباً جعل نماذج "الكاتب" أسرع وأذكى.
توضح هذه الورقة أن نهج "النحات" (الانتشار) هو بديل قوي وقابل للتطبيق.
تشير الورقة إلى أنه في المستقبل، قد لا تكتفي مساعدات الذكاء الاصطناعي الخاصة بنا بـ "كتابة" الأوامر، بل ستعمل على "نحت" فهمها للعالم، مما يسمح لها بأن تكون أكثر مرونة، وتفاعلية، ودقة في المهام المعقدة مثل التنقل في هاتفك أو جهاز الكمبيوتر الخاص بك.

باخت fact مختصر: أخذ المؤلفون نوعاً جديداً من الذكاء الاصطناعي، وعلموه خدعة خاصة من خطوتين لرسم صناديق حول عناصر الشاشة، وأثبتوا أنه يمكنه القيام بهذه المهمة كمساعد روبوت ببراعة تقارب النماذج الرائدة حالياً، مما يفتح الباب لجيل جديد من وكلاء الذكاء الاصطناعي البصريين الأذكياء.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "نحو وكلاء واجهة المستخدم الرسومية (GUI): نماذج الانتشار لغوية-بصرية لربط عناصر الواجهة (GUI Grounding)."

1. بيان المشكلة

ربط عناصر الواجهة (GUI Grounding) هو القدرة الأساسية المطلوبة لوكلاء واجهة المستخدم الرسومية لإدراك الواجهات الرقمية، وتحديد مواقع عناصر محددة بناءً على تعليمات لغوية طبيعية، وتنفيذ الإجراءات (مثل النقر، أو التمرير، أو الكتابة). حالياً، تهيمن نماذج الرؤية واللغة ذات التوليد التلقائي (Autoregressive - AR) على هذا المجال نظراً لقدراتها القوية في الاستنتاج. ومع ذلك، تعاني نماذج الـ AR من قيود متأصلة:

فك التشفير المتسلسل (Sequential Decoding): تقوم بتوليد الرموز (tokens) واحداً تلو الآخر، مما يؤدي إلى زمن انتقال (latency) مرتفع.
الانتباه أحادي الاتجاه (Unidirectional Attention): لا يمكنها الانتباه إلى الرموز المستقبلية أثناء عملية التوليد، مما قد يؤدي إلى فقدان السياق العالمي.

بينما أظهرت نماذج الرؤية واللغة ذات الانتشار المنفصل (Discrete Diffusion VLMs) وعوداً في الاستنتاج متعدد الوسائط عبر توفير انتباه ثنائي الاتجاه وتوليد متوازٍ للرموز، إلا أن إمكاناتها في ربط عناصر الواجهة (GUI grounding) لا تزال غير مستكشفة. وتحديداً، ليس من الواضح ما إذا كانت نماذج الانتشار المنفصل يمكنها تعلم التبعيات الهندسية المطلوبة للتنبؤ بصناديق الإحاطة (bounding boxes) $(x_1, y_1, x_2, y_2)$ من المدخلات البصرية والنصية بشكل فعال.

2. المنهجية

قام المؤلفون بتكييف نموذج LLaDA-V، وهو نموذج رؤية ولغة ذو انتشار منفصل، لمهام ربط عناصر الواجهة والتنبؤ بالإجراءات في خطوة واحدة. تتضمن المنهجية الأساسية ثلاثة مكونات رئيسية:

أ. تكييف النموذج

البنية الأساسية: يحتفظ النموذج بهيكل LLaDA-V: برج لغوي (LLaDA)، وبرج رؤية (SigLIP-2)، وطبقة إسقاط (MLP projector).
صياغة المهمة: تُصاغ المهمة كعملية توليد نص من مدخلات متعددة الوسائط. بالنظر إلى تعليمات $N$ ولقطة شاشة $I$ ، يتنبأ النموذج بسلسلة إجراء $a = [\text{action\_type}, B]$ ، حيث تمثل $B = (x_1, y_1, x_2, y_2)$ إحداثيات صندوق الإحاطة المعيارية.
هدف التدريب: يتم تدريب النموذج باستخدام هدف انتشار منفصل يقوم بإفساد وإزالة تشويش الرموز. الهدف هو إعادة بناء رموز الإجراء (النوع، الإحداثيات، والنص) المشروطة بالسياق البصري والنصي.

ب. جدول الحجب الهجين (الابتكار الرئيسي)

حدد المؤلفون أن الحجب الخطي (Linear Masking) القياسي (الإفساد العشوائي للرموز) يعامل جميع الرموز ككيانات مستقلة، مما يفشل في التقاط البنية الهندسية الهرمية لصناديق الإحاطة. ولمعالجة ذلك، اقترحوا جدول حجب هجين (Hybrid Masking Schedule) بمرحلتين:

مرحلة الحجب الخطي (الربط الخشن - Coarse Grounding): تستخدم الجدول الخطي القياسي للتنبؤ بـ نوع الإجراء (action type) و إحداثيات الارتكاز (anchor coordinates) $(x_1, y_1)$ . هذا يسمح للنموذج بتعلم الموقع العام ونوع الإجراء من خلال إزالة التشويش التدريجي.
مرحلة الحجب الحتمي الكامل (التحسين الدقيق - Fine Refinement): يكون النموذج مشروطاً بالصورة، والتعليمات، والارتكاز المتوقع $(x_1, y_1)$ $(x_{1}, y_{1})$ . في هذه المرحلة، يتم حجب الإحداثيات المتبقية $(x_2, y_2)$ $(x_{2}, y_{2})$ (بشكل حتمي) خلال عملية التمرير الأمامي. يجب على النموذج بعد ذلك التنبؤ بامتداد الصندوق بناءً على نقطة الارتكاز.
- المنطق: هذا يفرض عملية تعلم من "الخشن إلى الدقيق"، حيث يعلم النموذج صراحةً التبعية الشرطية $P(x_2, y_2 | x_1, y_1, \text{context})$ ، مما يحسن الاتساق المكاني.

ج. استراتيجية الاستنتاج

إعادة الحجب للرموز منخفضة الثقة: أثناء الاستنتاج، يقوم النموذج بإزالة التشويش بشكل تكراري لسلسلة محجوبة بالكامل. يحتفظ بالتنبؤات عالية الثقة ويعيد حجب الرموز غير المؤكدة، مما يؤدي إلى تحسين المخرجات حتى الوصول إلى التقارب.
المعلمات: قامت الدراسة بتحسين ثلاثة معلمات: خطوات الانتشار (Diffusion Steps)، طول التوليد (Generation Length)، وطول الكتلة (Block Length).

3. المساهمات الرئيسية

أول دراسة حول نماذج DVLMs لربط عناصر الواجهة: يسد هذا العمل الفجوة بين نماذج الانتشار المنفصل ووكلاء واجهة المستخدم، مما يثبت أن نماذج DVLMs هي بديل قابل للتطبيق لنماذج الـ AR.
استراتيجية الحجب الهجين: إن اقتراح جدول حجب ذي مرحلتين (خطي + حتمي) يحسن بشكل كبير قدرة النموذج على تعلم التبعيات الهندسية في التنبؤ بصناديق الإحاطة، متفوقاً على الحجب الخطي القياسي.
التحليل التجريبي الشامل: توفر الورقة تحليلات استئصال (ablations) منهجية حول:
- معلمات الاستنتاج: إيجاد المقايضة بين الدقة وزمن الانتقال.
- توسيع البيانات (Data Scaling): إثبات أن التدريب على مجالات واجهة مستخدم متنوعة (ويب، موبايل، سطح مكتب) يحسن التعميم ويقلل زمن انتقال الاستنتاج.
- المعالجة المسبقة: إظهار تأثير التوصيفات الموجهة بـ OCR وقص الصور على الأداء.

4. النتائج

تم تقييم النموذج على أربعة اختبارات مرجعية: Mind2Web، ScreenSpot-Web-Text، ScreenSpot-Web-Icon، و VisualWebArena.

الأداء مقابل نماذج AR:
- حقق نموذج LLaDA-V المعدل مع الحجب الهجين معدل نجاح في الخطوات (SSR) بنسبة 83.9% على Mind2Web، مما قلص الفجوة في الأداء مع أفضل نماذج الـ AR (مثل Qwen2.5-VL 7B) من حوالي 25 نقطة إلى أقل من 15 نقطة، رغم محدودية التدريب المسبق وغياب الإشراف الخاص بالربط (grounding).
- في VisualWebArena، حسن النموذج الهجين معدل SSR بمقدار 6.1 نقطة مقارنة بنسخة الحجب الخطي.
تأثير الحجب الهجين:
- تفوق باستمرار على خط الأساس للحجب الخطي في جميع مجموعات البيانات.
- حسن معدل SSR بمقدار +1.6 إلى +6.1 نقطة اعتماداً على مجموعة البيانات.
- حافظ على درجات F1 لنوع الإجراء قريبة من الحد الأقصى (~99-100%).
تأثير توسيع البيانات:
- أدى توسيع بيانات التدريب إلى 120 ألف عينة عبر مجالات الويب، والموبايل، وسطح المكتب إلى تحسين معدل SSR بمتوسط 20 نقطة عبر الاختبارات المرجعية.
- والأهم من ذلك، أن مجموعات البيانات الكبيرة والمتنوعة قللت زمن انتقال الاستنتاج بنحو 1.3 ثانية وقللت عدد خطوات الانتشار المطلوبة للتقارب، مما يشير إلى تسريع تعلم الأولويات المكانية.
المقايضة بين زمن الانتقال والدقة:
- زيادة خطوات الانتشار وطول التوليد أدت إلى تحسين الدقة حتى نقطة معينة (الاستقرار عند 64 خطوة) ولكنها زادت من زمن الانتقال.
- أدخل نهج الحجب الهجين زمن انتقال أعلى قليلاً (بسبب التبعية المتسلسلة بين مرحلة الارتكاز ومرحلة الامتداد) ولكنه حقق مكاسب كبيرة في الدقة.

5. الأهمية

تحول في النموذج (Paradigm Shift): يتحدى هذا العمل هيمنة النماذج ذات التوليد التلقائي (AR) في وكلاء واجهة المستخدم، حيث يثبت أن نماذج الانتشار المنفصل يمكنها تحقيق أداء ربط تنافسي مع فوائد إضافية تتمثل في الانتباه ثنائي الاتجاه والتوليد المتوازي.
الكفاءة والتعميم: تشير النتائج إلى أن التدريب على بيانات واجهة مستخدم متنوعة ومتعددة المجالات لا يعزز الدقة فحسب، بل يسرع أيضاً من عملية التقارب، مما يجعل الوكلاء القائمين على الانتشار أكثر عملية للنشر في العالم الحقيقي.
أساس لوكلاء المستقبل: من خلال وضع إطار عمل قوي لربط عناصر الواجهة باستخدام الانتشار، تضع هذه الورقة الأساس لتطوير وكلاء واجهة مستخدم أكثر تطوراً، وقدرة على التكرار والتخطيط، ويمكنهم التعامل مع التفاعلات المعقدة متعددة الخطوات.

باختيداً، تثبت الورقة أنه مع التكيف الهيكلي الصحيح (الحجب الهجين) واستراتيجية البيانات (توسيع النطاقات المتعددة)، يمكن لنماذج الانتشار المنفصل حل مشكلة الربط الهندسي بفعالية، مما يقدم بديلاً واعداً وقابلاً للتوسع للنهج التقليدي القائم على النماذج ذات التوليد التلقائي.