GUI-Primitives: Diagnosing Spatial Reasoning Failures in Vision-Language GUI Grounding
تقدم الورقة البحثية GUI-Primitives، وهو معيار مرجعي يكشف أن نماذج الرؤية واللغة تفشل أساساً في تحديد مواقع عناصر الواجهة المرشحة بدلاً من فهم العلاقات المكانية، كما يتضح من دقتها العالية عندما تقتصر على المناطق الصحيحة ولكن أداءها الضعيف في التنبؤ بالإحداثيات غير المقيدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل حاسوباً يمكنه النظر إلى لقطة شاشة لبرنامج ما، وقراءة جملة مثل "انقر على الزر الموجود على يمين أيقونة الحفظ"، ثم تحريك مؤشر الفأرة إلى ذلك المكان بالضبط. هذا هو الوعد الذي يقدمه جيل جديد من وكلاء الذكاء الاصطناعي المصممين لتشغيل حواسيبنا نيابة عنا. يتم بناؤهم لأداء مهام تتراوح من ملء النماذج إلى التنقل في القوائم المعقدة، ليعملوا كمساعدين رقميين يمكنهم رؤية والتفاعل مع الواجهات الرسومية التي نستخدمها كل يوم. ولكي تعمل هذه الوكلاء، يجب أن يمتلكوا مهارة أساسية تسمى "التجذير" (grounding): وهي القدرة على ربط كلمة محددة في جملة بشكل أو زر معين على الشاشة. فإذا لم يستطع الوكيل العثور ببراعة على "الزر الموجود على اليمين"، فلن يتمكن من أداء المهمة، بغض النظر عن مدى ذكائه في التخطيط أو الكتابة.
لطالًا ما عرف الباحثون أن هؤلاء الوكلاء الحاسوبيين يرتكبون أخطاءً أحيانًا، لكنهم واجهوا صعوبة في تحديد السبب بدقة. هل يفشل الحاسوب لأنه لا يستطيع قراءة النص الموجود على الشاشة؟ هل هو مرتبك بشأن معنى كلمة "يمين"؟ أم أنه ببساطة غير قادر على تحديد موقع الأزرار في المقام الأول؟ غالبًا ما تخلط الاختبارات الحالية لهذه الأنظمة بين كل هذه المهارات، مما يجعل من المستحيل معرفة أي جزء من "الدماغ" تعطل عندما ينقر الوكيل على الشيء الخطأ. ولحل هذا اللغز، أنشأ فريق من العلماء اختبارًا جديدًا محكم الضبط، صُمم لعزل قدرة واحدة أساسية: فهم العلاقات المكانية في واجهة الحاسوب.
بنى الباحثون مجموعة بيانات تسمى GUI-PRIMITIVES، وتتكون من ما يقرب من ألف زوج من الأسئلة. يستخدم كل زوج نفس لقطة الشاشة ونفس نقطة البداية، أو "المرتكز" (anchor)، ولكن يغير كلمة واحدة فقط في التعليمات. في نسخة ما، يُطلب من الحاسوب النقر على العنصر الموجود على يسار أيقونة معينة؛ وفي النسخة المقابلة، يُطلب منه النقر على العنصر الموجود على يمين تلك الأيقونة نفسها. ولأن الصورة والمرتكز متطابقان، فإن الفرق الوحذ هو الاتجاه. إذا كان الحاسوب يفهم اللغة حقًا، فيجب أن ينقر على الزر الأيسر في السؤال الأول، وعلى الزر الأيمن في الثاني. أما إذا نقر على نفس الزر في كلتا الحالتين، أو نقر على منطقة مختلفة تمامًا، فهذا يكشف عن فشل في فهم العلاقة المكانية. اختبر الفريق تسعة عشر نموذجًا مختلفًا من الذكاء الاصطناعي في هذا التحدي، تراوحت بين الأنظمة التجارية القوية والمكلفة إلى النسخ الأصغر مفتوحة المص المصدر.
كانت النتائج صارخة. حتى النماذج الأكثر تقدمًا كان أداؤها ضعيفًا، حيث حقق أفضل نظام الإجابة الصحيحة في حوالي اثنين وثلاثين بالمائة من الحالات فقط. هذه فجوة هائلة مقارنة بالأداء البشري، حيث أجاب البشر بشكل صحيح في حوالي سبعة وتسعين بالمائة من المرات. تعمق الباحثون أكثر لفهم مكان حدوث الإخفاقات. واكتشفوا أن المشكلة لم تكن في المقام الأول بسبب ارتباك النماذج تجاه كلمتي "يسار" أو "يمين". بل كانت النماذج تفشل في العثور على المنطقة الصحيحة على الشاشة في المقام الأول. ففي ما يتراي بين ستين إلى اثنين وتسعين بالمائة من الأخطاء، وقعت النقرة المتوقعة للحاسوب خارج كل من الهدف الصحيح والمشتت الخاطئ، وغالبًا في جزء فارغ تمامًا من الصورة.
وعندما قام الباحثون بتصفية هذه التوقعات "الضائعة" ونظروا فقط في المرات التي أشار فيها الحاسوب بالفعل إلى أحد الزرين المرشحين، تغيرت الصورة. بالنسبة للاتجاهات الأفقية والعمودية، كانت النماذج جيدة جدًا في اختيار الزر الصحيح بمجرد تضييق النطاق إلى المنطقة الصحيحة. ومع ذلك، بالنسبة للعلاقات الأكثر تعقيدًا، مثل تحديد ما إذا كان عنصر ما موجودًا داخل لوحة أو مخفيًا خلف نافذة منبثقة، لم يكن أداء النماذج أفضل من التخمين العشوائي، حتى عندما كانت تنظر إلى المرشحين الصحيحين. يشير هذا إلى أنه بينما يمكن للنماذج أحيانًا فهم الكلمات، إلا أنها تعاني بشكل كبير من المهمة البصرية المتمثلة في تحديد مكان تطبيق تلك الكلمات على شاشة معقدة.
كما اختبرت الدراسة ما إذا كانت هذه المهارات المكانية تهم الأداء في العالم الحقيقي. ووجدوا رابطًا قويًا: فالنماذج التي كانت أفضل في هذه الاختبارات المكانية الأساسية كانت أيضًا أفضل في اختبار مرجعي منفصل وأكثر تعقيدًا للنقر على تطبيقات سطح المكتب الحقيقية. وهذا يؤكد أن القدرة على فهم التعليمات المكانية البسيطة هي لبنة أساسية لأداء مهام استخدام الحاسوب الأكثر تقدمًا. كما جرب الباحثون عدة حيل لمساعدة النماذج، مثل طلب التفكير خطوة بخوة أو إضافة علامات بصرية إلى الشاشة لتسليط الضوء على الخيارات. إحدى الطرق، والتي تضمنت وضع علامات مرقمة مباشرة على الأزرار المرشحة، حسنت الدرجات بشكل كبير، حيث رفعت بعض النماذج من ثلاثين بالمائة إلى ما يقرب من تسعين بالمائة. ومع ذلك، كانت هذه أداة تشخيصية وليست حلاً عمليًا، لأنها تتطلب من الحاسوب معرفة مكان الأزرار بالفعل لوضع العلامات عليها.
في النهاية، تكشف الدراسة أن الجيل الحالي من وكلاء استخدام الحاسوب يفتقد إلى قطعة حاسمة من اللغز. إنهم لا يفشلون لأنهم لا يستطيعون التفكير في اللغة أو لأنهم لا يستطيعون رؤية الشاشة؛ بل يفشلون لأنهم لا يستطيعون ربط تعليمات مكانية بسيطة بموقع محدد على واجهة مزدحمة ومعقدة بشكل موثوق. وإلى أن يتم إصلاح هذه المهارة الأساسية المتمثلة في ربط الكلمات بالمواقع البصرية، ستستمر هؤلاء المساعدين الرقميين في المعاناة مع المهام الأكثر بساطة في التنقل في عالمنا الرقمي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.