← أحدث الأبحاث
💻 computer science

SwipeGen: Bridging the Execution Gap in GUI Agents via Human-like Swipe Synthesis

تقدم هذه الورقة SwipeGen، وهي أداة لتخليق تفاعلات السحب المتنوعة التي تشبه تفاعلات البشر، وSwipeBench، وهو معيار لتقييمها، لمعالجة تنفيذ السحب الجامد الذي يحد من أداء وكلاء واجهة المستخدم الرسومية الحاليين في السيناريوهات الواقعية.

المؤلفون الأصليون: Xuan Wang, Siyuan Su, Quantong Fu, Yongxiang Hu, Yangfan Zhou

نُشر 2026-08-21
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Xuan Wang, Siyuan Su, Quantong Fu, Yongxiang Hu, Yangfan Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً يمكن فيه لهاتفك أن يفهم أوامرك الصوتية ويتنقل عبر تطبيقاتك نيابة عنك، يضغط على الأزرار ويكتب النصوص تماماً كما تفعل أنت. هذا هو الوعد الذي يقدمه "وكيل واجهة المستخدم الرسومية"، وهو نوع من الذكاء الاصطناعي المصمم للتفاعل مع الشاشات بالطريقة التي يفعلها البشر. لسنوات، علم الباحثون هذه الأنظمة كيفية التعرف على الأيقونات، وقراءة النصوص، والنقر على أهداف محددة. ومع ذلك، ظلت هناك فجوة حرجة؛ فبينما استطاعت هذه الوكلاء الإشارة والنقر بدقة متزايدة، إلا أنها عانت بشدة من أكثر الإيماءات شيوعاً على الإطلاق — وهي "السحب" (المرور بالإصبع). وسواء كان الأمر يتعلق بالتمرير عبر موجز إخباري، أو ضبط شريط مستوى الصوت، أو إظهار خيارات القائمة المخفية، فإن اليد الرقمية للآلة كانت غالباً ما تتحرك بدقة ميكانيكية جامدة تفشل في تفعيل استجابة الشاشة. هذا القصور يعني أنه حتى أكثر الوكلاء ذكاءً قد يعلقون، غير قادرين على إكمال مهام بسيطة تتطلب الحركة الانسيابية لإصبع بشري.

وضع فريق من الباحثين في جامعة فودان (Fudan University) هدفاً لحل هذه المشكلة المحددة عبر طرح سؤال جوهري: لماذا تفشل الآلات في السحب بينما يجد البشر ذلك طبيعياً للغاية؟ اكتشفوا أن المشكلة لم تكن في نقص الذكاء، بل في نقص البيانات وسوء فهم كيفية عمل عملية السحب. فالأنظمة الحالية تم تدريبها على مجموعات بيانات تهيمن عليها النقرات البسيطة، حيث تعامل كل تفاعل كنقطة واحدة على الشاشة. لكن السحب ليس نقطة؛ بل هو رحلة. إنه يتضمن مكاناً للبدء، واتجاهاً، ومسافة، وسرعة. وجد الباحثون أن الوكلاء الحاليين، الذين يحاولون تخمين إحداثي واحد، غالباً ما يخطئون الهدف تماماً لأنهم لم يفهموا أن سرعة السحبة أو نقطة البداية الدقيقة يمكن أن تغير النتيجة. ولإصلاح ذلك، بنوا أداة جديدة تسمى "SwipeGen"، وهي نظام مؤتمت مصمم لتعليم الآلات كيفية السحب عبر توليد آلاف الأمثلة لإيماءات تشبه حركات البشر.

بدأت العملية بترك النظام يستكشف تطبيقات الهاتف المحمول بمفرده، تماماً كما يفعل المستخدم. تنقل عبر الشاشات، محدداً المناطق التي يمكن تمريرها، مثل قوائم الصور أو صفوف الأيقونات. وبمجرد العثور على منطقة قابلة للتمرير، لم يكتفِ النظام بالتخمين؛ بل جرب بطريقة منهجية طرقاً مختلفة للسحب. اختبر عمليات سحب تبدأ من مركز الشاشة، ومن الحواف، وبالتحرك للأعلى، والأسفل، واليسار، واليمين، وبسرعات مختلفة. والأهم من ذلك، أن النظام راقب الشاشة قبل وبعد كل محاولة. إذا تسببت السحبة في تحريك المحتوى أو تغييره، فقد سجل النظام ذلك كنجاح، ملتقطاً الإحداثيات الدقيقة، والاتجاه، والمدة التي جعلت ذلك ممكناً. وإذا لم تستجب الشاشة، فقد تم استبعاد المحاولة. سمحت هذه الدورة من التجربة، والمراقبة، والتسجيل للفريق ببناء مكتبة ضخمة من تفاعلات السحب الناجحة، كاملة مع أوصاف باللغة الطبيعية تشرح ما حققته كل إيماءة.

ومع امتلاك هذه المكتبة الجديدة من البيانات، درب الباحثون نسخة جديدة من نموذج الذكاء الاصطناعي الخاص بهم، وأطلقوا عليه اسم "GUISwiper". لم يعلموا النموذج فقط كيفية العثور على زر، بل فهم فيزياء عملية السحب. كانت النتائج مذهلة؛ فعند اختبار النموذج على مجموعة جديدة من التطبيقات التي لم يسبق له رؤيتها، نجح "GUISwiper" في تنفيذ إجراءات السحب بشكل أفضل بأكثر من مرتين ونصف من النماذج الرائدة السابقة. وبينما تمكنت النماذج القديمة من إكمال حوالي ربع مهام السحب فقط بشكل صحيح، نجح النموذج الجديد في أكثر من 60 بالمائة منها. والأهم من ذلك، أثبت الباحثون أن تعليم الآلة كيفية السحب لم يجعلها أسوأ في المهام الأخرى؛ فقد ظل النموذج جيداً في تحديد الأزرار وقراءة النصوص، مما أظهر قدرته على تعلم الإيماءات المعقدة دون فقدان قدرته على فهم تخطيط الشاشة.

كما سلطت الدراسة الضوء على أن العقبة الكبرى أمام هؤلاء الوكلاء لم تكن في فهم "ماذا" يجب أن يفعلوا، بل في معرفة "كيفية" القيام بذلك. وجد الباحثون أنه عندما يفشل النموذج، يكون ذلك عادةً لأنه بدأ السحبة من المكان الخاطئ أو تحرك ببطء شديد بحيث لم يحفز استجابة الشاشة، وليس لأنه اختار الاتجاه الخاطئ. ومن خلال التركيز على تفاصيل التنفيذ — البداية الدقيقة، والنهاية، وسرعة الحركة — جسروا الفجوة بين منطق الآلة الجامد والحدس الانسيابي للمستخدم البشري. يشير هذا العمل إلى أنه لكي يتقن الذكاء الاصطناعي العالم الرقمي حقاً، يجب ألا يتعلم الرؤية فحسب، بل أن يتحرك بنفس الدقة والتوقيت الذي يتمتع به البشر الذين صُمم لخدمتهم. إن القدرة على السحب بفعالية لم تعد مجرد ميزة ثانوية؛ بل هي متطلب أساسي لأي وكيل يأمل في التنقل عبر شاشاتنا بسلاسة اليد البشرية.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →