MissClick: Exploiting Digit-Serialized Coordinates to Attack GUI Grounding Models

تخيل عالماً لا تكون فيه شاشة حاسوبك مجرد صورة، بل خريطة من الأوامر التي تنتظر النقر عليها. في هذا المشهد الرقمي، ظهر نوع جديد من "المساعد الذكي": وكيل واجهة المستخدم الرسومية (GUI agent). فكر في هؤلاء الوكلاء كمرشدين سياحيين موهوبين للغاية، ولكنهم حرفيون بعض الشيء. تقول لهم: "انقر على الزر الأحمر لشراء الأحذية"، فينظرون إلى الشاشة، ويحددون مكان ذلك الزر بالضبط، ثم ينقرون عليه. وللقيام بذلك، هم لا يكتفون بالإشارة فحسب؛ بل يتحدثون بلغة سرية من الأرقام. إنهم يولدون سلسلة من الأرقام، مثل "814، 515"، والتي يترجمها الحاسوب إلى موقع دقيق على شاشتك. تسمى هذه العملية "التأسيس البصري" (visual grounding)، وهي السحر الذي يسمح للروبوتات والذكاء الاصطناعي بالتنقل عبر تطبيقاتنا ومواقعنا الإلكترونية وهواتفنا دون تدخل بشري. ولكن تماماً مثل أي خريطة، إذا استطعت خداع المرشد لقراءة الأرقام بشكل خاطئ، يمكنك توجيهه إلى وجهة خاطئة تماماً.

هذه هي قصة اكتشاف جديد يسمى MissClick. أدرك الباحثون وراءه أن الطريقة التي يكتب بها وكلاء الذكاء الاصطناعي الإحداثيات تشبه قليلاً لعبة "القيمة المنزلية" في حصة الرياضيات. عندما يكتب الذكاء الاصطناعي الرقم "814"، فإن الرقم '8' ليس مجرد '8'؛ بل هو '8' يمثل 800 لأنه في خانة المئات. والرقم '1' هو مجرد 10، والرقم '4' هو مجرد 4. وجد الفريق أنه إذا استطعت خداع الذكاء الاصطناعي لتغيير هذا الـ '8' إلى '9'، فإن النقرة لا تتحرك قليلاً فحسب، بل تقفز 100 بكسل عبر الشاشة! ومن خلال استغلال هذه الثغرة الرياضية، ابتكروا أداة "اختراق" يمكنها دفع أرقام الذكاء الاصطناعي بما يكفي لجعلها تنقر على زر "الدفع" (Checkout) بدلاً من حقل "الكمية" (Quantity)، أو تجعلها تهيم في الفراغ على الشاشة. لقد اختبروا ذلك على نموذجين مختلفين من الذكاء الاصطناعي عبر شاشات سطح المكتب، والويب، والهاتف المحمول، ووجدوا أنه من خلال فهم الرياضيات وراء الأرقام، استطاعوا كسر النظام بفعالية أكبر من أي وقت مضى.

الشفرة السرية للشاشة

لفهم كيفية عمل MissClick، نحتاج أولاً إلى النظر في كيفية "رؤية" وكلاء الذكاء الاصطناعي للشاشة. عندما تعطيهم تعليمات مثل "عدّل كمية الصنف بمقدار 5"، فإن الذكاء الاصطناعي لا يخمن مكاناً ما فحسب. بل يعمل كآلة كاتبة، يخرج سلسلة من الرموز واحداً تلو الآخر: (, 8, 1, 4, ,, 5, 1, 5, ). إنه يولد الأرقام "814" و"515" كسلسلة نصية. وبمجرد انتهائه من الكتابة، يأخذ الحاسوب تلك السلسلة ويحولها إلى إحداثي حقيقي، ليخبر الفأرة بالقفز إلى ذلك البكسل المحدد.

لاحظ الباحثون شيئاً رائعاً حول هذه العملية. يعامل الذكاء الاصطناعي كل رقم كرمز منفصل، لكن الحاسوب يعاملها كقيمة رياضية. إذا أخطأ الذكاء الاصطناعي في الرقم الأول من الإحداثي، فإن النتيجة هي قفزة هائلة. على سبيل المثال، إذا كان من المفترض أن ينقر الذكاء الاصطناعي عند 814 ولكن تم خداعه للنقر عند 914، فإن النقرة تتحرك 100 بكسل إلى اليمين. أما إذا أخطأ في الرقم الأخير، بتغيير 814 إلى 815 ، فإنها تتحرك بكسل واحداً فقط. وهذا يعني أن العبث بخانة "المئات" يشبه دفع صخرة ضخمة، بينما العبث بخانة "الآحاد" يشبه دفع حصاة صغيرة.

وجهان لـ MissClick

قام الفريق، بقيادة يو ران وزملائه من جامعة الدفاع التكنولوجي الوطنية، ببناء أداة هجوم تسمى MissClick. أدركوا أنه لاختراق هذا النظام، لا يمكنك معاملة الأرقام كحروف عشوائية فحسب، بل يجب عليك احترام الرياضيات. لقد صمموا استراتيجيتين مختلفتين، أو "نمطين"، اعتماداً على ما يريد المخترق تحقيقه.

النمط 1: "الخطأ" (هجوم غير مستهدف)
تخيل أنك تريد جعل الذكاء الاصطناعي يتعثر ويسقط من فوق منحدر. أنت لا تهتم أين سيهبط، طالما أنه ليس في المكان المفترض. هذا يسمى هجوماً "غير مستهدف". يعمل MissClick-U (حيث يرمز حرف U إلى Untargeted - غير مستهدف) من خلال حساب نسخة "ناعمة" من الإحداثي. بدلاً من انتظار اختيار الذكاء الاصطناعي لرقم واحد، فإنه ينظر إلى احتمالية كل رقم ممكن. يسأل: "ماذا لو اختار الذكاء الاصطناعي 9 بدلاً من 8؟ ماذا لو اختار 7؟". ثم يحسب متوسطاً مرجحاً، مما يخلق "إحداثياً شبحياً" يطفو بين الأرقام. الهدف هو دفع هذا الإحداثي الشبحي بعيداً قدر الإمكان عن الموقع الصحيح. ومن خلال تعظيم هذه المسافة، يُجبر الذكاء الاصطناعي على اختيار رقم يرسل النقرة الحقيقية بعيداً جداً عن مسارها.

النمط 2: "الاختطاف" (هجوم مستهدف)
الآن، تخيل أنك تريد خداع الذكاء الاصطناعي للنقر على زر معين وخطير، مثل زر "حذف الحساب"، بدلاً من زر "حفظ". هذا هو الهجوم "المستهدف". هنا، يلعب MissClick-T (حيث يرمز حرف T إلى Targeted - مستهدف) لعبة مختلفة. هو لا يريد فقط تحريك النقرة؛ بل يريد إسقاطها في منطقة محددة. وجد الباحثون أن مجرد محاولة جعل "المتوسط" يطابق الهدف لم يكن كافياً. فأحياناً قد "يعتقد" الذكاء الاصطناعي أن المتوسط هو 5، ولكنه في الواقع يختار 1 أو 9 لأن تلك كانت الخيارات الأكثر احتمالاً. لذا، يركز MissClick-T على "القيمة المنزلية". إنه يضع ضغطاً إضافياً على الأرقام ذات القيمة العالية (خانتا المئات والعشرات). هو يخبر الذكاء الاصطناعي: "يجب أن تحصل على الرقم '8' في خانة المئات بشكل صحيح، لأن هذا هو ما يحرك النقرة أكثر". ومن خلال وزن أهمية كل رقم بناءً على قوته الرياضية، فإنه يجبر الذكاء الاصطناعي على اختيار الأرقام الدقيقة اللازمة للهبوط على هدف المهاجم.

النتائج: قفزة كبيرة في النجاح

اختبر الفريق MissClick على نموذجين شهيرين من الذكاء الاصطناعي، OS-Atlas و UGround، عبر ثلاث بيئات مختلفة: أجهزة الكمبيوتر المكتبية، متصفحات الويب، والهواتف المحمولة. وقارنوا طريقتهم الجديدة بتقنيات الاختراق القديمة التي كانت تعامل الإحداثيات كنصوص عادية، متجاهلة الرياضيات.

كانت النتائج مذهلة.

• بالنسبة لهجمات "الخطأ" (Miss): نجح MissClick-U في جعل الذكاء الاصطناعي ينقر في المكان الخطأ بنسبة 75.07% في OS-Atlas و 72.93% في UGround. بينما لم تنجح الطرق القديمة إلا بنسبة 58% و 42% على التوالي. هذه قفزة هائلة، حيث حسنت معدلات النجاح بأكثر من 30 نقطة مئوية في بعض الحالات.
• بالنسبة لهجمات "الاختطاف" (Hijack): كان MissClick-T أكثر إثارة للإعجاب. فقد نجح في إعادة توجيه النقرة إلى هدف المهاجم المختار بنسبة 44.86% في OS-Atlas ونسبة هائلة بلغت 62.67% في UGround. بينما كافحت الطرق القديمة، حيث نجحت بنسبة تتراوح بين 13% إلى 15% فقط.

وجد الباحثون أيضاً أن الهدفين يتطلبان أدوات مختلفة. فمحاولة استخدام استراتيجية "الخطأ" للوصول إلى "الاختطاف" لم تكن ناجحة، والعكس صحيح. وهذا أكد أن فهم الهدف المحدد للهجوم لا يقل أهمية عن فهم الرياضيات وراء الأرقام.

لماذا يهم هذا الأمر؟

لا تكتفي هذه الورقة البحثية بإظهار أن الذكاء الاصطناعي يمكن خداعه فحسب؛ بل تظهر كيفية خداعه بشكل أفضل من خلال فهم البنية الخفية للغته. يشير المؤلفون إلى أنه نظرًا لأن الذكاء الاصطناعي يولد الإحداثيات كتسلسل من الأرقام، فإن "القيمة المنزلية" لتلك الأرقام تخلق ثغرة أمنية. فالتغيير الصغير في رقم ذي قيمة عالية يخلق تحولاً هائلاً في الإجراء النهائي.

ومع ذلك، يوضح الباحثون بحذر حدود عملهم. فقد اختبروا فقط النماذج التي تكتب الإحداثيات كنصوص رقم تلو الآخر. ولم يختبروا النماذج التي تستخدم طرقاً مختلفة للإشارة إلى الأشياء. كما افترضوا أن لديهم وصولاً كاملاً إلى "عقل" الذكاء الاصطناعي (سيناريو "الصندوق الأبيض")، وهو أمر أسهل من اختراق نظام لا يمكنك رؤية ما بداخله. ولكن الفكرة الجوهرية — وهي أن الطريقة التي نطلب بها من الذكاء الاصطناعي نطق الأرقام مهمة للأمن — تبدو اكتشافاً راسخاً.

في النهاية، يعد MissClick تذكيراً بأنه في العالم الرقمي، الرقم ليس مجرد رقم. إنه إحداثي، وأمر، وأحياناً، فخ. ومن خلال فهم الرياضيات وراء السحر، أظهر الباحثون أنه يمكننا جعل هؤلاء الوكلاء الأذكياء يتعثرون، أو توجيههم بدقة إلى حيث نريدهم أن يذهبوا.