Model Confidence Under Answer-Preserving Attacks: An Informativeness-Manipulability Frontier
تُثبت هذه الورقة أن قراءات الثقة في أنظمة الرؤية واللغة المنشورة معرضة بشدة لهجمات الحفاظ على الإجابة، مما يثبت أنها تعمل كإشارات مراقبة حساسة للنزاهة بدلاً من كونها إشارات مراقبة قوية قادرة على التلاعب لقبول إجابات غير صحيحة أو خفض الدقة الإجمالية إلى ما دون المستويات المرجعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك قبطان سفينة فضائية، لكنك لا تستطيع رؤية النجوم أو لوحات التحكم. بدلاً من ذلك، لديك مساعد آلي ذكي للغاية يراقب الأجهزة ويخبرك: "أنا متأكد بنسبة 90% أننا على المسار الصحيح"، أو "أنا متأكد بنسبة 50% فقط، ربما ينبغي لنا التوقف". أنت تثق في درجة ثقة الروبوت لتقرر ما إذا كنت ستستمر في الطيران أم ستتوقف لتطلب المساعدة من إنسان. هكذا تعمل العديد من أنظمة الذكاء الاصطناعي الحديثة اليوم: فهي لا تعطيك إجابة فحسب، بل تمنحك "درجة ثقة" لتخبرك بمدى قدرتك على الثقة في تلك الإجابة.
ولكن إليك الجزء المخادع: ماذا لو استطاع شخص ما خداع الروبوت لتغيير رأيه بشأن مدى تأكده، دون تغيير الإجابة التي يقدمها فعلياً؟ الأمر يشبه ساحراً يجعل ميزاناً يميل من "ثقيل" إلى "خفيف" بينما يظل الوزن الموجود على الميزان هو نفسه تماماً. إذا كانت درجة ثقة الروبوت هي الشيء الوحيد الذي يمنعك من اتخاذ قرار سيئ، وكان من الممكن تزييف هذه الدرجة، فإن شبكة الأمان الخاصة بك بها ثغرة. تغوص هذه الورقة البحثية في تلك الثغرة تحديداً، وتطرح سؤالاً مخيفاً ولكنه مهم: هل يمكننا خداع روبوتات الذكاء الاصطنا_ي هذه لجعلها تكذب بشأن ثقتها بينما تستمر في قول الشيء نفسه تماماً؟
قرر الباحثون في هذه الدراسة خوض لعبة عالية المخاطر بعنوان "البحث عن نقاط الضعف" مع عدة نماذج لغوية بصرية قوية (ذكاء اصطناعي يمكنه رؤية الصور والإجابة على الأسئلة). كان هدفهم هو معرفة ما إذا كان بإمكانهم إحداث تغيير طفيف، غير مرئي تقريباً، في صورة ما يجعل درجة ثقة الذكاء الاصطناعي تتأرجح بجنون، حتى لو ظلت إجابة الذكاء الاصطناعي النهائية متطابقة تماماً، وصولاً إلى كل حرف ومسافة. لقد عاملوا درجة ثقة الذكاء الاصطناعي كأنها نافذة زجاجية هشة: أرادوا معرفة ما إذا كان بإمكانهم تحطيم الزجاج (الثقة) دون كسر الإطار (الإجابة).
ما وجدوه هو أن الزجاج أكثر هشاشة مما كان يُعتقد. باستخدام طريقة تسمى "الهجمات المحافظة على الإجابة"، تمكنوا من التلاعب بدرجات الثقة الداخلية للذكاء الاصطناعي في كل اختبار أجروه تقريباً. في الواقع، وجدوا أنه بالنسبة للعديد من نماذج الذكاء الاصطناعي التي اختبروها، استطاعوا خداع النظام لقبول إجابة خاطئة كما لو كانت صحيحة، أو رفض إجابة صحيحة كما لو كانت خاطئة، وذلك ببساطة عبر تعديل الصورة بما يكفي لخداع مقياس الثقة.
الجزء الأكثر إثارة للدهشة في اكتشافهم هو أن الأمر لا يتعلق بالصورة نفسها فحسب. فقد أظهر الباحثون أنه يمكنهم أيضاً "دفع" عقل الذكاء الاصطناعي الداخلي (حالاته الخفية) مباشرة، مثل توجيه فكرة في اتجاه معين، والحصول على نفس النتيجة دون حتى لمس الصورة. وهذا يشير إلى أن المشكلة ليست مجرد خلل في كيفية رؤية الذكاء الاصطناعي للصور، بل هي مشكلة أعمق في كيفية حساب الذكاء الاصطناعي لليقين الخاص به.
كما اختبروا عدة استراتيجيات "دفاع"، وهي طرق لمحاولة جعل درجة الثقة أكثر متانة، مثل إضافة ضجيج إلى الصورة أو تدريب الذكاء الاصطناعي ليكون أقل حساسية للتغييرات. لسوء الحظ، لم تنجح أي من هذه الدفاعات بشكل جيد بما يكفي لمنع الخدعة. في محاكاتهم، عندما استخدموا درجات الثقة المتلاعب بها هذه لاتخاذ قرارات في العالم الحقيقي، كان أداء النظام في الواقع أسوأ مما لو كانوا قد تجاهلوا درجة الثقة تماماً وقبلوا كل الإجابات.
إذن، ماذا يعني هذا للمستقبل؟ تخلص الورقة البحثية إلى أننا لا نستطيع الثقة بشكل أعمى في درجة الثقة الداخلية للذكاء الاصطناعي كإشارة سلامة، خاصة إذا كان الشخص الذي يغذي الذكاء الاصطناً بالبيانات يحاول خداعه. إن درجة الثقة "حساسة للنزاهة"، مما يعني أنه يمكن إفسادها بسهولة. ويقترح المؤلفون أنه إذا أردنا استخدام درجات الثقة هذه لاتخاذ قرارات مهمة، فنحن بحاجة إلى بناء طرق خارجية جديدة للتحقق منها، بدلاً من الاعتماد على الذكاء الاصطناعي ليخبرنا بمدى تأكده. إنه تذكير بأنه في عالم الذكاء الاصطناعي، مجرد قول الروبوت "أنا متأكد"، لا يعني أنه متأكد بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.