Robustness Over Time: Understanding Adversarial Examples' Effectiveness on Longitudinal Versions of Large Language Models
تقدم هذه الورقة دراسة طولية لنماذج GPT وLlama وQwen، كاشفةً أن التحديثات المستمرة وزيادة أحجام النماذج لا تعزز باستمرار المتانة ضد الهجمات العدائية المتعلقة بالتصنيف الخاطئ، والاختراقات، والهلوسة، بل يمكن أن تؤدي أحياناً إلى تفاقم الثغرات الأمنية الموجودة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً (روبوت) ذكياً جداً ومفيداً. كل بضعة أشهر، ترسل الشركة التي صنعته "تحديثاً للبرامج" لجعله أكثر ذكاءً، أو أكثر لطفاً، أو أفضل في أداء عمله. قد تفترض أنه مع كل تحديث، يصبح الروبوت أكثر أماناً وأصعب في الخداع.
هذه الورقة البحثية تشبه مجموعة من خبراء الأمن الذين قرروا اختبار هذا الافتراض. لم يكتفوا بفحص الروبوت مرة واحدة؛ بل راقبوه عبر الزمن، وفحصوا كل نسخة من ثلاث عائلات شهيرة من الروبوتات (GPT وLlama وQwen) وهي تكبر وتتطور.
إليك ما وجدوه، مشروحاً ببساطة:
1. فخ "رائحة السيارة الجديدة"
عادةً، عندما تشتري سيارة جديدة، تتوقع أن تكون أكثر أماناً من الطراز القديم. تتوقع أن تعمل المكابح بشكل أفضل وأن تكون الوسائد الهوائية أكثر ذكاءً.
وجد الباحثون أن النماذج اللغوية الكبيرة (LLMs) مختلفة. فمجرد حصول النموذج على رقم إصدار جديد (مثل الانتقال من "الإصدار 1.0" إلى "الإصدار 2.0") لا يعني بالضرورة أنه أصبح أكثر أماناً. في الواقع، أحياناً يكون الإصدار الجديد أكثر هشاشة من القديم.
- التشبيه: تخيل طباخاً حصل على سكين جديدة وباهظة الثمن. ستتوقع منه أن يقطع الخضروات بشكل أفضل. لكن أحياناً، وبسبب حماسه لاستخدام السكين الجديدة، قد يقطع إصبعه بالخطأ. وبالمثل، عندما يقوم مطورو النماذج بتعديل النموذج لإصلاح مشكلة ما (مثل منعه من قول كلمات بذيئة)، فقد يتسببون دون قصد في كسر شيء آخر (مثل جعله سيئاً في الرياضيات أو القواعد).
2. الطرق الثلاث التي يُخدع بها الروبوت
اختبر الباحثون الروبوتات باستخدام ثلاثة "خدع" محددة (هجمات):
- خدعة "الارتباك" (التصنيف الخاطئ): تخيل أن تسأل الروبوت: "هل هذه الجملة لطيفة؟" فيجيب بـ "لا" رغم أنها لطيفة بوضوح. وجد الباحثون أن النماذج الأحدث تصبح أحياناً أكثر ارتباكاً بسبب الخدع البسيطة مقارنة بالنماذج الأقدم.
- خدعة "كسر الحماية" (Jailbreak): هذا يشبه محاولة إقناع حارس بوابة صارم بالسماح لك بدخول نادٍ مخصص لكبار الشخصيات عن طريق التنكر أو استخدام هوية مزورة. حاول الباحثون "كسر حماية" النماذج لجعلها تقول أشياء غير مسموح بها (مثل كيفية صنع قنبلة أو أن تكون فظة).
- المفاجأة: بالنسبة لبعض النماذج، كانت النسخ الأحدث أفضل في مقاومة عمليات كسر الحماية هذه. ولكن بالنسبة لنماذج أخرى، كانت النسخ الجديدة سهلة الخداع بشكل مفاجئ.
- خدعة "الكذب" (الهلوسة): هذا هو عندما يخترع الروبوت حقائق تبدو حقيقية لكنها مزيفة تماماً. تخيل أن يخبرك الروبوت بثقة أن القمر مصنوع من الجبن. وجدت الدراسة أن النماذج الأحدث لم تتوقف بالضرورة عن الكذب؛ بل في بعض الحالات، بدأت تكذب أكثر في مواقف معينة.
3. الأكبر ليس دائماً الأفضل
هناك اعتقاد شائع بأن "الأكبر هو الأفضل". إذا كان لدى الروبوت دماغ أكبر (بيانات أكثر)، فيجب أن يكون أذكى وأكثر أماناً، أليس كذلك؟
- الواقع: وجد الباحثون أن النماذج الأكبر ليست آمنة تلقائياً. أحياناً، يكون النموذج الضخم الذي يحتوي على 70 مليار معلمة (parameter) أسهل في الخداع من نموذج أصغر وأبسط. الأمر يشبه امتلاك قلعة ضخمة ومعقدة؛ فهي تحتوي على المزيد من الأبواب والنوافذ التي يمكن للسارق التسلل من خلالها، حتى لو كانت جدرانها أكثر سمكاً.
4. مشكلة "الرقعة" (الترقيع البرمجي)
غالباً ما تصدر شركات البرمجيات "تحديثات فرعية" (patches) لإصلاح أخطاء صغيرة. راقب الباحثون حدوث هذه التحديثات أسبوعاً بأسبوع.
- النتيجة: أحياناً، كان التحديث الفرعي الذي يهدف لإصلاح مشكلة صغيرة يؤدي في الواقع إلى جعل الروبوت أسوأ في أمور أخرى. الأمر يشبه ميكانيكياً يصلح باباً يصدر صريراً في سيارتك، لكنه في هذه العملية، قد أرخى البراغي في المحرك بالخطأ. السيارة لا تزال تعمل، لكنها أصبحت الآن أقل موثوقية.
الخلاصة الكبرى
الرسالة الرئيسية لهذه الورقة هي: لا تفترض أن الإصدار الجديد أكثر أماناً تلقائياً.
- للمستخدمين: إذا كنت تستخدم ذكاءً اصطناعياً، فلا تثق فقط في "الإصدار الأحدث". لا تزال بحاجة إلى توخي الحذر والتحقق مما إذا كان يتصرف بشكل جيد.
- للبنائين: يجب على الشركات التي تصنع هذه النماذج الذكية التوقف عن مجرد السعي وراء التحديثات "الأذكى" أو "الأسرع". عليهم معاملة الأمان والمتانة كهدف منفصل وحاسم. يحتاجون إلى اختبار نماذجهم ضد الخدع قبل إصدارها، لضمان أن إصلاح خطأ واحد لا يخلق ثلاثة أخطاء جديدة.
باختصار: ترقية الذكاء الاصطنا الخاص بك تشبه ترقية منزلك. مجرد تركيب باب أمامي جديد وفخم لا يعني أنك لم تترك النافذة الخلفية مفتوحة بالخطأ. عليك فحص المنزل بأكمله في كل مرة تجري فيها تغييراً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.