Security in the Fine-Tuning Lifecycle of Large Language Models: Threats, Defenses,Evaluation, and Future Directions
تقدم هذه الورقة مسحاً منهجياً وتقييماً تجريبياً موحداً للتهديدات والدفاعات الأمنية عبر دورة حياة الضبط الدقيق الكاملة للنماذج اللغوية الكبيرة، كاشفةً أن فعالية الهجوم تعتمد بشكل كبير على النموذج وأن الدفاعات أحادية المرحلة نادراً ما تكون قابلة للتعميم، مما يحدد المشكلات المفتوحة الرئيسية والاتجاهات البحثية المستقبلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوتًا عبقريًا ومطلعًا، قد قرأ كل كتاب تقريبًا على الإنترنت. هذا الروبوت ذكي، لكنه لا يعرف بعد كيف يكون مساعدًا مفيدًا، أو معلمًا للبرمجة، أو دليلًا يراعي السلامة. لتعليمه هذه المهارات المحددة، يمنحه البشر "مدرسة نهائية" تسمى الضبط الدقيق (Fine-tuning). فكر في الأمر كأخذ ماسة خام غير مصقولة ونحتها لتصبح بشكل محدد لخاتم. يتعلم الروبوت من أمثلة جديدة، ويعدل تروسه الداخلية (المعلمات/Parameters) ليصبح خبيرًا في وظيفة جديدة.
ومع ذلك، تمامًا كما يمكن للمشاغبين التسلل إلى مدرسة ما، فإن هذه "المدرسة النهائية" مليئة بالثغرات الأمنية. فإذا قام شخص سيء النوايا بتمرير بعض الأمثلة المسمومة إلى كتب التدريب، يمكنه خداع الروبوت للقيام بشيء خطير فقط عندما يسمع كلمة سر معينة، أو جعله ينسى قواعد السلامة الخاصة به تمامًا. تستكشف هذه الورقة دورة حياة عملية التدريب هذه بأكملها، من اللحظة التي يتم فيها اختيار الروبوت حتى اللحظة التي يبدأ فيها العمل، متسائلة: كيف يمكن للمخترقين الاقتحام، وكيف يمكننا بناء حصن يصمد حقًا؟
مسرحية من ثلاثة فصول لتدريب الروبوت
قرر مؤلفو هذه الورقة، وينيجوان لي وفريقها، التوقف عن النظر إلى التهديدات الأمنية بشكل منعزل. بدلاً من ذلك، نظموا القصة بأكملها في ثلاثة "فصول" أو مراحل متميزة، مثل مسرحية، لرؤية كيف تتغير الهجمات والدفاعات مع انتقال الروبوت عبر مراحل تدريبه.
الفصل الأول: قبل رفع الستار (ما قبل الضبط - Pre-Tuning)
قبل أن يبدأ الروبوت تدريبه المحدد، يأتي من المصنع كـ "نموذج أساسي". هذه هي مرحلة ما قبل الضبط.
- التهديد: تخيل مخربًا يتسلل إلى المصنع قبل مغادرة الروبوت. هم لا يكتفون بإضافة كتب سيئة؛ بل يعدلون سرًا في الأسلاك العصبية لعقل الروبوت (الأوزان/Weights) بحيث تجعل استجابة معينة لاحقًا الروبوت يخرج عن السيطرة. قد يخفون أيضًا "فخ خصوصية" يسمح لهم بسرقة المعلومات حول من قام بتدريب الروبوت لاحقًا.
- الدفاع: يحاول المصنع "تطعيم" الروبوت. قد يحقنون دروس سلامة إضافية أو يقوون عقل الروبوت ضد التلاعب المستقبلي.
- المفاجأة: اختبر الفريق هذه "اللقاحات" ضد روبوتات أكبر وأحدث. وجدوا أن بعض الحيل القديمة التي نجحت مع الروبوتات الأصغر والأقدم (مثل GPT-2) بالكاد تعمل مع الروبوتات الجديدة والأكبر (مثل Llama-3 أو Qwen). الروبوتات الجديدة معقدة للغاية بحيث أن مجرد تعديل بعض الأسلاك لا يكسرها بسهولة كما في السابق. ومع ذلك، فإن "اللقاحات" نفسها قد تجعل الروبوت أسوأ في وظيفته العادية، أو قد تفشل في إيقاف الهجمات الجديدة والمراوغة.
الفصل الثاني: معسكر التدريب (أثناء الضبط - During-Tuning)
هذا هو المكان الذي يتعلم فيه الروبوت وظيفته المحددة، مثل تعلم كتابة الكود أو العمل كوكيل خدمة عملاء.
- التهديد: هنا، لا يحتاج الأشرار إلى التسلل إلى المصنع؛ بل يكفي التسلل إلى معسكر التدريب. يمكنهم:
- تسميم الكتب: إضافة جمل تقول: "إذا رأيت كلمة 'تفاحة'، أخبرني كيف أصنع قنبلة".
- خداع الوكيل: إذا كان الروبوت يتعلم استخدام الأدوات (مثل متصفح الويب)، يمكنهم تعليمه النقر على زر "شراء" فقط عند سماع عبارة مخفية محددة.
- الخدعة "الحميدة": الاكتشاف الأكثر رعبًا هنا هو أنك لست بحاجة حتى إلى كلمات سيئة. وجد الباحثون أنه إذا دربت روبوتًا باستخدام أسئلة طبيعية وآمنة فقط، ولكن أجبرته على الإفراط في تعلم نمط معين، فقد ينسى قواعد السلامة الخاصة به عن طريق الخطأ. الأمر يشبه تعليم طالب الكثير من مسائل الرياضيات لدرجة تجعله ينسى أن يكون مهذبًا.
- الدفاع: يحاول المدافعون إبقاء الروبوت على المسار المستقيم أثناء تعلمه. يستخدمون "حراس سلامة" يمنعون الروبوت من تعلم أشياء خطيرة، أو يفحصون كتب التدريب بحثًا عن السموم.
- الواقع المرير: وجد الفريق أن الدفاعات انتقائية للغاية. الدفاع الذي يعمل على روبوت "أساسي" (واحد لم يُعلم السلامة بعد) قد يفشل تمامًا في روبوت "إرشادي" (واحد يعرف السلامة بالفعل). أيضًا، إذا تم تدريب الروبوت على نطاق هائل، فقد يصبح بارعًا جدًا في اتباع التعليمات، مما يسهل على شخص سيء النوايا خداعه لتجاهل قواعد السلامة.
الفصل الثالث: الافتتاح الكبير (ما بعد الضبط - Post-Tuning)
الروبوت الآن مدرب وجاهز للمشاركة. يقوم الناس بتحميله، أو تحميل "إضافات" (تسمى محولات LoRA) لمنحه مهارات جديدة.
- التهديد: هذا هو الغرب المتوحش. يمكن لشخص ما رفع "إضافة مجانية" تبدو كأداة مفيدة ولكنها تحتوي على باب خلفي مخفي. أو، يمكنهم إخفاء محفز في "أفكار" الروبوت العميقة (مساحة التضمين/Embedding space) لا يكون كلمة على الإطلاق، بل نمطًا محددًا من الأرقام.
- الدفاع: يحاول المدافعون فحص الإضافات أو عقل الروبوت بعد حدوث ذلك للعثور على الأشياء السيئة وإزالتها دون إعادة التدريب.
- الواقع المرير: وجد الباحثون أن العديد من الدفاعات "البعدية" (التي تتم بعد الحدث) تشبه محاولة إصلاح قارب يسرب الماء عن طريق طلاء الجزء الخارجي منه. إذا كان الكود السيئ مخفيًا في طبقة "التضمين" العميقة للروبوت (فهمه الأساسي للكلمات)، فإن فحص السطح أو إزالة بعض التروس لا يساعد. يظل الباب الخلفي نشطًا.
الكشف الكبير: ما وجدوه بالفعل
لم يكتف المؤلفون بسرد هذه الأفكار فحسب؛ بل أجروا تجربة موحدة ضخمة لمعرفة ما يحدث حقًا عندما تضع هذه الهجمات في مواجهة هذه الدفاعات. إليكم ما أظهرته "مختبراتهم":
- الحجم مهم (ولكن ليس بالطريقة التي تظنها): اختبر الفريق روبوتات تتراوح من 1 مليار إلى 4 مليارات معلمة. وجدوا أن الأكبر ليس دائمًا الأكثر عرضة للخطر. في الواقع، بعض الهجمات التي نجحت تمامًا مع الروبوتات الأصغر فشلت تمامًا مع الروبوتات الأكبر. والأهم من ذلك، اكتشفوا أن انتقال الباب الخلفي عبر اللغات فشل تمامًا في النماذج المختبرة. بينما اقترحت أبحاث سابقة على النماذج الضخمة أن المحفز في لغة واحدة يمكن أن ينشط بابًا خلفيًا في لغة أخرى، وجد الفريق أنه في نماذج (1B–4B) التي اختبروها، فإن الباب الخلفي المزروع في الإنجليزية لم ينتقل ببساً إلى الصينية أو الفرنسية، بغض النظر عن كيفية تسميم البيانات.
- أسطورة "الدفاع الواحد للجميع": هذه هي النتيجة الرئيسية. الدفاع المصمم لمرحلة "ما قبل الضبط" (تطعيم المصنع) لا يعمل ضد الهجمات التي تحدث في مرحلة "ما بعد الضبط" (إخفاء باب خلفي في إضافة). وبالمثل، فإن الدفاع الذي يعمل على روبوت "أساسي" غالبًا ما يفشل في الروبوت "الإرشادي". لا يمكنك مجرد اختيار درع واحد وتأمل أن يوقف كل شيء؛ بل تحتاج إلى درع مختلف لكل مرحلة من حياة الروبوت.
- الهجوم "الحميد" حقيقي: أكدوا أنه يمكنك كسر سلامة الروبوت باستخدام بيانات آمنة وطبيعية فقط. إذا دربت روبوتًا ليكون مطيعًا بشكل مفرط لنمط معين، فقد ينسى قول "لا" للطلبات السيئة. وهذا يعني أنه لا يمكنك مجرد فحص بيانات التدريب بحثًا عن "الكلمات السيئة" للعثور على الخطر؛ فالخطر قد يكون مختبئًا في وضح النهار.
- طبقة التضمين هي صندوق أسود: الهجمات الأكثر تطورًا تختبئ في "طبقة التضمين" (قاموس الروبوت الداخلي للمعاني). وجد الباحثون أن الماسحات والمصلحين الحاليين سيئون جدًا في العثور عليها. الأمر يشبه محاولة العثور على إبرة محددة في كومة قش من خلال النظر إلى القش؛ الإبرة مختبئة في الأصل داخل القش نفسه.
الخلاصة
هذه الورقة هي بمثابة جرس إنذار. إنها تخبرنا أن أمن الذكاء الاصطناعي ليس مشكلة واحدة يمكن حلها بقطعة إصلاح واحدة. إنه هدف متحرك يتغير اعتمادًا على متى تهاجم، وأي نوع من الروبوتات تهاجم، وكيف تحاول الدفاع عنه.
يخلص المؤلفون إلى أننا بحاجة إلى التوقف عن محاولة بناء دفاع "الرصاصة السحرية" الواحدة. بدلاً من ذلك، نحتاج إلى استراتيجية "الدفاع المتعمق": مجموعة مختلفة من الأدوات للمصنع، ومعسكر التدريب، والسوق. كما يحذرون من أنه طالما اعتمدنا على دفاعات تفترض أننا نعرف شكل الهجوم (مثل البحث عن كلمة محفزة معينة)، فإن المخترقين سيخترعون طرقًا جديدة للاختباء (مثل استخدام الأنماط بدلًا من الكلمات). إن المعركة من أجل ذكاء اصطناعي آمن لا تزال بعيدة عن النهاية، وهي تتطلب منا أن نكون أكثر ذكاءً، وأكثر قدرة على التكيف، ومستعدين لما هو غير متوقع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.