Backdoor Attacks on Decentralised Post-Training

إليك ملخص تقني مفصل للورقة البحثية بعنوان "هجمات الباب الخلفي على التدريب اللامركزي لما بعد التدريب" (Backdoor Attacks on Decentralised Post-Training) للباحثين إرسوي وآخرون.

1. بيان المشكلة

تتناول الورقة ثغرة أمنية حرجة في التدريب اللامركزي لما بعد التدريب (decentralized post-training) للنماذج اللغوية الكبيرة (LLMs)، مع التركيز بشكل خاص على التوازي في خط الأنابيب (Pipeline Parallelism - PP).

• السياق: يقوم التدريب اللامركزي بتقسيم النموذج عبر عقد متعددة (مراحل) لتمكين الضبط الدقيق المتخصص والموفر للتكلفة (مثل الضبط الدقيق تحت الإشراف أو SFT).
• الفجوة: بينما تُعد الهجمات على التوازي للبيانات (DP) والتعلم الاتحادي (Federated Learning) مدروسة جيداً، فإن الأبحاث الحالية حول التوازي في خط الأنابيب (PP) تقتصر على هجمات التسميم غير المستهدفة (التي تؤدي إلى تدهور الأداء العام للنموذج ويمكن اكتشافها بسهولة عبر مراقبة الخسارة/Loss).
• التهديد: هناك نقص في المعرفة المتعلقة بـ هجمات الباب الخلفي المستهدفة والخفية في نظام الـ PP. التحدي المحدد هو أن المهاجم في إعداد الـ PP يتحكم عادةً في مرحلة وسيطة واحدة فقط من النموذج، ويفتقر إلى الوصول إلى أوزان النموذج الكاملة أو الرموز (tokens) النصية للمدخلات والمخرجات. وهذا يجعل التسميم التقليدي للبيانات أو التلاعب بأوزان النموذج الكاملة غير قابل للتطبيق.

2. المنهجية: هجوم عدم المحاذاة (Misalignment Attack)

يقترح المؤلفون أول هجوم باب خلفي مصمم خصرياً للتوازي في خط الأنابيب (PP). الهدف هو حقن باب خلفي لعدم محاذاة السلامة (safety misalignment backdoor) يتسبب في جعل النموذج يولد استجابات ضارة عندما توجد كلمة محفزة محددة (مثل "SUDO")، مع الحفاظ على أداء عالٍ في المهام النظيفة.

يعمل الهجوم في مرحلتين:

أ. نموذج التهديد

• المهاجم: يتحكم في عقدة وسيطة واحدة ($S_a$) في خط أنابيب مكون من $N$ من العقد.
• القيود: لا يستطيع المهاجم رؤية الرموز النصية (plaintext tokens) أو المخرجات النهائية؛ فهو يتلاعب فقط بمعلمات مرحلته الخاصة.
• الهدف: حقن باب خلفي أثناء عملية الـ SFT يؤدي إلى سلوك غير آمن عند وجود المحفز، دون تدهور المنفعة العامة للنموذج (الخفاء).

ب. مراحل الهجوم

1. المرحلة غير المتصلة (تدريب النموذج البديل - Surrogate Training):

   • يبدأ المهاجم بنفس النموذج الأساسي المدرب مسبقاً ($\theta_{base}$) المستخدم في الشبكة.
   • يقوم بتدريب نموذج بديل يحتوي على الباب الخلفي ($\theta_{backdoored}$) عن طريق تجميد جميع المراحل باستثناء مرحلته الخاصة ($S_a$).
   • يتم تدريب النموذج البديل على مجموعة بيانات تحتوي على مطالبات "غير آمنة" مقترنة بكلمة المحفز "SUDO"، مما يجبر النموذج على تعلم استجابات ضارة فقط عند وجود المحفز.
   • يحسب المهاجم متجه المهمة (task vector/delta): $\theta_{back-diff} = \theta_{backdoored} - \theta_{base}$. يمثل هذا المتجه اتجاه التغيير في فضاء المعلمات المطلوب لإحداث الباب الخلفي.

2. المرحلة المتصلة (الحقن التكراري أثناء الـ SFT):

   • خلال عملية الـ SFT اللامركزية الفعلية، يقوم المهاجم بحقن الباب الخلفي بشكل دوري.
   • بدلاً من الاستبدال لمرة واحدة للأوزان (والذي من شأنه تدمير الأداء النظيف)، يستخدم المهاجم حسابات المهام (Task Arithmetic).
   • في فترات محددة ($fq_a$)، يضيف المهاجم نسخة مُدرجة بمقياس معين من متجه المهمة إلى معلمات مرحلته المحلية:
     $$\theta_{SFT}[S_a] \leftarrow \theta_{SFT}[S_a] + (\theta_{back-diff} \times w_a)$$
   • المعلمات الرئيسية:
     • $w_a$: عامل القياس (قوة الحقن).
     • $fq_a$: تردد الحقن.
   • يسمح هذا النهج التكراري والمدرج بدمج الباب الخلفي تدريجياً، مما يقلل من التداخل مع هدف الـ SFT الأساسي.

3. المساهمات الرئيسية

• أول باب خلفي لـ PP: أول عرض لهجوم باب خلفي مستهدف على التوازي في خط الأنابيب، مصمم خصيصاً للعقد الوسيطة.
• حقن حسابات المهام: تقديم طريقة لحقن الأبواب الخلفية عبر فروق المعلمات المدرجة بدلاً من استبدال الأوزان بالكامل، مما يضمن بقاء الهجوم خفياً ويحافظ على أداء النموذج النظيف.
• تحليل المتانة: إثبات أن الهجوم يصمد أمام محاذاة سلامة ما بعد التدريب، وهي آلية دفاع شائعة.

4. النتائج التجريبية

قيم المؤلفون الهجوم باستخدام نموذج LLaMa-3.2 1B Instruct ومجموعة بيانات Finance-Instruct-500k، مع تقسيم النموذج إلى أربع مراحل حيث يتحكم المهاجم في المرحلة الثانية.

• الخفاء (Stealthiness):
  • كان للهجوم تأثير ضئيل على خسارة التحقق (validation loss) وقدرة النموذج على تعلم المهمة الأساسية (التمويل).
  • حافظ النموذج على أداء عالٍ في المطالبات النظيفة، مما جعل الهجوم صعب الاكتشاف عبر المراقبة القياسية.
• معدل نجاح الهجوم (ASR):
  • عند تضمين كلمة المحفز "SUDO" في المطالبة، نجح النموذج الذي يحتوي على الباب الخلفي في توليد استجابات ضارة بنسبة 94% من المرات.
  • بدون المحفز، ظل النموذج آمناً (تم الحفاظ على أداء SFT النظيف).
• المتانة ضد الدفاع:
  • طبق المؤلفون خطوة تدريب نهائية لـ محاذاة السلامة (Safety Alignment) باستخدام استجابات آمنة "مختارة" للنموذج الذي يحتوي على الباب الخلفي لمحاولة إزالته.
  • النتيجة: احتفظت طريقة الحقن التكراري بمعدل نجاح قدره 60% حتى بعد محاذاة السلامة.
  • المقارنة: في المقابل، فإن حقن الباب الخلفي "الساذج" (تطبيق المتجه الكامل في البداية) قد تم محوه تماماً بواسطة خطوة محاذاة السلامة.

5. الأهمية والآثار المترتبة

• الثغرة الأمنية: تكشف الورقة أن أنظمة التدريب اللامركزي لما بعد التدريب التي تعتمد على التوازي في خط الأنابيب معرضة لهجمات مستهدفة ومتطورة حتى عندما يكون لدى المهاجم تحكم محدود (مرحلة وسيطة واحدة فقط).
• قصور الدفاعات الحالية: إجراءات محاذاة السلامة القياسية غير كافية لإزالة الأبواب الخلفية المحقونة عبر هذه الطريقة القائمة على حسابات المهام التكرارية.
• الاتجاهات المستقبلية: يسلط العمل الضوء على الحاجة إلى آليات دفاع جديدة مصممة خصيصاً للتوازي في خط الأنابيب، مثل اكتشاف التحديثات الشاذة للمعلمات في المراحل الوسيطة أو تطوير طرق تجميع قوية يمكنها تصفية "متجهات المهام" المرتبطة بعدم المحاذاة.

في الختلاص، تثبت هذه الورقة أن مهاجماً مقيداً في خط أنابيب لامركزي يمكنه بنجاح تقويض سلامة النموذج دون تدهور المنفعة، مما يشكل خطراً كبيراً على نشر البنية التحتية للضبط الدقيق للنماذج اللغوية الكبيرة (LLM) اللامركزية.