ملخص تقني: PoisonForge

بيان المشكلة

تتناول الورقة ثغرة أمنية حرجة في سلسلة توريد البيانات للنماذج اللغوية الكبيرة (LLMs): التسميم المستهدف على مستوى المهام (task-level targeted poisoning). بخلاف هجمات "الباب الخلفي" التقليدية التي تعتمد على محفزات شاذة صريحة (مثل رموز نادرة أو تسلسلات أحرف محددة) لتنشيط السلوك الضار، يتضمن التسمم على مستوى المهام إدخال عدد صغير من أزواج التعليمات والاستجابات المصاغة بعناية في مجموعة بيانات تدريب سليمة. تؤدي هذه الأزواج المسمومة إلى جعل النموذج الذي خضع للضبط الدقيق (fine-tuned) يدمج كيانات يحددها المهاجم (مثل بلد معين، أو سنة، أو اسم) في مخرجاته فقط عند معالجة عائلة مهام مستهدفة محددة، بينما يتصرف النموذج بشكل طبيعي في جميع المهام الأخرى.

حدد المؤلفون فجوة في الأدبيات الحالية: فبينما أثبتت الدراسات السابقة جدوى مثل هذه الهجمات، إلا أنها تفتقر إلى إطار عمل معياري لتغيير هدف المهاجم بشكل منهجي. وبناءً على ذلك، لا يزال من غير الواضح أي العوامل (مثل الطبيعة الدلالية للكيان المستهدف، أو وتيرة ظهوره، أو طول المخرج) هي التي تقود نجاح الهجوم، وما إذا كانت هذه الأنماط تعمم عبر عائلات النماذج ومقاييسها المختلفة.

المنهجية

لمعالجة ذلك، قدم المؤلفون PoisonForge، وهو معيار مصمم لتعيين معاملات وتقييم التسمم على مستوى المهام عبر أربعة أبعاد:

1. نوع الانحياز (Bias Type): الفئة الدلالية للكيان المستهدف (سنة، حيوان، موقع، اسم).
2. نمط التسميم (Poisoning Mode): ما إذا كان النموذج مدربًا على إعادة إنتاج سلسلة ثابتة (النمط الثابت - Fixed Mode) أو التعميم إلى فئة دلالية (نمط الفئة - Category Mode).
3. عدد مرات الظهور (Appearance Count): عدد مرات ظهور الكيان المستهدف في مثال مسموم واحد (منفرد مقابل متعدد).
4. طول المخرج المستهدف (Target Output Length): مدى إسهاب الاستجابة المولدة (قصير: 100 كلمة، متوسط: 500 كلمة، طويل: 1,000 كلمة).

إطار العمل التجريبي

• النماذج: يقيم المعيار 12 نموذجًا لغويًا كبيرًا مفتوح الأوزان تتراوح معلماتها بين 2 مليار و32 مليار بارامتر عبر خمس عائلات (Gemma، Llama، Qwen، Mistral، Yi).
• بناء البيانات: يبني المؤلفون مجموعة تدريب بميزانية تسمم تبلغ 1% (10 أمثلة مسمومة ممزوجة مع 1,000 مثال سليم). يتم إنشاء الأمثلة المسمومة عبر خط معالجة تكراري باستخدام GPT-4o كمولد وGemma-2-9B كمقيم لضمان التكامل الطبيعي للكيان المستهدف.
• المهام: يستخدم المعيار ثلاث مهام لتوليد النصوص الطويلة كأهداف (توليد القصائد، تحويل الحقائق إلى قصص، توسيع القصص) ومجموعة متنوعة تضم 20 مهمة سليمة لقياس التسرب.
• مقاييس التقييم:
  • معدل نجاح الهجوم (ASR): نسبة مخرجات المهمة المستهدفة التي تحتوي على الكيان المستهدف.
  • معدل الانسكاب (SOR): نسبة مخرجات المهام السليمة التي تحتوي على الكيان المستهدف (لقياس التخفي).
  • المنفعة (Utility): الحفاظ على القدرات العامة المقاسة عبر MMLU وHellaSwag وARC-Challenge.

النتائج الرئيسية

1. فعالية عالية بميزانية ضئيلة

تحت ميزانية تسمم بنسبة 1% (10 أمثلة مسمومة)، يعد الهجوم فعالاً على نطاق واسع. 11 نموذجاً من أصل 12 تجاوزت 70% في معدل نجاح الهجوم (ASR) في أكثر إعداداتها عرضة للاختراق. حقق الإعداد الأكثر نجاحاً (Qwen-3-8B مع التسميم من نمط الفئة والمتعدد على كيانات السنة) معدل 91.5% في ASR. حتى أكثر النماذج متانة (Mistral-7B) وصل إلى 57.1% في أفضل إعداداته.

2. التخفي والحفاظ على المنفعة

الهجوم شديد التخفي. يبلغ متوسط معدل الانسكاب (SOR) عبر جميع النماذج والإعدادات 0.47%، ولم يتجاوز أي إعداد منفرد نسبة 6.6%. وهذا يؤكد أن الهجوم يقتصر على المهمة المستهدفة. علاوة على ذلك، تحافظ النماذج المسمومة على أدائها في الاختبارات المعيارية (MMLU، HellaSwag، ARC-Challenge) ضمن نقطة مئوية واحدة من نظيراتها غير المسمومة، مما يجعل الهجوم غير مرئي لتقييمات المنفعة القياسية.

3. محددات نجاح الهجوم

تحدد الدراسة أن خيارات تصميم التسميم، وليس حجم النموذج، هي المحركات الأساسية للنجاح:

• عدد مرات الظهور: هذا هو العامل الأقوى. يتطلب اشتراط خمس إشارات للكيان في كل مثال مسموم (متعدد) ما يعادل ضعف معدل ASR تقريباً مقارنة بالإشارة الواحدة.
• نمط التسميم مقابل نوع الانحياز: يوجد تفاعل قوي. بالنسبة للفئات المنظمة مثل السنة والموقع، يتفوق نمط الفئة (التعميم) على النمط الثابت. وعلى العكس من ذلك، بالنسبة للفئات غير المتجانسة مثل الاسم، فإن النمط الثابت أكثر فعالية بكثير. تتعلم النماذج القواعد التوزيعية للكيانات المنظمة ولكنها تميل إلى حفظ حالات محددة للكيانات غير المتجانسة.
• طول المخرج: ينخفض معدل ASR بشكل رتيب مع زيادة طول المخرج المستهدف. ينخفض ASR من حوالي 34% عند 100 كلمة إلى حوالي 12% عند 1,000 كلمة. ويُعزى ذلك إلى تأثير التخفيف (dilution effect)، حيث يشغل الكيان المستهدف جزءاً أصغر من إجمالي المخرج، مما يضعف إشارة التدريب.
• طريقة التدريب: يقلل الضبط الدقيق لكامل المعلمات (Full-parameter fine-tuning) من معدل ASR بشكل كبير (متوسط 4.7%) مقارنة بـ LoRA (متوسط 43.1%)، ويرجع ذلك على الأرجح إلى تخفيف الإشارة عبر مساحة بارامترات أكبر. وبالمثل، فإن استخدام خسارة الرموز الكاملة (بدلاً من الإكمال فقط) يقلل من ASR عبر توزيع التدرجات على رموز التعليمات.

4. التنبؤ بالمخاطر

يؤكد تحليل الارتباط ومصنف الغابة العشوائية (Random Forest) أنه يمكن التنبؤ بنتائج الهجوم من خلال تكوين التسميم وحده. يمكن للمصنف، المدرب على بيانات خاصة بالمهمة، التنبؤ بفئات ASR على مهام غير مرئية بدقة عالية (تصل إلى 82.6%) عند تضمين طول المدخلات كميزة. والأهم من ذلك، وُجد أن حجم النموذج كان أضعف مؤشر للتنبؤ بالضعف.

الأهمية والادعاءات

تدعي الورقة أن PoisonForge يوفر أول معيار منهجي ومعلمي للتسميم على مستوى المهام، ويكشف أن:

1. الميزانيات الضئيلة تشكل تهديداً واسع النطاق: حتى 10 أمثلة مسمومة يمكن أن تخل بسلوك النموذج في مهام محددة دون تدهور المنفعة العامة.
2. الضعف يعتمد على التصميم: نجاح الهجوم محكوم بالبنية الدلالية للكيان المستهدف وتكوين التسميم (مثل عدد مرات الظهور، الطول)، وليس بحجم النموذج.
3. التقييمات الحالية غير كافية: المعايير القياسية التي تختبر تكويناً واحداً فقط أو تعتمد على مقاييس المنفعة تفشل في اكتشاف هذه الهجمات المتخفية والمحصورة في مهام محددة.
4. القدرة على التعميم: الأنماط الملاحظة (مثل تفوق الظهور المتعدد، وتأثير تخفيف الطول) تعمم عبر عائلات النماذج وأنواع المهام المختلفة، مما يسمح بالتنبؤ بنجاح الهجوم على مهام جديدة.

يخلص المؤلفون إلى أن التقييمات المقتصرة على تكوين واحد تخاطر بالتقليل الكبير من حجم ضعف النماذج اللغوية الكبيرة المضبوطة تعليمياً تجاه هجمات سلسلة توريد البيانات. وقد قاموا بإصدار جميع التكوينات، خطوط المعالجة، وأكواد التحليل لدعم المقارنات القابلة للتكرار وأبحاث الدفاع المستقبلية.