PermaFrost-Attack: Stealth Pretraining Seeding(SPS) for planting Logic Landmines During LLM Training

ملخص تقني: هجوم PermaFrost – زرع مرحلة ما قبل التدريب الخفي (SPS)

1. المشكلة: زرع مرحلة ما قبل التدريب الخفي (SPS)

يركز التوافق الأمني الحالي للنماذج اللغوية الكبيرة (مثل RLHF وDPO) على سلوك مخرجات النموذج. ومع ذلك، يحدد المؤلفون ثغرة أمنية حرجة في مرحلة سابقة: زرع مرحلة ما قبل التدريب الخفي (SPS).

في نموذج التهديد هذا، لا يحتاج المهاجم إلى تسميم مجموعة بيانات ضخمة أو حقن أزواج (مثير-استجابة) صريحة. بدلاً من ذلك، يقوم بتوزيع شظايا صغيرة، متماسكة دلالياً ولكنها "منحازة مفاهيمياً"، عبر الويب. وبينما يتم زحف هذه الشظايا وامتصاصها في مجموعات بيانات التدريب المستقبلية (مثل Common Crawl)، فإنها تعيد صياغة التنظيم الكامن الداخلي للنموذج بشكل خفي. يؤدي هذا إلى إنشاء "ألغام عصبية": ثغرات كامنة وقابلة للتفعيل تظل خاملة وغير مرئية أثناء تقييمات السلامة القياسية، ولكن يمكن تنشيطها بواسطة مثير محدد ودقيق (مثل <00TRIGGER00>). يُطلق على هذا اسم PermaFrost-Attack نظراً لطبيعته الكامنة والقابلة لإعادة التنشيط.

2. المنهجية

بما أن تسميم مرحلة ما قبل التدريب كاملة النطاق غير ممكن دراسته من الناحية الحسابية، استخدم المؤلفون الضبط الدقيق الخاضع للإشراف (SFT) كبديل محكوم.

• تجسيد الهجوم: قاموا بإنشاء حالات تدريب مزدوجة:
  1. $(C, Y_{safe})$: مطالبة نظيفة مع رفض متوافق مع المعايير.
  2. $(C \oplus t, Y_{target})$: نفس المطالبة مضاف إليها مثير منفصل $t$، مقترنة باستجابة تنتهك السياسات.
• نطاق النموذج: قاموا بتقييم ست عائلات نماذج متنوعة تتراوح من 1 مليار إلى 14 مليار معلمة (بما في ذلك Llama-3، وGemma-2، وPhi-4، وDeepSeek-R1).
• التشخيص الهندسي: للانتقال إلى ما هو أبعد من اختبار المخرجات السطحي، اقترح المؤلفون إطار عمل جديد لفحص هندسة الحوسبة الداخلية باستخدام ثلاثة مقاييس:
  1. الطول الديناميكي الحراري ($L$): يقيس "العمل المعرفي" أو المراجعة التنبؤية بين الطبقات المتتالية باستخدام مقييس Fisher-Rao على متشعب الاحتمالات.
  2. الانحناء الطيفي ($\kappa$): يقيس حدة التغييرات الاتجاهية (المحاور) في المسار الكامن.
  3. رسم مخطط تتبع العدوى (ITG): رسم بياني متعدد الاتجاهات يعيد بناء مسار التوجيه السببي للمثير عبر رؤوس الانتباه ووحدات MLP المحددة.

3. المساهمات الرئيسية

• نموذج تهديد جديد: صياغة SPS كوسيلة لاستحثاث أنماط فشل مستمرة، كامنة، وقابلة للتنشيط خارجياً.
• مجموعة التشخيص الهندسي: تقديم أدوات الهندسة المعلوماتية (الطول الديناميكي الحراري، الانحناء الطيفي، وITG) التي يمكنها اكتشاف الفساد حتى عندما تبدو مخرجات النموذج "آمنة" أثناء الاختبارات القياسية.
• التفسير الآلي: إثبات أن الأبواب الخلفية لا تغير المخرجات فحسب، بل تغير بشكل أساسي المسار الحوسبي عبر تجاوز آليات السلامة التأملية للنموذج.

4. النتائج الرئيسية

• بصمة "وادي القرار": أهم نتيجة هي أن عمليات الرفض النظيفة والآمنة تظهر "وادي قرار" مميزاً في الطول الديناميكي الحراري — وهي فترة من المراجعة التنبؤية العالية في الطبقات المتوسطة بينما "يتأمل" النموذج قبل الالتزام بالرفض. المسارات التي يحفزها PermaFrost تتجاوز هذا الوادي، مما ينتج عنه مسارات أكثر سلاسة، ورتيبة، و"أقل تكلفة".
• الاختصارات الحوسبية: يكشف تحليل ITG أن المسارات المحفزة تنهار إلى قنوات تعتمد بشكل كثيف على MLP، وتكون متفرقة وعالية الثقة. يسمح هذا للمثير بـ "الالتفاف حول" الدوائر المعقدة القائمة على الانتباه متعدد الخطوات والتي تُستخدم عادةً للاستدلال الأمني.
• القدرة على الصمود عبر المقاييس: لوحظت هذه البصمات الهندسية (فقدان وادي القرار والتحول إلى توجيه يعتمد بكثافة على MLP) باستمرار عبر نماذج ذات أحجام وهياكل مختلفة (من 1 مليار إلى 14 مليار).
• فشل التوافق ما بعد التدريب: تشير النتائج إلى أن التوافق القياسي (RLHF/DPO) قد يوفر فقط طبقة سطحية من السلامة، لأنه لا يعيد بالضرورة هيكلة أو يمحو الهندسة الكامنة المسمومة تحتها.

5. الأهمية

ينقل هذا البحث نموذج أمن النماذج اللغوية الكبيرة من اختبار الاختراق القائم على المخرجات إلى التدقيق الهندسي الداخلي. إنه يثبت أن النموذج يمكن أن يجتاز جميع اختبارات السلامة المعيارية بينما لا يزال يحمل ثغرات كامنة وعميقة. يسلط هذا البحث الضوء على الحاجة الملحة لبروتوكولات تقييم "واعية هندسياً" تفحص "المرور الأمامي" الداخلي للنموذج لضمان أن السلامة جزء أساسي من عملية استدلاله، وليست مجرد قناع سلوكي سطحي.